- 博客(16)
- 收藏
- 关注
RSS订阅转载 kafka高性能解密 pagecache sendfile
转载自http://blog.csdn.net/stark_summer/article/details/50144591kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka...
2018-03-04 15:09:44
5566
原创 hbase安装
1上传2解压tar –zxvf hbase-0.99.2-bin.tar.gz 3重命名修改环境变量mv hbase-0.99.2 hbase vi /etc/profile export $HBASE_HOME= export $PATH=$PATH:$HBASE_HOME/bin4修改配置文件hbase-site.xml<configuration> <proper...
2018-02-28 01:37:25
244
原创 sqoop安装
安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HADOOP_COMMON_HOME...
2018-02-20 22:58:13
277
原创 azkaban安装与使用
1.安装新建目录azkaban,上传安装包tar –zxvf azkaban-web-server-2.5.0.tar.gz tar –zxvf azkaban-executor-server-2.5.0.tar.gz tar –zxvf azkaban-sql-script-2.5.0.tar.gz分别解压tar –zxvf azkaban-web-server-2.5.0.tar.gz ...
2018-02-20 20:23:53
252
原创 flume学习
安装上传安装包apache-flume-1.6.0-bin.tar.gz到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 配置采集方案监听本地目录输出到loggervi spool-logger.conf# Name the component...
2018-02-20 00:06:56
268
原创 hive安装
在安装过hadoop的节点上安装hive1.上传tar包apache-hive-1.2.1-bin.tar.gz2.解压tar -zxvf hive-0.9.0.tar.gz -C /home/hadoop/apps/3安装mysql4配置hive（a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home （b）配置元数据库信息...
2018-02-19 14:58:40
215
转载 Zookeeper搭建
1.下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 2.安装使用tar解压要安装的目录即可，以3.4.5版本为例tar -zxf zookeeper-3.4.5.tar.gz -C /usr/myapp 3.配置在主目录下创建data和logs两个目录用于存储数据和日志：mkdir data mkd...
2018-02-17 23:25:15
228
原创 RPC框架学习
1 什么是RPCRPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器...
2018-02-17 23:07:08
359
原创 hadoop运行及基本命令
1格式化namenode（是对namenode进行初始化） hdfs namenode -format (hadoop namenode -format)2启动hadoop（需要配置免密登录） 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh3验证是否启动成...
2018-02-05 20:58:23
334
原创 hadoop安装(hadoop搭建2)
1下载 下载binary hadoop-2.6.5.tar.gz 官网：hadoop.apache.org 2配置 在一台服务器上解压，配置安装目录下的etc 第一个：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65
2018-02-05 20:53:01
150
原创 hadoop集群环境
hadoop集群环境 hdfs集群（负责文件读写，数据存储系统） 一台name node，若干台data node yarn集群（负责为mapreduce程序分配运算所需硬件程序） 一台resource manager 若干台node manager ps：node manager管理一台节点所以需要把一个node manager和data node 放在一台机器上 reso
2018-02-04 12:21:56
217
原创 linux 自动部署
如果有一个服务器集群，要保证每台服务器上的环境一样，要自动部署相同的软件 用脚本来实现： 1 设置免密登录 ssh-copy-id server 把本地主机的公钥复制到远程主机的authorized_keys文件上 2发送软件安装脚本到远程服务器 3运行脚本 boot.sh #!/bin/bash SERVERS="mini2 mini3" PASSWORD=hadoop BASE_
2018-01-26 01:53:25
390
转载 linux机器之间免密登录
假如 A 要登陆 B 在A上操作： 首先生成密钥对 ssh-keygen (提示时，直接回车即可) %%再将A自己的公钥拷贝并追加到B的授权列表文件authorized_keys中 ssh-copy-id B
2018-01-25 18:08:18
367
原创 linux服务（service）管理
service someservice start 开始服务 service someservice stop 停止服务 service someservice restart 重启服务 service someservice status 查看服务状态 chlconfig 查看服务启动配置 chkconfig someservice off 设置开机不启动 chkcon
2018-01-25 17:59:10
462
原创 linux 配置网络
linux安装好之后，不能上网 ifconfig检查网络状态 没有可用的网卡 第一步：网卡的配置文件：/etc/sysconfig/network-scripts/ifcfg-ethX DEVICE=eth0 #设备名字 ONBOOT=yes #是否随系统启动而启动 BOOTPROTO=static （dhcp） # 网络参数配置方式 dhcp动态获取i
2018-01-25 17:30:45
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人