kafka入门到实战系列（二） kafka安装与命令行操作

kafka的安装

1.安装包的下载
下载地址：http://kafka.apache.org/downloads.html
2.通过xshell,xftp工具将安装包上传到服务器想要安装的目录（这里只是一个文件的上传就不在演示了）
3.解压安装包
解压命令：$ tar zxvf kafka_2.11 0.11.0.0.tgz
4.修改文件名
命令：$ mv kafka_2.11 0.11.0.0/ kafka
5.在kafka的安装目录下创建logs文件夹 实现日志数据分离
命令：$ mkdir logs
6.修改配置文件 config/server.properties
命令：$ vi server.properties
配置文件内容：

broker 的 全局唯一编号，不能重复
broker.id=0
删除 topic 功能使能
delete.topic.enable=true
处理网络请求 的 线程数量
num.network.threads=3
用来 处理磁盘 IO 的现成数量
num.io.threads=8
发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
请求套接字的缓冲区大小
socket.request.max.bytes=104857600
kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs
topic 在当前 broker 上的分区个数
num.partitions=1
用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
配置连接 Zookeeper 集群 地址 填写你需要配置zookeeper 地址 规则：ip:zookeeper端口
zookeeper.connect=

7.配置环境变量

$ s udo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

激活环境变量

$ source /etc/profile

8.启动（以守护进程的方式启动）

$ bin/kafka server start.sh daemon config/server.properties

9.关闭服务

$ bin/kafka server stop.s h stop

kafka 的命令行操作

1.）查看当前服务器中的所有 topic

//hadoop102:2181 是zookeeper 服务的地址
$ bin/kafka topics.sh zookeeper hadoop102:2181 list

2.）创建 topic

bin/kafka topics.sh zookeeper hadoop102:2181 create replication factor 3 partitions 1 topic first
//参数说明
//topic 定义 topic名
//replication-factor 定义副本数
//partitions 定义分区数

3）删除 topic

$ bin/kafka topics.sh zookeeper hadoop102:2181 delete topic first
//需要server.properties中设置 delete.topic.enable=true否则只是标记删除。

4）发送消息

$ bin/kafka console producer.sh broker list hadoop102:9092 topic first
>hello world
>atguigu

5. 消费信息

$ bin/kafka console consumer.sh zookeeper hadoop102: 2181 topic first

6）查看某个Topic 的详情

bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

7）修改分区数

kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6