1、下载kafka安装包
2、将kafaka安装包利用工具加载到Linux系统下
3、将kafka安装包解压到/usr/local
tar -xvf kafka -C /usr/local/
4、进入到/usr/local/kafka/config目录下
修改server.properties
log.dirs 数据目录文件 kafak消息存放的路径
zookeeper.connect 分布式zookeeper配置
- #broker的全局唯一编号,不能重复
- broker.id=1
-
- #用来监听链接的端口,producer或consumer将在此端口建立连接
- port=9092
-
- #处理网络请求的线程数量
- num.network.threads=3
-
- #用来处理磁盘IO的线程数量
- num.io.threads=8
-
- #发送套接字的缓冲区大小
- socket.send.buffer.bytes=102400
-
- #接受套接字的缓冲区大小
- socket.receive.buffer.bytes=102400
-
- #请求套接字的缓冲区大小
- socket.request.max.bytes=104857600
-
- #kafka消息存放的路径
- log.dirs=/usr/local/kafka_2.11-0.10.2.1/logs/
-
- #topic在当前broker上的分片个数
- num.partitions=2
-
- #用来恢复和清理data下数据的线程数量
- num.recovery.threads.per.data.dir=1
-
- #segment文件保留的最长时间,超时将被删除
- log.retention.hours=168
-
- #滚动生成新的segment文件的最大时间
- log.roll.hours=168
-
- #日志文件中每个segment的大小,默认为1G
- log.segment.bytes=1073741824
-
- #周期性检查文件大小的时间
- log.retention.check.interval.ms=300000
-
- #日志清理是否打开
- log.cleaner.enable=true
-
- #broker需要使用zookeeper保存meta数据
- zookeeper.connect=192.168.37.55:2181,192.168.37.56:2181,192.168.37.57:2181
-
- #zookeeper链接超时时间
- zookeeper.connection.timeout.ms=6000
-
- #partion buffer中,消息的条数达到阈值,将触发flush到磁盘
- log.flush.interval.messages=10000
-
- #消息buffer的时间,达到阈值,将触发flush到磁盘
- log.flush.interval.ms=3000
-
- #删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
- #delete.topic.enable=true
-
- #此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
- host.name=awen01
5、逐一进入节点到kafka安装目录启动kafka
方式一、
bin/kafka-server-start.sh config/server.properties &
方式二、
bin/kafka-server-start.sh -daemon config/server.properties