经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Apache Kafka » 查看文章
Kafka安装
来源:cnblogs  作者:阿文awen  时间:2018/11/8 9:40:39  对本文有异议

1、下载kafka安装包

2、将kafaka安装包利用工具加载到Linux系统下

3、将kafka安装包解压到/usr/local

   tar -xvf kafka -C /usr/local/

4、进入到/usr/local/kafka/config目录下

   修改server.properties

   log.dirs   数据目录文件  kafak消息存放的路径

   zookeeper.connect    分布式zookeeper配置

  1. #broker的全局唯一编号,不能重复
  2. broker.id=1
  3.  
  4. #用来监听链接的端口,producer或consumer将在此端口建立连接
  5. port=9092
  6.  
  7. #处理网络请求的线程数量
  8. num.network.threads=3
  9.  
  10. #用来处理磁盘IO的线程数量
  11. num.io.threads=8
  12.  
  13. #发送套接字的缓冲区大小
  14. socket.send.buffer.bytes=102400
  15.  
  16. #接受套接字的缓冲区大小
  17. socket.receive.buffer.bytes=102400
  18.  
  19. #请求套接字的缓冲区大小
  20. socket.request.max.bytes=104857600
  21.  
  22. #kafka消息存放的路径
  23. log.dirs=/usr/local/kafka_2.11-0.10.2.1/logs/
  24.  
  25. #topic在当前broker上的分片个数
  26. num.partitions=2
  27.  
  28. #用来恢复和清理data下数据的线程数量
  29. num.recovery.threads.per.data.dir=1
  30.  
  31. #segment文件保留的最长时间,超时将被删除
  32. log.retention.hours=168
  33.  
  34. #滚动生成新的segment文件的最大时间
  35. log.roll.hours=168
  36.  
  37. #日志文件中每个segment的大小,默认为1G
  38. log.segment.bytes=1073741824
  39.  
  40. #周期性检查文件大小的时间
  41. log.retention.check.interval.ms=300000
  42.  
  43. #日志清理是否打开
  44. log.cleaner.enable=true
  45.  
  46. #broker需要使用zookeeper保存meta数据
  47. zookeeper.connect=192.168.37.55:2181,192.168.37.56:2181,192.168.37.57:2181
  48.  
  49. #zookeeper链接超时时间
  50. zookeeper.connection.timeout.ms=6000
  51.  
  52. #partion buffer中,消息的条数达到阈值,将触发flush到磁盘
  53. log.flush.interval.messages=10000
  54.  
  55. #消息buffer的时间,达到阈值,将触发flush到磁盘
  56. log.flush.interval.ms=3000
  57.  
  58. #删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
  59. #delete.topic.enable=true
  60.  
  61. #此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
  62. host.name=awen01

5、逐一进入节点到kafka安装目录启动kafka

  方式一、

    bin/kafka-server-start.sh config/server.properties &

  方式二、

    bin/kafka-server-start.sh -daemon config/server.properties

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号