经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Apache Kafka

Kafka凭什么速度那么快?

Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。 即使是普通的服务器,Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Kafka在日志处理等海量数据场景广泛应...[2019/5/8]

Kafka使用jmxtrans+influxdb+grafana监控JMX指标

  最近在搞Kafka集群监控,之前也是看了网上的很多资料。之所以使用jmxtrans+influxdb+grafana是因为界面酷炫,可以定制化,缺点是不能操作Kafka集群,可能需要配合Kafka Manager一起使用。   环境信息   CentOS Linux release 7....[2019/4/11]

kafka工作原理介绍

两张图读懂kafka应用: Kafka 中的术语      broker:中间的kafka cluster,存储消息,是由多个server组成的集群。   topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数...[2019/4/11]

Kafka概述及安装部署

一、Kafka概述     1.Kafka是一个分布式流媒体平台,它有三个关键功能:    (1)发布和订阅记录流,类似于消息队列或企业消息传递系统;    (2)以容错的持久方式存储记录流;    (3)记录发送时处理流。   2.Kafka通常应用的两大类应用...[2019/3/1]

Kafka的接口回调 +自定义分区、拦截器

一、接口回调+自定义分区   1.接口回调:在使用消费者的send方法时添加Callback回调   producer.send(new ProducerRecord<String, String>("xinnian", "20" + i + "年新年好!"), ...[2019/3/1]

Kafka生产者案例报警告SLF4J: Failed to load class &quot;org.slf4j.impl.StaticLoggerBinder&quot;.

一、SLF4J: Failed to load cla "org.slf4j.impl.StaticLoggerBinder". 这个报警告的原因简单来说时因为slf4j的版本和log4j的版本不匹配。 解决办法:   1.在你的maven库中查找你的slf4j版本,若有两个,最后选...[2019/2/28]

如何使用kafka增加topic的备份数量,让业务更上一层楼

如何使用kafka增加topic的备份数量,让业务更上一层楼

本文由云+社区发表 一、困难点 建立topic的时候,可以通过指定参数 --replication-factor 设置备份数量。但是,一旦完成建立topic,则无法通过kafka-topic.sh 或者 命令修改replica数量。 二、解决办法 ? 实际上,我们可以考虑一种 “另类” 的...[2019/1/9]

Kafka相关内容总结(存储和性能)

Kafka消息的存储 Kafka的设计基于一种非常简单的指导思想:不是要在内存中保存尽可能多的数据,在需要时将这些数据刷新(flush)到文件系统,而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中,但不进行刷新数据的任何调用。实际中这样做意味着,数据被传输到OS内核的页面缓存...[2019/1/7]

Flume+Kafka+Storm+Hbase+HDSF+Poi整合

Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求: 针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据。 举例:这个网站www.hongten.com(当然这是一个我虚拟的电商网站),用户在这个网站里面可以有很多行为,比如注册,登录,查看,点...[2018/12/24]

初识中间件Kafka

初识中间件Kafka Author:SimplelWu 什么是消息中间件? 非底层操作系统软件,非业务应用软件,不是直接给最终用户使用的,不能直接给客户带来价值的软件统称为中间件 关注于数据的发送和接收,利用高效可靠的异步消息传递机制集成分布式系统。 什么是Kafka? Kafka是一种...[2018/12/19]

Flume+Kafka+Storm整合

Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-kafka 再由Storm读取该topic:flume-to-kafka,进行日志分析处理...[2018/12/19]

Kafka web console安装

参考:  http: www.cnblogs.com/yxwkf/p/5092589.html 1. 安装包下载 下载地址:https: github.com/claudemamo/kafka-web-console/releases 目前最新是2.0.0版本 2.编...[2018/12/11]

ELK日志方案--使用Filebeat收集日志并输出到Kafka

  1,Filebeat简介 Filebeat是一个使用Go语言实现的轻量型日志采集器。在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK。 在我们的架构设计中Kafka负责微服务和ELK的分离,Filebeat负责收集微服务的日志并推送到Kafka中,如图: ...[2018/12/3]

Kafka高性能吞吐关键技术分析

Apache Kafka官网提供的性能说明: Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)[2018/11/25]

KakfaSpout自定义scheme

一.Mapper和Scheme scheme:将kafka传到spout里的数据格式进行转化. record->tuple mapper:将storm传到kafka的数据格式进行转化.tuple->record 二.为什么要自定义消息格式 在很多需求里, 从kafka传递过来的数据...[2018/11/23]

当Elasticsearch遇见Kafka

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由michelmu发表于云+社区专栏 Elasticsearch作为当前主流的全文检索引擎,除了强大的全文检索能力和高扩展性之外,对多种数据源的兼容能力也是其成功的秘诀之一。而Elasticsearch强大的数据源兼容能力,主...[2018/11/13]

Kafka安装

1、下载kafka安装包2、将kafaka安装包利用工具加载到Linux系统下3、将kafka安装包解压到/usr/local    tar -xvf kafka -C /usr/local/4、进入到/usr/local/kafka/config目录下    修改server.properties...[2018/11/8]

【转载】kafka 基础知识

【转载】kafka 基础知识

1.       kafka介绍  1.1.       主要功能 根据官网的介绍,ApacheKafka?是一个分布式流媒体平台,它主要有3种功能:   1:It ...[2018/10/30]

RabbitMQ和kafka从几个角度简单的对比

RabbitMQ和kafka从几个角度简单的对比

业界对于消息的传递有多种方案和产品, 本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比 在应用场景方面,RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年1...[2018/9/26]

kafka_2.11-2.0.0_介绍

kafka_2.11-2.0.0_介绍

  1. JMS是什么 1.1. JMS的基础        JMS是什么:JMS是Java提供的一套技术规范   JMS干什么用:用来异构系统 集成通信,缓解系统瓶颈,提高系统的伸缩性增强系统用户体验,使得系统模块化和组件...[2018/9/25]

kafka_2.11-2.0.0_安装部署

kafka_2.11-2.0.0_安装部署

  参考博文:kafka 配置文件参数详解 参考博文:Kafka【第一篇】Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.properties 参考博文:kafka常用配置【重要】 参考博文:kafka...[2018/9/25]

kafka_2.11-2.0.0_常用操作

  参考博文:Kafka消费组(consumer group) 参考博文:kafka 1.0 中文文档(九):操作 参考博文:kafka集群管理工具kafka-manager部署安装          &n...[2018/9/25]

初识kafka

简介     Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。     kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用kafka。这其中很多公司每天通...[2018/9/25]

473
2
记录数:23 页数:1/11
加载更多