SouthPark的专栏

Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档 Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。Boker配置参数下表列出了Boker的重要的配置参数， 更多的配置请参

转自：http://blog.csdn.net/strawbingo/article/details/45366061#t4Kafka Consumer接口http://www.cnblogs.com/fxjwind/p/3794255.html对于kafka的consumer接口，提供两种版本，high-level一种high-level版本，比较简单不用关心of

转自：http://www.aboutyun.com/thread-12882-1-1.html问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的lead

使用Flume做日志收集，flume+kafka做日志收集存储，后面接es存历史日志，storm用于实时分析。对于历史日志来说，尽可能做到不丢不重，实际经验内网环境kafka还是很稳定可靠的，丢日志主要发生在flume重启，所以针对flume进行改造，实现断点续传。主要环境及配置，jdk7，flume1.6版本，agent使用内存channel。自扩展source基于原生ExecSource改造，

问题描述最近使用Spark streaming处理kafka的数据，业务数据量比较大，就使用了KafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是spark的task直接对接kakfa topic partition，能保证消息恰好一次语意，但是此种方式因为没有经过z