我的LOG

chukwa 构建在 hadoop 的 hdfs 和 map/reduce 框架之上的一个开源的用于监控大型分布式系统的数据收集系统。 Chukwa 还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

文章目录1、大数据采集1.1、离线采集：1.2、实时采集：1.3、互联网采集：1.4、其他数据采集方法2、数据存储2.1、 大数据基础技术2.1.1 数据分片路由 任何完整的大数据平台，一般包括以下的几个过程： 数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控) 1、大数据采集 大数据采集框架：Chukwa、Splunk Forwarder、Flume、Fluentd、 Logstash、Scribe。 爬虫技术：Nutch、Heritrix、Scrapy、WebColl