数据中心建设之——理解基于 Hadoop 生态的大数据技术架构

基于Hadoop的大数据平台架构建设思虑： 1、数据获得 2、数据汇集和存储 3、数据的管理 4、数据的分析 5、数据的价值：决策支持系统 6、数据的使用

根据煤矿安全生产业务需求及智慧矿山发展要求，新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储，数据集成、业务应用及数据分析难度大等问题，设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算，并应用MapReduce、Spark实现批处理计算和内存计算，解决高频时序数据存储与海量数据计算问题；采用Hadoop分布式文件系统（HDFS）实现文件的可靠存储，并采用HBase分布式存储数据库实现历史数据的持久化存储，利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求；采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能，通过统一的云计算数据中心，有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度，可为智慧矿山建设奠定数据基础。

The basis of this solution is to have one or more mirror Hadoop clusters which will be continuously updated with the data from the primary cluster in either a synchronous method or an asynchronous method by utilizing and improving the existing HA feature, data block replication and data block pipelining. In this solution, we support both synchronously writing and asynchronously replication across datacenters for both namespace and data block.