hadoop及大数据技术生态体系介绍

原创于 2025-08-01 16:28:05 发布 · 1.3k 阅读

CC 4.0 BY-SA版权

文章标签：

2 篇文章

订阅专栏

一、什么是hadoop

Hadoop是由Apache基金会所开发的分布式系统基础架构，旨在解决海量数据存储和计算分析问题。狭义上来说，Hadoop是指Apache Hadoop开源框架，包含以下三种核心组件：

广义上来说，Hadoop通常是指围绕Hadoop打造的大数据生态圈

Hadoop官网：hadoop.apache.org

Hadoop可以由多台廉价普通机器组成，支持TB和PB级别数据存储，并不需要运行在昂贵且高可靠性的硬件上。

HDFS中数据存储有多副本支持数据高可靠性，即使一些副本出现故障也能保障数据可使用。MapReduce计算过程中任务失败，可以自动进行任务重新分配进行任务重试。此外，HDFS和Yarn都支持高可用配置，当主节点挂掉时，可以自动选主切换，保证集群可靠性。

Hadoop集群可以扩展到上千个节点以支持数据存储和计算，节点多支持数据量大、支持更大并行度的并行计算。

Hadoop可以并行在节点之间动态移动数据，保证各个节点数据动态平衡；基于MapReduce进行数据处理计算时，可以并行处理数据，效率极高。

Flume、Logstash和FileBeat常用于日志数据实时监控采集；

维度	Filebeat	Logstash	Flume
资源占用	10 MB 级，CPU 低	JVM 级，>100 MB	JVM 级，中等
部署形态	单进程、二进制即启	单机/集群，需 JVM	分布式 Agent
数据处理能力	几乎无，可加轻量 script	强大（Grok、Date、Mutate 等 200+ filter）	有限（拦截器+正则）
输出生态	ES、Kafka、Redis、Logstash…	几乎万能（ES、DB、MQ、HTTP…）	HDFS、Kafka、HBase、Hive…
容错机制	本地磁盘队列，ACK 重传	持久化队列、死信队列	基于 Channel 的事务、本地磁盘
典型场景	边缘节点、容器、主机	中心汇聚、ETL、富化	离线/实时入湖、Kafka 总线

如何决策？

Sqoop和Datax常用于关系型数据库离线数据采集；

维度	Sqoop	DataX
运行引擎	MapReduce（分布式，启动慢）	单机多线程（轻量，启动快）
吞吐性能	高（并行 Map），测试场景 ≈ 20 MB/s	中低（单机 CPU 瓶颈），测试场景 ≈ 5 MB/s
支持源/目标	仅限 RDBMS ↔ Hadoop 生态（HDFS/Hive/HBase）	任意 ↔ 任意：RDBMS、NoSQL、Hive、HBase、OSS、ES 等
增量同步	仅支持基于数值/时间列的简单增量	支持增量字段、时间戳、CDC 插件
扩展性	官方插件固定，二次开发成本高	插件化框架，自定义 Reader/Writer 简单
运维难度	依赖 YARN、MapReduce 调优	单机即可运行，配置 JSON 即生效
社区状态	Apache 项目，已停止更新	阿里开源，社区活跃，持续迭代

Cannal、Maxwell、flink cdc常用于关系型数据库实时数据采集。

维度	Canal	Maxwell	Flink CDC
支持数据库	MySQL/MariaDB（及阿里云 RDS）	仅 MySQL	MySQL、PG、Oracle、Mongo、SQLServer…
运行模式	独立 Server+Client，需部署	单进程（伪装 Slave）	Flink TaskManager 任务
数据格式	可自定义（protobuf/JSON）	仅 JSON	Flink RowData（可转 JSON/Avro）
历史数据	不支持，需额外脚本	支持 bootstrap 拉全量	全增量一体化，自动切换
语义保证	At-Least-Once（可能重复）	At-Least-Once	Exactly-Once
输出生态	Kafka/RocketMQ + 自写 Client	Kafka/Redis/stdout	所有 Flink Connector（Kafka、Hudi、Iceberg…）
资源占用	中等（JVM）	极低（单进程）	高（依赖 Flink 集群）
运维复杂度	需管 HA、ZK、Client	极低	需 Flink 运维经验
适用场景	阿里系、MySQL 生态、已有 Canal 基础设施	快速 PoC、小团队、轻量同步	实时数仓、入湖入仓、流式 ETL

Hive、Impala和Kylin属于典型的离线OLAP数据分析引擎，主要应用在离线数据分析领域。

维度	Hive	Impala	Kylin
执行方式	MapReduce/Tez/Spark（批处理）	内存 MPP（并行计算）	预计算 Cube（MapReduce/Spark）
查询延迟	分钟-小时级	秒级	秒级
并发能力	低	中-高	极高（> 1000 QPS）
数据量	PB 级	PB 级	TB-PB 级（需预聚合）
SQL 支持	完整 HiveQL	HiveQL 子集（无 UDF）	标准 SQL（维度/度量固定）

Druid、ClickHouse、Doris 都是当下主流的实时 OLAP 引擎，但它们在数据模型、查询延迟、并发能力、运维成本、生态定位上差异明显。

维度	Druid	ClickHouse	Doris
数据模型	预聚合 + 时间分区（Segment）	纯列式、稀疏索引	列式 + 索引 + 物化视图
最佳场景	时序/事件流、监控、日志	单表海量分析、用户行为	实时数仓、统一报表
查询延迟	亚秒级（预聚合）	毫秒-秒级	毫秒-秒级
并发 QPS	10k+	100-1k（依赖节点数）	1k-5k
Join 能力	弱（建议大宽表）	中（Local Join 优化）	强（分布式 Shuffle Join）
运维难度	中（Segment 管理）	中（MergeTree 调优）	低（一键扩缩容，自动均衡）
生态	Kafka、Flink、Superset 深度集成	BI 工具多、社区活跃	MySQL 协议、BI 无缝接入
存储压缩	高（Roaring Bitmap）	极高（LZ4/ZSTD）	高（列存+字典编码）
写入方式	实时流（Kafka Indexing）+ 批量	批量插入/异步写	Stream Load / Routine Load