Doris_doris属于数据库-CSDN博客

本文链接：https://blog.csdn.net/Fireworkit/article/details/147954810

Apache Doris（原名：Palo）是一个高性能、实时的MPP分析型数据库，非常适合海量数据的即席查询、报表分析、指标统计等 OLAP 场景。Doris 的设计目标是：极致查询性能、简单易用、支持高并发分析和明细查询。

一、Doris 核心特点

特性	说明
MPP 架构	支持大规模分布式并行计算，横向扩展能力强
列式存储	支持高压缩比，聚合类查询性能优异
高并发、低延迟查询	支持上万并发，秒级查询响应
极简架构、易部署	无需依赖 HDFS 或 YARN，单机即可运行
向量化执行引擎	支持 SIMD 加速，提高 CPU 使用效率
支持实时更新	支持流式数据导入（Kafka、Flume、Routine Load）
MySQL 协议兼容	无缝对接 BI 工具、JDBC 直连、可视化友好
完备的多维建模能力	支持宽表、星型/雪花建模

二、Doris 架构组成

                    +--------------------+
                    |    FE（Frontend）  |
                    |   元数据管理/调度   |
                    +--------------------+
                             |
       +---------------------+----------------------+
       |                    |                      |
+-------------+     +-------------+        +-------------+
|    BE-1     |     |    BE-2     |  ...   |    BE-n     |
| Backend 节点|     | 存储 + 计算 |        |             |
+-------------+     +-------------+        +-------------+

- FE: 管理元数据、查询计划、调度
- BE: 实际执行查询、存储数据

三、数据导入方式

模式	场景	说明
Broker Load	离线批量导入	支持从 HDFS/OSS/OBS 加载
Stream Load	实时小批量	支持 HTTP 方式上传文件
Routine Load	实时流式导入	支持 Kafka 实时导入
Insert Into	手动插入	支持 SQL insert
DataX / Flink-Doris-Connector	集成方案	与离线/流处理框架结合

四、表模型类型

类型	适合场景	特点
Duplicate Key	明细表	所有数据原样存储，无聚合
Aggregate Key	指标汇总	支持聚合函数，如 SUM、MAX
Unique Key	明细去重	主键唯一，支持更新
Primary Key（新版）	事务语义更强	更好支持 UPSERT 更新操作

五、典型查询性能对比（以 1 亿行数据为例）

查询类型	Doris 耗时	传统 MySQL 耗时
条件聚合（SUM）	0.2s	10s+
分组聚合（GROUP BY）	0.3s	15s+
高并发（上万请求）	支持	容易 OOM
多维分析	支持	多表 JOIN 效率低

六、使用场景

类型	描述
实时 BI 报表分析	高并发、多维聚合统计
用户行为分析	埋点日志分析、路径追踪
运维/日志监控	秒级日志聚合、异常定位
指标平台建设	PV/UV、DAU、留存率分析
数据中台查询引擎	明细 + 汇总兼顾，替代传统 Hive
IoT 时序数据分析	实时指标计算、大规模聚合

七、与 ClickHouse 对比

特性	Doris	ClickHouse
架构复杂度	简单（无依赖）	中等
实时导入	强（Kafka Routine Load）	弱（写入延迟大）
更新能力	支持更新/删除（Primary Key）	不支持
查询性能	优异	优异（复杂 SQL 更好）
MySQL 兼容	完全兼容	部分支持
使用门槛	低	中等偏高
社区活跃度	Apache 顶级项目	商业公司主导

八、生态集成

工具/平台	是否兼容
BI 工具（如 Superset、FineBI）	✅
Flink / Kafka / DataX	✅
Grafana（SQL 数据源）	✅
Spark / Hive 数据打通	✅
Java 应用（JDBC）	✅

九、简单示例：建表 + 查询

-- 建表
CREATE TABLE user_behavior (
    user_id BIGINT,
    event_type VARCHAR(20),
    event_time DATETIME
)
ENGINE=OLAP
DUPLICATE KEY(user_id, event_time)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("replication_num" = "1");

-- 插入
INSERT INTO user_behavior VALUES (1001, 'click', '2024-05-10 10:00:00');

-- 查询
SELECT event_type, COUNT(*) FROM user_behavior GROUP BY event_type;

十、适合 Doris 的技术选型建议

场景	选型建议
实时明细查询 + BI 报表	✅ Doris
多维指标统计 + 秒级响应	✅ Doris
离线大数据批处理	❌ 推荐 Hive/Trino
实时流计算 + 明细查询	✅ Doris + Flink
实时埋点行为分析	✅ Doris or ClickHouse