doris模型

<think>我们正在处理关于Doris数据库模型的查询。用户要求了解Doris模型介绍及使用指南。根据提供的引用，特别是引用[2]，我们可以提取关于Doris数据模型的关键信息。引用[2]详细描述了Doris的三种数据模型：Duplicate、Aggregate和Unique模型，以及它们的适用场景和高级技巧。此外，引用[3]提供了关于索引的信息，这对于优化查询性能很重要。我们将组织回答如下： 1.介绍Doris的三种数据模型及其特点。 2.说明每种模型的适用场景（根据引用[2]中的选型建议）。 3.提供一些高级技巧和最佳实践（如分区、分桶、索引等）。4.简要提及底层原理（存储结构和更新机制）以加深理解。注意：回答中需要遵循系统级指令，包括数学表达式的格式和引用标识的添加。由于用户问题中引用了三个引用，我们在回答中会自然地引用它们。 最后，生成相关问题。</think>### Doris数据模型介绍及使用指南 #### 一、核心数据模型 Doris提供三种数据模型，满足不同业务场景需求： 1. **Duplicate模型** - **特点**：存储原始明细数据，不进行任何聚合 - **适用场景**：用户行为日志、设备传感器数据、应用性能监控等需要完整原始数据的场景[^2] - **示例建表语句**： ```sql CREATE TABLE log_data ( ts DATETIME, device_id INT, event_type VARCHAR(32), log_content TEXT ) DUPLICATE KEY(ts, device_id) ``` 2. **Aggregate模型** - **特点**：自动聚合相同维度的指标数据 - **实现原理**：通过"合并聚合"（Merge-Aggregate）过程处理数据[^2] - 导入阶段内存预聚合 - 后台定期合并小文件 - 查询时执行最终聚合 - **适用场景**：网站访问统计、销售报表、运营指标监控等汇总分析场景[^2] - **示例建表语句**： ```sql CREATE TABLE sales_agg ( region VARCHAR(50), product_id BIGINT, sale_date DATE, total_sales INT SUM, max_price DOUBLE MAX ) AGGREGATE KEY(region, product_id, sale_date) ``` 3. **Unique模型** - **特点**：保证主键唯一性，实现主键更新 - **更新机制**：采用"标记-删除+插入"方式[^2] - 新数据标记旧数据为删除状态 - 插入新版本数据 - 查询时自动过滤删除标记 - **适用场景**：用户资料、商品信息、订单主数据等需要唯一主键的业务实体[^2] - **示例建表语句**： ```sql CREATE TABLE user_profile ( user_id BIGINT, name VARCHAR(50), last_login DATETIME, vip_level INT ) UNIQUE KEY(user_id) ``` #### 二、底层存储原理 1. **列式存储结构** - 数据按列压缩存储，提升查询效率 - 存储层级：表(Table)→分区(Partition)→分片(Tablet)→段(Segment)→列(Column)→页(Page)[^2] 2. **分区与分桶优化** - 分区策略：按时间或业务键划分（如`PARTITION BY RANGE(sale_date)`） - 分桶策略：按高查询频率列分桶（如`DISTRIBUTED BY HASH(product_id)`） #### 三、性能优化实践 1. **索引策略** - **前缀索引**：基于排序键快速定位数据 - **倒排索引**：加速全文检索 - **BloomFilter索引**：优化等值查询效率 - **ZoneMap索引**：利用统计信息跳过无关数据块[^3] 2. **混合模型使用** ```mermaid graph LR A[原始日志] -->|Duplicate模型| B[原始数据层] B -->|ETL处理| C[Aggregate模型] C -->|聚合数据| D[汇总指标层] B -->|维度提取| E[Unique模型] E -->|用户画像| F[维度数据层] ``` 3. **生命周期管理** - 设置TTL自动过期数据（如`PROPERTIES ("storage_cooldown_time" = "2025-01-01"）`） - 冷热数据分层存储 #### 四、使用指南 1. **登录集群**： ```bash mysql -h FE_HOST -P9030 -uroot ``` 内置root/admin用户，默认密码为空[^1] 2. **模型选型决策流程**： ```mermaid graph TD A[数据是否有唯一主键？] -->|是| B[选择Unique模型] A -->|否| C[需要保留原始明细？] C -->|是| D[选择Duplicate模型] C -->|否| E[选择Aggregate模型] ``` 3. **查询优化建议**： - 对高频过滤条件创建索引 - 使用`EXPLAIN`分析查询执行计划 - 通过`SHOW PROFILE`验证索引生效情况[^3] > **性能警示**：不合理的模型选择可能导致存储膨胀和查询劣化。例如在日志场景使用Unique模型，可能使数据量增长10倍以上。