了解ODS、DW和DM概念

### 数据仓库分层架构概述 #### ODS (操作型数据存储) ODS 是一种介于源系统和数据仓库之间的临时区域，用于接收来自多个源系统的原始交易数据。这些数据几乎不做任何转换处理就被加载进来，保持了最接近源系统的状态。由于其主要目的是为了快速访问最新的业务活动信息，因此通常只保留较短时间内的记录，一般不会超过一个月的时间跨度[^3]。 ```sql INSERT INTO ods_sales_data ( SELECT * FROM source_system.sales WHERE transaction_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 1 MONTH); ) ``` #### DW (数据仓库) 数据仓库是从 ODS 获取经过清洗、转换后的高质量历史数据，并依据特定的主题域构建多维模型来支持复杂的查询分析需求。这里的数据具有较高的稳定性和一致性，可以追溯多年的历史变化趋势，适合长期保存并供企业内部各部门共享使用。与 ODS 不同的是，DW 中的数据往往会被定期归档而不是简单删除，从而确保能够满足长时间范围内的数据分析要求[^1]。 ```sql CREATE TABLE dw_customer_transactions AS WITH cleaned_ods_data AS ( SELECT DISTINCT customer_id, product_id, SUM(amount) as total_amount FROM ods_sales_data GROUP BY customer_id, product_id ) SELECT c.customer_name, p.product_description, ct.total_amount FROM customers c JOIN products p ON c.id = p.customer_id JOIN cleaned_ods_data ct ON c.id = ct.customer_id AND p.id = ct.product_id; ``` #### DM (数据集市) DM 则专注于某一具体的业务领域或部门，基于 DW 提取出来的高度聚合的信息创建专门的应用程序视图。它更贴近最终用户的实际应用场景，提供了更加直观易懂的结果展示形式，比如报表、仪表盘等。通过这种方式，管理层可以直接获取所需的关键绩效指标(KPIs)，辅助日常运营管理和战略规划决策过程[^2]。 ```sql CREATE VIEW dm_monthly_sales_report AS SELECT EXTRACT(YEAR_MONTH FROM sale_date) AS year_month, region, SUM(sales_value) AS monthly_sales FROM dw_customer_transactions GROUP BY year_month, region; ```