TDengine中的小型物化聚合(SMA)技术详解

TDengine中的小型物化聚合(SMA)技术详解

TDengine TDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps. 项目地址: https://gitcode.com/gh_mirrors/tde/TDengine

什么是小型物化聚合(SMA)

小型物化聚合(Small Materialized Aggregates，简称SMA)是TDengine时序数据库中用于加速查询性能的重要技术。它通过预先计算并存储聚合结果，使得查询时可以直接使用这些预计算结果，而不需要每次都扫描原始数据进行实时计算，从而显著提升查询效率。

SMA的工作原理

SMA的核心思想是"空间换时间"——通过存储额外的聚合数据来换取查询时的性能提升。TDengine 3.0版本对SMA功能进行了重要增强，提供了更灵活的配置选项。

TDengine中的两种SMA类型

1. 块级SMA(Block-wise SMA)

块级SMA是TDengine默认创建的聚合索引，具有以下特点：

• 自动创建：当数据提交时自动生成
• 存储粒度：基于数据块(block)级别
• 默认聚合函数：sum()、max()、min(*)
• 适用列：默认对所有非binary/nchar类型的列创建SMA

禁用特定列的SMA示例：

-- 创建超级表时禁用b列的SMA
CREATE TABLE st (ts TIMESTAMP, a INT, b INT NOSMA, c DOUBLE) 
TAGS (tg1 BINARY(10), tg2 INT);

2. 时间范围SMA(Time-range-wise SMA)

时间范围SMA是用户自定义的聚合索引，特点包括：

• 按需创建：用户指定时间间隔和聚合函数
• 灵活配置：可自定义时间窗口和聚合函数
• 典型应用场景：固定时间间隔的聚合查询

创建时间范围SMA示例：

-- 创建10分钟间隔的SMA，包含sum、max、min和twa函数
CREATE SMA_INDX sma_10min ON st 
(SUM(*), MAX(*), MIN(*), TWA(*)) 
INTERVAL(10m);

删除SMA索引：

DROP SMA_INDEX sma_5min ON st;

SMA的最佳实践

1. 创建时机：建议在表创建时就定义好需要的SMA，或者在数据量较小时创建
2. 性能考量：创建SMA索引是资源密集型操作，可能耗时较长并阻塞写入
3. 函数选择：根据实际查询需求选择合适的聚合函数
4. 时间间隔：选择与业务查询模式匹配的时间粒度

SMA的查询优化原理

当执行包含聚合函数的查询时，TDengine查询引擎会：

1. 检查是否存在匹配的SMA
2. 如果存在，直接使用预计算的聚合结果
3. 如果不存在，则扫描原始数据进行实时计算

这种机制特别适合以下场景：

• 固定时间窗口的聚合分析
• 大规模数据的统计查询
• 需要快速响应的仪表盘应用

总结

TDengine的SMA技术通过预计算和存储聚合结果，为时序数据分析提供了显著的性能提升。合理使用块级SMA和时间范围SMA，可以优化各种聚合查询场景，特别是在处理海量时序数据时效果更为明显。

TDengine TDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps. 项目地址: https://gitcode.com/gh_mirrors/tde/TDengine