使用TDEngine REST API + Python来计算电力指标的ETL真实案例

已于 2025-06-02 10:51:56 修改
阅读量1.1k 收藏 13
点赞数 41
分类专栏： 大数据最全面试题-Offer直通车 Spark/Flink/Doris离线&实时数仓开发 文章标签： tdengine 大数据 时序数据库 数据仓库 etl 离线数仓 pandas
于 2025-06-02 06:26:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linweidong/article/details/148286211
版权

在大数据时代，时序数据的处理已成为核心需求。从物联网传感器数据到金融交易记录，时序数据无处不在。本文是企业生产实践的真实案例，从时序数据库TDEngine读取数据，进行补点操作后，进行求和计算结果，最后把计算结果写入到mysql，可用于离线数仓。

目录

一、TDEngine vs HBase：谁更适合存储物联网数据？

1. HBase 的优势与局限

2. TDEngine 的时序数据优势

二、TDEngine REST API 的便利性

1. 无驱动依赖的优势

2. 简单易用的认证机制

3. 灵活的数据格式

三、实战案例：储能设备数据处理脚本解析

1. 业务背景

2. 脚本核心功能

3. 代码实现深度解析

（1）连接管理设计

（2）批量查询优化策略

（3）数据处理核心算法

（4）多点号数据合并

4. 关键技术细节

5. 离线与实时数仓校对价值

四、亲测可用的完整案例代码

1.运行截图

2.开箱可用的代码

一、TDEngine vs HBase：谁更适合存储物联网数据？

了解本专栏 订阅专栏 解锁全文
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
菜鸟也学大数据的博客
12-20 4183
大数据面试题(完整） 2020大数据面试题真题总结(附答案)：点击这里 技术栈 Hadoop 万亿数据下 Hadoop 的核心竞争力：点击这里 HBase HBase应用与高可用实践：点击这里 Kafka 基于 Kafka 的实时计算引擎如何选择？Spark or Flink ？：点击这里 Kafka 应用实践与生态集成：点击这里 Druid 深入分析Druid存储结构：点击这里 Kylin、Druid、ClickHouse核心技术对比：点击这里 ClickHouse ClickHouse的核心特性及架构：
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告)
数据简化DataSimp社区
08-16 9615
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告) 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读：Google搜索量最大的DB-Engines数据库排名，介绍前几名数据库特点、云AI区块链等数据库服务；展望2018年数据库发展趋势，本文合计40k字详读约需36分钟。最近群里说国内可以重新使用谷歌搜索、谷歌学术...
TDengine 基础功能——数据写入
TDengine(老段）专注时序数据库领域
06-12 1270
本章以智能电表的数据模型为例介绍如何在 TDengine 中使用 SQL 来写入、更新、删除时序数据。
使用 DeepSeek 为 TDengine 创建专属知识库
TDengine(老段）专注时序数据库领域
06-12 1274
简单来说，就是它会脑补一些本来不存在的信息，只要被提问，它默认必须回答；此外，网络内容鱼龙混杂，既有专业文献，也有营销软文、谣言和垃圾信息，即便问题有明确答案，AI也无法判断信息真伪。我们已经构建好了 TDengine 文档手册的知识库～后续还打算添加一些用户案例等内容，让整个知识库更丰满，方便大家更好地学习和掌握 TDengine。通过在日常工作中不断使用这些工具后，我们总结出来，大模型在一些创意、灵感方面，表现不错，常常能给你惊喜；但在深度掌握一门知识，甚至写专业性论文时，则会造成一些困扰。
TDengine 快速体验（云服务方式）
TDengine(老段）专注时序数据库领域
06-10 804
TDengine 可以通过安装包、Docker 镜像及云服务三种渠道快速体验 TDengine 的功能。TDengine Cloud 作为一个全托管的时序大数据云服务平台，致力于让用户迅速领略 TDengine 的强大功能。该平台不仅继承了 TDengine Enterprise 的核心功能特性，还充分发挥了 TDengine 的云原生优势。
Docker + PyFlink1.17 数据写入 MySQL
开码河粉
06-15 301
docker, flink 1.17 , mysql，实现数据etl
互联网大数据求职面试：从Zookeeper到数据挖掘的技术探讨
FS1HelloWord的博客
06-10 758
这篇文章通过对话形式展示了互联网大数据求职者的面试过程，涵盖了从分布式协调到数据挖掘的多个技术点，结合了实际的业务场景，比如电商数据分析和实时数仓等。程序员小白在面试中对技术问题的应对，展现了学习和成长的过程。
Hive 序列化与反序列化：数据的 “打包“ 与 “拆箱“ 艺术
HENANwuyanzu66的博客
06-13 1344
想象一下：你要把一只活蹦乱跳的兔子从北京快递到上海，直接扔箱子里肯定不行 —— 对象在内存里是 "活物"，但要存硬盘、走网络就得先 "打包" 成字节流。这就是序列化的核心使命！
Kafka 2.7.0 单节点安装与启动教程（适配 JDK 1.8）
2301_80484340的博客
06-11 1454
本文详细介绍了Kafka 2.7.0的安装与配置流程。首先下载并解压Kafka文件到指定目录，可选配置环境变量。启动时需要先运行自带的Zookeeper服务，再启动Kafka服务，建议使用不同终端窗口分别保持运行。验证时可通过查看进程和端口确认服务状态。文章还演示了如何创建Topic、测试消息生产和消费功能，并提供了常见问题解决方案（端口占用、JDK版本、Zookeeper依赖等）。最后说明了如何正确停止服务。整个流程涵盖了从安装配置到基础测试的完整操作步骤。
微服务架构下大型商城系统的事务一致性攻坚：Saga、TCC与本地消息表的实战解析
万米商云的博客
06-11 1508
在微服务拆分的商城系统中，分布式事务一致性不再是纯技术命题，而是业务连续性的核心保障。真正的架构艺术，是在分布式世界的复杂性中，重建秩序与信任的桥梁。
Flink CDC MySQL 表字段定义为 decimal 输出乱码问题优雅解决方式
RodJohnsonDoctor的专栏
06-15 168
Flink CDC MySQL decimal字段乱码问题解决方案 摘要：在使用Flink CDC 2.4.0捕获MySQL表数据时，decimal类型字段可能出现乱码问题。这是由于Debezium默认将decimal转为二进制格式，与Flink解析方式不兼容。解决方案是通过自定义JsonDebeziumDeserializationSchema，在配置中设置decimal.format为"numeric"，确保数值格式正确解析。实现步骤包括添加必要依赖、配置自定义转换规则.
RabbitMQ缓存详解：由来、发展、核心场景与实战应用
m0_66884848的博客
06-13 1387
RabbitMQ消息缓存技术解析 本文全面介绍RabbitMQ作为消息缓存的核心技术和应用场景。首先分析其金融行业背景和基于AMQP协议的发展历程。重点对比了RabbitMQ与传统缓存(如Redis)的区别，详细解析其内存管理、持久化策略等核心机制。通过广告系统解耦、秒杀流量削峰等典型场景，展示RabbitMQ的实际应用价值。文章还提供了Spring Boot整合RabbitMQ的实战配置，包括生产者确认、消费者ACK等可靠消息实践。最后探讨了惰性队列、集群部署等高级优化方案，帮助开发者平衡性能与可靠性。
Kafka源码P2-生产者缓冲区
啾啾头号大粉丝打工买粮博客
06-15 548
摘要：本文深入分析了Kafka生产者批量发送消息的核心机制。重点剖析了RecordAccumulator缓冲区如何通过TopicPartition队列维护消息顺序，以及ProducerBatch批次的内存池化管理和线程安全实现。文章还探讨了max.in.flight.requests.per.connection参数与幂等性配置对消息顺序性的影响，揭示了Kafka在高吞吐量场景下保证消息顺序的关键设计。通过源码解读，展示了Kafka如何通过内存预分配和复用策略优化性能，以及如何通过状态机设计确保线程安全。这
【kafka】消息模型与工作原理详解
m0_74749240的博客
06-11 898
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，最初由 LinkedIn 公司开发，并于 2011 年开源。它以高吞吐量、可扩展性、持久性和容错性著称，被广泛应用于日志收集、消息系统、用户活动跟踪、运营指标监控、流式处理等场景。Kafka 能够处理海量数据，并使数据能够被多个消费者同时读取，在大数据生态系统中占据着重要地位。
CTF题目：Apache Flink目录遍历漏洞实战及CVE-2020-17519漏洞分析
Liu_Bruce的博客
06-14 1258
本文分析了Apache Flink目录遍历漏洞CVE-2020-17519的利用过程。通过构造双重URL编码的路径遍历Payload（如..%252f），成功绕过路径过滤，读取了系统敏感文件/etc/passwd，最终在/tmp/flag.txt获取目标flag。漏洞根源在于Flink未对路径参数进行规范化校验，导致攻击者可以通过双重解码跳转目录。修复方案包括升级版本或添加路径规范化检查。本文完整演示了绕过技巧、敏感文件定位思路和漏洞利用链，对安全研究和CTF实战具有指导意义。
SparkUI依赖问题解决方法
m0_73889530的博客
06-14 1002
摘要：用户遇到Spark UI运行时错误NoClassDefFoundError，提示缺少org.glassfish.jersey.servlet.ServletContainer类。分析表明未包含Jersey Servlet集成模块，需要添加jersey-container-servlet依赖。解决方案：在pom.xml中添加Jersey 3.1.10版本的Servlet容器依赖，并确保jakarta.servlet-api保持5.0.0版本。建议后续检查依赖树解决潜在冲突，并处理SLF4J日志绑定问题。
引入 Kafka 消息队列解耦热点操作
m0_47352999的博客
06-13 1154
在我们构建 NovaTube 在线视频分享平台过程中，弹幕写入请求频繁，偶发出现主从同步延迟播放记录写入直接影响视频播放体验用户评论操作影响接口整体响应时间写操作频繁实时性要求不高可异步处理于是，我们决定引入 Kafka 消息队列对这些热点写操作进行解耦和异步化处理，优化系统性能、增强可扩展性与容错能力。@Data架构上的解耦与职责划分用户体验上的提升系统性能上的增强业务扩展上的灵活性在现代高并发系统中，这是极具实用价值的一种架构模式，适用于所有频繁、可延迟、可容错。
Kafka 可靠性保障：消息确认与事务机制（一）
最新发布
qq_42190530的博客
06-15 551
ACK 模式详解、事务型 Producer/Consumer、Exactly-Once 语义实现。
Python实战：高效连接与操作Elasticsearch的完整指南
ztt123654的博客
06-11 809
连接配置需考虑安全性和高可用批量操作比单条操作效率高10倍以上复合查询应合理使用filter缓存深分页避免使用from+size，改用字段类型冲突会导致索引失败官方REST API文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rest-apis.htmlPython客户端源码：https://github.com/elastic/elasticsearch-py。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型大数据攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值