- 博客(74)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 MySQL如何进行SQL优化？
SQL优化经验分享：从慢查询到高效执行的实战技巧。文章总结了7个关键优化点：1）子查询改为JOIN可提升60倍性能；2）合理设计索引，关联字段必须建索引；3）多表关联需精心设计，避免复杂计算；4）行列转换先过滤后统计；5）避免ORDER BY RAND()；6）实用小技巧如ORDER BY NULL、优化WHERE顺序；7）强调持续优化的重要性。通过执行计划分析和数据监控，小改动可带来显著性能提升，让数据库查询更快更高效。
2025-07-21 08:00:00
302
2
原创 数据库记录物理删除和逻辑删除哪个更合适?
逻辑删除相比物理删除具有显著优势：1. 作为增量数据获取的前置条件，逻辑删除只需对比更新时间，性能远高于物理删除的全量对比；2. 保留历史数据支持历史分析；3. 可通过冷数据归档实现查询优化；4. 物理删除在多数数据库中并不能实际减少存储占用（存在高水位线问题）；5. 当前存储成本低廉，逻辑删除能以较小存储代价获得多重收益。权衡利弊，逻辑删除是更优选择。
2025-07-21 08:00:00
867
原创 Apache DolphinScheduler系列9-批量停止运行中的工作流
Apache DolphinScheduler系列9-批量停止运行中的工作流。
2025-07-07 08:30:00
420
原创 数据接口增全量设计方案总结
每次调用接口时，返回源系统中指定数据集的完整、最新快照。每次调用接口时，只返回自上一次成功获取数据之后发生变更（增、删、改）的那部分数据。原始系统在做表设计的时，按照规范，有 create_time 和update_time，为我们设计增量，天然提供了很好的条件部分表结构`id` varchar(32) COMMENT '主键' ,…………`is_delete` varchar(1) COMMENT '是否删除' ,
2025-07-07 08:30:00
990
原创 MySQL性能优化：一次让系统飞起来的血泪实战经验
摘要： 本文分享了一次MySQL数据库性能优化的实战经验。通过分析系统性能瓶颈，针对1000万级数据表的慢查询问题，采取了引擎切换（MyISAM到InnoDB）、索引优化（添加关键索引和联合索引）、表结构调整（日期字段类型修正）和分区策略等综合优化手段。同时调整了innodb_buffer_pool_size等关键参数，最终使系统吞吐率提升6倍，关键查询响应时间从3-4秒降至0.3-0.8秒。文章强调数据库优化需要整体考虑引擎、参数、索引、SQL和表结构等因素，并提供了可复用的优化思路和具体SQL示例。
2025-06-30 08:00:00
1104
原创 数据中台该怎么干？
总的来说，数据中台就是把企业的数据资产管理起来，让数据真正为业务服务。但数据中台不一样，它要管数据的整个生命周期——从数据进来到最后被业务用掉，每个环节都得有章法。它本质上是一套完整的规则体系，不是什么高大上的概念，就是把数据这摊子事儿给理清楚、管起来。这里只说实际项目的干法，至于数据中台该用什么平台，用哪些技术模块，市面上有很多，各个公司也有自研的，这里就不展开了。这个阶段最累，各个部门扯皮，业务方说这样，技术方说那样，但这个基础不打牢，后面全是坑。最头疼的是那些"祖传系统"，文档没有，字段含义全靠猜。
2025-06-30 08:00:00
320
原创 一条Rule 让Cursor额度暴涨
本文介绍了一种通过配置Rule规则提升Cursor AI工具使用额度的方法。针对付费用户仍感500次快速请求不足的问题，提出无需安装额外软件的解决方案——在Cursor配置中添加特定Rule规则，利用Windows自带Powershell实现单次会话多次调用，理论可将额度提升至12500次。该方法操作简单（仅需复制粘贴规则），有效延长Claude-4模型使用时长，同时解释了其25次/会话的技术原理及注意事项
2025-06-19 07:00:00
879
原创 Cursor生成Java的架构设计图
Cursor 助力 Java 架构设计可视化 摘要：Cursor 作为一款智能开发工具，通过 AI 技术简化了 Java 项目的架构设计流程。本文介绍了如何利用 Cursor 生成包含多种视图的架构设计图，包括模块依赖图、系统部署图、数据流程图等 8 种类型。重点说明了 Mermaid 语法规范，特别是颜色对比度要求和文本换行技巧（需使用<br>而非\n）。实现步骤包括：安装配置 Cursor、准备工程代码、安装 Markdown 预览插件，并通过特定 Prompt 生成架构文档。该方法显著提升
2025-06-07 15:58:13
1060
原创 使用Conda管理服务器多版本Python环境的完整指南
本文介绍了使用Conda在服务器上管理多版本Python环境的解决方案。针对不同项目对Python版本的特定需求，Conda通过创建隔离环境实现版本和依赖管理，避免全局冲突。文章详细讲解了从安装Miniconda、创建指定版本环境到激活切换环境的操作步骤，并提供了环境克隆、共享配置等高级技巧。对比Pyenv工具，Conda具有预编译版本和全面环境隔离的优势。最后针对常见问题给出排查建议，帮助开发者实现灵活稳定的多版本Python管理。
2025-06-07 15:57:25
855
原创 Cursor生成Java的README文件
本文介绍了如何使用人工智能开发工具Cursor自动生成Java项目的README文件。Cursor通过其内置的Chat功能，能够根据用户提供的提示（Prompt）和工程代码，快速生成结构化的README文档。文章详细说明了生成README的背景、前置条件（如Cursor的安装与配置）、生成Prompt的示例，以及如何查看和预览生成的文档。通过这种方式，开发者可以大幅减少编写文档的时间，同时确保文档的完整性和专业性
2025-05-19 14:48:48
951
原创 隧道 ssh -L 命令总结 和 windows端口转发配置
加密隧道：所有流量通过 SSH 加密传输，避免明文暴露本地端口代理：将本地端口的访问请求转发到远程网络的指定地址和端口绕过防火墙/NAT：通过 SSH 跳板机访问原本无法直接连接的内部服务（如数据库、Web API）
2025-04-23 07:00:00
812
原创 MySQL插入报错Incorrect string value ‘xF0x9Fx92xA1‘ for column
MySQL插入报错Incorrect string value ‘xF0x9Fx92xA1’ for column。
2025-04-07 07:00:00
1074
原创 数据建模工具-PDManer使用技巧-贴源层
在数据治理过程中，我们经常和数据模型打交道，这时候我们就需要一个好的工具，来完成建模这个过程，PDManer就是本文的主角。
2025-03-31 07:00:00
1088
原创 数据建模工具-PDManer使用技巧-模型层
在数据治理过程中，我们经常和数据模型打交道，这时候我们就需要一个好的工具，来完成建模这个过程，PDManer就是本文的主角。
2025-03-31 07:00:00
1743
原创 Apache DolphinScheduler系列8-任务组因MySQL时区报错及经验总结
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，遇到了任务组功能因为MySQL时区的原因报错了，解决思路分享
2025-03-14 07:00:00
1207
2
原创 Apache DolphinScheduler系列7-SQL任务因注释报错及经验总结
不要轻视SQL分段难度作为 Apache 的顶级项目，迭代到 3.2.0 版本还有这种低级的问题，我想可以归结为，都轻视了 SQL分段的难度，觉得这个只需要简单的关键字切分就可以了，事实上，我们公司现在的软件也有类似的问题，简单的使用分号作为分割多段 SQL 的依据，当我们的建表语句里的 comment 里有英文分号，也会导致报错，当然也不只是个例，我记得我上次使用开源工具 Apache Zeppelin 也有类似的问题。不要重复造轮子，使用成熟工具。
2025-03-09 07:00:00
1249
原创 MySQL登录报错 Can’t connect to local MySQL server through socket
在使用MySQL的时候，出现这个报错，整理了一下解决思路
2025-03-08 07:00:00
1179
原创 Apache DolphinScheduler系列6-Datax数据集成
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些使用Datax做数据集成的实际经验
2025-03-06 07:00:00
1050
原创 Apache DolphinScheduler系列5-告警配置经验分享
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些告警配置实际经验，主要是使用飞书
2025-03-04 07:00:00
505
原创 MySQL批量生成建表语句
在使用MySQL的时候，遇到需要在大批量的表中，挑选一部分表，权限又只有只读权限，工具又没有合适的，最终使用了MySQL后台表，生成建表语句，具体的做法
2025-03-04 07:00:00
1139
原创 Apache DolphinScheduler系列4-后台SQL经验分享
Apache DolphinScheduler系列4-后台SQL经验分享。
2025-03-02 07:00:00
1018
原创 Apache DolphinScheduler系列2-数据质量模块技术调研报告
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
2025-02-27 07:00:00
1108
原创 Apache DolphinScheduler系列3-任务配置经验分享
Apache DolphinScheduler系列3-任务配置经验分享。
2025-02-27 07:00:00
1209
原创 Apache DolphinScheduler系列1-单节点部署及测试报告
从部署环境的简介，到部署方案的介绍，以及实际的部署步骤，到解决具体的常见问题，最后给出简单的测试报告
2025-02-23 07:00:00
1567
windows安装spark2软件包.zip
2021-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人