- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hive 窗口函数：解锁数据处理的 “时空魔法”
除了使用固定的 ROWS BETWEEN 语法，我们还可以通过逻辑表达式来自定义窗口框架。例如，计算每个订单与前一个订单销售额的差值。这里使用 LAG 窗口函数，它可以获取窗口内指定偏移量的前一行数据。通过自定义窗口框架，我们实现了订单销售额差值的计算，为数据分析提供了更多维度的视角。Hive 的窗口函数就像一把神奇的钥匙，打开了数据处理的新大门，让我们能够在复杂的数据中自由穿梭，挖掘出更有价值的信息。
2025-06-18 06:00:00
329
原创 Sqoop 数据迁移翻车现场！Class QueryResult 失踪之谜大揭秘
在数据处理的世界里，Sqoop 作为 MySQL 与 Hive 之间数据迁移的得力助手，常常帮助我们高效地完成数据传输任务。然而，当你满心期待地在 DolphinScheduler 中编写 Sqoop 命令，准备将 MySQL 数据导入 Hive 时，却突然遭遇Class QueryResult not found的报错，原本顺畅的数据迁移之路瞬间被拦路虎挡住，这无疑令人抓狂。别急，本文将带你抽丝剥茧，揭开这个报错背后的秘密，并提供行之有效的解决方案。
2025-06-17 19:45:59
267
原创 Hive 优化秘籍：提升大数据处理效能的关键
Hive优化策略可显著提升大数据查询性能，实际应用中需结合具体场景，通过EXPLAIN分析执行计划进行针对性调整，以平衡查询性能与资源利用率。
2025-05-28 16:41:05
1108
原创 HiveSQL 入门避坑指南：搞懂这些 “BY“，让你的 SQL 少跑 80% 的冤枉路
普通子句影响单次查询性能，带"ed"子句优化数据存储结构提升长期查询效率。合理使用这些子句（如大数据量用SORT BY替代ORDER BY）可显著提升HiveSQL性能。
2025-05-27 12:16:35
510
原创 解锁 HDFS 回收站功能：Hadoop 配置文件修改及服务重启步骤解析
HDFS 的回收站功能默认是关闭的，需要在 NameNode 的配置文件中进行配置才能开启3。开启后，当用户通过 HDFS 的 shell 命令（如-rm-rmr）删除文件或目录时，文件或目录并不会被立即删除，而是会被移动到回收站目录中1。HDFS 会为每个用户创建一个回收站目录，路径为1。
2025-05-21 08:45:26
793
原创 Hive 开发避坑指南：常用小技巧与最佳实践汇总
比如：在shell中，可以查看到当前数据库的名字在hive的家目录下的conf文件夹下，创建 .hiverc 文件cd /opt/installs/hive/conf 下面在这个.hiverc 文件中，添加：注：配置完成后要重新进入。
2025-05-20 20:17:16
270
原创 coze智能体快速入门
扣子是新一代 AI 应用开发平台。无论你是否有编程基础，都可以在扣子上快速搭建基于大模型的各类 AI 应用，并将 AI 应用发布到各个社交平台、通讯软件，也可以通过 API 或 SDK 将 AI 应用集成到你的业务系统中。
2025-05-12 20:26:48
911
原创 Linux中的shell高级部分之sed操作超详细教学
sed，Stream Editor）是 Unix/Linux 系统中强大的文本处理工具，擅长对文本进行等操作。它逐行处理输入数据，执行指定的编辑命令，并将结果输出到标准输出，适合自动化处理大量文本。
2025-05-09 20:40:58
491
原创 Linux中的shell高级部分之awk超详细教学
擅长处理结构化文本（如 CSV、TSV），支持模式匹配、数据处理、格式化输出等功能，甚至包含简单的编程能力。awk 'BEGIN{初始化操作}{每行都执行} END{结束时操作}' 文件名。awk -F ',' '{print $1,$2, $3}' 文件。END {这里面放的是处理完所有的行后要执行的语句 }打印4.txt 中每个学生的姓名以及前两门的成绩。awk '/搜索字符/' score.txt。BEGIN{ 这里面放的是执行前的语句 }{这里面放的是处理每一行时要执行的语句}
2025-05-09 19:49:15
642
1
原创 Linux之mysql8.0的安装
使用这个sql语句可以修复上面的错误！可以这么干：L1i2n3u4x5!exit 退出mysql客户端。2.查看是否有数据库。3.依次安装所需服务。
2025-05-07 20:42:06
383
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人