自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Dify及知识库功能、RAGflow

Dify 是一个用于构建 AI 应用程序的开源平台(大语言模型(LLM) 应用开发平台),支持多种大型语言模型,过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具,大大降低了AI应用开发的复杂度。LLM是一种基于深度学习技术的自然语言处理模型,也被称作大语言模型。它可以学习自然语言的语法和语义,从而生成可读的文本。这种模型只用于处理语言文字或符号体系,可以根据提示自动生成符合规律的内容。通常,LLM基于神经网络模型,使用大量的语料库进行训练,比如互联网上的大量文本数据。

2025-04-23 19:32:56 1518

原创 flink写入Drios及写入报错

配置DorisSink以适应JSON格式的数据输入,用于将数据写入Doris数据库,​​​​​​修改为自己的节点地址、数据库、用户、密码即可。TableMapFunction类实现了MapFunction接口,用于将输入的数据转换为String类型。原因:将输入的value对象转换为JSON字符串,选择的Snake Case命名策略,导致映射错误。报错信息:问题在于尝试插入的数据没有匹配到任何已存在的分区。该类主要用于序列化输入对象为JSON字符串,并采用。DEBUG、插入打印信息,数据显示存在打印信息。

2025-03-17 16:25:21 263

原创 Kryo序列化问题

使用pt文件生成的java尝试序列化或反序列化对象时,Flink 使用的 Kryo 序列化器遇到了一个未注册的类 ID。Kryo 是一种高效的 Java 序列化库,默认情况下它不会自动注册所有的类。如果你的应用程序中使用了某些特定的类。

2025-03-14 17:22:27 427

原创 dataX同步失败,hive空文件,Asia/Shanghai时区

做数据迁移时,按时间戳进行分区时,通过hiveSQL普通时间戳转换,会用八个小时的时差,会导致存储数据的时间问题,所以需要使用Asia/Shanghai时区。2.insert overwrite 语句指定了partition值,执行器会先创建分区,最后创建空白数据文件或只有表结构schema的文件。2. 使用动态分区,不在insert overwrite 指定partition值,将partition值作为select 字段之一。检查完后发现hdfs中产生了空文件。情况:一个有数据文件,一个空文件。

2024-11-06 18:00:09 423

原创 hive插入数据报code1、code3

在hdfs上删除了分区,但表未删除分区,在插入时就会导致无法清理该分区信息,进行重新创建分区。2. 设置 hive.exec.max.dynamic.partitions.pernode。1. 设置 hive.exec.max.dynamic.partitions。含义:这个参数控制了每个节点上允许的最大动态分区数。含义:这个参数控制了整个查询中允许的最大动态分区数。1.查看分区,保持hdfs和表分区信息一致。2.分区字段加在查询末尾。

2024-11-06 17:27:42 292

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除