- 博客(5)
- 收藏
- 关注
RSS订阅原创 Dify及知识库功能、RAGflow
Dify 是一个用于构建 AI 应用程序的开源平台（大语言模型(LLM) 应用开发平台），支持多种大型语言模型，过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具，大大降低了AI应用开发的复杂度。LLM是一种基于深度学习技术的自然语言处理模型，也被称作大语言模型。它可以学习自然语言的语法和语义，从而生成可读的文本。这种模型只用于处理语言文字或符号体系，可以根据提示自动生成符合规律的内容。通常，LLM基于神经网络模型，使用大量的语料库进行训练，比如互联网上的大量文本数据。
2025-04-23 19:32:56
1579
原创 flink写入Drios及写入报错
配置DorisSink以适应JSON格式的数据输入，用于将数据写入Doris数据库，修改为自己的节点地址、数据库、用户、密码即可。TableMapFunction类实现了MapFunction接口，用于将输入的数据转换为String类型。原因：将输入的value对象转换为JSON字符串，选择的Snake Case命名策略，导致映射错误。报错信息：问题在于尝试插入的数据没有匹配到任何已存在的分区。该类主要用于序列化输入对象为JSON字符串，并采用。DEBUG、插入打印信息，数据显示存在打印信息。
2025-03-17 16:25:21
269
原创 Kryo序列化问题
使用pt文件生成的java尝试序列化或反序列化对象时，Flink 使用的 Kryo 序列化器遇到了一个未注册的类 ID。Kryo 是一种高效的 Java 序列化库，默认情况下它不会自动注册所有的类。如果你的应用程序中使用了某些特定的类。
2025-03-14 17:22:27
428
原创 dataX同步失败，hive空文件，Asia/Shanghai时区
做数据迁移时，按时间戳进行分区时，通过hiveSQL普通时间戳转换，会用八个小时的时差，会导致存储数据的时间问题，所以需要使用Asia/Shanghai时区。2.insert overwrite 语句指定了partition值，执行器会先创建分区，最后创建空白数据文件或只有表结构schema的文件。2. 使用动态分区，不在insert overwrite 指定partition值，将partition值作为select 字段之一。检查完后发现hdfs中产生了空文件。情况：一个有数据文件，一个空文件。
2024-11-06 18:00:09
423
原创 hive插入数据报code1、code3
在hdfs上删除了分区，但表未删除分区，在插入时就会导致无法清理该分区信息，进行重新创建分区。2. 设置 hive.exec.max.dynamic.partitions.pernode。1. 设置 hive.exec.max.dynamic.partitions。含义：这个参数控制了每个节点上允许的最大动态分区数。含义：这个参数控制了整个查询中允许的最大动态分区数。1.查看分区，保持hdfs和表分区信息一致。2.分区字段加在查询末尾。
2024-11-06 17:27:42
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人