- 博客(5)
- 收藏
- 关注
原创 Dify及知识库功能、RAGflow
Dify 是一个用于构建 AI 应用程序的开源平台(大语言模型(LLM) 应用开发平台),支持多种大型语言模型,过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具,大大降低了AI应用开发的复杂度。LLM是一种基于深度学习技术的自然语言处理模型,也被称作大语言模型。它可以学习自然语言的语法和语义,从而生成可读的文本。这种模型只用于处理语言文字或符号体系,可以根据提示自动生成符合规律的内容。通常,LLM基于神经网络模型,使用大量的语料库进行训练,比如互联网上的大量文本数据。
2025-04-23 19:32:56
1518
原创 flink写入Drios及写入报错
配置DorisSink以适应JSON格式的数据输入,用于将数据写入Doris数据库,修改为自己的节点地址、数据库、用户、密码即可。TableMapFunction类实现了MapFunction接口,用于将输入的数据转换为String类型。原因:将输入的value对象转换为JSON字符串,选择的Snake Case命名策略,导致映射错误。报错信息:问题在于尝试插入的数据没有匹配到任何已存在的分区。该类主要用于序列化输入对象为JSON字符串,并采用。DEBUG、插入打印信息,数据显示存在打印信息。
2025-03-17 16:25:21
263
原创 Kryo序列化问题
使用pt文件生成的java尝试序列化或反序列化对象时,Flink 使用的 Kryo 序列化器遇到了一个未注册的类 ID。Kryo 是一种高效的 Java 序列化库,默认情况下它不会自动注册所有的类。如果你的应用程序中使用了某些特定的类。
2025-03-14 17:22:27
427
原创 dataX同步失败,hive空文件,Asia/Shanghai时区
做数据迁移时,按时间戳进行分区时,通过hiveSQL普通时间戳转换,会用八个小时的时差,会导致存储数据的时间问题,所以需要使用Asia/Shanghai时区。2.insert overwrite 语句指定了partition值,执行器会先创建分区,最后创建空白数据文件或只有表结构schema的文件。2. 使用动态分区,不在insert overwrite 指定partition值,将partition值作为select 字段之一。检查完后发现hdfs中产生了空文件。情况:一个有数据文件,一个空文件。
2024-11-06 18:00:09
423
原创 hive插入数据报code1、code3
在hdfs上删除了分区,但表未删除分区,在插入时就会导致无法清理该分区信息,进行重新创建分区。2. 设置 hive.exec.max.dynamic.partitions.pernode。1. 设置 hive.exec.max.dynamic.partitions。含义:这个参数控制了每个节点上允许的最大动态分区数。含义:这个参数控制了整个查询中允许的最大动态分区数。1.查看分区,保持hdfs和表分区信息一致。2.分区字段加在查询末尾。
2024-11-06 17:27:42
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人