- 博客(110)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Flink-1.19.2报错及解决方案
Flink序列化问题解决方案摘要 Flink使用过程中遇到ConcurrentHashMap和LocalDateTime无法作为POJO类型的问题，需回退到Kryo序列化，影响性能和状态兼容性。解决方案包括： 替换为Flink原生类型（如Tuple）或符合POJO规范的类； 显式注册Kryo序列化器； 添加Twitter Chill依赖解决Scala扩展不可用问题； 使用TypeInformation系统替代废弃的registerTypeWithKryoSerializer方法。 对于自定义类型，推荐通过T
2025-08-09 09:40:32
803
原创 Doris 报错及解决方案收集
摘要：本文针对Doris数据库常见问题提供解决方案：1.BE节点启动失败，因Tablet元数据损坏，可通过删除损坏文件或清空数据恢复；2.导入数据时事务数超限，建议清理事务或调整配置；3.批量插入时报分区不匹配错误，需检查分区定义、添加新分区或启用动态分区。每种情况均提供多种处理方案，包括简单恢复和高级修复方法，适用于不同紧急程度和业务场景。
2025-08-09 09:22:27
1054
原创 Doris Job的使用局限
【摘要】企业需要将多系统数据同步至Doris进行每日报表统计，当前FlinkCDC已完成数据同步，但人工清洗环节存在自动化需求。尝试使用DorisJob实现定时任务时，发现不支持TRUNCATE、INSERT OVERWRITE和DELETE语句，导致数据清理环节受阻（报错代码1105）。最终采用SpringBoot定时任务方案，通过ScheduledExecutorService或@Scheduled注解实现每日自动执行SQL（先清空表再插入新数据），成功解决自动化需求。该方案相比DorisJob具有更高
2025-06-18 09:29:13
376
原创 一个使用布隆过滤器来做幂等性校验的例子
在工业物联网领域，处理高频率、高顺序要求的采集数据时，确保数据不重复（幂等性）是一个关键挑战。针对每秒需处理2000+条数据的场景，本文探讨了多种幂等性校验方案，包括使用ConcurrentHashMap、Caffeine缓存、Redis/Memcached以及布隆过滤器结合本地缓存。最终选择了布隆过滤器+本地缓存的方案，该方案通过本地快速校验和中心缓存兜底，有效减少了网络开销，实现了每条数据校验仅耗时0.06毫秒的高效处理。通过arthas监控，整个业务逻辑平均处理时间约为0.4毫秒，达到了预期效果。
2025-05-23 18:01:41
342
原创 使用 kafka-console-consumer.sh 指定时间或偏移量消费
在工作中，为了验证上游生产数据与任务处理数据顺序的一致性，常常需要从Kafka中导出指定时间或偏移量的数据进行分析。为了避免每次从头消费全量数据导致的大文件传输问题，推荐使用Kafka自带的kafka-console-consumer.sh工具进行数据导出。具体方案包括根据时间或偏移量消费数据。通过实践，选择根据时间消费的方式更为高效，因为指定时间点的偏移量难以精确获取，且偏移量方案需要指定分区号，操作繁琐。此外，导出的数据不含偏移量，重复定位耗时。使用时间消费时需注意时区转换，确保消费者组名称与生产环境不
2025-05-23 09:46:53
1119
原创 kafka在线增加分区副本数
在物联网项目中，依赖Kafka集群消费特定主题时，因集群中一台机器故障导致数据无法消费。问题根源在于该主题仅设置了一个分区且副本数为一，即使生产端ack设置为all也无法防止消息丢失。为确保即使单节点故障Kafka服务仍能正常运行，需增加主题的分区副本数至broker数。解决方案有两种：一是删除主题后重新创建时设置副本数，二是使用Kafka服务端工具增加副本数。考虑到多个消费者组订阅此主题，第一种方案可能导致未消费数据丢失，因此选择第二种方案。最终通过编写JSON文件并执行Kafka命令成功增加副本数，问题
2025-05-22 10:55:16
496
原创 Doris性能优化建议
1、jdbc连接中添加参数rewriteBatchedStatements=true,将 JDBC 单条插入优化为批量操作。2、将单条插入攒成批后再插入,可先使用redis的zset存储，，每3秒后取出写入表中，写入失败再写回redis的zset。合理设置 分桶数（Bucket），单个分桶大小建议 1-3GB，避免过多小文件导致 Compaction 压力。为减少磁盘IO，可将sys_log_level的值设置为WARN。-- 避免在 FE 中堆积过多的报告任务。-- 为减少磁盘IO。
2025-03-21 09:44:50
1030
原创 Doris中新建用户并设置访问权限
- 每90天强制修改密码。-- 强制密码包含大小写字母、数字及特殊字符。-- 给指定用户设置对应数据库及表的的读取、DDL创建权限。-- 给指定用户设置对应数据库的读取权限。-- 给指定用户设置对应数据库的读取权限。-- 启用密码复杂度检查。-- 创建用户及密码。
2025-03-21 09:27:44
1249
原创 Flink在指定时间窗口内统计均值，超过阈值后报警
统计物联网设备收集上来的温湿度数据，如果5分钟内的均值超过阈值(30摄氏度)则发出告警消息，要求时间窗口和阈值可在管理后台随时修改，实时生效(完成当前窗口后下一个窗口使用最新配置)。物联网设备的数据从kafka中读取，配置数据从mysql中读取，有个管理后台可以调整窗口和阈值大小。使用flink的双流join，配置数据使用广播流，设备数据使用普通流。
2025-02-13 17:26:46
427
原创 SpringBoot中websocket拦截器获取cookie中的token信息
【代码】SpringBoot中websocket拦截器获取cookie中的token信息。
2025-02-13 12:53:30
243
原创 SpringBoot发邮件(带附件)
每个月月初需要对各部门的项目预算、进度、金额使用情况进行统计，统计完成后将报表通过邮件发送到指定的领导邮箱，项目基于SpringBoot实现，那就找SpringBoot发邮件的组件吧。生成excel部分可以按照自己的想法实现，上面缺少部分自定义注解实现部分，照着poi或者easyexcel的示例都可以将表中读取的内容写入excel。通过生产临时文件的方式发送，需要注意发送完成后删除临时文件，否则会产生很多垃圾文件。通过字节数组流的方式发送，好处时不会产生临时文件，没有产生垃圾文件的烦恼。
2024-12-30 16:21:53
503
原创 按照人们阅读Excel习惯来格式化BigDecimal
就是对一些数字的格式化提出了改进建议，比如不要让大数字自动转为科学计数法、浮点数小数点后都是0就不要带出来，根据某列的数值(0-100之间)设置单元格的底色,小于60的标深红色、大于等于60小于70标浅红色,大于等于70小于等于80标浅绿色,大于等于80小于90标中绿色,大于等于90的标深绿色。经常，发现数字的长度超过8位Excel才会将次单元格中的值进行科学计算法转换，解决办法就是判断数字的长度，然后设置单元格存储的值类型。至此，问题得到解决，此处记录一下。
2024-12-30 15:52:02
746
原创 还在找滚动效果吗？你要的滚动效果在这里
使用了上面效果中的中奖名单滚动-停顿滚动，我将相关代码单独提取出来，然后将获取数据的逻辑改为通过ajax异步获取，最终实现了效果。上面页面代码如下，可将代码复制到本地(新建一个文本文件,后缀改为html),粘贴后直接双击打开就可以看到效果，也可以直接下载网盘中的文件，请君按照自己方式便取~jq滚动的公告.html链接: https://pan.baidu.com/s/1ms_Ebwgv59_oQ4Ql8RqMZw?pwd=x3i3 提取码: x3i3
2024-11-29 08:08:20
360
原创 Doris Fe集群出现元数据不断变大的原因
通过将另外两个从节点的角色设置为OBSERVER，集群ID设置为一样的，然后再设置--helper加入到FE 主节点，让主从之间能正常通信，元数据逐渐同步到OBSERVER后会将确认同步好的记录删除。这样doris-meta的磁盘占用也会降下来。
2024-11-12 13:29:40
763
原创 Doris删除超时报错的解决
因为ODS层的数据都在，执行DELETE的这张表清空(TRUNCATE TABLE)，然后让任务重新跑一遍，将历史数据全部跑一遍补上来了。后来想想，此表的查询依然是OK，是否可以建一张与此表结构完全一样的临时表，然后将此表的数据全部导入到临时表，然后删除此表，再将临时表的表名改为此表名。不知大家有没有遇到过，是否更好的解决办法？
2024-10-23 10:52:36
1427
原创 MacPro M3无法运行minikube 和 docker
本想在mac上安装minikube学习一下的，通过brew安装后发现报下面的问题。
2024-10-22 21:37:26
1299
原创 使用docker build自制flink镜像供k8s使用
上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地。链接：https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?链接：https://pan.baidu.com/s/1aKtBuV8NtoHKFCaPn1Zi5w?
2024-10-22 10:08:22
898
原创 Doris FE内存占用持续上升直至无法使用
然后找Doris官方文档，发现频繁refresh catalog xxx 会强制使对象相关的Cache失效，默认开启的采样也比较耗费资源，然后就将代码中refresh catalog全部注释掉，在fe.conf中添加重启FE后观察了一下午，内存持续增长的问题没有再出现了。此解决方案应该不能通用的解决所有FE使用内存持续上升的问题，仅将我自己遇到解决的方式记录下来，不保证能解决你的问题，如果刚好也能解决那时最好。
2024-10-12 15:28:13
1695
原创 MySQL和Doris开窗函数LAG执行时的区别
上面这种方式在Doris下会报错，SQL 错误 [1105] [HY000]: errCode = 2, detailMessage = The default parameter (parameter 2 or parameter 3) of LEAD/LAG must be a constant: lag(`origin_time`, 1, `origin_time`)
2024-09-26 17:29:07
974
原创 k8s使用本地docker私服启动自制的flink集群
目标：使用本地flink环境自制flink镜像包上传到本地的私服，然后k8s使用本地的私服拉取镜像启动Flink集群。
2024-09-16 19:40:42
1609
1
原创 Java开发面试题
昨天面试了一家创业型公司，感觉还是有些挑战的，以下答案是我根据自己的理解写的，有些当时也没答出来，后面查资料了，发出来大家看看，如有问题，欢迎指正。
2024-08-23 11:02:27
708
原创 FCA-FineReport认证试题及答案
在数据集SQL语句中，使用para做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如{para}做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如para做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如{para}(得分：2分 满分：2分)参数的数据字典和报表主体，可以来自不同的数据集，只要参数名一致，即可实现过滤查询(得分：2分 满分：2分)当将一个不需要的列隐藏时，可以通过条件属性设置列宽为0 ，并添加对应的条件(得分：2分 满分：2分)
2024-07-09 15:12:17
1445
原创 谈一谈AI是在帮助开发者还是取代他们
与 Copilot 类似，TabNine 也能够自动补全复杂的代码结构，如循环、条件语句等，但它的一个显著特点是其广泛的兼容性，可以作为插件安装在各种流行的代码编辑器中，如 Visual Studio Code、Atom、Sublime Text、Emacs、Vim 等。2、使用上面的AI工具辅助开发时，其实也有两面性，一面是可以通过AI工具的建议解决问题，但另一面是AI工具给出的答案有问题时(比如给出的答案适用的环境比较老、依赖版本不一致等)也考验使用者的知识和经验去发现，否则可能反被工具所累。
2024-07-07 19:36:30
1533
原创 Mac Pro安装dolphinscheduler报./script/scp-hosts.sh: line 31: declare: -A: invalid option
Mac Pro安装dolphinscheduler报错修复
2024-07-07 18:16:28
224
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人