weixin_43103956的博客

原创 kafka部署和基本操作

producer msg：# 使用控制台生产者写入数据（逐行输入），写入后可以通过kafka-console-consumer.sh实时查看写入结果。该问题实际上是个乌龙，实操通过kafka-console-consumer.sh消费topic，一直没有数据，查看kafka日志，发现了上面日志；2.修改config/zookeeper.properties。1.修改config/server.properties。经验证，发现是没有最新日志写入，所以消费不到日志。消费topic(实时查看写入的日志)

原创 Apache Doris建表总结

分桶数 ≈ 集群磁盘总数 ×（1~2） （如 10 台 BE × 3 盘/台 → 分桶数 30-60）‌单分区数据量‌：建议 10-50GB（避免过小导致元数据膨胀，过大影响迁移效率）varchar(32) NULL COMMENT ‘ip所属省份’,varchar(32) NULL COMMENT ‘ip操作者’,varchar(64) NULL COMMENT ‘会id’,varchar(64) NULL COMMENT ‘会id’,varchar(64) NULL COMMENT ‘会id’,

原创 kafka问题解决笔记

修改：/data3/kafka_2.12-3.9.1/config/server.properties。

原创 Anaconda3卸载和重新安装

anaconda-clean --yes # 自动删除配置文件（备份在~/.anaconda_backup）:ml-citation{ref=“2,7” data=“citationList”}./Anaconda3-2023.01-Linux-x86_64.sh # 运行安装脚本:ml-citation{ref=“3” data=“citationList”}conda create --name 新环境名 --clone 原环境名。

原创 python时间操作笔记

print(f"今天时间上一个小时: {previous_hourAndMin_time_formatted}")print(f"昨天年-月-日: {yesterday_time_formatted}")print(f"前天零点: {day_before_yesterday_zero}")print(f"今天时间上一个小时: {previous_hour_time}")print(f"明天零点: {midnight_24}”)print(f"今天零点: {zero_today}“)

原创 elasticsearch基本操作笔记

verify_certs=False # 自签名证书需关闭验证:ml-citation{ref=“4” data=“citationList”}“field”: “ext.traceId.keyword”, // 确保使用keyword类型字段。“size”: 1000 // 覆盖所有重复项（按需调整）“min_doc_count”: 2, // 只返回出现2次以上的结果。“size”: 0, // 不返回原始文档。b.GET / 执行。

原创 python查询elasticsearch 获取指定字段的值的list

【代码】python查询elasticsearch 获取指定字段的值的list。

原创 linux crontab定时执行python找不到module问题解决

这个问题通常是由于Linux定时任务执行环境与直接执行时的环境不一致导致的，定时任务默认使用系统Python解释器，若脚本依赖虚拟环境，需显式指定虚拟环境中的Python路径；本地window执行正常；生产linux服务器手动执行正常；linux crontab定时执行报错，找不到module；3.问题解决：在定时任务脚本中显式指定Python路径和环境变量。

原创 python查询elasticsearch并将结果插入mysql

from elasticsearch import Elasticsearch报错cannot import name ‘decodestring’ from ‘base64’最终原因：发现elasticsearch==7.15.1，测试环境是7.5，第一次安装的是7.5，于是卸载重新安装。1.准备工作：开发环境安装elasticsearch和pymysql module。python卸载elasticsearch并重新安装适合的module。python 安装elasticsearch module。

原创 高级架构软考之网络OSI网络模型

c.IEEE802、ATM（异步传输）、PPP（点对点协议）、SDLC（同步数据链路控制）、HDLC（高级数据链路控制）、STP（生成树协议）等；a.在物理层基础上，在通讯实体间建立数据链路链接，传输以“帧”为单位的数据包，并采用差错控制和流量控制的方法，无差错的数据链路；c.协议：http、ftp、smtp、telnet、dns、dhcp、pop3等。c.协议：IP、IPX、ICMP、IGMP、ARP、RARP。c.协议：SSL/TLS、JPEG、ASCII等。a.数据可靠的端到端数据传输、并处理报错；

原创 windows的txt文档每行头和末尾添加英文单引号、末尾加英文逗号

方法一：PowerShell脚本（推荐）方法一：PowerShell脚本（推荐）‌方法二：批处理脚本（CMD）方法二：批处理脚本（CMD）

原创 JDBC连接mysql常用参数说明

zeroDateTimeBehavior=convertToNull 将 MySQL 中的 0000-00-00 00:00:00 转换为 null。characterEncoding=utf-8 指定字符编码为 UTF-8，保证数据传输一致性。与数据库服务器时区一致 若数据库时区为 UTC，可能导致时间字段偏差（如存储时间差 8 小时）。禁用 SSL 会导致数据明文传输，存在安全风险（建议测试环境用，生产环境强制启用 SSL）。utf-8 需确保数据库、表和客户端编码均为 UTF-8。

原创 msyql按天按小时统计数量并排序

AND created_date < ‘2025-04-28 00:00:00’ – 精确匹配2025-04-27当天。AND created_date IS NOT NULL – 排除空值。指定日期按小时统计数量并排序。

原创 doris _stream_load There is no 100-continue header 报错解决

request headers增加参数即可：“expect”: “100-continue”

原创 cron表达式

‌不包含 8 点整‌：若需在 8:00 停止，将小时字段改为 23,0-7，最后一次执行时间为 7:55。：23,0-8 表示 ‌当天 23 点 + 次日 0 点至 8 点‌，覆盖完整时间范围。分（Minutes） 0/5 从 0 分钟开始，每 5 分钟触发一次。时（Hours） 8-23 每天 8 点至 23 点之间触发。‌包含 8 点整‌：若需在 8:00 执行最后一次，表达式保持 0-8。需求二：23点到第二天8点 每五分钟执行一次。需求一：每天8点到23点五分钟执行一次。

原创 centos安装python3.9.9总结和笔记

2.上传到centos服务器，我验证的目录为:/data/py3install/Python-3.9.9.tgz。（1）/data/py3install/Python-3.9.9路径问题，第一次home路径错误，导致安装失败。解释说明一下（标记核心的包务必安装。注意路径/data/py3install/Python-3.9.9，路径一定要对。解压：tar -zxvf Python-3.9.9.tgz。两个都是官网地址，本次安装我选择的是3.9.9。

原创 Flink测试环境Standalone模式部署实践

6.优化参看另一篇实践总结：https://blog.csdn.net/weixin_43103956/article/details/145569759?本次验证用的是：https://www.apache.org/dyn/closer.lua/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz。1.下载Flink：https://flink.apache.org/downloads/

原创 MVN the trustAnchors parameter must be non-empt问题解决

分支问题三原因：com.google.guava:guava:jar:32.1.3-jre依赖的是OracleJDK，而我本地安装的是openJDK，用openJDK，证书验证不通过。##在IDE工具IDEA上增加上面参数，继续报错，参考：https://blog.csdn.net/kai563596378/article/details/112699671。（3）分支问题一解决：在当前工程目录下（pom文件所在的目录）执行cmd命令，再执行。至此，全部问题解决，工程跑起来了。Maven官方入门教程链接。

原创 使用spring-boot-starter-test做单元测试简单示例

【代码】使用spring-boot-starter-test做单元测试简单示例。

原创 Test ignored.java.lang.ClassNotFoundException:TestContextAnnotationUtils问题解决

将spring-boot-test版本改成和spring-boot-starter-test版本一致即可。问题：使用@SpringBootTest做单元测试时报错。

原创 pom: unexpected markup ＜!d (position: START_DOCUMENT seen \n＜!d... @2:4) @ line 2, column 4问题解决

解决：把本地maven localRepository 删除掉报错的jar包（C:\appinstall\maven\localRepository\org\lz4\lz4-java\1.7.1），然后重新下载(maven/ Reload project)；原因：jar依赖包报错，我遇到的是lz4-java-1.7.1.jar报错，可以查看报错信息；

原创 Flink提交pyflink任务

1.官方文档：2.提交PyFlink作业 - Submitting PyFlink Jobs #（1）环境检查当前用户可以通过命令行提交PyFlink作业。不要指定 jar 文件路径或者主类入口，跟Java作业提交不一样。当使用 flink run 提交Python作业时，Flink会运行命令 python。请运行下面的命令确保Python可执行程序在当前环境中，并指向Python 3.6+ 版本。

原创 批量修改mysql字符串字段子字符串

将 table_name 表中 column_name 字段的所有 old_value 替换为 new_value。WHERE 子句用于限制只更新包含 old_value 的行（可选）。REPLACE 函数会查找并替换所有匹配的子字符串。

原创 mysql：You are using safe update mode and you tried to update a table问题解决

You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column.问题解决。启用了安全更新模式 (SET sql_safe_updates = 1;或WHERE条件中未使用索引列（KEY column）UPDATE语句中缺少WHERE条件。方案一：修改UPDATE语句（推荐）方案三：调整WHERE条件。方案二：临时禁用安全模式。

原创 Flink内存配置和优化

taskmanager.memory.task.off-heap.size：设置 TaskManager 的堆外内存大小（用于网络缓冲、状态后端等）。jobmanager.memory.process.size：设置 JobManager 的总内存大小，包括堆内存和堆外内存。taskmanager.memory.task.heap.size：设置 TaskManager 的 JVM 堆内存大小。taskmanager.memory.process.size：设置 TaskManager 的总内存大小。

原创 java解析复杂json

二、基于jackson，spring内部解析json也是这个，最终生产上使用的这个；2.test json，精简后的测试json。3.解析源码，代码都是验证过的。一.基于org.json。我个人验证了两个方法。

原创 某集团业务系统和大数据分析架构方案

【代码】某集团业务系统和大数据分析架构方案。

原创 flink报错Could not acquire the minimum required resources.解决方案

taskmanager.numberOfTaskSlots: X(调大点，比如30，50)解决方法是修改配置文件 flink-conf.yaml，重新设置任务槽的数量。

原创 flink job busy(max)100%

主要是消息有挤压，本次遇到的问题是消费kafka offset从earlist开始，消费从十天前开始的，所以出现了短暂的busy(max)100%

原创 【Flink】flink或java异常日志输出不完整问题解决

flink submit job，报错查看日志，只有Caused by: java.lang.ClassCastException，异常详情没有，jvm解决办法：增加jvm参数：-XX:-OmitStackTraceInFastThrow。flink或java异常日志输出不完整问题解决。

原创 git如何忽略文件和取消忽略

idea中文件颜色和git状态的关系。gitignore控制。

原创 idea 文件颜色和git状态对应关系

主参考：https://blog.csdn.net/weixin_37646636/article/details/120442228。

原创 SQL优雅编码总结

例： Create table ， Drop table ， Create database ， Drop database ，Alter table ，grant …a)@Transactional 事务不要滥用，事务会影响数据库的 QPS，另外使用事务的地方需要考虑各方面的回滚方案，包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。当某一列的值全是 NULL 时，count(col)的返回结果为 0，但 sum(col)的返回结果为NULL，因此使用 sum()时需注意 NPE 问题。

原创 mysql问题：‘The last packet successfully received from the server was xxx milliseconds ago‘

（2）从报错信息来看，这里设置的超时是10000毫秒，debug mysql-connector源码，发现有socketTimeout参数的值正好是10000，于是在datasource.url后面socketTimeout参数配置，重启测试发现能被正确识别，正常。1.springboot + druid + mysql 在查询某些比较耗时的sql会报错。（1）sql上增加分页限制不会报错；

原创 org.apache.ibatis.ognl.ParseException: Encountered “ ＜IDENT＞ “AND ““ at line 1

中 的 要， 会报错报错：正确：

原创 Docker logs 命令

获取容器的日志。

原创 docker ps(查看容器列表、查看容器id)

显示所有的容器，包括未运行的。静默模式，只显示容器编号。根据条件过滤显示的内容。列出最近创建的n个容器。启动容器时运行的命令。指定返回值的模板文件。显示最近创建的容器。

原创 Swagger、OpenAPI和springdoc-openapi-ui

OpenAPI 规范（OAS）是一种通用的、和编程语言无关的 API 描述规范，使人类和计算机都可以发现和理解服务的功能，而无需访问源代码、文档或针对接口进行嗅探。springdoc-openapi 的工作机制是基于 Spring 配置、类结构和各种注释，在运行时检查应用程序，推断 API 语义。是一种用于描述RESTFUL API的规范，它提供了一种简单的来描述API的请求和相应参数、错误码、返回数据类型等信息，是开发者可以方便了解API使用方式。三、springdoc-openapi-ui。

原创 微服务项目技术栈选型参考-备份

原创 Swagger、OpenAPI和springdoc-openapi-ui入门

OpenAPI 规范（OAS）是一种通用的、和编程语言无关的 API 描述规范，使人类和计算机都可以发现和理解服务的功能，而无需访问源代码、文档或针对接口进行嗅探。始于 Swagger 规范，Swagger 规范已于 2015 年捐赠给 Linux 基金会后改名为 OpenAPI，并定义最新的规范为 OpenAPI 3.0。：是一种用于描述RESTFUL API的规范，它提供了一种简单的来描述API的请求和相应参数、错误码、返回数据类型等信息，是开发者可以方便了解API使用方式。(4)yaml文件配置。