- 博客(31)
- 收藏
- 关注
RSS订阅原创 部署启动nacos报错No DataSource set 及master-db not found
文章提到没有初始化库表，实际上已经在数据库工具中执行了初始化sqlnacos-mysql.sql。排查start.out和nacos.log无其他额外信息。导致第一个表config_info没有创建成功导致的。最后确定是数据库工具的问题，不识别sql中的注释。
2025-01-18 19:15:38
396
原创 sar -r -f /var/log/sa/sa13
sar 可以从实时系统中收集数据，也可以从以前收集的日志文件中生成报告。这些日志文件通常保存在 /var/log/sa/ 目录下，文件名格式为 saYYMMDD。sar -r -f /var/log/sa/sa13 命令解析。该命令用于从指定的日志文件中生成系统活动报告。/var/log/sa/sa13：指定具体的日志文件路径。-r：从日志文件中读取数据并生成报告。检查 sysstat 服务状态。-f：指定日志文件的路径。
2024-09-24 19:14:31
434
原创 maven 和pom.xml 中的npm 添加代理配置
-DproxySet=true -DproxyHost=127.0.0.1 -DproxyPort=10809<properties> <frontend.package.goal>--proxy=http://127.0.0.1:10809 package</frontend.package.goal> <frontend.check.goal>--proxy=http://127.0.0.1:10809 check</fronten
2024-09-20 14:37:35
574
1
原创 presto/trino native 向量化 大数据计算引擎
一种采用Native Code（C/C++）实现大数据SQL算子来提高查询性能的特性，通过列式存储和向量化执行技术，同时利用鲲鹏加速库，提升算子的执行效率，从而提升查询引擎的查询性能。id=1743187016205637139&wfr=spider&for=pc Velox 简介：开源统一执行引擎。OmniRuntime 华为。
2024-09-12 16:30:50
725
原创 presto用到的框架
Google Guice: Dependency Injection Libraryimport com.google.inject.Binder;import com.google.inject.Injector;import com.google.inject.Module;import com.google.inject.Provides;import com.google.inject.Scopes;import com.google.inject.multibindings.Multi
2024-09-11 17:25:00
318
转载 释放 Fastutil 的强大功能：增强您的 Java 应用程序
Fastutil 拥有专门的集合，专注于速度和内存效率，对于希望充分发挥应用程序潜力的 Java 开发人员来说，它是一款非常有价值的工具。通过将 fastutil 集成到您的项目中，您可以享受更高的性能、更低的内存开销，并满足于知道您正在使用的库真正符合关键字“слов fastutil”的要求。立即开始利用 fastutil 的强大功能，让您的 Java 应用程序飞跃到新的高度。fastutil 提供的针对原始类型的专用集合、减少的自动装箱和高效的数据结构可以显著提高 Java 应用程序的速度和效率。
2024-09-11 15:27:23
434
原创 streampark 连MRS底座报错access hdfs error could not create proxy provider null
参考 改成勾选第一项。
2024-09-10 10:47:19
269
原创 hdfs数据迁移经验
过多的chunk可能导致线程调度开销增加，而过少则可能无法充分利用多核CPU的并行处理能力。对于小文件，并发读取可能不会带来性能提升，反而可能因额外的线程调度开销而降低效率。3、结合数据块大小（dfs.blocksize）确定分片数，尽量单个线程内避免跨越块边界，可能会影响性能。// 例如访问HDFS或其他Hadoop服务。// 例如访问HDFS或其他Hadoop服务。// 进行后续的Hadoop操作。// 进行后续的Hadoop操作。// 指定HDFS上的文件路径。// 指定HDFS上的文件路径。
2024-08-14 12:12:49
523
原创 hdfs冷热数据统计
hdfs dfsadmin -fetchImage ./ hdfs oiv -i ./fsimage_* -t ./temp/dir -o ./fs.csv -p Delimited -delimiter “,”
2024-08-08 11:08:36
337
原创 与普通功能测试相比，准生产的演练测试 有哪些特有的步骤
在准生产演练测试中，会特别强调测试环境与生产环境的高度一致性，包括硬件、操作系统、中间件、数据库版本、网络配置等，以确保测试结果的准确性和可预测性。不仅关注功能的正确性，还会进行性能测试和负载测试，模拟高并发和大流量场景，评估系统的响应时间和资源消耗，确保系统在生产环境下能够稳定运行。通过这些特有的步骤，准生产演练测试能够更全面地评估系统的稳定性和生产就绪状态，为系统的顺利上线和长期运行提供保障。使用实际生产数据的副本或模拟生产数据进行测试，确保数据的完整性和真实性，以便更准确地模拟生产环境中的业务场景。
2024-07-23 14:19:07
455
原创 crontab 的坑
所以同一个命令 手动执行和crontab执行 JAVA_HOME环境变量可能会不一样，走的jre不一样，可能会有隐藏的bug。守护进程在执行计划任务时，使用的是一个非常基础的Shell环境，它并不加载用户级别的。或类似的Shell初始化文件。这意味着在这些文件中设置的环境变量、函数或别名在。此外，每个用户都有自己的。文件，可以在其中定义环境变量。守护进程会加载系统级的。
2024-07-18 20:59:36
258
原创 查看实际使用的jdk jre 反查进程
fuser -v /usr/local/java/bin/javafuser -v /usr/bin/java
2024-07-18 20:55:36
144
转载 pip3 install celery-with-redis==3.0
原因是setuptools 58之后的版本已废弃use_2to3。解决办法是，安装低版本的setuptools。
2024-07-17 15:46:03
97
1
原创 hive 锁相关的配置
hive.support.concurrencyhive.lock.mapred.only.operationhive.query.exclusive.lockhive.lock.numretrieshive.lock.sleep.between.retries
2024-07-11 16:39:02
190
原创 关于hadoop-common 中的_HOST替换 涉及反向解析DNS
有一个配置项 hadoop.security.resolver.impl 默认应该是 org.apache.hadoop.net.DNSDomainNameResolver。重点关注 domainNameResolver.getHostnameByIP。反向解析dns的逻辑 根据ip获取域名。
2024-07-08 11:13:32
453
原创 大象医生 linkedin dr-elephant java.lang.NoClassDefFoundError: Could not initialize class org.apache.hado
dr-elephant-2.1.7/lib 目录下的jackson-databind不可以删除，不然play框架启不来，只能想办法修改 echo `hadoop classpath` 的。类似 /usr/current/hadoop-hdfs-client/lib/*目录下有 jackson-databind的jar jar包冲突。dr-elephant-2.1.7/app-conf/FetcherConf.xml 核心配置文件。一种不通可以试试另外一种。spark有两种配置。
2024-06-20 17:14:33
403
原创 gaussdb 8.1.3 200 flinkcdc（debezium）
gaussdb cdc基于逻辑复制原理，逻辑复制基于逻辑解码插件，逻辑解码插件有decoderbufs和pgoutput两种
2024-05-28 14:54:43
709
1
原创 trino的资源组，资源隔离有什么问题
然而，Trino的资源隔离存在一些局限性，例如它在查询提交时进行资源判断，但查询执行过程中不会进行集群资源限定的判断。4. **资源请求**：在Spark作业提交时，可以通过配置参数（如`--executor-memory`和`--executor-cores`）来请求特定数量的资源，YARN会根据这些请求和集群资源状况来分配资源。6. **资源隔离的弱点**：资源组提供的是一种弱资源限制和隔离功能，它在提交查询时进行资源判断，但SQL执行起来后，不会进行集群资源限定的判断，这可能导致资源隔离不严格。
2024-05-16 18:36:38
552
原创 kafka connect-distributed.properties kerberos配置问题java.io.EOFException at org.apache.kafka.com
但是mysql有数据变更后binlog文件有变动，debezium会起一个producer往kafka里吐数据一直失败。sasl.jaas.config=XXX 等配置后connect可以正常启动。能确定是kafka 开启kerberos导致的，但是尝试这种配置后未果。后Google到开头stackoverflow的文章后，按照修改解决。copy之前的配置 加上 producer. 再配置一遍。kafka版本2.7.2。日志如下：没有有效内容。
2024-04-24 11:27:38
681
3
原创 Connection marked as failed because the onConnect callback failed: This Beat requires the default di
【代码】Connection marked as failed because the onConnect callback failed: This Beat requires the default di。
2024-04-10 23:13:55
667
1
原创 curl kafka-connect 加载不到debezium-mysql的类
plugin.path配置无误，可以扫描并加载部分jar包的类。进程是jdk8启动的，反射加载类是报错了版本不兼容。日志级别改成debug可以看到。原因jar是jdk11编译的。某个jar包的类加载不到。
2024-04-10 23:03:48
228
2
原创 健康检查告警发送失败
盲猜python里中文导致的，改成英文a="system error"后恢复正常了。查看ambari-server.log 可以看到只改了一句 调用异常了。调用脚本没有成功，盲猜因为权限问题导致的，chown后可以调用成功。ambari 调用python脚本 231106后没有告警了。a=b+c,现在需要把a写死成中文 a="系统异常"ls发现 231106后脚本的权限改成了root。
2024-02-27 15:20:50
355
原创 ng openserty apisix 不断产生Core文件导致磁盘满问题
插曲:磁盘满了 kill 进程后，删除140G的日志文件仍然占用空间，（无lsof命令无法确定哪个进程占着文件）；根目录满了无法用yum安装lsof，后来删除了其他目录下的部分文件，成功安装了lsof命令，发现是kill的进程的子进程 还占用着已经删除140G的日志文件。排查结果：启动脚本根据lsof端口号查找旧进程的进程号 机器环境无lsof命令，停旧进程失败 导致。ps看 有2个同样的进程，盲猜端口占用，后启动的进程不断重启导致core文件产生。
2024-02-27 14:53:07
447
原创 max.connections=100
2024-01-25 14:25:33.194 ERROR [http-nio-8888-exec-59] [-] o.a.c.c.C.[.[.[.[dispatcherServlet][175] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is javax.persistence
2024-01-25 14:45:13
377
转载 MySQL、MariaDB、TiDB时间小数秒四舍五入与截断
版权声明：本文为CSDN博主「adrninistrat0r」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。本文链接：https://blog.csdn.net/a82514921/article/details/134887206。原文链接：https://blog.csdn.net/a82514921/article/details/134887206。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
2024-01-16 11:19:45
111
1
原创 使用jsch时遇到 Failed publickey for ＜myusername＞ from＜myip＞ port 23837 ssh2: RSA
报错的机器authorized_key没有添加本机的公钥，添加后再测试成功了。正常的机器从~/.ssh/authorized_key 第7行匹配到了密钥，查看正常机器authorized_key 第7行内容，居然是本机的公钥。查看sshd日志，有差异但是没分析出来。把日志debug打开，发现了关键差异。对比 ssh sshd配置，一致。报错的机器从这日志开始报错了。一台机器正常，一台报错。对比目录文件权限，一致。
2023-06-01 20:07:32
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人