
linux
文章平均质量分 57
诚诚程程成
Web、BigData、NLP
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka集群无法启动问题:broker.id需保持一致
问题描述:新部署的kafka集群出现无法启动问题命令行输入如下没有反应bin/kafka-server-start.sh -daemon config/server.properties解决方法1 查看日志cd logs/cat kafkaServer.out存在如下错误:FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartabl原创 2022-05-27 08:47:52 · 1619 阅读 · 0 评论 -
springboot启动bat/bash脚本
windows有两个脚本,linux有一个脚本,需要用springboot启动着两个脚本contoller层import com.dwc.putdatasystem.service.impl.PutServiceImpl;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.*;import java.io.File;@Res.原创 2022-04-14 09:04:42 · 3049 阅读 · 1 评论 -
Flink CDC 如何简化数据入湖
1 概述CDC 的全称:Change Data Capture 。在广义的概念上,只要是能捕获数据变更的技术,都可以称之为CDC。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术数据湖:数据湖是一个集中式存储库,允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。2 Flink CDC 性能测试阿里巴巴技术专家—伍翀(原创 2022-03-21 16:45:26 · 2685 阅读 · 0 评论 -
Apache Hudi 如何构建新一代数据湖
Hudi如何构建新一代数据湖框架?其表类型有何特性?有何查询方式?原创 2022-01-03 13:06:58 · 1672 阅读 · 0 评论 -
java.long.nullpointerexception
今linux系统中提交job遇到过两次空指针异常,问题无不例外都是数据文件的问题以此数据文件为例空出一行系统会认定是一条数据,但数据类型又与实体类格式不匹配,因此空数据导致报异常。所以将空行删去,bug就解决了...原创 2021-12-28 23:08:07 · 617 阅读 · 0 评论 -
一键启动脚本
hadoop/zookeeper/kafka的一键启动集群脚本原创 2021-12-24 17:02:27 · 1900 阅读 · 0 评论 -
Xshell无法连接克隆的三台虚拟机
问题描述:克隆的三台虚拟机,Xshell突然无法正常连接(今天之前未出现过这种情况)。准确来说,Xshell只能连接最先启动的一台虚拟机,其余两台无法连接。解决方法:一、首先检查三台虚拟机的网络连接是否正常打开VM,分别进入三台虚拟机桌面,右键打开终端,输入ping www.baidu.com图中显示没有问题,Ctrl + C 退出然后依次确保三台虚拟机的网络都没有问题网络有问题的话肯定xshell无法连接,如果网络有问题的话重新配置网络。二、尝试修改 MAC 地址克隆或复制的.原创 2021-12-01 21:36:21 · 4049 阅读 · 3 评论