139明-CSDN博客

原创 Maven打瘦包，分离lib

本文介绍了如何通过Maven的lib分离打包方式，将公共包从项目中提取并打包成独立jar，以减少打包体积，加快传输速度，并提高开发效率。通过配置pom.xml和使用特定插件，实现了只在改动时重新打包，有效提升了项目管理的灵活性。

2024-11-06 15:38:29 493

原创 Flink+Kafka+Mysql(8.0)

Flink版本：1.14.6Mysql版本：8.0JDK版本：1.8本实例主要实现功能如下：模拟消息生成->Kafka->Flink->Mysql其中Flink做数据流收集并定时批量写入到Mysql本例使用Intellij IDEA作为项目开发的IDE。

2024-11-06 15:10:03 1420

原创 Linux 安装Flink 1.14.6（单机版）

本文档详细介绍了Apache Flink的安装步骤，包括从官网下载指定版本的安装包，解压，设置环境变量，然后启动Flink。此外，还提供了检查Flink服务状态的方法以及如何通过Web界面进行访问。

2024-11-05 10:44:17 596

Apache Flume 是一个分布式、可靠且可用的系统，专门用于高效地从大量数据源（如日志文件、事件流）中收集、聚合和传输数据到集中式的数据存储系统（如 HDFS、HBase、Kafka 等）。它尤其适合处理日志数据的收集和传输，常用于大数据生态系统中。・大量服务器产生的日志文件需要统一收集并存储到集中式存储系统（如 HDFS 或 HBase）。将实时产生的事件数据流（如社交媒体、传感器数据）传输到分析系统或数据仓库中。・大规模数据的采集。

2024-11-04 14:36:31 1898