Flink常用指令及端口

最新推荐文章于 2023-08-22 10:12:43 发布
原创 最新推荐文章于 2023-08-22 10:12:43 发布 · 7.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #java #flink #python #centos

本文档详细介绍了Apache Flink的日常操作，包括如何启动和关闭Flink集群，查看运行任务，以及管理任务的提交和取消。通过执行特定的shell脚本，如`start-cluster.sh`来启动集群，`stop-cluster.sh`关闭集群，`flinklist`查看当前任务，`flinklist --all`显示所有任务，`flinkcancel`停止指定任务，以及`flinkrun`提交任务。此外，还提供了JPS进程和监控端口的信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

启动flink

./start-cluster.sh
关闭flink
bin/stop-cluster.sh
查看当前运行的任务
bin/flink list
查看所有的任务
bin/flink list --all
停止当前任务
bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2
提交任务
bin/flink run -c com.offcn.wordCount.wordCountJava
/root/flinkJar/FlinkDeno-1.0-SNAPSHOT-jar-with-dependencies.jar
/opt/module/flink-1.7.0/flink/data/wordcount.txt
/opt/module/flink-1.7.0/flink/wordcount

=启动的jps进程=

StandaloneSessionClusterEntrypoint
TaskManagerRunner

web端口:
监控端口:http://hadoop101:8081/

会飞的鹅_
关注
IT学习笔记--Flink
xudasong123的博客
06-03 1464
Data Sources 就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFunction) 来为你的程序添加数据来源。
Flink部署及集群(高可用)
qq_27960935的博客
09-25 2015
文章目录Flink部署1、下载2、解压3、启动Flink3、开放端口80814、访问ui界面5、测试6、ui界面信息Flink集群配置1、资源分配：2、配置flink-conf.yaml文件3、配置masters文件4、配置slaves文件5、开放8899端口6、启动测试Flink实现JobManager High Availability (HA)修改配置文件启动 flink测试高可用是否生效问题集1、启动Flink报错： Flink部署 1、下载 官网下载地址：http://flink.apache.o
Flink笔记(五)：Windows/Linux 开启端口监听
01-20
1.Windows 开启端口监听        Windows本身是不支持 nc 端口监听的。但是我们可以通过下载 netcat 来是解决这个问题。下载地址：netcat        下载后，进行解压，并将解压后目录下的所有文(.txt 文件除外)，复制到 C:\Windows\System32 目录下，我们便可以在 cmd 命令行使用 nc 命令了。        我们通过命令：nc -help可以查看该命令的使用描述。        使用命令：nc -lp 8888即可开启监听 8888 端口号 2.Linux 开启端口监听       Linux 开启端口监听，也是使用nc命令
Flink 编程接口
weixin_30835933的博客
09-22 373
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界...
Flink
Do_BUG的博客
07-14 2988
Flink
Flink作业开发清单(2)——常用接口
TRX的博客
03-25 1857
开发Flink作业过程需要用到的一些常用接口： 一、创建StreamExecutionEnvironment StreamExecutionEnvironment主要用来配置一些运行参数以及创建Source。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 配置开启Checkpoint（方便作业失败后自动恢复）： env.enableCheckpointing(600
flink入门
kylin_xue的专栏
07-11 439
测试socketWindowWordCount example win10端安装下载netcat(https://eternallybored.org/misc/netcat/netcat-win32-1.12.zip)，将可执行文件加入环境变量Path 执行命令 nc -l -p 9000 （监听9000端口，如果联通可以发送消息）【linux上直接 nc -l 9000即可】 ...
Flink学习（四）-- Flink常用流处理API
he3more的博客
12-06 1214
文章目录Flink流处理APIenvironmentcreateLocalEnvironmentcreateRemoteEnvironmentgetExecutionEnvironmentsourcefromCollection从本地集合获取readTextFile从文件获取socketTextStream 从网络套接字获取从kafka获取数据从其他自定义数据源获取transform 转换算子mapflatMapfilterkeyBy滚动聚合算子未完待续 Flink流处理API flink的流处理API主
大数据常用端口及服务启动命令
奇迹虎虎的博客
02-19 2252
大数据常用端口&服务启动命令，启动hadoop、yarn、zookeeper、hbase、hive、saprk、hase、kafka等等...
flink Standalone模式部署
weixin_43044245的博客
12-19 1555
部署前环境准备(基本的环境变量配置这里就不赘述了) jdk8和flink-1.14.0-bin-scala_2.12 我这里准备了四台服务器，分别为node100~node103 将安装包上传至各个服务器上并解压 直接进入正题 第一步 修改flink-conf.yaml配置文件 jobmanager.rpc.address: node100 //JobManager地址 jobmanager.rpc.port: 6123 //JobManagerRPC通信端口 jobmanager.hea
flink修改默认端口
夜灬狼丶
09-16 4881
部署了一套flink，启动发现默认端口8081被占用，于是去更改默认端口， 第一次没找到，后来再排查的时候发现配置文件中认端口是被注释的(平时查看配置一般都只看未注释项目)，特此记录 flink配置文件如下图所示 $flink_HOME/conf/flink-conf.yaml 大约第143行，解开注释，修改端口号后重启 ...
Flink修改默认端口
qq_56870570的博客
03-22 7423
当你部署了Spark或Azkaban等应用，启动flink时发现默认端口8081被占用，于是得去更改默认端口。 方法如下： 修改配置文件conf里面的flink-conf.yaml和masters。 vim flink-conf.yaml 修改或添加（注意:后有一个空格，否则无法生效）： rest.port: 8082 同时将masters里面的端口也修改为8082 vim masters hadoop01:8082 hadoop02:8082 并将flink-conf.yaml和ma.
IDEA 启动本地 Flink Web UI
修破立生
01-25 5746
本文介绍了如何在 IDEA 启动 Flink Web UI
初识Apache+Flink
ljm13485468232的博客
07-30 372
一、什么是Apache Flink Apache Flink 是一个框架和分布式处理引擎，用于在*无边界和有边界*数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 二、Flink 架构中的重要方面 1、处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 *无界* 或者 *有界* 流来处理。 (1)无界流 有定义流的开始，但没有.
《从0到1学习Flink》—— Flink JobManager 高可用性配置
http://www.54tianzhisheng.cn/
03-03 676
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。 前言 之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写...
【Flink部署】java部署、本地部署(maven-shade工具)、平台部署（windows部署、 linux部署）；端口号修改
最新发布
qq_47450919的博客
08-22 820
1.flink的java部署 01.直接main方法启动 02.idea中可以直接创建web界面并提交直接启动(了解) 2.flink的本地部署(打包成jar包,在黑窗口中运行) 01.maven-shade工具进行打包操作 3.flink的平台部署 01.windows部署(了解) 02.linux部署(掌握) 端口号修改
Flink防火墙开启状态下的端口问题
qq_31866793的博客
12-14 2009
1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口timeout ,实际也是关闭防火墙的情况下，集群可以正常运行。 2，查询官方之后，跟查询源码后，开放端口 在flink-conf.yaml： taskmanager.rpc.port: 50100-50200 metrics.internal.query-service.port: 50201-50300 blob.server.port: 50301-50400 还有默认的端口 8081 6123等端口 ...
Flink学习01 - Flink部署
SeafyLiang的博客
01-20 380
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job ClusterFlink部署 - Kubernetes模式 学习资料 尚硅谷2021最新Java版Flink（武老师清华硕士，
关于Flink 本地测试，自定义WebUI 端口的方法
SuCicada 小米的蝉
09-09 7072
以1.11.1版本举例，相差不大的版本之间大同小异。 当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers
Java环境搭建及Kafka、Flink部署指南
Redis是一款常用的内存数据库，对于流处理系统如Flink来说，它提供了高效的消息队列功能。作者提供了Redis的下载链接和提取码yajs，同样通过XFTP传输到指定目录。解压Redis文件并将其重命名，然后配置gcc环境，因为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值