FLINK ON YARN内存计算

最新推荐文章于 2025-01-12 20:14:07 发布
原创 最新推荐文章于 2025-01-12 20:14:07 发布 · 2.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink #yarn

本文详细解读了如何通过FLINKONYARN在YARN上进行任务提交，涉及内存计算的配置，如slot、并行度、JobManager和TaskManager内存设置，以及如何根据这些参数计算YARN所需的vcore数、container数和总内存。实例演示了如何根据ys、p、yjm和ytm计算内存需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

FLINK ON YARN内存计算

在使用命令提交任务到yarn时：

flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G

ys 表示为一个taskManager的slot大小
p 表示任务的并行度
yjm 表示为jobManager的内存大小
ytm 表示为一个taskManager的内存大小

计算公式：

jobManager个数 = 1 固定
taskManager个数 =  p / ys  + 1    向下取整
yarn的vcore个数=slot个数+1
yarn的container个数 = taskManager个数 + jobManager个数
yarn内存数 = jobManager个数 * yjm  +  taskManager个数  *  ytm

在这里插入图片描述
在这里插入图片描述

举例：
ys=2
p=1
yjm=2
ytm=2

计算：
yarn内存数=jobManager个数 * yjm + taskManager个数 * ytm =1*2+(1/2+1)*2=4G

flink任务cpu和内存资源的计算
科学的N次方
06-18 2711
JVM堆大小：JVM堆大小越大，可以同时运行的线程数就越多。因此，我们可以尝试提高JVM堆大小以提高并发度，从而降低CPU和内存的使用量。数据规模：Flink任务需要的CPU和内存与数据规模成正比。如果数据规模较大，那么任务需要更多的CPU和内存来处理数据。Flink任务需要的CPU和内存取决于任务的具体实现和数据规模。并行度：Flink任务的并行度越高，需要的CPU和内存就越多。
【Flink on k8s】- 15 - 将 flink on yarn 迁移到 flink on k8s
欢迎来到我的博客，一起探索代码里的世界！
12-12 874
维护 3 个 HDP 集群使用某云实时计算 Flink。
flink提交命令相关解释
平平无奇小码农~
02-14 4466
一、Flink on Yarn 1.1 、per-job模式 1.1.1、命令 bin/flink run -m yarn-cluster -yn 3 -ys 3 -ynm bjsxt02 -c com.test.flink.wc.StreamWordCount ./appjars/test-1.0-SNAPSHOT.jar 1.1.2、参数解释 -yn,--container <arg> 表示分配容器的数量，也就是 TaskManager 的数量。 -d,--detached：设置在
Flink-on-yarn模式下TaskManager内存分配及计算公式
chensonga的专栏
02-08 1501
在flink-on-yarn模式下，基于flink1.10版本，如何计算flink jvm-heap内存。 先来张官网 flink-on-yarn的内存分布图： 内存主要分为：整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。 内存类型主要分为： 1.、JVM Metaspace ：默认256M； 2、JVM Overhead内存：默认整个container内存的0.1； 最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值
flink内存的计算
qq_42438830的博客
11-20 309
flink使用中内存的使用情况。flink内存划分方式。flink内存的计算。
flink-taskmanager内存计算
catcher92的博客
10-03 1322
flink application模式下计算taskmanager内存大小划分。
Flink 第1章 Flink资源与内存模型占用空间计算方式。
青冬的博客
03-18 4123
Flink 第1章 Flink资源与内存模型 资源配置调优 开发了一些程序，那么怎么评估这些程序所需要的资源配比这些呢？ 比如使用标准的Flink任务提交脚本 Generic CLI模式（通用客户端模型） 从1.11开始，增加了通用的客户端模型 使用-D指定kv变量（这里演示以1.13.2为准）。 bin/flink run \ -t yarn-per-job \ -d \ -p 5\ # 执行并行度 -Dyarn.application.queue=test \ # 指定yarn队列 -Djob
Flink On Yarn部署讲解
靡不有初，鲜克有终
06-18 704
通过上节课的一些学习的话，我们了解了flinkonstandardlow的这样的一种集群部署模式的一些原理，以及它的一些具体的实践的一些操作。从本节课开始的话，我们重点去了解一下flinkon药的一些基本原理，以及它的一个实践的一个操作。首先我们先了解一下要的一个集群的一个架构的一个原理。对于做过大数据开发的这样的一些人员来讲的话，他其实对哈托普ER其实并不陌生。这个是作为我们整个大数据里面非常主流的这样的一个集群资源管理器。提供了这样的一套统一的一个资源管理和调度，以及我们的一个资源的一个操作。
Flink on yarn详解
JustinMars的博客
09-27 1239
Flink提供在Yarn上两种运行模式：Session-Cluster和Per-Job-Cluster，其中Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源，作业可能会互相影响，因此比较适合小规模短时间运行的作业，对于Per-Job-Cluster而言，所有作业的提交都是单独的集群，作业之间的运行不受影响（可能会共享CPU计算资源），因此比较适合大规模长时间运行的作业。
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2402
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1575
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Flink TaskManger 内存计算实战
lisacumt的专栏
09-18 689
flink 内存分配计算实战
Flink_Flink ON YARN containerized.heap-cutoff-min 内存调整
迎难而上
05-26 1732
今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。 （1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 （2）yarn.nodemanager.vmem-pmem-ratio 任务每使用1MB...
Flink之TaskManager内存解析
Baron_ND的博客
04-26 1129
一个正在运行的Flink任务，发现过程中一次checkpoint（下文简称ck）操作失败，如下图所示：checkpoint操作失败ck失败大致分为两种情况，ck decline和ck expire:（1）ck decline发生ck decline情况时，我们可以通过查看JobManager.log或TaskManager.log查明具体原因。其中有一种特殊情况为ck cancel，当前 Flink 中如果较小的ck还没有对齐的情况下，收到了更大的ck，则会把较小的ck给取消掉。（2）ck expire如果
flink内存管理模型(二) ------ 内存分配
lhy18235303007的博客
09-11 1307
本文主要简单介绍TaskManager的内存管理策略，接上文https://blog.csdn.net/lhy18235303007/article/details/108477130。以下均为笔者个人观点，欢迎大家批评指正。 二、 内存分配 flink在启动一个TM的时候，只会通过两个启动参数限制的JVM的内存使用 JVM使用的最大堆内存(-Xms -Xmx) JVM使用的最大堆外内存(-XX:MaxDirectMemorySize) 这两项内存的和即为上述TaskManager使
Flink学习笔记（二）：Flink内存模型
u011047968的专栏
10-08 2897
Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。如配置总内存中所述，另一种配置 JobManager 内存的方式是明确指定 JVM 堆内存的大小（jobmanager.memory.heap.size）。
Flink on yarn (三种模式)-调节集群的核数和内存方法
weixin_48370579的博客
07-24 1396
FLINK on YARN 将flink的任务提交到yarn上运行 1、可以先关闭flink的独立集群 stop-cluster.sh 2、配置HADOOP_CLASSPATH vim /etc/profile # 增加 export HADOOP_CLASSPATH=`hadoop classpath` source /etc/profile 3、启动hadoop start-al...
Flink系统知识讲解之：Flink内存管理详解
最新发布
大数据开发、JAVA开发、人工智能AI
01-12 1945
Flink系统知识讲解之：Flink内存管理详解
Flink on Yarn 模式 提交作业以及TaskManager内存配置
沐霜枫叶
12-09 1273
内存分为整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。JVM Metaspace ：默认256M；JVM Overhead内存：默认整个container内存的0.1；最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值 分配；例如计算的结果为128M，实际按照192M分配；计算结果为1.2G，实际按照1G分配；
flink on yarn 安装 flink 1.16.2
09-14
Apache Flink是一种开源的流处理框架，用于对大规模数据流进行状态计算。YARN（Yet Another Resource Negotiator）是Hadoop的一个子项目，它是一个资源管理系统，可以为各种应用程序（包括Flink）提供集群资源。 要...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值