flink1.10 在yarn上运行job报内存超出

最新推荐文章于 2025-05-13 10:51:47 发布
最新推荐文章于 2025-05-13 10:51:47 发布
阅读量5.6k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ASN_forever/article/details/106372923 
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

可以看到，我给jobmanager和taskmanager分别分配了1g内存。

但是运行时报了下面的错。 

意思是说那几项内存总和（372m）超过了配置的total flink memory（132m）。

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).

当我调低jobmanager和taskmanager的内存为100m时，又报下面的错。

意思是配置的JVM Metaspace为700m，JVM Overhead为192m，超过了total process memory配置的200m（ytm）。

./bin/flink run -m yarn-cluster -yjm 500 -ytm 200 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured JVM Metaspace (700.000mb (734003200 bytes)) and JVM Overhead (192.000mb (201326592 bytes)) exceed configured Total Process Memory (200.000mb (104857600 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured JVM Metaspace (700.000mb (734003200 bytes)) and JVM Overhead (192.000mb (201326592 bytes)) exceed configured Total Process Memory (200.000mb (104857600 bytes)).

应该是flink1.10内存模型的原因，查看官网https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/config.html

可以看到，taskmanager.memory.processor.size配置的是total process memory的大小，而taskmanager.memory.flink.size配置的是total flink memory的大小。其中前者包含后者，以及jvm metaspace和jvm overhead。当使用容器化启动时，应该将前者设置为容器内存大小。

前面的都好理解，关键是最后这一句：“当使用容器化启动时，应该将前者设置为容器内存大小”。on yarn模式，容器即为container，而container的大小和个数由几个参数控制：

yarn.scheduler.minimum-allocation-mb #申请container的最小内存（默认是1G）
yarn.scheduler.maximum-allocation-mb #申请container的最大内存（默认是8G）
yarn.nodemanager.resource.memory-mb #resourcemanager内存（默认是8G，与第一条配置的比值即为最大容器数）

我一开始是没有配置这两个参数的，使用的是默认值。后来想是不是因为我机器可以内存只剩4g，而容器数默认为8，导致每个容器的大小为512m不够我默认配置的taskmanager.memory.process.size:1568m，进而产生影响。但是不确定，因为申请的容器不够用时会自动扩容，只有低于最大值就行，所以应该不会有影响才对。不管，先试试再说，于是修改了resourcemanager内存为4g，容器最小容量为2g，然后重启Hadoop使其生效：

flink的默认配置为

再次运行：

./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

发现还是报错：

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).

说明不是这个原因。

那么这个132到底是怎么算出来的呢？？？

不知道。但是看到total flink size是taskmanager.memory.flink.size指定的。而默认配置没有单独配，因此试着修改了一下配置：

再次运行：

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: bytes must be >= 0
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: java.lang.IllegalArgumentException: bytes must be >= 0

发现报了另一个错，并且好像也是因为内存的原因！

 

这时，看到官网的内存模型图：

可以看到，total process memory = total flink memory + jvm metaspace + jvm overhead。

我在命令中指定的jtm=1024m，根据报错知道JVM Metaspace为700m，JVM Overhead为192m，total flink memory为132m。这三项加起来刚好是1024m。与设置的值相符合。

因此，说明设置的jtm太小了！！！根据第一条报错，知道最少还需要240m。这里直接再加1g，总共分片2g给taskmanager，再次运行：

./bin/flink run -m yarn-cluster -yjm 1024 -ytm 2048 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

2020-05-27 14:06:54,099 INFO  org.apache.hadoop.yarn.client.RMProxy                         - Connecting to ResourceManager at master/xxx:8032
2020-05-27 14:06:54,200 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2020-05-27 14:06:54,396 WARN  org.apache.flink.yarn.YarnClusterDescriptor                   - The JobManager or TaskManager memory is below the smallest possible YARN Container size. The value of 'yarn.scheduler.minimum-allocation-mb' is '2048'. Please increase the memory size.YARN will allocate the smaller containers but the scheduler will account for the minimum-allocation-mb, maybe not all instances you requested will start.
2020-05-27 14:06:54,396 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Cluster specification: ClusterSpecification{masterMemoryMB=2048, taskManagerMemoryMB=2048, slotsPerTaskManager=8}
2020-05-27 14:06:57,925 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Submitting application master application_1590554685223_0001
2020-05-27 14:06:58,063 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl         - Submitted application application_1590554685223_0001
2020-05-27 14:06:58,063 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Waiting for the cluster to be allocated
2020-05-27 14:06:58,070 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Deploying cluster, current state ACCEPTED
2020-05-27 14:07:04,905 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - YARN application has been deployed successfully.
2020-05-27 14:07:04,906 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Found Web Interface master:5804 of application 'application_1590554685223_0001'.
Job has been submitted with JobID 770dda740247c797287fc22d88ad3319

可以看到成功运行了！

同时还可以发现，日志中说了jobmanager或taskmanager的内存小于yarn container的最小内存。 The value of 'yarn.scheduler.minimum-allocation-mb' is '2048'。也就是之前修改的yarn-site.xml文件中指定的。日志中建议提高jobmanager和taskmanager的内存，不然可能会出现启动失败的情况。

 

【Flink】Flink 运行到yarn 队列资源不足，导致无法运行
九师兄
03-23 555
后面突然想到以前遇到的问题，我们提交的任务队列被占满了，导致我们的任务一直提交不上去，界面上看着是running状态，实际上还没有运行呢？然后看看flink监控，发现监控室空白的，流计算正常，数据有lag， 日志里面没有报错，但是就是不消费了 界面这里也不显示 速度 等。然后现场决定把所有的别人的任务都干掉，这个本来就是给我们用的，他们却偷偷的用。这个命令可以看到我们运行的队列是哪个，但是发现有别人跟我们运行的队列一样。杀掉所有任务后，发现队列果然空了，然后我们启动我们的任务，启动后我们的果然都有数据了。
【Flink】Flink 任务报错 akka remote connection TooLongFrameException adjusted frame length discarded
九师兄
12-22 3617
taskmanager一直报这个告警，运行一段时间后taskmanager会挂了，这是什么原因导致的？错误如下看起来是netty传输的时候帧太大了。目前尝试把内存调大一点，任务还算稳定，但告警还在。然后去看看源码，在flink所有源码中查询 只发现一个地方配置了参数但是这个参数，又好像被排除了请看下面这里这个插件的使用请参考：然后查看这个参数的说明/**可以看到这个参数默认的值1.25MB，但是被弃用了，建议使用，我们去看看这个参数有啥用。这个参数在定义如下/**
在flink on yarn启动时，由于超过虚拟内存而启动不了的解决办法参考下面的链接
liangsir
07-03 945
https://www.cnblogs.com/xjh713/p/9681442.html
flink的TaskManager 内存模型
最新发布
jiedaodezhuti的博客
05-13 1082
Flink TaskManager 的内存模型是一个多层管理体系，从 JVM 进程到具体任务的内存分配均有明确的逻辑划分和配置策略。
Flink on yarn任务内存调优
weixin_47019045的博客
06-29 1297
flink taskmanager任务运行时的内存模型如下： 可以看到flink taskmanager任务内存主要分为两大块，一个是flink框架和任务本身的内存，一个是jvm本身的内存开销。 taskmanager.memory.process.size 这个配置是配置flink taskmanager任务的总内存，里面各个区域的内存划分flink框架会根据默认比例进行划分，但有时候默认的划分并不能满足我们的需求，容易造成内存和计算资源浪费。 下面将介绍flin
Flink任务物理内存溢出问题定位
TripleDangClark的博客
04-09 9268
首发链接: https://www.jianshu.com/writer#/notebooks/20005301/notes/43493757 问题现象 一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本： 2019-03-17 16:05:28,854 INFO org.apache.flink.yarn.YarnTaskExecu...
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3875
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
05-flink-1.10.1-flink on yarn 流处理WordCount
m0_37813354的博客
08-31 422
1 启动相应服务 ① 启动 hdfs ,启动yarn ② 事先部署好flink 2 打包WordCount代码成jar包 3 上传打包好的jar到客户端机器 4 flink on yarn 4.1 session cluster Session-cluster模式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间，资源永远保持不变，如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交，所有作业共享...
Flink1.10-一些使用的记录
toriycn的博客
07-02 388
Flink1.10使用过程中的一些认知 关于TaskManager/Slot/JobMangaer的认知 上节说过，Flink的3种部署模式。我们选择了Flink on YARN。但是经常听小伙伴抱怨说job不稳定，崩溃，有时候提交任务失败等等； 所以，今天专门针对于基本概念重新认识一下Flink； 脚本 我们的脚本类似于下面这种。没有任何附加参数： nohup bin/flink run -m yarn-cluster -s hdfs:///flink/savepoints/savepoint-*
Flink 搭建 - Flink On Yarn 集群模式
半吊子Kyle的博客
09-05 1万+
Flink 搭建 - Flink On Yarn 集群模式模式说明安装准备安装配置启动测试（Session模式）启动测试（Job 分离模式） Apache Flink 1.10 Documentation 模式说明 将 Flink 的 jar 包提交在 yarn 集群中，由 yarn 集群调度执行，所以我们只需要在 1 台服务器中解压 Flink 安装包就可以，其本质仅仅只是为了提交 Flink 应用到 yarn 集群中 Flink On Yarn 的两种运行模式 ① Session 会话模式 特点：需要事
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2908
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
Flink on yarn 常见错误
热门推荐
Let it go
05-19 1万+
1 Retrying connect to server 2 Unable to get ClusterClient status from Application Client 3 Cannot instantiate user function 4 Could not resolve substitution to a value: ${akka.stream.materializer} ...
too many open files(打开的文件过多)解决方法
大叶子不小的博客
12-12 1万+
too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。这样就可以把当前用户的最大允许打开文件数量设置为2048了，但这种设置方法在重启后会还原为默认值。如果程序中存在这些问题的话，无论系统句柄数设置的多么大，随着时间的推移，也一定会占用完。
Docker中flink-cluster-jobmanager-1运行失败解决方法
m0_71137572的博客
12-10 1533
在这个配置中，我增加了 `jobmanager.memory.process.size` 到 `1600m` 以确保 JVM Overhead 在 `[192mb, 1024mb]` 的范围内。同时，我也增加了 `jobmanager.memory.heap.size` 到 `1024m`。我们需要确保在 `flink-conf.yaml` 中明确设置了 `jobmanager.memory.flink.size` 或 `jobmanager.memory.process.size`。
Flink读Hbase
lucasmaluping的专栏
05-20 696
package tmp import java.util import org.apache.flink.api.scala._ import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction} import org.apache.flink.streaming.api.scala.{D
Flink提交任务到yarn上启动踩坑（一）
wangyu1025391259的博客
01-25 5777
在启动任务的时候报错如下： 错误原因： 必须-c在JAR文件之前指定参数，否则收到错误消息 更改后的提交代码如下： ./bin/flink run -m yarn-cluster -yqu info -yn 3 -c com.flink.dataset.WordCountTest /home/msns/wangyu/flink/flink_test_3.jar 更改后正常运行如下：...
Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size
在前进的路上
03-30 7526
flink 运行任务突然报错，org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 1225
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
Flink集群运行job失败
qq_41999004的博客
06-13 896
背景 本地job可以正常运行,打包上传到集群后输入内容抛出异常 原因:代码依赖中flink 基于scala2.12版本,但是集群上的flink基于scala的2.10版本
在启动flink任务时，指定container的大小和CPU的核数
04-02
<think>好的，我现在需要回答用户关于在启动Flink任务时如何指定容器的大小和CPU核数的问题。首先，我要确保自己理解用户的问题。他们想知道在启动Flink任务时，如何配置容器（container）的资源，比如内存和CPU核数。这可能涉及到Flink的资源配置参数，尤其是在YARN或Kubernetes这样的集群管理平台上运行的情况。 接下来，我需要回忆Flink的相关配置选项。Flink任务的资源分配通常通过配置参数来设置，例如在YARN模式下，可以通过`-yjm`设置JobManager的内存，`-ytm`设置TaskManager的内存。而对于CPU核数，可能涉及到`yarn.containers.vcores`这样的参数，或者使用Kubernetes的资源配置。 用户可能是在使用YARN或Kubernetes部署Flink，所以需要分别考虑这两种情况。另外，如果是独立部署（Standalone），资源管理可能有所不同，但用户可能更关心的是集群管理器如YARN或K8s的情况。 需要确认的关键点包括： 1. 如何为JobManager和TaskManager配置内存大小。 2. 如何设置CPU核数，尤其是在YARN或Kubernetes环境中。 3. 是否有一些特定的参数或配置示例可以提供给用户。 还需要注意，Flink在1.10版本之后对Kubernetes的支持更加完善，而YARN则是传统的部署方式。不同的部署方式可能有不同的配置方式，需要分别说明。 另外，用户可能对容器（container）的理解是YARN中的容器或Kubernetes中的Pod，需要明确说明这两种情况下的配置方法。 可能还需要提到Flink的资源配置参数，例如`taskmanager.memory.process.size`、`jobmanager.memory.process.size`，以及CPU相关的参数如`taskmanager.numberOfTaskSlots`，不过这个参数更多是关于任务槽的数量，可能与CPU核数有关联，但不直接设置CPU核数。在YARN或K8s中，CPU核数可能需要通过集群管理器的参数来指定，例如YARN的`yarn.containers.vcores`或K8s的资源配置。 需要确保给出的配置示例正确，并且参数适用于用户使用的Flink版本。例如，旧版本的Flink可能使用不同的参数名，而新版本可能有所调整。 最后，要组织回答的结构，先介绍总体思路，然后分部署模式（YARN、Kubernetes、Standalone）详细说明配置方法，给出具体的配置示例，并提醒用户注意版本差异和常见问题。</think>在 Flink 任务中指定容器（Container）的大小（内存）和 CPU 核数，需要根据 **部署模式**（如 YARN、Kubernetes、Standalone）通过配置参数实现。以下是具体配置方法和原理说明： --- ### 一、核心概念 - **容器资源**：在分布式集群中（如 YARN/Kubernetes），每个 TaskManager/JobManager 运行在一个容器内，资源分配需通过集群管理器控制。 - **关键参数**： - **内存**：包括 JVM 堆内存、堆外内存、网络缓存等。 - **CPU 核数**：直接决定算子的并行计算能力。 --- ### 二、配置方法（按部署模式） #### 1. **YARN 部署模式** Flink on YARN 时，容器资源由 YARN 分配，需通过 Flink 配置和 YARN 参数共同控制。 - **指定容器内存**： - **JobManager 内存**： ```bash ./bin/flink run \ -yjm <memory> \ # 例如 -yjm 2048m 或 -yjm 2g ... ``` - **TaskManager 内存**： ```bash ./bin/flink run \ -ytm <memory> \ # 例如 -ytm 4096m 或 -ytm 4g ... ``` - **指定 CPU 核数**： - **全局配置**（`flink-conf.yaml`）： ```yaml # 每个 TaskManager 的 vCore 数 yarn.containers.vcores: 2 ``` - **命令行覆盖**： ```bash ./bin/flink run \ -Dyarn.containers.vcores=2 \ ... ``` #### 2. **Kubernetes 部署模式** Flink on Kubernetes 时，资源通过 Pod 的 `resources` 字段定义。 - **自定义资源配置文件**（如 `kubernetes.yaml`）： ```yaml apiVersion: flink.apache.org/v1beta1 kind: FlinkDeployment metadata: name: flink-job spec: taskManager: resource: memory: "4096Mi" cpu: 2 # 指定 TaskManager 的 CPU 核数 jobManager: resource: memory: "2048Mi" cpu: 1 # 指定 JobManager 的 CPU 核数 ``` - **命令行启动**： ```bash kubectl apply -f kubernetes.yaml ``` #### 3. **Standalone 模式** 在独立集群中，资源通过 Flink 配置文件直接分配。 - **配置 `flink-conf.yaml`**： ```yaml # JobManager 内存 jobmanager.memory.process.size: 2048m # TaskManager 内存 taskmanager.memory.process.size: 4096m # TaskManager 的 Slot 数量（间接影响 CPU 使用） taskmanager.numberOfTaskSlots: 2 ``` --- ### 三、配置验证与调优 #### 1. **资源分配规则** - **YARN/Kubernetes**：实际分配的容器资源需满足 `内存 ≥ Flink 配置值 + 系统开销`（通常额外预留 10%~20%）。 - **CPU 核数与 Slot 数**：一个 Slot 默认绑定一个线程，建议 `Slot 数 ≤ CPU 核数` 以避免过度竞争。 #### 2. **查看运行时资源** - **Flink Web UI**： - 进入 `Task Managers` 标签页，查看每个 TaskManager 的 `Allocated Resources`。 - 确认 `Total Process Memory` 和 `CPU Cores` 是否符合预期。 - **YARN 命令**： ```bash yarn application -status <ApplicationID> ``` #### 3. **常见问题与规避** - **问题 1**：容器因内存不足被 Kill。 - **解决**：增大容器内存并预留系统开销（如从 `4g` 调整为 `5g`）。 - **问题 2**：CPU 核数不足导致吞吐量低。 - **解决**：增加 `yarn.containers.vcores` 或 Kubernetes Pod 的 `cpu` 值，并确保 Slot 数匹配。 --- ### 四、完整配置示例（YARN 模式） ```bash ./bin/flink run \ -m yarn-cluster \ -yjm 2048m \ # JobManager 内存 2GB -ytm 4096m \ # TaskManager 内存 4GB -D yarn.containers.vcores=2 \ # 每个容器 2 个 vCore -c com.example.MainJob \ /path/to/job.jar ``` --- ### 五、总结 - **内存配置**：通过 `-yjm`/`-ytm`（YARN）或 `taskmanager.memory.process.size`（Standalone/K8s）控制。 - **CPU 核数**：在 YARN 中通过 `yarn.containers.vcores` 指定，在 Kubernetes 中通过 Pod 的 `cpu` 字段定义。 - **调优原则**：根据实际负载动态调整，避免资源不足或浪费。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值