在使用Flink on YARN时，遇到并行度设置过高任务失败的问题。当并行度从400提升到600时，任务频繁失败。初步分析可能是TaskManager未能正常启动或是与Job Manager通信超时导致。错误日志中未提供明确线索，源码查看显示问题可能出现在TaskManager初始化或运行阶段。尝试登陆和检查报错中的域名，发现网络正常。在重置Kafka offset时，Custom Source状态异常，报错与Job Manager通信超时。增加Job Manager内存后，该问题暂时消失，但出现了Kafka sink超时的新问题。
flink on yarn 并行度设置高了就失败有遇到过没，400的并行度就没事，设置成600就不断失败，是需要做什么额外的配置吗，比如网络缓冲？看报错日志没找到什么相关提示，版本是1.13.2
看了一下源码，发现是你启动的时候 改改初始化 或者 开始运行的时候失败的，感觉像是tm节点没起来就失败了。
其他错误如下
报错中的 这个域名看起来是正常的，能登陆到它，负载也不高，扫了下端口也可通，看样子像是taskmanager连不上job manager
大致是这样，taskmanager获取到了slot，也拿到了Kafka的partition，在重置Kafka offset的时候 Custom Source由RUNNING变成了FAILED，报了和job manager通信超时的错
3217
690
150
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
扫一扫
