JobManager日志
ERROR 2024-10-11 09:55:27.381 [flink-akka.actor.default-dispatcher-21:a.r.EndpointWriter@77] [container_e03_1684219709246_3097_01_000001] Transient association error (association remains live)
akka.remote.OversizedPayloadException: Discarding oversized payload sent to Actor[akka.tcp://flink@core-75f4409-03:45402/user/rpc/taskmanager_0#-309080867]: max allowed size 10485760 bytes, actual size of encoded class org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation was 16656583 bytes.
RPC / Akka
Flink使用Akka进行组件之间的RPC(JobManager/TaskManager/ResourceManager)。Flink不使用Akka进行数据传输。
jobmanager通过akka发送给taskmanager的message超过了默认的大小，可以临时先调大。
原因分析
实测删除checkpoint可以正常重启。该文章有相关分析
https://stackoverflow.com/questions/75363084/jobs-stuck-while-trying-to-restart-from-a-checkpoint
本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！
转载请注明出处： 免费源码网-免费的源码资源网站 » Flink任务报错akka size oversized
发表评论 取消回复