解决Flink on Yarn中NoClassDefFoundError问题

具体来说，当Flink在YARN上运行时，可能会出现`java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig`的错误，这表明程序在运行时无法找到jersey-client库中定义的某些类。这通常是由于缺少jersey-client相关依赖，或者应用打包时相关依赖没有正确包含进去导致的。 针对Flink on YARN出现此类依赖问题，可以采取以下步骤进行排查和解决： 1. 确认依赖版本：首先需要确认项目中jersey相关的依赖版本是否与Flink版本兼容。在给定的文件信息中，涉及到了以下jar文件： - flink-hadoop-compatibility_2.12-1.7.1.jar - javax.ws.rs-api-2.0.1.jar - jersey-common-2.27.jar - jersey-core-1.19.4.jar 2. 检查依赖范围：检查jersey相关依赖在项目中的scope是否正确。通常jersey-client不应该在运行时被排除，而jersey-server一般只在开发环境中使用。 3. 修改构建配置：在构建工具（如Maven或SBT）的配置文件中，确保jersey相关依赖没有被排除，并且版本与Flink的Hadoop兼容性模块兼容。如果有必要，更新依赖版本，或添加缺失的jersey-client依赖。 4. 重新打包：更新依赖后，重新打包应用程序，确保所有必要的类都能被打包进最终的jar文件中。 5. 重新部署：将更新后的jar文件重新部署到YARN集群，检查是否还会出现类找不到的异常。 6. 检查类路径：在应用程序启动时，检查类加载器加载的类路径，确认jersey相关的jar文件是否在正确的路径下。 7. YARN配置：如果是在YARN环境中部署，确保YARN的类路径设置能够包含jersey相关依赖，这可能需要修改YARN的配置文件或者通过YARN的提交脚本传递类路径参数。 通过以上步骤的排查和解决，通常可以解决Flink作业在YARN上因缺少jersey相关依赖而引发的`NoClassDefFoundError`问题。解决此类问题需要对Flink、YARN以及项目构建和部署工具有一定的了解，并且需要细致地检查项目配置和打包过程中的依赖管理。"