关闭yarn后作业仍然运行

YARN (Yet Another Resource Negotiator) 是Hadoop生态系统中的资源管理系统，它负责管理和调度集群中的计算资源。在YARN上提交作业通常包括以下几个步骤： 1. **创建应用程序 masters（ApplicationMaster）**: 当你在YARN客户端（如`yarn-client`）上运行一个MapReduce任务或其他分布式应用时，它首先会启动一个`ApplicationMaster`进程。这个进程代表你的应用程序，并负责管理整个作业。 2. **提交申请（Submit Application）**: 向ResourceManager（RM）提交作业描述文件（例如XML或JSON格式），包含作业的基本信息、资源配置需求等。你可以通过命令行工具或者API来提交。 ```shell $ yarn submit your-application.jar ``` 3. **资源分配（Resource Allocation）**: RM接收到作业提交后，会评估集群资源情况并分配适当数量的Container给`ApplicationMaster`。Container是YARN最小的可执行单元，包含了运行用户程序所需的环境。 4. **`ApplicationMaster`与NodeManager通信**: `ApplicationMaster`与每个NodeManager（NM）建立连接，告诉它们如何在节点上启动和监控Containers。 NM负责实际的容器管理和任务调度。 5. **Container启动与任务执行**: Container在指定的节点上启动，并按照`ApplicationMaster`的指示执行用户的程序或任务。 6. **任务进度更新和监控**: `ApplicationMaster`定期与NM交互获取任务状态更新，直到所有任务完成或者失败。 7. **结果收集与作业结束**: 一旦所有任务完成或遇到错误，`ApplicationMaster`报告最终状态，YARN系统关闭不再需要的资源，作业结束。

### 如何停止或关闭 YARN 命令 在 Hadoop 生态系统中，YARN 是一种分布式资源管理框架，用于管理和调度集群中的计算资源。如果需要停止或关闭 YARN 的相关服务，可以通过以下方式完成。 #### 使用 `stop-yarn.sh` 脚本 最简单的方式是通过 Hadoop 提供的标准脚本来停止 YARN 服务。该脚本位于 `$HADOOP_HOME/sbin/stop-yarn.sh` 或者 `$HADOOP_YARN_HOME/sbin/stop-yarn.sh` 文件夹下。运行此脚本可以优雅地终止所有的 YARN 守护进程[^1]。 ```bash $ $HADOOP_HOME/sbin/stop-yarn.sh ``` 上述命令会依次停止 ResourceManager 和 NodeManager 进程，并释放它们占用的资源。 #### 手动杀死 YARN 进程 如果标准脚本未能正常工作或者某些特定场景下需要手动干预，则可以通过以下方法找到并杀掉对应的 YARN 进程： 1. **查看当前正在运行的 YARN 进程** 可以使用 `jps` 工具来识别 ResourceManager 和 NodeManager 的 PID（进程 ID）。 ```bash $ jps ``` 输出可能类似于： ``` 12345 ResourceManager 12346 NodeManager ``` 2. **强制终止指定的进程** 如果确认不再需要这些服务，可以直接使用 `kill` 命令结束对应的服务进程。 ```bash $ kill -9 12345 # 终止 ResourceManager $ kill -9 12346 # 终止 NodeManager ``` 需要注意的是，在生产环境中不建议频繁使用 `-9` 参数强行终止进程，因为这可能导致数据丢失或其他不可预期的行为[^2]。 #### 关闭 Hive Session 后 RemoteDriver 未被清理的原因分析 当提到 HiveSession 已经关闭但 RemoteDriver 尚未关闭的情况时，通常是因为驱动程序仍然保持活动状态等待进一步指令或是存在某种异常状况阻止了它的正常退出过程。具体原因可能是由于客户端与服务器之间的通信中断、超时设置不当或者是内部逻辑错误所致。 对于此类问题，除了检查网络连通性和配置参数外，还应审查应用代码是否存在潜在漏洞以及是否遵循最佳实践处理连接生命周期管理等问题。 #### Windows 下提交 Flink 到 YARN 遇到的问题解决办法 针对在 Windows 平台上尝试向 YARN 提交 Flink 应用却遭遇 “找不到或无法加载主类 org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint” 报错的现象，通常是环境变量配置缺失引起的。确保 CLASSPATH 包含所有必要的 JAR 文件路径；另外也要验证 flink-dist*.jar 是否存在于 %FLINK_HOME%/lib 目录下[^3]。 最后值得注意的一点是在跨平台开发调试期间最好统一操作系统类型以便减少兼容性障碍带来的麻烦。 --- ### 数据集成工具 DataX 在 YARN 上的应用扩展 为了提升企业级大数据迁移效率，许多团队会选择基于 Apache DataX 构建自己的 ETL 解决方案并将之部署至云端容器化架构之上如 Kubernetes 或者传统批处理队列管理系统比如 YARN 来增强并发性能表现。下面给出一段简单的 Java API 实现案例展示怎样利用 Spring Boot 框架封装后的 RESTful 接口发起一次完整的作业请求流程[^4]: ```java @RestController @RequestMapping("/datax") public class DataXController { @PostMapping("/submit") public ResponseEntity<String> submitDataXTask(@RequestBody Map<String, Object> taskConfig) { try { String dataxJsonPath = saveToJsonFile(taskConfig); ProcessBuilder pb = new ProcessBuilder( "hadoop", "jar", "/path/to/datax.jar", "org.apache.hadoop.examples.DataXRunner", dataxJsonPath); Process process = pb.start(); int exitCode = process.waitFor(); if (exitCode != 0) { throw new RuntimeException("Failed to execute DataX job."); } return ResponseEntity.ok("DataX Task Submitted Successfully!"); } catch (Exception e) { return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(e.getMessage()); } } private static String saveToJsonFile(Map<String, Object> configMap) throws IOException { ObjectMapper objectMapper = new ObjectMapper(); File tempFile = Files.createTempFile("datax-", ".json").toFile(); objectMapper.writeValue(tempFile, configMap); return tempFile.getAbsolutePath(); } } ``` 以上片段展示了如何构建一个 HTTP POST 请求接口接收前端传来的 JSON 格式的任务描述信息之后再调用底层 shell 命令启动实际的数据传输动作链路。 ---