跑代码时ssh中断怎么恢复？

### 解决SSH连接下训练机器学习模型过程中的网络中断 为了确保在网络不稳定的情况下能够持续进行机器学习模型的训练，可以采取多种策略来增强系统的鲁棒性和可靠性。 #### 使用NoHup命令与Screen/Tmux工具组合 当通过SSH远程执行长时间运行的任务时，推荐使用`nohup`命令结合`screen`或`tmux`会话管理器。这允许即使SSH断开也能继续执行程序[^1]： ```bash nohup python train_model.py & ``` 对于更复杂的交互需求，创建一个新的`screen`会话并从中启动训练脚本是一个不错的选择： ```bash screen -S training_session # 在此窗口内启动Python脚本... python train_model.py # 可以按Ctrl+A再按D键分离当前会话而不终止进程 ``` 或者利用`tmux`实现相似功能： ```bash tmux new -s training_session # 同样在此终端里跑起Python代码... python train_model.py # 输入Ctrl+B再松开后按下d即可脱离该session ``` 这两种方法都可以让用户的操作不受限于特定的SSH连接状态，从而有效预防因意外掉线而导致的工作丢失问题。 #### 实现自动重连机制 除了上述手段外，在编写分布式计算框架下的应用程序时还可以考虑加入心跳检测以及相应的异常处理逻辑，以便在短暂失联之后重新建立通信链路并恢复未完成的数据传输任务。不过这类方案通常较为复杂，适用于大型集群环境而非简单的单机实验场景。 #### 记录中间结果定期保存 无论采用何种方式维持稳定的服务端作业流程，都建议频繁地将临时成果写入磁盘文件或其他持久化存储介质之中。这样即便发生不可抗力事件造成整个系统崩溃重启，也可以从最近一次成功备份的位置快速回溯进展而不是全部推倒重来。 例如可以在训练循环内部每隔固定轮次调用如下函数来进行参数快照保留： ```python import torch def save_checkpoint(model, optimizer, epoch, path='checkpoint.pth'): checkpoint = { 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'epoch': epoch, } torch.save(checkpoint, path) for e in range(num_epochs): # ...训练迭代... if (e + 1) % save_interval == 0: save_checkpoint(model, optimizer, e+1) ``` 这样做不仅有助于应对突发状况带来的风险，同时也方便后续对比不同版本之间的性能差异变化趋势。