Swin Transformer只用单卡

### Swin Transformer 单卡训练配置方法 为了使 Swin Transformer 模型能够在单个 GPU 上运行并完成训练，可以按照以下方式进行配置： #### 1. 修改预训练权重 如果使用的预训练模型与当前任务类别数量不一致，则需要先修改预训练权重以适配新的分类数。可以通过脚本 `modify.py` 来调整权重文件中的分类头参数[^2]。 ```bash python modify.py --weights mask_rcnn_swin_tiny_patch4_window7_1x.pth --num_class 4 --output model_new.pt ``` 上述命令会将原始预训练权重文件中的分类头部分替换为适合新数据集的设置（此处指定为 4 类），并将结果保存到 `model_new.pt` 文件中。 --- #### 2. 使用单卡训练命令 对于 MMDetection 框架下的 Swin Transformer 训练，可以直接通过工具脚本启动单卡训练过程。以下是具体命令示例[^3]： ```bash sudo python tools/train.py configs/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py --options "classwise=True" ``` 此命令指定了一个基于 Swin Transformer 的 Mask R-CNN 配置文件，并启用了按类别划分的学习率策略 (`classwise=True`)。该方式适用于单张显卡环境下的训练需求。 注意： - **配置文件路径** 应当指向实际存在的 `.py` 文件位置。 - 如果自定义了其他超参或者网络结构改动，请同步更新对应配置项。 --- #### 3. 调整批量大小 (Batch Size) 由于单卡资源有限，在某些情况下可能无法支持默认的大批量尺寸。此时需降低 batch size 参数来缓解内存压力。可以在配置文件内部找到如下字段进行编辑[^1]: ```python data = dict( samples_per_gpu=2, # 原始值可能是更大的数字 workers_per_gpu=2, train=dict(...), val=dict(...) ) ``` 这里建议把 `samples_per_gpu` 设置成较小数值比如 2 或者更少，视硬件条件而定。 另外也可以考虑开启梯度累积技术作为补充手段，从而间接实现较大有效批次的效果而不增加即时消耗。 --- #### 4. 硬件兼容性优化 针对特定版本 CUDA 和 cuDNN 可能引发性能瓶颈的情况，确认安装驱动程序以及库函数均匹配 PyTorch 所依赖的标准规格；同时利用 Apex 自动混合精度加速计算流程进一步提升效率减少功耗占用比例。 ```python from mmcv.runner import set_random_seed set_random_seed(0, deterministic=False) # 启用 FP16 混合精度模式 optimizer_config = dict(grad_clip=None) fp16 = dict(loss_scale='dynamic') ``` 以上片段展示了如何激活动态损失缩放机制以便更好地控制数值范围内的溢出风险问题。 --- ### 总结 综上所述，要成功执行 Swin Transformer 的单卡训练操作，主要涉及以下几个方面的工作： - 对齐目标检测场景所需的初始状态向量； - 利用官方提供的接口加载定制化设定好的实验方案描述文档； - 根据实际情况灵活调节输入样本规模直至满足设备承载能力上限为止； 最后再辅以外部插件增强整体表现水平即可达成预期效果。 ---