- 博客(5)
- 收藏
- 关注
RSS订阅原创 Qwen2.5-VL-3B进行多视角对象识别
在message中则应该创建多个type，每个image给入对应路径image_list[x]。对于单个图像无注意事项，对于多图像输入，改函数处理的是纯图像列表；一、Load model。以ipynb格式运行。1.图像处理部分应调用。
2025-03-30 22:48:01
533
原创 大模型学习之Accelerate+Deepspeed
1.介绍每个GPU上都包含模型参数、权重、优化器状态。零冗余优化。2.成本分析每张卡占用资源变少，但是Zero3会使总通讯量增加。3.ZeRO其他参数。
2025-03-24 20:58:53
299
原创 大模型学习之Accelerate使用
accelerate config，可以选择config。在loss里，调用acceleratoe.backward(loss)。也不需要手动放入多设备中，acceleratoe.prepare会自动进行。数据集部分调用accelerator后不需要在改sampler了，直接删除。模型和优化器部分，accelerator自动会对模型进行包装，因此模型包装部分删除。acc竟然＞1；这是因为pytorch为了保证数据能够平分到各个卡上，会对数据集进行填充；776个数据无法被64整除。
2025-03-24 19:38:59
642
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人