weixin_42040467的博客

设置随机因子# 训练函数Best_ACC=0# 验证过程return acc# 创建保存模型的文件夹else:# 设置全局参数SEED=42# 设置随机因子# 定义训练过程Best_ACC=0# 验证过程return acc# 创建保存模型的文件夹else:# 设置全局参数SEED=42# 设置随机因子# 定义训练过程Best_ACC=0# 验证过程return acc# 创建保存模型的文件夹else:# 设置全局参数SEED=42。

1.需要大规模与训练数据集是ViT受限的原因之一。本文工作通过在 Imagenet 上进行训练无卷积Transformer。2.引入了teacher-student策略，依赖于一个蒸馏token，确保学生通过注意力从老师那里学习。