无自然图像的ViT预训练：性能超越与隐私保护

本文主要探讨了在无需依赖自然图像和人工标注标签的前提下，如何有效地进行Vision Transformers（ViT）的预训练。尽管先前的研究显示预训练的ViT在大规模数据集和人工标注的帮助下表现优秀，然而这些数据集存在的隐私问题、公平性考量以及对大量人力的依赖引发了一系列挑战。 作者团队提出了一种创新的框架，旨在解决这些问题，实现了ViT的无自然图像预训练。他们通过实验证明，即使在没有自然图像的情况下，他们的方法在一定程度上仍然可以超越复杂的自监督学习方法，如SimCLRv2和MoCov2。值得注意的是，这种无自然图像的ViT预训练虽然在性能上与ImageNet预训练的ViT相比存在差异，但它在解释性方面表现出色，例如在CIFAR-10数据集上的表现为97.6，相较于SimCLRv2（97.4）和ImageNet预训练（98.0）略有差距。 此外，文章还提及了Transformer架构在计算机视觉领域中的崛起，尤其是在ResNet等CNN模型之后，Transformer已经成为主流。作者强调，Transformer体系结构，特别是其自注意力机制，最初设计用于自然语言处理任务，但在视觉领域也显示出强大的潜力。 本文的贡献在于提供了一个新的视角，即在没有依赖大规模自然图像和人工标注的情况下，如何通过自定义的预训练策略优化ViT模型。这对于数据隐私保护和可持续性研究具有重要意义，同时也为未来在资源有限或有特殊限制的场景下进行视觉任务的学习提供了可能。作者承诺将公开他们的代码、数据集和预训练模型，以便其他研究人员进一步研究和改进这一领域。