【论文阅读-ICSE2023】预训练目标对代码相关任务的影响

最新推荐文章于 2025-06-22 16:31:53 发布

原创

最新推荐文章于 2025-06-22 16:31:53 发布 · 879 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #AI4SE #深度学习

研究发现预训练能提升模型在代码修复、代码摘要和代码补全等任务的性能，即使下游数据集小。MLM通常足够，但特定任务预训练目标在满足一定条件时可增强性能。文章指出，预训练目标的选择对模型效果有显著影响，且多目标结合可能并非总是有益。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

Title: Automating Code-Related Tasks Through Transformers: The Impact of Pre-training¹
Author: Rosalia Tufano, Luca Pascarella, Gabriele Bavota
Published: ICSE2023

Abstract:
尽管现在很多研究能够证明预训练可以提升模型性能，但很少有研究解释预训练目标的影响。耳熟能详的MLM只是NLP领域的常见的文本预训练任务，而且NLP领域近期的研究也表明专门为下游任务设计预训练目标能进一步提升模型性能。例如，在代码摘要任务中，预训练目标可以是为方法生成一个合适的方法名。这篇文章预训练了32个Transformer（Text-To-Text Transfer Transformer (T5)，small版本）模型，其中包含了使用通用预训练目标和专门为下游任务设计的预训练目标。实验包含了三个任务：bug-fixing, code summarization, code completion。结论包含两点：（1）预训练能提升模型性能，即使下游任务数据集很小。（2）MLM目标通常足以使模型的预测性能最大化。