文章主要内容总结
本文针对大语言模型(LLMs)在代码编辑任务中存在的自回归生成效率低的问题,提出了一种名为EFFICIENTEDIT的新方法,通过面向编辑的推测解码(speculative decoding)机制提升效率。
核心背景是:代码编辑任务中,修改通常是局部的,大量原始代码片段可重用,但现有方法依赖自回归生成,速度慢;传统推测解码技术未考虑代码编辑的这一特性,加速效果有限。
EFFICIENTEDIT的关键机制包括:
- 代码重用与编辑位置识别:将原始代码作为高质量草稿,通过目标模型的单次前向传播验证并重用未修改的代码片段,同时利用模型对代码片段的“拒绝”信号定位潜在编辑位置。
- 高效编辑内容生成:通过面向编辑的草稿模型(经编辑导向微调训练)生成高质量草稿,并结合“熵感知动态验证机制”平衡生成质量与加速效果。
实验结果显示,该方法在CanItEdit和CodeIF-Bench基准测试中,