T-LoRA: Single Image Diffusion Model Customization Without Overfitting

文章主要内容总结

本文针对扩散模型在单张图像定制场景中易出现过拟合（如位置、背景固化）的问题，提出了一种基于时间步依赖的低秩适应框架T-LoRA（Timestep-Dependent Low-Rank Adaptation）。研究发现，扩散过程中的高时间步（噪声更大的阶段）比低时间步更易过拟合，因此需要时间步敏感的微调策略。

T-LoRA通过两个核心创新解决该问题：

1. 动态微调策略（Vanilla T-LoRA）：根据扩散时间步调整秩约束更新，高时间步减少训练信号以减轻过拟合，低时间步增加训练信号以保留细节；
2. 正交初始化权重参数化（Ortho-LoRA）：通过奇异值分解（SVD）初始化适配器组件，确保其正交性，提升有效秩利用率并分离不同时间步的信息流。

实验表明，T-LoRA在单图定制任务中优于标准LoRA及其他轻量化方法（如OFT、GSOFT、SVDiff），在概念保真度和文本对齐之间实现了更优平衡，尤其在数据有限和资源受限场景中表现突出。

创新点

1. 发现高时间步过拟合特性：首次明确扩散模型的高时间步（噪声更大阶段）是过拟合的主要来源，为时间步敏感策略提供理论基础；
2. 动态秩调整机制：提