[paper阅读笔记][2023]Continual Instruction Tuning for Large Multimodal Models

[Title]Continual Instruction Tuning for Large Multimodal Models

Paper的任务

提升大型多模态模型在持续指令调整过程中的性能

任务的科学问题

本文任务虽然是：在大型多模态模型（LMMs）中实现有效的持续指令调整以学习新任务，但其实其本质科学问题是：如何在模型连续学习新任务的同时，减少对先前学习任务知识的灾难性遗忘。

原因是：持续学习的核心挑战在于如何平衡新知识的获取与旧知识的保留，这是由于神经网络在新任务上的微调可能导致对旧任务知识的遗忘。

challenges

在大型多模态模型（LMMs）中实现持续指令调整时，如何有效地维持对先前任务的记忆，同时学习新任务，避免因新任务学习而导致的灾难性遗忘。（因为LMMs现在要面对的是不断增长的任务数量和更多样化的数据类型）。

文章在Argue什么？

1. 灾难性遗忘的问题：尽管现有的大型多模态模型在多任务学习中表现出色，但它们在持续学习新任务时仍然会遭受灾难性遗忘，即在学习新任务时遗忘旧任务的知识。
2. 现有方法的局限性：现有的持续学习方法在应用到大型多模态模型的持续指令调整时存在局限性，特别是正则化方法在没有预先在多任务上进行指令调整的模型上效果不佳。