VQA2020_综述.pdf

《2020年VQA领域的深度洞察与进展》 视觉问答（Visual Question Answering, VQA）是人工智能领域的一个关键挑战，它涉及到计算机视觉和自然语言处理的深度融合。2020年，该领域的研究取得了显著的进步，尤其在图表问答（Chart Question Answering, CQA）、视频问答（Video Question Answering, VQA）以及视觉问题生成（Visual Question Generation, VQG）等方面。本文将概述这些研究的主要动机、贡献和方法。 一、图表问答的深化理解与改进 在WACV2020会议上，针对CQA的研究提出了一种名为PReFIL的图像和语言并行递归融合算法，以解决传统VQA方法在细粒度测量、光学字符识别和处理问题及答案之外单词的不足。PReFIL通过融合图像和问题特征，生成双模态嵌入，进而获取答案。此外，该研究还提出了新的DVQA数据集，通过众包收集人对数据的评估得分，进一步提升了模型性能。其中，利用多次问答的方式重建表格，为数据可视化领域的数据集和算法设计提供了新思路。 二、视频问答的复杂语义建模 针对视频问答任务，研究者们认识到，仅建模视觉特征序列并不足够，还需结合字幕进行推理。为此，他们提出了结合BERT的模型，对视频片段中的复杂语义进行编码，同时捕捉视觉和语言信息。通过Faster-RCNN提取每一视频帧的视觉语义，结合字幕、问题和答案，采用两个独立的流进入BERT进行答案预测。这种方法在TVQA和Pororo数据集上表现出色，显示了对视频场景理解的提升。 三、视觉问题生成的贝叶斯网络 在VQG任务中，引入更多的线索（如位置、注释、标签）有助于提高模型的置信度。研究者们提出了一种基于最小化混合线索不确定性（MUMC）的贝叶斯网络，它在多个评估指标上超越了现有最佳模型，并接近人类水平。贝叶斯方法考虑了不同线索的嵌入，生成更自然的问题。此外，通过高斯交叉熵和变量最小化损失，MUMC方法提高了模型分数，进一步验证了线索组合的统计学意义。 四、图表问答的新数据集与模型 LEAF-QA数据集的推出，旨在解决现有CQA数据集的局限性，如合成数据的偏差和有限变化。LEAF-QA来源于真实世界的政府普查和金融数据，包含多种查询类型和随机生成的问题，避免了模板依赖。LEAF-Net模型通过Mask-RCNN进行图表元素检测和OCR处理，结合Glove和LSTM进行问答编码，使用堆叠注意力机制进行特征融合，展示了在LEAF-QA数据集上的优越性能。 五、解释生成的鲁棒性研究 在VQA-X数据集上，研究者们关注了视觉解释生成的挑战，即视觉和文本特征的相关性不足以及解释的定位问题。他们提出了一种协同相关网络，增强了特征间的相关性，提高了模型对扰动的容忍度。通过注意力图，证明了模型生成的解释与人类标注的高度一致，展示了对抗攻击的鲁棒性。 2020年的VQA研究在多个方向上取得了突破，包括深度学习模型的创新、新数据集的构建以及模型解释性的提升。这些成果为未来AI系统在理解和生成人类语言、解析复杂视觉信息以及提供可解释性答案方面的发展奠定了坚实的基础。