VQA中多模态fusion方式小结

最新推荐文章于 2025-05-15 16:28:02 发布
最新推荐文章于 2025-05-15 16:28:02 发布
阅读量3.6k 收藏 19
点赞数
CC 4.0 BY-SA版权
分类专栏： 多模态 文章标签： VQA 多模态 模态融合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nan1104/article/details/88994188
本文总结了多模态特征融合方法在视觉问答（VQA）任务中的应用，包括线性池化、双线性池化如Multi-modal Compact Bilinear (MCB)、Multi-modal Low-rank Bilinear (MLB)、Multi-modal Factorized Bilinear (MFB)以及MUTAN。线性池化简单但无法捕捉复杂关联，双线性池化引入高效计算策略但仍存在挑战。MFB通过矩阵分解改进了MLB，而MUTAN利用Tucker分解优化融合过程。这些方法展示了多模态理解的进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多模态特征融合的线性池化 ： 连接或者元素相加（concatenation or element-wise. addition）来融合图像的视觉特征和问题的文本特征
这种方式不能有效的捕捉图像的视觉特征和问题的文本特征之间的复杂关联。

接着出现了双线性池化 ：最早由 Separating Style and Content提出，但是高维的输出特征和大量的模型参数限制了可用性 。
双线性池化的形式：
在这里插入图片描述
1、Multi-modal Compact Bilinear (MCB) pooling使用 Tensor Sketch algorithm有效地减少参数数量和计算时间，但是MCB依赖一个高维输出(16000-D)特征来保证性能，内存使用过大。

2、Multi-modal Low-rank Bilinear (MLB)基于两个特征向量的Hadamard product。优点：输出低维特征，参数少。缺点：对于超参数敏感 ，收敛速度慢。
在这里插入图片描述
3、Multi-modal Factorized Bilinear pooling (MFB)
Inspired by the matrix factorization(矩阵分解)
在这里插入图片描述

最低0.47元/天 解锁文章
AI知识补全（八）：多模态大模型是什么？
Code_流苏：在代码中寻诗意，在实践中觅真知
03-29 911
本文深入探讨多模态大模型的前沿发展，剖析GPT-4o、Claude 3.5等顶尖模型如何融合文本、图像、音频等多种数据，展示其在图像识别、视频分析等领域的革命性应用与未来发展方向。
深度剖析多模态大模型中的视频编码器算法
kakaZhui的博客
05-11 275
随着多模态大型语言模型（MLLM）的兴起，AI 理解世界的能力从静态的文本和图像，进一步拓展到了动态的、包含丰富时空信息的视频。视频作为一种承载了动作、交互、场景变化和声音（虽然本文主要聚焦视觉部分）的复杂数据形式，为 MLLM 提供了理解真实世界动态和因果关系的关键线索。然而，要让 LLM 有效地“消化”和理解视频内容，一个强大的视频编码器（Video Encoder）是不可或缺的“前端”。
《Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering》笔记
Geek_of_CSDN的博客
05-07 5994
这是ICCV2017上的一篇文章（文章链接），代码在github上的地址：链接。 简单翻译一下摘要： 摘要 VQA（visual question answering 图像问答）因为需要同时对图像信息和问题的信息进行理解而比较难解决。建立的模型的性能在很大程度上取决于怎么从问题中提取特征，怎么图像中进行细粒度信息提取需要的特征，以及怎么对这两种提取出来的特征进行整合。尽管各类基于双线性池化的...
Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering论文笔记
bxg1065283526的博客
03-25 2396
Abstract 基于双线性池的模型已经被证明优于传统的VQA线性模型，但是它们的高维表示和高计算复杂度可能严重限制它们在实践中的适用性。对于多模态特征融合，作者提出了一种多模态分解双线性(MFB)汇集方法，以高效和有效地组合多模态特征，这使得VQA的性能优于其他双线性汇集方法。对于细粒度的图像和问题表示，作者提出了一种“共同关注”机制，使用端到端的深层网络架构来共同学习图像和问题关注。在一个新...
一周跑了5场AI大模型面试，发现很少问传统八股了
最新发布
weixin_51702416的博客
05-15 685
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；三面应该是加面的大老板面，从交流可以看出来对整个大模型这块的理解还是很深刻的，收获不小。
【文献阅读】DFAF——模态内和模态间动态融合的VQA模型（P. Gao等人，CVPR，2019）
QQ704630835的博客
09-12 3733
一、文章概况 文章题目：《Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering》 这篇文章是CVPR2019的文章，作者主要来自港中文。 文章下载链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Gao...
多模态融合算法——Multimodal Compact Bilinear Pooling
热门推荐
华为云官方博客
03-05 2万+
【摘要】 很多多模态任务，都需要融合两个模态的特征。特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接（concatenation）、按位乘（element-wise product）、按位加（element-wise sum）。MCB的作者认为这些简单的操作效果不如外积（outer product），不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。 Mult...
超50篇论文串联起从VQA到多模态预训练大模型的前世今生—Part 1
Paper weekly
04-29 3217
文章简介本文从视觉问答（VQA）任务出发，讲述了 2015 年任务的定义开始，接踵出现的各种多模态技术。从无注意力机制的深度学习模型，发展到天然适合注意力机制的多模态场景的模型，再到基于 Transformer 模型的即将到来的多模态领域大一统模型。其中，穿插了一些有趣的技术梳理，比如非深度学习技术和工程型优化的技术等。笔者利用课余时间收集整理，耗时一年撰写本文章，经历了...
【文本与视频内容理解】：深度学习在多模态数据中的角色（挖掘数据背后的秘密）
![多模态项目实战-文本-视频检索-打架识别]...接着，本文展示了深度学习在多模态数据中的具体应用，如图像与文本的联合分析、视频理解与处理以及语音与文字的同步分析。此外，
【文献阅读】MFB——结合协同注意力的多模态矩阵分解的双线性池化方法（Z. Yu等人，ICCV，2017，有代码）
QQ704630835的博客
08-19 6037
一、背景 文章题目：《Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering》 文章下载地址：https://arxiv.org/pdf/1708.01471.pdf 文章引用格式：Zhou Yu, Jun Yu, Jianping Fan, Dacheng Tao. "Multi-modal Factorized Bilinear Pooling with Co-
tensorsketch:用于tensorflow 2.0的轻量级库
03-09
张量草图 TensorSketch是用于tensorflow 2.0的轻量级深度学习库。 它的目标是成为一个简单的深度学习库，它将PyTorch和Keras的一些便利集成在一起。 如果您习惯了基于PyTorch的基本项目的生命周期，并且想要一种简单的方法来使用TensorFlow，那么此库适合您:-) 安装 pip install tensorsketch 可以与TF 1.0（启用v2）和TF 2.0一起使用。 示范 在此可以找到tensorsketch的演示。
细粒度图像分类论文研读-2016
weixin_46365033的博客
11-28 1053
双线性模型很成功，但是双线性特征是高维的。因此，本文提出了两种紧双线性表示，具有与双线性表示相同的辨别能力，但只有几千维。本文提出的紧凑的表示允许分类错误的反向传播。
深度学习：多模态与跨模态
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-13 2万+
多模态”和“跨模态”是另外两个容易混淆的术语，“多模态”和“跨模态”都是处理多种数据类型或特征的术语，但“多模态”更关注同时处理多种数据类型的算法，而“跨模态”更侧重于将一种数据类型映射到另一种数据类型进行处理。
MUTAN:Multimodal Tucker Fusion For Visual Question Answering
snow_maple521的博客
09-19 2022
MUTAN:Multimodal Tucker Fusion For Visual Question Answering 1. 摘要 虽然Bilinear models（双线性模型）在VQA中能够很好的融合信息，帮助学习问题意义和图像内容之间的高级关联，但是存在高维度问题，所以本文引入MUTAN概念——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进行参数化，除Tucker分解之外，还设计了基于矩阵的低秩分解 来明确限制交互等级。 2. 引言 V
【多模态论文阅读】Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Ans
qq_36643449的博客
03-04 3960
一、亮点 对于多模态特征融合，本文开发了一种多模态因子双线性（MFB）池化方法来有效地组合多模态特征； 对于细粒度的图像和问题表示，开发了一种“共同注意”机制，使用端到端的深度网络架构来共同学习图像和问题的注意力。 二、MCB和MLB的缺点 MCB 模型依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 为了克服这个问题，Kim 等人提出了基于两个特征向量的Hadamard乘积的多模态低秩双线性化（MLB）池模型。 由于 MLB 生成的输出特征维度较低，模型参数较少，因此与
深度学习中句子语义表征融合中加、乘方式的理解
郝同学的博客
12-04 4305
一、问题背景   往往我们在将文本信息和图片信息进行Embedding表示之后，有时候我们需要进行语义信息的融合，我们常常使用简单的加法或点乘来进行信息融合，虽然加法和乘法交互看起来都挺自然而直观，但我们应该选择哪种方法？   在阅读论文的时候，偶然发现了来自 AAAI2018年接受的 FiLM: Visual Reasoning with a General Conditioning Layer 论文，提出了一种可以嵌入到CNN模型中的通用网络层，用于多输入任务。例如，对于分类+回归的任务，有可能回归任
多模态信息融合研究
Drug discovery
06-28 4674
多模态信息融合研究：多模态融合fusion的各种操作：
多模态融合 fusion 的各种操作
cheetah023的博客
08-30 4325
文章转载： 作者丨小奚每天都要学习@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/152234745 Zhang, C., Yang, Z., He, X., \& Deng, L. (2020). Multimodal intelligence: Representation learning, information fusion, and applications.IEEE Journal of Selected Topics in Signal Pro
多模态rag vqa
03-23
### 多模态 RAG 和 VQA 的实现方案 多模态检索增强生成（Multimodal Retrieval-Augmentation Generation, mRAG）是一种结合了文本、图像和其他形式数据的先进技术，旨在提升基于知识的视觉问答（Vision Question Answering, VQA）系统的性能。以下是关于其核心概念和技术细节的具体说明： #### 核心原理 mR2AG 是一种创新框架，它通过融合多种模式的数据来解决复杂场景下的问题[^1]。该方法不仅依赖于预训练的语言模型，还引入了外部知识库的支持，从而显著提高了对特定领域信息的理解能力和回答质量。 #### 技术架构 为了构建高效的多模态 RAG-VQA 系统，通常采用以下模块化设计思路： - **跨模态编码器**: 使用统一的表示学习机制处理输入的异构数据类型，例如将图片转换成特征向量并与对应的自然语言描述联合建模。 ```python from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") inputs = processor(text=["a photo of a cat"], images=cat_image, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score ``` - **外接数据库查询组件**: 当前最先进的做法是从大规模结构化或半结构化的文档集合中提取相关信息片段作为补充材料提供给下游任务使用[^2]。 - **解码阶段优化策略**: 利用条件概率分布指导最终答案的选择过程，在保证流畅性的前提下兼顾事实依据的真实性。 #### 应用前景展望 随着相关理论研究不断深入以及实际应用场景日益丰富，可以预见的是未来几年内这一方向将迎来爆发式增长机遇[^3]。无论是教育行业还是医疗健康等领域都将受益匪浅。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值