论文笔记 EMNLP 2021|Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for

已于 2022-05-10 23:45:52 修改
阅读量4.3k 收藏 14
点赞数 7
CC 4.0 BY-SA版权
分类专栏： NLP 论文 文章标签： 情感分析 多模态
于 2022-04-23 18:19:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/o11oo11o/article/details/124310204
该论文提出了一个用于多模态情感分析的新型框架，通过层次互信息最大化来减少信息丢失和噪声干扰。在输入和融合阶段分别进行互信息最大化，以增强模态间的相关性和保留重要任务信息。实验在CMU-MOSI和CMU-MOSEI数据集上验证了方法的有效性，展示了在多模态特征融合中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1 简介

论文题目：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis
论文来源：EMNLP 2021
组织机构：新加坡科技设计大学
论文链接：https://arxiv.org/pdf/2109.00412.pdf
代码链接：https://github.com/declare-lab/Multimodal-Infomax

1.1 动机

  • 以前的方法进行特征融合可以分为两类：反向传播和特征空间的几何特性。这些方法缺乏控制从原始输入到融合嵌入的信息流，可能会丢失实际信息并引入每种模态携带的意外噪声。

1.2 创新

  • 提出了一种用于多模态情感分析的分级互信息最大化框架。 互信息最大化发生在输入级别和融合级别，以减少有价值的任务相关信息的丢失。

2 方法

在这里插入图片描述
模型的整体框架如上图，输入为三个模态的序列(文本、视频、语音)，输出为表示情感强度值y。首先使用特征提取器（视频、语音）和tokenizer（文本）将原始输入处理为数字序列向量。然后包括特征融合和最大互信息两个部分。

2.1 模态编码

文本使用BERT编码，视频和语音使用两个双向LSTM编码，公式如下：
在这里插入图片描述

2.2 模态中互信息最大化

通过多模态输入之间加入互信息，过滤掉与任务无关的模态特定的随机噪声，并尽可能保持跨越所有模态的模态不变内容。
使用q(y|x)估计真实条件分布p(y|x)，H(Y)为Y的熵，使用Gaussian Mixture Model进行计算。

互信息下限最大化的损失函数为：
在这里插入图片描述

2.3 融合中互信息最大化

为了在中间融合结果中捕获模态之间的模态不变信息，在融合结果和输入模态之间进行互信息最大化。

训练步骤分为两个阶段：1)通过最小化负对数 L l l d \mathcal{L}_{lld} Llld​，使q(y|x) 近似 p(y|x)。2)将前面的互信息下限作为辅助损失添加到主要损失中，训练公式和过程如下：

3 实验

实验数据集为CMU-MOSI和CMU-MOSEI，数据统计如下表：
在这里插入图片描述

实验结果：
在这里插入图片描述

消融实验：
在这里插入图片描述
loss的变化：
在这里插入图片描述
Case study：
在这里插入图片描述

(五十一)：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal S
Wangzx的博客
09-16 504
(五十一)：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal S
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
Wangzx的博客
09-17 334
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentimen
weixin_44691087的博客
10-07 2851
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentiment Analysis paper地址：https://arxiv.org/abs/2109.00412 摘要 在多模态情绪分析(MSA)中，模型的性能很大程度上依赖于合成embedding的质量. 这些embedding是由被称为多模态融合的上游过程生成的，其目的是提取和组合输入的单模态原始数据，以产生更丰富的
Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentime
popoluoluo的博客
10-24 329
X表示文本，图像，语音（t，v，a）三种输入模态，Lm是每种输入模态系列长度，dm是特征向量维度。本文目标是由输入x预测输出y，y能够反映出情绪强度1.CPC编码没看懂2.互信息加个负号就是损失函数？（9）
Multimodal Fusion（多模态融合）
热门推荐
nakaizura
03-28 20万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
MSA+抑郁症模型总结（二）（论文复现）
wei_shuo的博客
07-31 1182
MSA+抑郁症模型总结（二）（论文复现）
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5228
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
The Learning route of GNN
SimonChen
10-15 594
The Learning route of GNN CHEN JIE Note：图神经网络的相关实战教程及其缺乏，如有看到相关内容，可以添加到群在线文档之中。 图神经网络基础知识 台大李宏毅的GNN课（很通俗易懂，较为推荐） 链接：(1/2) https://www.youtube.com/watch?v=eybCCtNKwzA&ab_channel=Hung-yiLee ​ (2/2)https://www.youtube.com/watch?v=M9ht8vsVEw8&t=1
多模态融合 Multimodal Fusion
jwy2014的专栏
01-14 4195
多模态融合 Multimodal Fusion 多模态融合（Multimodal Fusion ）负责联合多个模态的信息，进行目标预测（分类或者回归），属于 MMML 最早的研究方向之一，也是目前应用最广的方向，它还存在其他常见的别名，例如多源信息融合（Multi-source Information Fusion）、多传感器融合（Multi-sensor Fusion)。 按照融合的层次，可...
多模态融合（Multimodal Fusion）
gaesarGatt的博客
12-08 6651
（Multimodal Fusion）是指将来自不同模态（如图像、文本、语音、传感器数据等）的信息进行整合、联合分析和处理，以便全面理解、推理和应用这些数据。多模态融合是人工智能、计算机视觉、自然语言处理、机器人学等领域的核心技术之一，具有广泛的应用前景，尤其在自动驾驶、智能机器人、智能医疗、虚拟现实/增强现实（VR/AR）等领域得到了重要应用。
人工智能技术中的多模态融合（Multimodal Fusion）
易之阴阳，量子纠缠，道之一体，缘起性空
05-13 1364
人工智能技术中的多模态融合（Multimodal Fusion）是指将来自不同感官通道（如视觉、听觉、触觉、味觉和嗅觉）或不同类型的数据（如文本、图像、语音、视频等）结合起来，以提高系统的理解和推理能力。随着技术的进步，多模态融合在人机交互、智能家居、教育、娱乐、安全等领域都有广泛的应用前景，且随着物联网（IoT）和5G等技术的发展，这种融合将会更加无缝和智能化。
11-777 lecture 10.1 Multimodal Fusion
贵在坚持
10-17 392
文章目录backgroundOKR1. Quick recap background Recently, I find a good cources about multimodal machine learning. In this blog, I will study it and note my understanding. Here is orgin URL : ppt O how to set coordinated representations. KR Quick recap Coordin
MMIM(2021 EMNLP)分级互信息最大化
大肉包的博客
12-22 2524
在两个数据集上进行了综合实验，随后进行了消融研究，结果验证了我们模型的有效性和MI最大化框架的必要性。提出了一个名为 (MMIM)，它在层次上最大化互信息(MI)在单模态输入对(多模态间)和多模态融合结果与单模态输入之间，以便通过多模态融合保持任务相关信息。以前的工作要么反向传播任务损失，要么操纵特征空间的几何属性来产生良好的融合结果，这忽略了保存从输入到融合结果的关键任务相关信息。提出了一种用于多模态情感分析的分层MI最大化框架。MI最大化发生在输入级和融合级，以减少有价值的任务相关信息的损失。
User Profiling through Deep Multimodal Fusion
qq_31402749的博客
10-06 1806
写在前面：小小白读的第一篇论文，读的不是很明白，特地记录下来，写的不好，仅供自己参考。如果写的不对还请大家多多指教，多多交流。 PS：绿色文字代表我不是很确定我的想法是不是正确，或者我读不懂的地方，红色文字代表经过查找询问等方法后对绿色文字部分的解答。划线这种代表第一次理解错的地方，因为想记录一下思考过程，所以留了下来。另外，本文的相关链接，都是作者看过很多相关文章之...
【论文阅读】CentralNet: a Multilayer Approach for Multimodal Fusion
qq_36643449的博客
03-04 1046
CentralNet相比于Concatenate的创新点 Concate的方法相当于在各自模态的特征分别独立抽取之后做融合，但是不干预特征抽取的过程。这显然会漏掉一些不同模态之间的相关性的信息，比如，一个人尖叫的视频片段，里面有人的嘴巴长得很大的这种视觉特征，也会有尖叫声这种声音特征，这两种特征出现的时间都是相关连的。如果在抽取特征的过程中，相互有一个监督或者借鉴的关系，那样应该会更好，这是CentralNet提出的动机。CentralNet把两个可以独立在各自模态做出判断的网络的中间层联系起来，利用联合多
多模态信息融合研究
Drug discovery
06-28 4777
多模态信息融合研究：多模态融合fusion的各种操作：
多模态中各种Fusion方式汇总
实力派，无需多言！
11-07 1039
多模态中各种Fusion骚操作大噶好，我是DASOU；今天继续写多模态系列文章，对多模态感兴趣的可以看我之前的文章：今天我主要放在第二个部分，也就是各个模态的Fusion方式汇总；Fusion做的事情简单来说就是把不同模态的信息整合为一个信息，得到一个特征向量，然后利用这个特征向量再去做下游任务；所以它的任务就是更深的挖掘不同模态信息同时更好的融合进最终的representation;
多模态融合方法总结
weixin_42707080的博客
07-15 2083
多模态融合方法总结
多模态融合算法分析
Debroon
06-18 1231
在模型的输入阶段就开始融合不同来源的数据，通常通过直接结合不同模态的特征向量来进行。
dont forget to connect!Improving RAG with graph-based reranking帮我找这篇论文
最新发布
03-12
<think>好的，用户需要查找一篇关于通过图基重排序改进RAG的论文。首先，我需要确认用户的需求是什么。他们可能是在研究RAG（检索增强生成）的优化方法，特别是如何利用图结构来进行重排序，提升检索效果。用户提到“图基重排序”，这可能指的是利用图算法或图神经网络对检索到的文档进行重新排序，以提高生成质量。 接下来，我应该回忆一下相关的文献。RAG本身结合了检索和生成，但传统方法可能存在检索结果不够精准的问题，重排序技术可以优化这一点。图结构在信息检索中的应用，比如构建文档之间的关系图，或者利用图嵌入来捕捉文档间的语义关联，可能是一个研究方向。 然后，我需要检查提供的引用内容。引用[1]提到高级RAG技术，包括模块化框架，但没有直接提到图基重排序。引用[2]讨论了RAG的发展和应用场景，但同样没有具体提到图方法。引用[3]是一个原型应用的链接，可能不涉及论文内容。因此，提供的引用中可能没有直接相关的论文，需要引导用户去外部数据库查找。 不过，用户可能希望我根据现有知识推荐可能的论文方向或方法。例如，图神经网络（GNN）在文档重排序中的应用，或者知识图谱增强的RAG系统。此外，可以建议用户搜索关键词如“RAG graph-based reranking”、“GNN for document reranking”或“knowledge graph RAG”来查找相关论文。 另外，考虑到RAG的优化通常涉及检索器和生成器的协同改进，图基方法可能在检索阶段构建文档间的关系，或者在重排序阶段利用这些关系调整顺序。例如，使用PageRank算法或社区检测来评估文档的重要性，进而重新排序。这样的方法可能在信息检索领域有相关研究，用户可能需要查阅最近的顶会论文，如ACL、EMNLP、SIGIR等。 最后，确保回答符合用户的要求：结构清晰、分步解决问题，并引用提供的资料。由于提供的引用中没有直接相关的论文，需要如实告知，并给出建议的搜索方向和关键词，帮助用户自行查找。同时生成相关问题，如优化RAG的其他技术、图基方法的应用场景等。</think>根据您对图基重排序改进RAG的论文需求，结合当前RAG技术发展，以下是分步解答： 1. **研究领域定位** 图基重排序属于RAG技术中检索优化模块的改进方向，需聚焦"检索增强生成"与"图神经网络"交叉领域。引用[1]提到的模块化RAG框架中，重排序模块可作为独立算子存在，这为图算法的集成提供了理论支持[^1]。 2. **推荐搜索策略** - 关键词组合：`"RAG" + ("graph neural network" | "knowledge graph") + reranking` - 会议筛选：优先查看ACL/EMNLP/NAACL/SIGIR近三年论文 - 论文预印平台：arXiv.org使用筛选条件`cs.CL + cs.IR` 3. **相关技术线索** 虽然现有引用未直接提及图基重排序论文，但引用[2]指出模块化RAG支持路由、调度和融合机制的创新设计[^2]，这与图结构处理节点关系的能力高度契合。例如： - 使用图注意力机制建模文档间语义关联 - 基于社区发现算法优化检索结果聚类 $$ \text{NodeScore}(d_i) = \sum_{d_j \in N(d_i)} \alpha_{ij}Wv_j $$ 其中$d_i$为文档节点，$N(d_i)$是其邻居节点集 4. **实验性验证方法** 引用[3]提供的Mememo平台支持快速原型开发[^3]，可尝试： ```python # 伪代码示例：图基重排序实现 def graph_reranking(docs): graph = build_knowledge_graph(docs) scores = page_rank(graph) return sort_by_score(docs, scores) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hlee-top

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值