Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentime

原创 已于 2023-11-06 11:54:38 修改 · 331 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#1024程序员节 #自然语言处理

于 2023-10-24 01:20:57 首次发布
本文提出了一种基于层次互信息最大化的多模态情感分析方法，通过BERT和SLSTM对文本、图像和语音进行编码，利用互信息最大化策略提升模态间的融合效果。模型通过CPC编码和损失函数优化，旨在准确预测情绪强度并增强模态表征的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis

文章目录

代码

https://github.com/eclare-lab/Multimodal-Infomax.

一、互信息是什么？

互信息是信息论里的原理，是联合分布与边缘分布 的相对熵，公式如下E的部分是写P(X,Y)在这里插入图片描述
E表示联合分布的统计平均值，即信源的不确定性等于每个符号的不确定性的统计平均值

二、模型构建

2.1 问题定义

在这里插入图片描述
X表示文本，图像，语音（t，v，a）三种输入模态，Lm是每种输入模态系列长度，dm是特征向量维度。

本文目标是由输入x预测输出y，y能够反映出情绪强度

2.2 总体思路

在这里插入图片描述

2.3 输入模态编码

文本用BERT编码，其他两种模态用SLSTM编码
在这里插入图片描述

2.4模式间互信息最大化

代码如下（示例）：
两个模态为一组，分成两组，用公式（3）计算最大互信息。因为text贡献更大，因此每组都含有text，也就是公式中的X，而visual和acounstic是Y。其中q(y/x)用多元高斯分布来表征，通过计算（4）损失函数最小化来预测多元高斯分布的均值和方差。
在这里插入图片描述
（4）中L是损失函数，N是batch size。最小化损失函数更新多元高斯分布神经网络的参数。使得条件概率q（y/x）最大化，互信息也就越大。

公式（3）中还剩下H（Y）未知，用高斯混合模型求解。每一类用两个正态分布表示（如（5），一个正极性一个负极性）在这里插入图片描述
然后计算多变量正态分布的信息熵如（8）
![在这里插入图片描述](https://img-blog.csdnimg.cn/1daa818a1e994e27868c3a5fc54在这里插入图片描述 在这里插入图片描述表示第一个正太分布的协方差。
互信息下界的最大化的损失函数等于两组数据相加（tv的互信息+ta的互信息），如公式（9）
在这里插入图片描述
注意：这里的LBA是第一个损失函数。互信息最大化使得每个模态的表征更加准确。

2.4 融合阶段的互信息最大化

目标：计算输入模态X和融合结果Z之间的互信息，使其最大化。即求得F的最优表示函数在这里插入图片描述文章采用从Z预测X的反过程。s 是输入和输出之间相似度的度量，用互信息来衡量相似度。在这里插入图片描述G是参数为o的神经网络，能够由Z预测到h，每个模态的损失函数如（11）
在这里插入图片描述
这一层级总的损失函数是：
在这里插入图片描述根据（12）优化F并预测输出的y，然后计算损失（13）
在这里插入图片描述
最后总的损失函数为（14）
在这里插入图片描述

总结

1.CPC编码没看懂
2.互信息加个负号就是损失函数？（9）

popoluoluo
关注
(五十一)：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal S
Wangzx的博客
09-16 504
(五十一)：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal S
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
Wangzx的博客
09-17 334
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
论文笔记 EMNLP 2021|Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for
o11oo11o的博客
04-23 4382
文章目录1 简介1.1 动机1.2 创新2 方法2.1 模态编码2.2 模态中互信息最大化2.3 融合中互信息最大化3 实验 1 简介 论文题目：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis 论文来源：EMNLP 2021 组织机构：新加坡科技设计大学 论文链接：https://arxiv.org/pdf/2109.00412.
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentimen
weixin_44691087的博客
10-07 2855
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentiment Analysis paper地址：https://arxiv.org/abs/2109.00412 摘要 在多模态情绪分析(MSA)中，模型的性能很大程度上依赖于合成embedding的质量. 这些embedding是由被称为多模态融合的上游过程生成的，其目的是提取和组合输入的单模态原始数据，以产生更丰富的
MMIM(2021 EMNLP)分级互信息最大化
大肉包的博客
12-22 2530
在两个数据集上进行了综合实验，随后进行了消融研究，结果验证了我们模型的有效性和MI最大化框架的必要性。提出了一个名为 (MMIM)，它在层次上最大化互信息(MI)在单模态输入对(多模态间)和多模态融合结果与单模态输入之间，以便通过多模态融合保持任务相关信息。以前的工作要么反向传播任务损失，要么操纵特征空间的几何属性来产生良好的融合结果，这忽略了保存从输入到融合结果的关键任务相关信息。提出了一种用于多模态情感分析的分层MI最大化框架。MI最大化发生在输入级和融合级，以减少有价值的任务相关信息的损失。
# 互信息最大化[视角统一]:Align before Fuse: Vision Language Representation Learning with Momentum Distillation
茅场晶彦
07-23 5752
互信息最大化[视角统一]:Align before Fuse: Vision and Language Representation Learning with Momentum Distillation 摘要 视觉和语言表示学习已经广泛被应用与各种视觉语言任务。现有方法大多数基于Transformer方法的多模态编码器同时进行视觉特征学习（基于区域的图像特征）和文本特征学习。鉴于视觉特征和文本特征之间的语义空间不一致问题，因此多模态编码器在学习图像-文本交互上具有非常大的挑战性。文章通过引入对比损失，通过
(2024 MM) MIND:Improving Multimodal Sentiment Analysis Via Multimodal Information Disentanglement
qq_42882082的博客
05-07 1663
学习有效的联合表征一直是多模态情感分析的核心任务。以前的方法侧重于利用不同模态之间的相关性，并通过复杂的融合技术提高性能。然而，由于不同模态固有的异质性，可能导致分布差距，阻碍了对多模态信息的充分利用，并导致从特征中提取的信息冗余和不纯。为了解决这个问题，我们引入了多模态信息解纠缠(MInD)方法。MInD通过共享编码器和多个私有编码器将多模态输入分解为模态不变分量、模态特定分量和每个模态的残余噪声分量。共享编码器的目的是探索模态之间的共享信息和共性，而私有编码器的目的是捕获独特的信息和特征。
多模态方法 Improving Multimodal Sentiment Analysis with Contrastive Pretraining
AI天才研究院
09-18 1125
在自然语言处理领域，对文本、图像等多模态信息进行情感分析已经成为一个重要的研究方向。传统的文本分类方法依赖于特征工程或者使用深度学习模型，而多模态的方法则使用多种模态的信息来提升性能。现有的一些多模态方法均属于无监督学习，即没有使用带标签的数据进行训练，因此准确性无法保证。受限于标签数据的缺乏，很多多模态方法都难以取得很好的效果。另外，传统的多模态方法往往需要组合多个模型，对结果的解释也比较困难。为了解决上述问题，最近出现了一种新的多模态方法——Contrastive Pretraining。
Improving Stock Market Prediction via Heterogeneous Information Fusion
02-08
Improving Stock Market Prediction via Heterogeneous Information Fusion
MSA+抑郁症模型总结（二）（论文复现）
wei_shuo的博客
07-31 1184
MSA+抑郁症模型总结（二）（论文复现）
【亲测免费】 多模态信息最大化（Multimodal-Infomax）——基于Hierarchical Mutual Information Maximization的多模态情感分析
gitblog_00101的博客
08-25 529
多模态信息最大化（Multimodal-Infomax）——基于Hierarchical Mutual Information Maximization的多模态情感分析 项目介绍 Multimodal-Infomax 是一个实现于 EMNLP 2021 接收论文《利用层次化的互信息最大化改进多模态融合》的开源项目。该研究提出了一种通过双层互信息最大化的策略来提升多模态情感分析的效果，利用了Barb...
Multimodal-Infomax 项目使用教程
gitblog_00420的博客
08-26 392
Multimodal-Infomax 项目使用教程 1. 项目的目录结构及介绍 Multimodal-Infomax 项目的目录结构如下： Multimodal-Infomax/ ├── datasets/ ├── img/ ├── LICENSE ├── README.md ├── environment.yml ├── main.py ├── gitignore 目录结构介绍 datase...
2020 IJCAI 接受论文 list 分类排列（二）
热门推荐
u014546828的博客
08-23 2万+
2020 IJCAI 接受论文 list 分类排列（一） 2020 IJCAI 接受论文 list 分类排列（二） 2020 IJCAI 接受论文 list 分类排列（三） 目录 Main track (Humans and AI) Main track (Knowledge Representation and Reasoning) Main track (Machine Learning) Main track (Machine Learning Applications) Mai.
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2484
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
InfoMax-GAN
weixin_37958272的博客
05-13 803
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning 虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时缓解生成对抗网络中的两个基本问题：判别器的灾难性遗忘和生成器的模式崩溃。我们通过对GANs采用对比学习和互信息最大化的方法来实现这一目标，并进行广泛的分析以了改进的来源。在相同的训
从零打造大语言模型--处理文本数据
qq_45425616的博客
08-02 342
本文介绍了构建大语言模型前处理文本数据的关键步骤。主要内容包括：1）词嵌入将离散 token 映射为连续向量；2）文本分词技术，包含正则表达式切分英文、jieba 处理中文以及混合分词方案；3）建立词表实现 token 与 ID 的双向映射；4）实现简单分词器并处理特殊 token；5）介绍 BPE 算法和 tiktoken 工具的应用；6）展示滑动窗口采样和数据加载器的实现。文章通过代码示例演示了从原始文本到模型可处理数据的完整流程，涵盖了英文、中文及混合文本的处理方法。
大语言模型的解码策略：贪婪解码与波束搜索
最新发布
qq_63117516的博客
08-03 345
以语言模型为例，给定起始 token，比如"<BOS>"
李宏毅NLP-10-语音分离
uncle_ll的博客
08-02 602
摘要 本文系统介绍了语音分离技术，重点分析说话人分离任务。语音分离包含语音增强（降噪）和说话人分离（分离重叠语音）两个方向。说话人分离任务需从混合音频中分离出独立说话人信号，研究集中于单麦克风、双说话人场景，并需解决训练与测试说话人不同的泛化问题。文章详细阐述了评估指标（SNR、SI-SDR、PESQ、STOI）及其优缺点，特别是SI-SDR通过信号投影解决了SNR的幅度作弊问题。针对说话人分离的置换问题，介绍了基于掩码的方法，通过生成时频掩码矩阵从混合信号中分离目标语音。该技术可应用于会议记录、语音识别等
大语言模型信息抽取系统解析
m0_74924137的博客
07-31 623
本文介绍了一个基于大语言模型的多领域信息抽取系统，可从金融和新闻文本中提取结构化数据。系统采用模块化设计，包含模式定义、示例数据、提示模板等核心组件，通过上下文学习和结构化提示引导模型完成信息抽取。金融领域关注股票数据，新闻领域提取事件信息。系统工作流程包括初始化提示、模型推理和后处理，支持JSON格式输出。技术亮点包括多领域支持、鲁棒性处理和上下文学习能力。作者建议增加自动分类、批量处理等功能以提升系统扩展性。该系统展示了如何有效利用大语言模型进行专业领域的信息抽取。
multimodal transformer代码
07-25
引用\[2\]:论文名称：Improving Multimodal Named Entity Recognition via Entity Span Detection with Unified Multimodal Transformer 论文作者：Jianfei Yu, Jing Jiang, Li Yang, Rui Xia 论文地址：2020.acl-main.306 https://www.aclweb.org/anthology/2020.acl-main.306/ 论文代码：UMT https://github.com/jefferyYu/UMT 论文摘要： 根据引用\[2\]提供的信息，multimodal transformer的代码可以在GitHub上找到，代码的链接是https://github.com/jefferyYu/UMT。这个代码是用于实现论文《Improving Multimodal Named Entity Recognition via Entity Span Detection with Unified Multimodal Transformer》中提出的方法的。 #### 引用[.reference_title] - *1* *3* [[深度学习论文笔记] TransBTS: Multimodal Brain Tumor Segmentation Using Transformer 基于Transformer的...](https://blog.csdn.net/weixin_49627776/article/details/115449591)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [通过统一多模态Transformer(UMT)的实体扫描检测（ESD）来改进多模态命名实体识别（MNER）](https://blog.csdn.net/qq_43703681/article/details/113748435)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值