【反内卷】开创全新AI多模态任务一视听分割：附原理、代码实践、优化教程（一）

置顶 已于 2022-08-09 21:16:22 修改
阅读量2.2w 收藏 22
点赞数 4
分类专栏： 深度学习与计算机视觉精品 原创项目级实战项目 文章标签： 语音识别 计算机视觉 深度学习
于 2022-08-09 20:30:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46098574/article/details/126255060
版权

前言

文章原创，出自 cv君，公众号：DeepAI 视界

 

gif 不能发出声音，大家脑补一下场景。算法找到视频中的打击乐器和钢琴正在发声

 

gif 不能发出声音，大家脑补一下场景。算法找到视频中的救护车正在滴度滴度~

视听分割是本周ECCV定会提出的全新任务，旨在：找出画面中哪个位置正在发出声音，这是一份多模态工作，结合了视觉和语音。

这有啥用？

直播推荐领域：我们直播的推荐系统，可能需要给正在表演才艺的cv君多一些推荐力度，而一直抱着琴不弹的，只在闲聊的、并且放着BGM的，我们需要识别出来现在有没有进行才艺表演。有的朋友就说啦！用语音识别，分类出在唱歌和不唱歌不就行了？ 反问：如何用语音识别分类区分BGM和唱歌？————视听分割、

了解本专栏 订阅专栏 解锁全文
【手把手反内卷】开创全新AI多模态任务一视听分割：代码实践、优化教程（二）
cv君的博客
08-09 2万+
代码实战，有手就行，反内卷，最新多模态
多模态任务之视听事件定位（AVEL）算法解读及源码——Cross-modal Background Suppression for Audio-Visual Event Localization
qq_52053775的博客
03-11 1727
在弱监督任务中，只有整个视频的分类标签，输出层预测为C+1，+1是因为is_event_scores不能再用于计算每一秒的前景和背景分类损失，只能计算整个视频的前景和背景分类损失。top-K mean操作，即我们对每一个视频，取出分数最高的4s的视频特征和音频特征，取平均，代表整个视频的分数（整个事件，在这个数据集中，一个视频对应一个分类），这样就排除了干扰。SENet 等提出的空间注意力和通道注意力，获得视频图像数据的初步特征，对于输入的音频数据，使用RNN进行特征提取获得初步的特征。
ECCV 2022 | 视觉新任务！AVS：视听分割
阿木寺的博客
08-06 1285
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群衡宇 发自 凹非寺转载自：量子位（QbitAI）听到“唔哩——唔哩——”的警笛声，你可以迅速判断出声音来自路过的一辆急救车。能不能让AI根据音频信号得到发声物完整的、精细化的掩码图呢？来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出...
视听分割相关论文阅读
lx741602698的博客
06-17 669
RVOS（视频中的参考对象分割）比RIS（图像中的参考对象分割）要困难得多，因为指代动作的文本表达通常无法从单个静态帧中正确推断出来。此外，与基于图像的方法不同，RVOS方法可能需要在多帧中建立被参考对象的数据关联（跟踪），以应对遮挡或运动模糊等干扰。本文使用标准的基于Transformer的文本编码器从文本查询中提取，并使用时空编码器从视频帧中提取。然后，将这些特征传递到多模态Transformer中，该Transformer输出。
一种从局部到全局的多模态电影场景分割方法 A Local-to-Global Approach to Multi-modal Movie Scene Segmentation
qq_39652687的博客
05-06 3386
一种从局部到全局的多模态电影场景分割方法 摘要   场景作为电影中讲故事的关键单元，包含了演员在物理环境中的复杂活动及其相互作用。识别场景的构成是理解电影语义的关键一步。这非常具有挑战性——与传统视觉问题(如动作识别)中研究的视频相比，电影中的场景通常包含更丰富的时间结构和更复杂的语义信息。为了实现这个目标，我们通过构建一个大规模的视频数据集来扩大场景分割任务，该数据集包含来自150部电影的21K个带注释的场景片段。我们进一步提出了一个从局部到全局的场景分割框架，它集成了跨三个层次的多模态信息，即剪辑、片段
【最新顶刊综述】【多模态学习】Vision + X：A Survey on Multimodal Learning in the Light of Data
最新发布
weixin_44184852的博客
09-11 2896
摘要——我们以多感官的方式感知世界并与世界交流，不同的信息源由人脑的不同部分复杂地处理和解释，构成一个复杂但和谐统一的感知系统。为了赋予机器真正的智能，近年来随着新兴技术的进步，结合各种来源数据的多模态机器学习已经成为越来越受欢迎的研究领域。在本文中，我们从一个新的角度对多模态机器学习进行了综述，不仅考虑了纯粹的技术方面，还考虑了不同数据模态的内在本质。我们分析了每种数据格式的共性和独特性，主要包括视觉、音频、文本和运动，然后介绍了通过数据模态组合（如视觉+文本）分类的方法进步，稍微强调视觉数据。
Multimodal Machine Learning:A Survey and Taxonomy 多模态机器学习：综述与分类
zt_1026的博客
12-15 3237
Multimodal Machine Learning:A Survey and Taxonomy 多模态机器学习：综述与分类 模态是指某种事物发生或经历的方式，每一种信息的来源或者形式，都可以称为一种模态。当研究问题包括多种这样的形态时，研究问题被描述为多模态。多模态机器学习，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。 1.1 引言 我们周围的世界包含多种形式——我们看到物体，听见声音，感受质地，闻到气味等等。一般来说，模态是指事情发生或经历的方式。大多数人把模态这个词和代表我们交流和感觉的
（MLLMs）多模态大模型论文分享（1）
weixin_41964296的博客
07-19 627
多模态模型结合了多种数据类型，包括图像、文本、音频等。传统的大型语言模型(LLM)主要训练和应用于文本数据，但它们在理解其他数据类型方面有局限性。纯文本LLM，如GPT-3， BERT和RoBERTa，在文本生成和编码等任务中表现出色，但它们缺乏对其他数据类型的全面理解和处理。为了解决这个问题，多模态LLM集成了多种数据类型，克服了纯文本模型的限制，并为处理不同数据类型开辟了可能性。GPT-4是多模态LLM的一个很好的例子。它可以接受图像和文本形式的输入，并在各种基准测试中展示了人类水平的性能。
阿大提出：视听分割合成新数据集和声音图像分割新网络
阿木寺的博客
07-14 549
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像分割和Transformer】交流群本文针对声音图像分割问题(audio-visual segmentation[AVS])提出了一种更高效合成数据集VPO以及一个像素级对比学习训练策略来更有地验证AVS问题并且有效地提升声音图像关联. 单位: 阿德莱德大学，萨里大学.A Closer Look at Au...
LGSS-一种多模态电影幕分割方法
JeJe_33的博客
06-15 3121
1.简介 该方法发布于IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2020，由 港中文商汤联合实验室与香港中文大学合作发作 GitHub地址：https://github.com/AnyiRao/SceneSeg 网站地址：https://anyirao.com/projects/SceneSeg.html ...
技术干货 | 腾讯云智媒体AI中台中的视听场景多模态分类识别
qq_42933419的博客
08-06 885
作者：yujie yanan 腾讯云智媒体AI中台是为传媒行业量身打造的解决方案，旨在提供智能化、全流程、一站式的AI中台及开箱即用的智能编目、智能拆条等九大智能应用。因此，AI中台囊括了NLP、CV、多模态等多种能力，其中视听场景的多模态分类识别作为其中的重要能力之一，是针对视频进行特定的场景分类识别。例如，在媒资管理场景，通过音视频多模态信息构建AI算法，实现深层理解视频内容，为视频打标签及长视频拆条等。不仅如此，该能力在近日首次举办多模态分类挑战的国际权威声学场景和事件检测及分类赛事（DCASE
NeurIPS 2023 | 零样本/开放域分割：通过微调CLIP来学习掩码级知识表征
阿木寺的博客
10-19 1036
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像分割和Transformer】交流群作者：JSYu（源：知乎，已授权）| 编辑：CVerhttps://zhuanlan.zhihu.com/p/661755671在CVer微信公众号后台回复：MAFT，可以下载本论文pdf、代码，学起来！Learning Mask-aware CLIP Represent...
tensorflow笔记之二十八——带掩码的损失函数
蚂蚁搬家
10-26 1589
一个应用场景 在多标签问题中，有时候需要一些特殊的处理，比如一些样本只对部分class进行更新，而另一些样本对另外一些class进行更新。 举个例子，我们预测一个用户喜欢什么类型的电影，假如我们知道用户对哪些电影有过观看行为，这是正样本，负样本一般来说可以随机采样构造，构造也有两种方式，一个是固定用户随机采样电影，一个是固定电影随机采样用户，两种方式其实是等价的，不过考虑到随机采样用户可以覆盖到完全没有观影记录的用户，我们倾向于用后者（看电影的用户和不看电影的用户可能本身就有很大的不同了，如果train d
干货 | 移动端使用OpenGL转场特效的音视频合成应用
携程技术
11-09 2573
作者简介jzg，携程资深前端开发工程师，专注Android开发；zx，携程高级前端开发工程师，专注iOS开发；zcc，携程资深前端开发工程师，专注iOS开发。前言近年来短视频的火爆，让内容创作类的APP获得了巨大的流量。用户通过这类工具编辑自己的短视频，添加各式各样的炫酷特效，从而呈现出更加丰富多彩的视频内容。本文将会介绍如何使用移动端原生API，将图片添加转场特效并且最终合成为视频的基本流程。一...
基于对象的实时空间音频渲染丨Dev for Dev 专栏
声网的博客
07-28 1966
本期文章，我们将主要讨论基于对象(object-based)的实时空间音频渲染，也就是如耳机等应用场景中，渲染对象为一个音源时的渲染思路与方案。
AI视频数字识别、分割（下）
Dlog的博客
03-17 927
接上一波: 神经网络模型训练 字符识别 断点确定 分割视频 四、神经网络模型训练 有了字符，接下来就是识别了，思路： 1、MNIST 那一套直接拿过来用，效果不太好； 2、网上也有 tesseract，试了没成功； 决定自己训练模型~ 实现步骤： 1、制作样本集（类似MNIST）； 2、神经网络模型搭建； 1. 制作样本集（类似MNIST）； 参考博客：https://blog.csdn.net/qq_36108664/article/details/107087068 实现： ① 数据收集（划分
多模态语义分割基础
qq_41502322的博客
07-17 4101
语义分割的目标：是将一个场景分割成几个有意义的部分，通常是用语义标记图像中的每个像素(pixel-level semantic segmentation)，或者同时检测对象并进行逐像素标记(instance-level semantic segmentation)。
【cv君个人整理学习路线】视觉算法从入门到进阶
热门推荐
cv君的博客
08-10 2万+
大家好，我是cv君，今天文章简短，不说废话，把有用的东西推给大家；以下是我找了许久的比较精彩的，适合初学者到高深进阶的多门课程，包括python，cv，深度学习等，防止过多人阅读本文，造成卷的现象，本文近期会隐藏，可以收藏保存。 先来看一下你学完这些能做什么？ 图像处理；图像均衡化；dl视觉算法；不出三个月，你就可以做出来全部；更重要地是，你可以做得更牛，不只是调包； 新手阶段：python 基础 一周：要求会p...
音视频多模态研究点
贵在坚持
03-25 5609
音视频多模态研究点介绍 前言 关于多模态的学习，其实有很多的研究领域。在音视频方面主要有以下几个相关论文，这是我参照github上一位作者公布的论文名单，https://github.com/pliang279/awesome-multimodal-ml#audio-and-visual。下面我简单记录论文的相关工作，为今后的研究作为一个铺垫。论文下载地址在文章末尾。 论文分析 1.Learnin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cv君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值