TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network

最新推荐文章于 2024-01-13 23:47:59 发布

小羊咩~

最新推荐文章于 2024-01-13 23:47:59 发布

阅读量936

点赞数 2

CC 4.0 BY-SA版权

分类专栏： RGB-D 文章标签：目标检测 transformer 人工智能

本文链接：https://blog.csdn.net/m0_58702532/article/details/125086496

TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network

TritranSnet：基于三重Transformer 嵌入网络的RGB-D显著目标检测

ACM MM 2021

1 Motivation

1. U-Net框架在显著目标检测广泛应用，连续的卷积和池操作产生了相互补充的多层次特征。

2. CNN的U-NET框架对图像进行从低层到高层的编码，然后解码回全空间分辨率。从高级到低级逐渐聚合特征时，性能往往很快饱和。换句话说，高级特性对性能的贡献更大。

2 Solution

提出了一个三重transformer嵌入模块，并将其嵌入到基于CNN的U-NET框架中，以增强特征表示。它由三个权重共享的标准transformer编码器组成，从多级特征中学习公共信息。

在提出的

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小羊咩~

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

RGB-D Salient Object Detection with Cross-Modality Modulation and Selection

m0_58702532的博客

05-19

1023

RGB-D Salient Object Detection with Cross-Modality Modulation and Selection 具有跨模态调制和选择的 RGB-D 显着目标检测 一、Motivation two challenge： 1）如何有效地整合来自 RGB 图像及其对应的深度图的互补信息； 2）如何自适应地选择更多与显着性相关的特征。二、Solutions (1) cross-modality feature modulation (cmFM) 模块，通过

RGB-D Salient Object Detection withCross-Modality Modulation and Selection

xuan971130的博客

11-08

590

摘要：针对RGB-D显著目标检测(SOD)问题，提出了一种有效的方法来逐步整合和完善交叉通道互补。该网络主要解决了两个具有挑战性的问题:1)如何有效地整合来自RGB图像及其对应深度图的互补信息，2)如何自适应地选择更显著相关的特征。首先，我们提出了一个跨模态特征调制(cmFM)模块，以深度特征为先验，建模RGB-D数据的互补关系，增强特征表示。其次，我们提出了自适应特征选择(AFS)模块来选择显著性相关的特征并抑制较差的特征。AFS模块采用多模态空间特征融合，考虑信道特征的自模态和跨模态相互依赖性。第三

2 条评论您还未登录，请先登录后发表或查看评论

2021+RGB-D Salient object detection+transformer《TriTransNet》

qq_41820921的博客

08-16

569

题目：TriTransNet：RGB-D Salient Object Detection with a Triplet Transformer Embedding Network 论文地址：https://arxiv.org/abs/2108.03990 摘要：网络结构：本文的核心点： 1.RGB和D的逐步融合； 2.encoder产生的各级特征中最深的三层输入到参数共享的Transformer中，进一步提取高层特征以及三层中的共有特征； 3.decoder是分别从三个transfo.

【arXiv2022】GroupTransNet: Group Transformer Network for RGB-D Salient Object Detection

m0_58702532的博客

07-21

958

大致的流程就是骨干网络提取特征，进行跨模态融合，通道统一，尺度统一，再送到transformer这个好东西里面，最后把一直没用过的第一层特征引到中高层特征里面去解码。httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。.........

RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features论文笔记

qq_36406693的博客

09-27

659

论文地址: http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w40/Shigematsu_Learning_RGB-D_Salient_ICCV_2017_paper.pdf 研究背景深度神经网络因较可以较好的将自顶向下的特征和低维度特征结合起来，因此在对于RGB图像的显著性检测上取得了较好的表现。然而，许多实验表明...

AAAI 2022 论文列表

热门推荐

gbstack08的专栏

02-15

2万+

链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat

（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）

Jojo论文基地

08-28

3945

CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！论文目录

（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）

Jojo论文基地

08-28

9264

CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！论文目录论文概要

（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）

Jojo论文基地

08-27

1万+

CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！论文目录论文概要 12-in-1 - Multi-Task Vision and Language Repre

Three-Stream Attention-Aware Network for RGB-D Salient Object Detection

m0_58702532的博客

05-10

498

总体框架三个流的主干网络采用VGG16，去除全连接层，保留5个卷积块。作者添加了一个具有 15×15 的新卷积层，用于全局上下文推理，作为第 6 个卷积块。提出的rgb-d SOD系统包含三个自下而上的流，即RGB特定流，深度特定流和交叉模态的蒸馏流，分别在每个级别中提取模态特定的和新的rgb-d表示。对于特定于深度的流，我们将单通道深度图编码为 3 通道 HHA 表示（即水平视差、离地高度以及局部表面法线与推断的重力方向的角度）为输入。HHA 编码比原始深度图携带更多几何线索（例如，表面法线和高..

20200894_RGB-D Salient Object Detection A Survey.pdf

02-03

显著性目标检测论文下载论文：RGB-D Salient Object Detection A Survey

Cross-Modal Weighting Network for RGB-D Salient Object Detection

m0_58702532的博客

05-17

833

Cross-Modal Weighting Network for RGB-D Salient Object Detection 用于RGB-D显著性目标检测的跨模态加权网络深度图包含辅助显著目标检测（SOD）的几何线索。在本文中，我们提出了一种新的跨模态加权（CMW）策略，以鼓励RGB-D SOD的RGB和深度通道之间的全面交互。具体来说，我们开发了三个RGB深度交互模块，即CMW-L、CMW-M和CMW-H，分别用于处理低、中、高级别的跨模态信息融合。这些模块使用深度到RGB权重（...

Dynamic Selective Network for RGB-D Salient Object Detection

m0_58702532的博客

07-07

978

Dynamic Selective Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的动态选择网络IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 30, 2021通过各种融合策略来整合RGB图像和深度图。忽略了两种模式之间的固有差异，这导致在处理一些具有挑战性的场景时性能下降。动态选择网络 (DSNet)，通过充分利用两种模态之间的互补性来执行rgb-d图像中的显着目标检测 (SOD)。1. 部署一个跨

RGBD Salient Object Detection via Disentangled Cross-Modal Fusion

m0_58702532的博客

05-06

526

RGBD Salient Object Detection via Disentangled Cross-Modal Fusion IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020 深度对于显着目标检测 (SOD) 具有其他显着性提示是有益的。现有的RGB-D SOD方法侧重于剪裁复杂的跨模态融合拓扑，虽然取得了很好的性能，但在研究跨模态互补性时存在过拟合和不确定的风险。与这些完全结合跨模态特征而不区分的传统方法不同，我们...

【论文阅读笔记】MobileSal: Extremely Efficient RGB-D Salient Object Detection

最新发布

qq_46056318的博客

01-13

1588

MobileSal：极其高效的RGB-D显著对象检测2021年发表在 IEEE Transactions on Pattern Analysis and Machine Intelligence。PaperCode神经网络的高计算成本阻碍了RGB-D显着对象检测（SOD）的最新成功，使其无法用于现实世界的应用。因此，本文介绍了一种新的网络MobileSal，它专注于使用mobile networks进行深度特征提取的高效RGB-D SOD。

RGB-D salient object detection: A survey 综述

weixin_39718490的博客

10-23

2628

摘要：显著对象检测是模拟场景中最重要物体的视觉感知，已广泛应用于各种计算机视觉任务。现在，深度传感器的出现意味着深度地图可以很容易地捕获；这种额外的空间信息可以提高显著目标检测的性能。虽然在过去的几年中，已经提出了各种基于RGB-D的具有良好性能的显著目标检测模型，但对这些模型和该领域的挑战仍然缺乏深入的理解。本文从不同的角度对基于RGB-D的显著对象检测模型进行了全面的调查，并详细回顾了相关的基准数据集。此外，由于光场也可以提供深度图，我们也回顾了来自该领域的显著对象检测模型和流行的基准数据集。此外，为了

【论文阅读】Three-stream attention-aware network for RGB-D salient object detection

Cheungleilei的博客

01-07

1581

Chen H, Li Y. Three-stream attention-aware network for RGB-D salient object detection[J]. IEEE Transactions on Image Processing, 2019, 28(6): 2825-2835. 摘要：以前的基于卷积神经网络的RGB-D融合系统通常采用两流体系结构，其中RGB和深度输入是...

【CVPR】Calibrated RGB-D Salient Object Detection

qq_58893031的博客

03-13

762

原始深度图像中普遍存在的噪声和歧义。为了解决，提出了一种深度校准和融合 (DCF) 框架: 1) 一种学习策略，用于校准原始深度图中的潜在偏差，以提高SOD性能；2) 一个简单而有效的交叉参考模块，用于融合RGB和深度模态的特征。

【论文阅读】Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection

m0_58702532的博客

06-27

1169

Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的分层交替交互网络因为深度图在采集过程中质量有好有差减轻深度图的干扰，突出显著对象分层交替交互网络 (HAINet)HAINet 的主要创新是分层交替交互模块（HAIM）HAIM首先使用RGB特征过滤深度特征中的干扰物，然后利用纯化的深度特征依次增强RGB特征HAINet 由特征编码、跨模态交替交互和显着性推理组成，骨干网络为

basnet: boundary-aware salient object detection

04-11

Q: "b'basnet：boundary-aware显著对象检测'。" A：basnet是一种基于深度学习的显著对象检测方法，它具有边界感知特性，能够准确地将显著对象从背景中分离出来。该方法在不同任务中具有广泛的应用，如图像分割、视频目标识别等。