pytorch 如何通过图像深度连续性计算Loss

最新推荐文章于 2024-04-27 09:38:36 发布
最新推荐文章于 2024-04-27 09:38:36 发布
阅读量1.7k 收藏 5
点赞数 3
CC 4.0 BY-SA版权
文章标签： pytorch 深度估计 深度连续性 motion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29679623/article/details/103504327
本文介绍了如何在单目深度估计中，利用图像的深度连续性来计算Loss。通过计算预测深度图和原始图像的梯度，并结合对数函数，实现了对深度连续区域的有效约束。作者指出，虽然该方法忽略了边缘区域，但在边缘可能连续的情况下，这种方法可能存在改进的空间。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在单目深度估计中，利用图像的深度连续性来提供约束，计算Loss是一个很常见的方式，代码到底应该怎么写，之前一直没有想通。最近读源码学到了一些骚操作（原谅我的短见薄识），记录一下，先贴代码：

def get_smooth_loss(disp, img):
    """Computes the smoothness loss for a disparity image
    The color image is used for edge-aware smoothness
    """
    grad_disp_x = torch.abs(disp[:, :, :, :-1] - disp[:, :, :, 1:])
    grad_disp_y = torch.abs(disp[:, :, :-1, :] - disp[:, :, 1:, :])

    grad_img_x = torch.mean(torch.abs(img[:, :, :, :-1] - img[:, :, :, 1:]), 1, keepdim=True)
    grad_img_y = torch.mean(torch.abs(img[:,
最低0.47元/天 解锁文章

200万优质内容无限畅学
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
DORN_pytorch:用于单目深度估计的深度序数回归网络的 PyTorch 实现
05-31
多恩 更新 更新了整个代码库，并重新实现了一些层和损失函数，以使其运行速度更快并使用更少的内存。 该存储库仅包含 DORN 模型的核心代码。 整个代码将保存在。 介绍 这是的的 PyTorch 实现。 预训练模型 DORN 的 resnet 主干，在第一 conv 层有 3 个 conv，与原始 resnet 不同。 resnet骨干网的预训练模型可以从下载 。 数据集 纽约大学深度 V2 未实现。 基蒂 根据 ，我们应该远离 eigen split 并切换到 。 更多详细信息，请参阅 。
Python-用于训练和测试深度估计模型的参考PyTorch实现
08-12
用于训练和测试深度估计模型的参考PyTorch实现
【code|loss edge-aware smoothness loss】
weixin_45714660的博客
06-27 571
【代码】【code|loss edge-aware smoothness loss】
单目深度估计中的LOSS构造【未完待续】
qq_34923437的博客
10-25 4555
Appearance based reprojection loss (也称photometric loss) 0. 无监督单目深度估计问题被转化为图像重建问题。既然是图像重建，就有重建源source image和重建目标target image，我们用It’和It表示 1.Monocular sequence 训练时，source It’ 不止1张，损失函数是各It’损失函数之和 2.对于某Scale的图像损失函数为: α一般0.85。SSIM: 结构相似性structural si..
深度估计-01-Digging Into Self-Supervised Monocular Depth Estimation
qq_40600539的博客
10-13 1510
ICCV 2019 [paper] [code] Overview 本文介绍一种自监督的深度估计方法Monodepth2。 太长不看版： 1、提出minmum loss在解决multi-view时存在的遮挡问题，指出应该取multi-view中的最小的光度误差，而不是对误差取平均，这是因为当合成图像某处存在遮挡时候，会造成合成图像产生较大的光度误差，而影响模型训练。 2、提出一种multi-scale采样的方法，对low-level的深度图，采用先upsample到原图大小再进行变换的方法，这样.
train_pytorch_图像分类/pytorch_train_
09-29
在PyTorch中进行图像分类是一项基础且重要的任务，它涉及到深度学习模型的构建、训练以及优化。...通过理解和修改这段代码，你可以深入学习PyTorch图像分类的各个方面，并为其他深度学习任务打下基础。
pytorch-使用Pytorch实现的UNet分割网络-图像分割.zip
03-02
PyTorch是一个强大的深度学习框架，它提供了灵活性和效率，使得开发复杂的神经网络模型如UNet变得更为便捷。本文将深入探讨如何使用PyTorch实现UNet分割网络以及在图像分割中的应用。 **一、PyTorch简介** PyTorch...
一篇晦涩的综述——《GEOMETRIC CONSTRAINTS IN DEEP LEARNING FRAMEWORKS:A SURVEY》（缓慢更新，反复修改）
最新发布
m0_74310646的博客
04-27 1213
看过最晦涩的一篇综述，没有之一，每一句话都值得仔细揣摩
论文阅读《EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection》
cunese0088的博客
05-07 1383
------------------------背景分析--------------------------------------------- 立体匹配的难点： 无纹理区域、细节结构、小物体和邻近边界找到正确的对应关系 之前的立体网络存在的缺点： 1 对所有潜在视差的多个前向计算通路的计算负担 2 有限的感受野和缺乏上下文信息来推断不适定区域的相关性 3 大量由经验手动设计参...
Pytorch图像超分任务中常见的损失函数
qq_38644840的博客
10-15 5832
损失函数L1 lossL2 loss L1 loss L1损失就是直接计算target与网络输出之间的距离，对于超分而言计算公式如下： l=1N∑nN∣outputn−targetn∣ l = \frac{1}{N}\sum_{n}^{N}\left | output_{n}-target_{n} \right | l=N1​n∑N​∣outputn​−targetn​∣ pytorch中继承了这个简单的损失函数具体代码如下： import torch import torch.nn as nn #创建评
pytorch计算loss时图像局部加权
开飞机的小毛驴儿
10-12 1045
参考链接：https://gist.github.com/ptrblck/4dfd97f487c469d01a4aa8d738c893ea 关键代码： criterion=nn.NLLLoss(reduce=False) loss=criterion(output,target) loss=loss*weights loss=loss.sum()/weights.sum()
边缘损失edge loss
qq_45753667的博客
04-26 1251
其实公式很好理解， |X-Y|表示了超分图像与真实图像的绝对误差， 但是我们更关心边缘的信息， 所以用E 去加权， 边缘部分的占比就会变大，那么这个loss就能更好地优化边缘信息。MSE的评价指标与人的对图像的主观感知效果没有很好的相关性， 因为它考虑的是平均， 没有很好地考虑一些显著特征的影响， 而显著的结构和纹理信息与人的主观感知效果有高度相关。其中X 和Y分别是网络输出的超分图像和真实的超分图像，E 是求得的边缘特征。
浅谈无监督单目深度估计框架的局限性
zxcqlf的博客
07-12 2048
无监督单目深度估计框架的局限性 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录无监督单目深度估计框架的局限性一、无监督框架二、基本损失函数1.引入库2.读入数据 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、无监督框架 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
两种edge-preserving滤波算法 导向滤波 和 双边滤波 个人理解
科技的v哦
07-30 1633
导向滤波详见:https://blog.csdn.net/baimafujinji/article/details/74750283（需要对比着看） 1.导向滤波 1.1. 直观解释 导向滤波算法的核心就是,区分出哪里是平坦区,哪里是边缘部分。 如何区分:计算窗口内的方差，方差大的可以认为是边缘。 1.2. 数学推导 对于qi,它的ai和bi等于所有包括他的窗口的ai和bi的均...
最近跑的github记录
qq_40107571的博客
10-20 720
最近跑的github记录
Monodepth2网络论文解析即训练总结
weixin_43941538的博客
03-30 2037
1. 亮点 最小重投影loss-处理遮挡问题 全分辨率多尺度采样-减少视觉伪影 auto-masking loss-忽略违反相机运动假设的像素 2. loss 2.1 重投影误差
【三维成像入门论文学习笔记】一、Unsupervised Learning of MonoDE and Visual Odometry with Deep Feature Reconstruction
Jackkii的博客
02-24 1042
论文全名：Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction 基于深层特征重构的单目深度估计和视觉里程计的无监督学习 原文链接：https://arxiv.org/pdf/1803.03893.pdf 开源代码：https://github....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值