深度估计自监督模型monodepth2论文总结和源码分析【理论部分】

本文主要对monodepth2的理论和源码部分进行一定的总结，实战部分可以参考我的另一篇博客深度估计自监督模型monodepth2在自己数据集的实战——单卡/多卡训练、推理、Onnx转换和量化指标评估

一、论文理解：

本论文主要是基于单目视频流的方法，也可加入双目立体图像训练，
主体上继承Unsupervised Learning of Depth and Ego-Motion from Video(CVPR 2017)的视频无监督方案，加入三点提升。图像重构的基础原理如下：

上面公式相当于两个相机坐标系下的转换，即原图像先用内参的逆转换到它的相机坐标系，再用旋转平移矩阵转到另一个相机坐标系，再用内参转到另一个相机的图像坐标系，注意这里用的是反向warping，可以保证source图和重构target图像中的像素一一对应，而深度Z是数乘，可以变换位置。网络中使用depth网络预测深度，也就是D，输入是第0帧图像，,再用pose网络预测位姿变换，也就是T，输入是-1和0,0和1两对图像，然后用D,T和已知的K，用第-1帧和第1帧分别来重构第0帧（target图像࿰