遮挡场景的光场图像深度估计方法_深度估计去遮挡资源-CSDN下载

149 浏览量 2021-01-13 01:05:39 上传评论收藏 2.08MB PDF 举报

资源推荐

资源详情

资源评论

第 33卷第 12期控制与决策 Vol.33 No.12

2018年 12月 Control and Decision Dec. 2018

文章编号: 1001-0920(2018)12-2122-09 DOI: 10.13195/j.kzyjc.2017.0936

遮挡场景的光场图像深度估计方法

张旭东, 李成云

†

, 汪义志, 熊伟

(合肥工业大学计算机与信息学院，合肥 230009)

摘要: 光场相机通过单次拍摄可获取立体空间中的 4 维光场数据, 利用光场的多视角特性可从中提取全光场图

像的深度信息. 然而, 现有深度估计方法很少考虑场景中存在遮挡的情况, 当场景中有遮挡时, 提取深度信息的精

度会明显降低. 对此, 提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息. 首先分

别利用自适应散焦算法和自适应匹配算法提取场景的深度信息; 然后用峰值比作为置信以加权融合两种算法获

取的深度; 最后, 用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波, 得到高精度深度图. 合成数据

集和真实数据集的实验结果表明, 与其他先进算法相比, 所提出的算法获取的深度图精度更高、噪声更少、图像边

缘保持效果更好.

关键词: 光场相机；深度估计；全光场图像；遮挡；多线索融合；联合滤波器

中图分类号: TP391 文献标志码: A

Light ﬁeld depth estimation for scene with occlusion

ZHANG Xu-dong, LI Cheng-yun

†

, WANG Yi-zhi, XIONG Wei

(School of Computer and Information，Hefei University of Technology，Hefei 230009)

Abstract: The light ﬁeld camera can obtain the four-dimensional light ﬁeld data from stereoscopic space with one shot.

After that, the depth information can be extracted by multiview characteristic of the light ﬁeld. However, the existing

depth estimation method rarely considers the presence of occlusion in the scene. The accuracy of the extracted depth

information is signiﬁcantly reduced, when the scene is blocked. Aiming at this problem, this paper presents a new depth

estimation method of light ﬁeld image based on multi-clues fusion to obtain high-precision depth information. Firstly, the

adaptive defocus algorithm and the adaptive matching algorithm are used to extract the depth information of the scene.

And then the peak ratio is taken as conﬁdence to synthesize the depth images. Finally, the fusion depth map is ﬁltered

by a combined ﬁlter with structural consistency, and a high precision depth map is obtained. The experimental results

in the virtual data and real data show that , compared with other advanced algorithms, the depth images obtained by the

proposed method are more accurate, less noise, and the edges are more clearer.

Keywords: light ﬁeld camera；depth estimation；light ﬁeld image；occlusion；multi-clue fusion；joint ﬁlter

0 引 󲿑

光场相机

[1]

是一种新型的多目视觉相机, 巧妙地

结合了计算光学理论、计算成像技术及数字图像处

理技术等. 微透镜式光场相机在主透镜和图像传感

器之间放置了微透镜阵列, 所以单次曝光可以记录 3

维场景的位置、角度等四维光场信息. 由于光场相机

具有“先拍摄, 后对焦”的特点, 通过对光场相机获

取的光场数据进行分析处理,可以获得场景的深度信

息, 进而在目标识别

[2]

、显著性检测

[3-7]

、超分辨率重

建

[8-9]

以及三维表面重建

[10]

等领域都有重要的应用.

目前, 光场的深度估计方法可分为以下 3 类: 基

于极平面图像 (EPI) 的深度估计、基于多视角的深度

估计及基于重聚焦的深度估计.

1) 基于 EPI 的深度估计利用 EPI 的结构张量得

到像素匹配方向的场景深度图. 例如: Chen 等

[11]

利

用 EPI 获取深度一致性曲线, 并引入双边一致性度

量方法衡量多视角图像匹配的可靠性, 实现深度估

计; Li 等

[12]

构造稀疏线性系统, 通过计算 EPI 的结构

张量得到局部深度信息, 再利用颜色一致性约束校

正错误深度估计区域,从而获取包含更多细节的连续

收稿日期: 2017-07-13；修回日期: 2017-11-14.

基金项目: 国家自然科学基金项目(61403116)；中国博士后基金项目(2014M560507).

责任编委: 林崇.

作者简介: 张旭东 (1966−), 男, 教授, 博士, 从事智能信息处理、机器视觉等研究；李成云 (1991−), 女, 硕士生, 从事

光场技术、计算机视觉的研究.

†

通讯作者. E-mail: [email protected]

第12期张旭东等: 遮挡场景的光场图像深度估计方法 2123

深度图; Wanner 等

[13]

在全变分框架下, 将改进的基于

约束项的立体匹配算法应用于 EPI 图像提取深度信

息; Zhang 等

[14]

对通过 EPI 图像斜率得到的局部深度

信息进行可靠性度量,引入局部线性嵌入方法估计不

可靠像素的视差,利用视差标签和传递获得连续一致

的深度图. 上述方法 EPI 的提取过程计算量较大, 时

间复杂度较高, 实时性较差, 而且深度估计结果容易

受到噪声影响.

2) 基于重聚焦的深度估计充分利用光场的数字

重聚焦优势, 对焦点堆栈图像进行聚焦性检测, 提取

深度信息. 例如: Mousnier 等

[15]

利用光场数据获取全

聚焦图像, 之后再利用相机校准参数与图像原始数

据之间的映射关系, 将全聚焦图像转换为深度图; Lin

等

[16]

利用焦点堆栈图像的对称性获取光场深度信

息; Lu 等

[17]

利用 LytroDesk

[18]

获取焦点堆栈图像, 进

一步通过 Laplace 算子检测提取深度信息. 上述方法

获取的深度图可以保留更多细节, 但会引入散焦误

差,降低深度图的精确度.

3) 基于多视角的深度估计利用光场多视角图像

之间形成的视差提取深度信息. 例如: Yu 等

[19]

通过

求解不同微透镜后方子透镜图像之间的匹配关系, 并

采用全局优化方法实现场景的深度估计; Jeon 等

[20]

利用傅里叶域的相位平移理论表示子微透镜图像间

的亚像素位移, 将中心视角与其他视角进行立体匹

配, 然后利用图割进行多标签优化, 最终通过二次函

数拟合局部深度图获取连续深度图; Calderon 等

[21]

使用分类法完成深度估计,利用损耗函数表示不同深

度间的匹配关系,并通过最优化方法获得最佳深度估

计值; Liu 等

[22]

通过渲染增强获得高保真的 4D 光场,

将相同角度维度 v 的中心视角和左视角进行立体匹

配, 用对应的中心视角和右视角匹配验证, 并采用多

标签优化方法获取深度信息. 上述方法计算效率较

高, 但是对匹配噪声难以抑制, 此外, 当场景中出现遮

挡或重复纹理时,视差线索的可靠性会明显降低.

综上,利用单个方法的线索进行深度估计存在精

度或鲁棒性不足的问题. 因此, 人们提出了利用多线

索融合提取深度信息的方法. 根据散焦和匹配线索

是场景深度变化在不同维度上的表现, Tao 等

[23]

提出

了融合散焦 (Defocus) 和匹配 (Correspondence) 线索,

再利用马尔可夫随机场 (MRF) 进行全局优化的深度

估计算法. 进一步, 他们利用阴影和光照线索约束校

正深度图, 提升了深度估计性能

[24]

. 此类方法降低了

散焦误差, 且对光线充足的区域效果较好. 然而,当场

景中存在遮挡时,对场景深度估计的精确度或鲁棒性

会明显降低. 对此, Wang 等

[25]

提出了遮挡知道的深

度估计方法,然而此方法仅局限于单个遮挡且高度依

赖于边缘检测结果.

为了更好地解决由遮挡引起的场景深度估计精

确性和鲁棒性低的问题,本文在融合线索的基础上提

出一种对遮挡场景鲁棒的深度估计方法. 通过对各

线索的分析,利用对遮挡场景深度估计结果较好的自

适应散焦线索和自适应匹配线索提取场景深度信息,

然后用峰值比计算它们各自的置信, 再结合置信加权

求和与 MRF 对获取的深度信息进行融合, 结合各线

索优势得到初始深度图,采用具有结构一致性的交互

结构联合滤波器对初始深度图进行滤波处理, 并引入

迭代优化算法进行能量最小化,从而获得全局一致的

高精度的深度估计结果.

1 散焦与匹配线索获取深度图原理

微透镜式光场相机在主透镜与图像传感器之间

放置微透镜阵列, 通过一次曝光, 可同时获取光辐射

的空间分布及辐射传输的方向信息 (空间信息和角

度信息), 如图 1 所示. 由物体上一点发出的光线会在

微透镜所在的像平面上聚集于一点, 然后微透镜阵列

将光线按照不同的方向分散到传感器上, 因此, 成像

传感器可以记录同一空间点发出的不同方向的光线.

图 1 Lytro相机成像模型

图 2 是光场的多视角图像. 其中: 图 2(a) 是 4D 光

场示意图, (x, y) 与 (u, v) 分别表示空间坐标与角度

坐标. 固定其中一个角度坐标轴 u, 然后在所有的空

间坐标中连续变化另一个角度坐标轴 v, 便可得到光

场的一组多视角图像. 连续地变化坐标轴 u, 可以获

得该 4D 光场空间的所有不同视角的图像 (多视角图

像),如图2(b)所示.

(a)4D!"#$%

(b) &'(%)

图 2 光场的多视角图像

剩余8页未读，继续阅读

评论收藏

内容反馈

weixin_38610815

粉丝: 4

遮挡场景的光场图像深度估计方法

基于深度学习的红外图像遮挡干扰检测方法.pdf

模糊图像matlab代码-TIP2018-Edge-Based-Defocus-Blur-Estimation-With-Adaptive-S

Genomic_Analyses:R主要用于从多个来源获得的模糊数据集的分析，序列数据分析和复杂数据集的可视化

通过对极平面图像分析和局部线性嵌入来估计光场深度

基准数据集和根据光场图像进行深度估计的方法

多视点稀疏测量的图像绘制方法.docx

Light Field Toolbox for MATLAB.zip

Saliency Detection on Light Field.pdf

Raindrop-Removal-With-Light-Field-Image-Using-Image-Inpainting

基于语义导向的光场图像深度估计.docx

基于深度估计和优化的高效光场图像压缩方法

Tao光场图像深度估计代码及解析

边缘复杂光场图像的深度估计散焦响应函数优化

GUIDED INTEGRAL FILTER FOR LIGHT FIELD STEREO MATCHING

Mask-ToF Learning Microlens Masks for Flying Pixel Correct.pdf

jochy-Sheared-EPI-master_EPI_

opencv 算法教程

论文研究-LYTRO相机光场图像深度估计算法及重建的研究.pdf

基于多流对极卷积神经网络的光场图像深度估计.pdf

基于编码-解码器架构的光场深度估计方法.pdf

Tao光场图像深度估计代码及解析（matlab2017、2018亲测可用）

电信设备-基于深度图像遮挡信息的静态视觉目标遮挡规避方法.zip

Arthas

通用职责分配原则和设计原则

最新资源