双目视觉浅析

双目视觉

理想双目相机成像模型

对于双目视觉的建模如下，其中$O$、$O^{\prime }$是两个相机的位置，$X$是成像点在空间中的位置，$\mathbf{x}$是$X$在图像1上的位置，${\mathbf{x}}^{\prime }$是$X$在图像2上的位置

其中并作如下定义

• 基线：两个相机中心的连线
• 对极平面：空间点$X$与相机中心$O$、$O^{\prime }$所构成的平面
• 对极线：对极平面与图像平面的交线
• 对极点:另一个相机中心。在图像平面上的投影基线和像平面的交点

基本矩阵

几何证明

对于一幅图像上的点$\mathbf{x}$，在另一幅图像中存在一条对应的对极线$l^{\prime }$。在第二幅用像上，任何与该点$\mathbf{x}$匹配的点${\mathbf{x}}^{\prime }$必然在对极线$l^{\prime }$上。该对极线是过点$\mathbf{x}$与第一个摄像机中心C的射线在第二幅图像上的投影。因此，存在一个从一幅图像上的点到另一幅图像上与之对应的对极线的映射$\mathbf{x}\to l^{\prime }$。

给定点${\mathbf{x}}^{\prime }$与$e^{\prime }$，可求得对极线为
$$l^{\prime }=e^{\prime }\times {\mathbf{x}}^{\prime }={\left[e^{\prime }\right]}_{\times }{\mathbf{x}}^{\prime }$$
又因为
$$x^{\prime }=H_{\pi }\mathbf{x}$$
由此存在
$$l^{\prime }={\left[e^{\prime }\right]}_{\times }{H}_{\pi }\mathbf{x}=F\mathbf{x}$$
定义基本矩阵为
$$F={\left[e^{\prime }\right]}_{\times }{H}_{\pi }$$
其中$H_{\pi }$是从一幅图像到另一幅画像通过任意平面π的转移映射。

且满足${\mathbf{x}}^{\prime T}F\mathbf{x}=0$

因为
$${\mathbf{x}}^{\prime T}{l}^{\prime }=0$$
又因为
$$l^{\prime }=F\mathbf{x}$$
所以存在
$${\mathbf{x}}^{\prime T}F\mathbf{x}=0$$

代数证明

设存在单应变换$\mathbf{x}=P\mathbf{X}$
$$X(\lambda )=P_1^{+}{x}_1+\lambda C_1$$
其中，$P_1^{+}=P_1^T(P_1{P}_1^T{)}^{-1}$,是第一幅图像的相机矩阵 $(P=K[R|t]$ )的伪逆，$C_1$ 是第一幅图像的光心。该射线上的两个特殊点$P_1^{+}{x}_1$ 和$C_1$在第二幅图像中的投影分别为$P_2{P}_1^{+}{x}_1$和$P_2{C}_1$, 依照定义，后者就是对极点 $e_2$ 。我们已经知道，对极线 $l_2$ 就是这两个点的连线(即叉乘):
$$\begin{array}{rl}{l}^{\prime }& =(P^{\prime }\mathbf{C})\times (P^{\prime }{P}^{+}\mathbf{x})\end{array}$$
又因为
$${\left[e^{\prime }\right]}_{\times }=P^{\prime }\mathbf{C}$$
所以
$$\begin{array}{rl}{l}^{\prime }& =(P^{\prime }\mathbf{C})\times (P^{\prime }{P}^{+}\mathbf{x})\\ & =\left({\left[e^{\prime }\right]}_{\times }{P}^{\prime }{P}^{+}\right)\mathbf{x}\\ & =F\mathbf{x}\end{array}$$
所以$F={\left[e^{\prime }\right]}_{\times }{P}^{\prime }{P}^{+}$

这个公式与几何推导基本矩阵时所得到的公式本质上相同，单应 $H_{\pi }$ 可用两个摄像机矩阵表示为$:H_{\pi }=P^{\prime }{P}^{+}$。注意上面的推导在两个摄像机中心相同时不能采用.因为，如果 C是P和P’两个摄像机共同的中心，则 ${\mathrm{P}}^{\prime }\mathrm{C}=0$。

本质矩阵

分解矩阵$P=K\left[R|t\right]$的相机矩阵，且令$\mathbf{x}=P\mathbf{X}$为图像上的一点，设知道相机标定矩阵$K$，则得到点 $\hat{\mathbf{x}}=K^{-1}\mathbf{x}$，即 $\hat{\mathbf{x}}=[R|t]\mathbf{x}$，其中$\hat{\mathbf{x}}$是图像上的点在归一化坐标下的表示。它可以被视为空间点 $\mathbf{X}$ 在摄像机$[R|t]$的标定矩阵等于单位矩阵$I$情形下的像，摄像机矩阵 $K^{-1}P=[R|t]$称为归一化摄像机矩阵，其中对于归一化摄影机矩阵的基本矩阵被称为本质矩阵
$$E=[t{]}_{\times }R=R[R^{T}t{]}_{\times }$$
用归一化图像坐标表示对应点 x→x’时，本质矩阵的定义方程是

$${\hat{\mathbf{x}}}^{\prime \mathsf{T}}\mathrm{E}\hat{\mathbf{x}}=0.$$