计算机视觉中的多视图几何＜Part1—摄像机几何和单视图几何＞(1)

5. 摄像机模型

摄像机模型是3D世界(物体空间)和2D图像之间的一种映射关系。具体模型主要分成有限中心的摄像机模型和“无穷远”中心的摄像机模型。

5.1 有限摄像机

• 针孔相机模型：
  

$$(X,Y,Z{)}^T\mapsto (fX/Z,fY/Z{)}^T$$
$$\text{x}=K[I|0]X_{cam}$$
3维欧式空间$I{R}^3$到2维欧式空间$I{R}^2$的一个映射，投影中心称为光心，光心到图像平面的垂线称为摄像机的主轴，主轴与图像平面的交点称为主点，过摄像机光心平行于图像平面的平面称为主平面。

• 摄像机旋转与位移：
  
  先移光心再转轴：
  $${\text{X}}_{cam}=R(\tilde{\text{X}}-\tilde{C})$$
  $${\text{X}}_{cam}=\left[\begin{array}{ccc}R& & -R\tilde{C}\\ {\text{0}}^{\top }& & 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{ccc}R& & -R\tilde{C}\\ {\text{0}}^{\top }& & 1\end{array}\right]\text{X}$$
  $$\text{x}=KR[I|-\tilde{C}]\text{X}$$
  $$P=K[R|t]$$
  一般的针孔相机模型$P=KR[I|-\tilde{C}]$有9个自由度：3个来自$K$($f$, $p_x$, $p_y$)，3个来自$R$，3个来自$\tilde{C}$。
• CCD摄像机：
  $$K=\left[\begin{array}{ccccc}{\alpha }_x& & & & x_0\\ & & {\alpha }_y& & y_0\\ & & & & 1\end{array}\right]$$
  引入非等尺度因子$m_x$，$m_y$，即$x$，$y$方向上图像坐标单位距离的像素数，${\alpha }_x=f{m}_x$，${\alpha }_y=f{m}_y$，$x_0=m_x{p}_x$，$y_0=m_y{p}_y$，CCD摄像机有10个自由度。
• 有限射影摄像机：
  $$K=\left[\begin{array}{ccccc}{\alpha }_x& & s& & x_0\\ & & {\alpha }_y& & y_0\\ & & & & 1\end{array}\right]$$
  $$P=M[I|M^{-1}{\text{p}}_4]=KR[I|-\tilde{C}]$$
  $s$为扭曲参数，有限射影摄像机有11个自由度，把有限射影相机矩阵与左边为非奇异的$3\times 3$子矩阵的$3\times 4$齐次矩阵等同。
• 一般射影摄像机：
  在射影摄像机层次化的最后一步是移去加在左边$3\times 3$子矩阵的非奇异性约束。之所以要求秩3，是因为如果秩小于3，那么矩阵映射的值域将是一条直线或一个点而不是2D图像。

5.2 射影摄像机

5.2.1 Camera anatomy

一般射影摄像机可以按$P=[M|{\text{p}}_4]$分块，$M$是非奇异的为有限摄像机。

• 摄像机中心：
  摄像机中心$C$是$P$的一维右零空间(投影射线)，即$PC=0$，当$M$奇异时，摄像机中心在无穷远点。

• 列矢量：
  射影摄像机的列是3维矢量，${\text{p}}_1$，${\text{p}}_2$，${\text{p}}_3$分别为世界坐标$X$，$Y$，$Z$轴的消影点，$D=(1,0,0,0{)}^{\top }$，${\text{p}}_1=PD$，${\text{p}}_4$是世界坐标原点的图像。
  

• 行矢量：
  射影摄像机的行是4维矢量，在几何上解释成特殊的世界平面。
  

• 主平面：
  主平面过光心平平行于图像平面，由被影像到图像上的无穷远直线上的点集$X$组成，$PX=(x,y,0{)}^{\top }\iff P^{3\top }X=0$，$P^3$是摄像机主平面的矢量表示。

• 轴平面：
  $PX=(0,y,w{)}^{\top }\iff P^{1\top }X=0$，$PX=(x,0,w{)}^{\top }\iff P^{2\top }X=0$，轴平面依赖于图像$x-$，$y-$轴，平面$P^1$，$P^2$的交线是一条连接摄像机中心和图像原点的直线，即图像原点的反投影，该直线一般不与摄像机主轴重合。

• 主点：
  主轴是过光心并且方向垂直于主平面的直线，主轴与图像平面交于主点，$P^3\Rightarrow ({\text{m}}^{3\top },0)\iff$