针孔相机投影模型

原创已于 2022-11-26 11:31:15 修改 · 505 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#三维视觉 #矩阵

于 2022-08-26 20:03:41 首次发布

计算机视觉/图形学专栏收录该内容

40 篇文章

订阅专栏

2022-11-26

为什么图像降采样后，相机内参需要等比例变换

——————————
本文将涉及 3 个坐标系——相机、图像和世界坐标系。

相机：透视投影（perspective projection）

$\begin{bmatrix} x_c \\y_c \\ f \end{bmatrix}= \lambda\begin{bmatrix} X_c \\Y_c\\ Z_c \end{bmatrix}$
上面的式子，是要取向量相等，则各元素相等。并不是齐次坐标的 up to a scale。
其中，
$\mathbf{X}_c =\begin{bmatrix} X_c \\Y_c\\ Z_c \end{bmatrix}$
是三维场景下的点 $\mathbf{X}$ 在相机坐标系下的坐标。
$\lambda=\frac{f}{Z}$
在这里插入图片描述
这可以用一个关于齐次坐标的线性映射来表示（等式左右两边相差一个常数，the equation is only up to a scale factor）
$\begin{bmatrix} x_c \\y_c \\ f \end{bmatrix} \backsimeq \begin{bmatrix} 1& 0 & 0& 0\\ 0&1&0&0\\ 0&0&1&0 \end{bmatrix} \begin{bmatrix} X_c \\Y_c \\ Z_c\\1 \end{bmatrix}$

图像（相机内部参数，intrinsic/internal camera parameters）

注意，上面的 $\begin{bmatrix} x_c ,y_c \end{bmatrix}$
是在图 2 中 $y_c p x_c$ 坐标系下的二维坐标。
$k_u x_c=u-u_0$
$k_v y_c=v_0-v$
其中 $k$ 的单位是
$[p i x e l s / l e n g t h]$
pixels是指高度或者宽度方向上的像素数目，length是指图像的高度值或宽度值（单位为米）。

注意：上面的 $u,v,u_0,v_0$ 是同一个点在 uv 坐标系下的坐标。

$x_c,y_c$ 是在 $x_c p y_c$ 坐标系下的坐标。在一个等式中，出现了同一个点在不同坐标系下的坐标。

在这里插入图片描述

上式可以表示为
$\mathbf{x}=\begin{bmatrix} u \\ v\\1 \end{bmatrix}= \begin{bmatrix} fk_u & 0 & u_0\\ 0 & -fk_v & v_0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x_c \\ y_c \\f \end{bmatrix}= \mathbf{C}\begin{bmatrix} x_c\\y_c\\f \end{bmatrix}$

$\mathbf{C}$ 是一个 $3\times3$ 上三角矩阵，称作相机标定矩阵。
$\mathbf{C}=\begin{bmatrix} \alpha_u & 0 & u_0 \\ 0 &\alpha_v & v_0\\ 0 & 0 &1 \end{bmatrix}$

其中， $\alpha_u=fk_u,\alpha_v=-fk_v$

$\mathbf{C}$ 提供了在一个 image 点和一条射线（ $x_c,y_c,f)$ ）在 3 维欧几里得空间中的变换。注：一个三维坐标 $x_c,y_c,f)$ 既可以表示一个三维坐标系中三位点的坐标，也可以表示该从原点出发指向该点的向量。
一共有 4 个参数：1. 沿着图像 $x, y$ 方向的放缩参数 $\alpha_u,\alpha_v$ 。主点（principal point（ $u_0,v_0$ ）），是光轴（optic axis）和图像平面的交点。高宽比（sapect ratio）是 $\alpha_v.\alpha_u$
如果 $\mathbf{C}$ 已知，就称相机已经标定
校准摄像机是一个方向传感器，能够测量射线的方向。

世界（相机外部参数，extrinsic/external camera parameters）相机与世界坐标系之间的欧几里得变换是 $X_c=RX_W+t$

$\begin{bmatrix} X_c\\ Y_c \\ Z_c\\1 \end{bmatrix}= \begin{bmatrix} \mathbf{R} & \mathbf{t} \\ \mathbf{0}^T &1 \end{bmatrix} \begin{bmatrix} X_w\\ Y_w \\ Z_w\\1 \end{bmatrix}$
在这里插入图片描述

总结

最终，

$\mathbf{x}=\begin{bmatrix} u \\ v\\1 \end{bmatrix} = \mathbf{C}\begin{bmatrix} 1& 0 & 0& 0\\ 0&1&0&0\\ 0&0&1&0 \end{bmatrix} \begin{bmatrix} \mathbf{R} & \mathbf{t} \\ \mathbf{0}^T &1 \end{bmatrix} \begin{bmatrix} X_w\\ Y_w \\ Z_w\\1 \end{bmatrix}= \mathbf{C} [\mathbf{R}\mid\mathbf{t}]\begin{bmatrix} X_w\\ Y_w \\ Z_w\\1 \end{bmatrix}$
上面定义了 $3\times4$ 投影矩阵：从 3 维欧几里得空间到一张图像
$\mathbf{x}=\mathbf{P}\begin{bmatrix} \mathbf{X}\\1 \end{bmatrix}$