什么是摄影变换矩阵与单应矩阵的区别是什么

什么是摄影变换矩阵？

摄影变换矩阵（Projection Matrix）是一个 $3\times 4$ 的矩阵，记作 $P$，它完成这个过程：

$$\text{3D世界坐标}(X,Y,Z,1{)}^T⟶\text{2D图像坐标}(x,y)$$

数学公式是：

$$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\sim P\times \left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

这里的 $\sim$ 表示“成比例”（因为计算机视觉常用的是齐次坐标，后面有解释）。

分开来看，$P$ 是什么构成的？

其实摄影变换矩阵 $P$ = 内参矩阵 $K$ × 外参矩阵 $[R|t]$

简单记：

$$P=K[R|t]$$

🔵 $K$：相机内参矩阵（Intrinsic Matrix）

• 描述相机内部成像特性，比如焦距、主点（光心），单位换算（像素/毫米）。
• 形状是 $3\times 3$。

常见形式是：

$$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$

• $f_x,f_y$：x、y方向上的焦距（通常乘上像素大小）。
• $(c_x,c_y)$：图像主点位置（通常是图像中心附近）。

🔵 $[R|t]$：相机外参矩阵（Extrinsic Matrix）

• 描述相机在世界中的姿态（朝向、位置）。
• $R$ 是 $3\times 3$ 的旋转矩阵，描述相机朝哪个方向看。
• $t$ 是 $3\times 1$ 的平移向量，描述相机相对于世界坐标的平移。

所以，

$$[R|t]=\left[\begin{array}{cc}{R}_{3\times 3}& t_{3\times 1}\end{array}\right]$$

最后乘起来就得到 $3\times 4$ 的摄影变换矩阵 $P$。

为什么要用齐次坐标？

因为普通坐标没办法表示“无穷远”的点，比如视线延长出去交于远方，我们需要齐次坐标。

• 把 $(x,y)$ 写成 $(x,y,1)$。
• 把 $(X,Y,Z)$ 写成 $(X,Y,Z,1)$。

齐次坐标下，可以用一个简单的线性变换（矩阵乘法）来统一处理旋转、缩放、平移、投影这些操作。

小结一句话

摄影变换矩阵，就是内参+外参合体成的大矩阵，专门用来把三维世界的点变换到二维图像上，中间用到了齐次坐标系统。

举个超级具体的例子

比如一个世界坐标点 $(2,3,10)$，在相机中成像。

假设：

• 焦距 $f_x=1000$，$f_y=1000$
• 主点 $(c_x,c_y)=(500,400)$
• 相机刚好正对着场地（没有旋转平移），即 $R$ 是单位矩阵，$t$ 是零向量。

那么 $K$ 是：

$$K=\left[\begin{array}{ccc}1000& 0& 500\\ 0& 1000& 400\\ 0& 0& 1\end{array}\right]$$

外参是：

$$[R|t]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$$

所以 $P=K[R|t]$，乘出来是：

$$P=\left[\begin{array}{cccc}1000& 0& 500& 0\\ 0& 1000& 400& 0\\ 0& 0& 1& 0\end{array}\right]$$

然后，
$$\begin{array}{rl}\left[\begin{array}{c}x\\ y\\ w\end{array}\right]& =P\times \left[\begin{array}{c}2\\ 3\\ 10\\ 1\end{array}\right]\\ & =\left[\begin{array}{c}1000\cdot 2+0\cdot 3+500\cdot 10+0\\ 0\cdot 2+1000\cdot 3+400\cdot 10+0\\ 0\cdot 2+0\cdot 3+1\cdot 10+0\end{array}\right]\\ & =\left[\begin{array}{c}7000\\ 7000\\ 10\end{array}\right]\end{array}$$

再齐次归一化一下（除以最后一个坐标 $w=10$）：

$$(x,y)=\left(\frac{7000}{10},\frac{7000}{10}\right)=(700,700)$$

所以这个三维点，成像在图像的 (700,700) 位置。

摄影变换矩阵常用在哪？

• 单目相机定位（PnP）：已知三维点，求相机位姿。
• 三维重建：多张图片之间通过 $P$ 矩阵恢复三维结构。
• 增强现实（AR）：把虚拟物体准确地叠加到摄像头画面上。
• 场地检测：比如检测网球场地四个角点后，估计场地的单应性和摄影矩阵。

大致的流程是神马样子捏？

单应矩阵（Homography） 和 摄影矩阵（Projection Matrix）的区别

单应矩阵（Homography）

• 符号：通常记为 $H$。

• 形状：$3\times 3$ 矩阵。

• 作用：在同一个平面上，把一个图像中的点，映射到另一个图像中的点。

• 公式：

$$\lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

其中 $(x,y)$ 是原图像上的点，$(x^{\prime },y^{\prime })$ 是变换后的图像点，$\lambda$ 是齐次坐标缩放因子。

• 本质：

  • 纯二维到二维的映射。
  • 要求所有点在同一个平面上（如网球场、广告牌、地面等）。

• 常见应用：

  • 图像配准（比如拼接全景图）
  • AR平面叠加
  • 视角变换

摄影矩阵（Projection Matrix）

• 符号：通常记为 $P$。

• 形状：$3\times 4$ 矩阵。

• 作用：将三维世界中的点投影到二维图像平面上。

• 公式：

$$\lambda \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

其中 $(X,Y,Z)$ 是三维世界坐标，$(x,y)$ 是成像平面上的二维点。

• 本质：

  • 三维到二维的透视投影。
  • 无需假设点在同一个平面上。

• 常见应用：

  • 三维重建
  • 相机标定
  • 位姿估计
  • 物体识别与定位

直观差别总结

超形象比喻🎯

• 单应矩阵 $H$：就像投影仪打在一张纸上，纸换个角度，影像随之变化。
• 摄影矩阵 $P$：就像用相机拍摄三维物体，把真实世界中的三维点投影成二维图片。

一句话总结

• 单应矩阵 $H$：二维平面到二维平面的变换。
• 摄影矩阵 $P$：三维世界到二维图像的投影。