《机器学习数学基础》补充资料：矩阵的由来及线性变换

1 矩阵的由来

解方程式
$$3x=7\text{\hspace{1em}(1)}$$
只要在等号两边同乘以$3^{-1}$，便有
$$3^{-1}\cdot 3x=3^{-1}\cdot 7\Rightarrow x=\frac{7}{3}$$
解联立方程式
$$\{\begin{array}{l}2x+3y=5\\ x-2y=3\end{array}\text{\hspace{1em}(2)}$$
时，经常使用消去法，先试图求解其中一个未知数，再代入求解另一个未知数。然而当未知数较多时，例如
$$\{\begin{array}{l}2x+5y+3z-4w=5\\ -x+y+11z+7w=8\\ 4x-7y+6z+2w=-3\\ 3x-2y-4z-5w=1\end{array}$$
就变得相当麻烦。于是后来就有人想，能不能把这个联立方程组写得像式子$(1)$ 一样呢？以联立方程式$(2)$ 为例，我们将它看成
$$AX=C\text{\hspace{1em}(3)}$$
其中$A$ 是将系数全抓出来，为$A=\left[\begin{array}{cc}2& 3\\ 1& -2\end{array}\right]$，$X$ 是将变量抓出来，为$X=\left[\begin{array}{c}x\\ y\end{array}\right]$，而$C$ 是常数的部份，为$C=\left[\begin{array}{c}5\\ 3\end{array}\right]$。所以式子$(3)$ 即为
$$\left[\begin{array}{cc}2& 3\\ 1& -2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}5\\ 3\end{array}\right]\text{\hspace{1em}(4)}$$
看到这个，便可明白为何矩阵乘法是列与行相乘，因为这样才会变成$(2)$ 的形式。现仿照式子$(1)$ 的解法，在式子$(3)$ 的等号两边乘上$A^{-1}$，就会得到
$$A^{-1}AX=A^{-1}C\Rightarrow X=A^{-1}C$$
如此便达到以简御繁的效果，将原来较复杂的联立方程表示为看来较简洁的矩阵方程。

不过在上述的简介当中，为了快速让你明白矩阵的由来，省略了许多重要的细节讨论。以下稍放慢脚步，仔细做实数与矩阵的类比。

在实数的方程式
$$ax=b\text{\hspace{1em}(5)}$$
中，可不可以说等号两边同乘以$a^{-1}$，得到$x=a^{-1}\cdot b$ 呢？可以的，先决条件是$a^{-1}$ 存在，也就是$a$ 不为$0$。

在矩阵方程
$$AX=C\text{\hspace{1em}(6)}$$
中，可不可以说等号两边同乘以$A^{-1}$，得到$x=A^{-1}\cdot C$ 呢？可以的，先决条件是$A^{-1}$ 存在，然而这是什么意思呢？

在实数的情况中，$a^{-1}$ 究竟是什么东西？我们这样说：$a^{-1}$ 是使得$a\cdot a^{-1}=1$ 成立的数，我们称$a^{-1}$ 为$a$ 的乘法反元素。因为$0$ 乘以任何数都不会是$1$，所以$a=0$ 时不存在$a^{-1}$。在矩阵的情况，$A^{-1}$ 是什么东西？我们这么说：$A^{-1}$ 是使得$A\cdot A^{-1}=I$ 成立的矩阵。我们称$A^{-1}$ 为$A$ 的乘法反矩阵，简称$A$ 的逆矩阵。

而$I$ 又是什么东西？它的角色就像实数中的$1$。任何实数$k$ 乘以$1$，结果都还是$k$，我们称$1$ 为乘法单位元素；任何矩阵$B$ 乘以$I$，结果都还是$B$，我们称$I$ 为单位矩阵。至于它实际写起来长什么样子呢？二阶的单位矩阵为
$$I_2=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$
三阶的单位矩阵则为
$$I_3=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
更高阶的以此类推。

所以，如果我们真的在式子$(6)$ 两边同乘以$A^{-1}$。等一下，我这样讲其实很有问题，因为矩阵乘法并不具交换律（$AB=BA$ 并不一定成立）。我应该说：在式子$(6)$ 两边同时左乘$A^{-1}$​，得到
$$\begin{array}{rl}{A}^{-1}(AX)& =A^{-1}C\\ \Rightarrow (A^{-1}A)X& =A^{-1}C\text{矩阵有结合律}\\ \Rightarrow IX& =A^{-1}C\\ \Rightarrow X& =A^{-1}C\end{array}$$
所以，只要$A^{-1}$ 存在，就必能解出$X=\left[\begin{array}{c}x\\ y\end{array}\right]$。因为是解出确定的值，所以是唯一解，不是无限多组解。

那么，$A$ 的逆矩阵何时存在呢？我们可以由$A$ 行列式$\det (A)$ 来判断。

性质 逆矩阵存在的条件

若$\det (A)\ne 0$ 则$A^{-1}$ 存在；若$\det (A)=0$ 则$A^{-1}$ 不存在。

这理由很简单，由克拉默法则，我们知道联立方程式的系数来做行列式，行列式值不为$0$ 时有唯一解，而这个行列式即是我们现在讨论的$\det (A)$。

另一个角度来看，行列式有个性质是
$$\det (AB)=\det (A)\det (B)$$
矩阵相乘后取行列式等于各自取行列式后再相乘。所以
$$\det (I)=1=\det (A\cdot A^{-1})=\det (A)\det (A^{-1})$$
这就知道若$A^{-1}$ 存在，则$\det (A)$ 必不为$0$；反过来说，若$\det (A)=0$，则$A^{-1}$ 必不存在。而且我们还顺便得知了
$$\det (A^{-1})=\frac{1}{\det (A)}$$
矩阵的行列式与其逆矩阵的行列式互为倒数。

例题 1

设$x,c$ 为实数，方阵$A=\left[\begin{array}{cc}3& 2\\ -2& x\end{array}\right]$、$B=\left[\begin{array}{cc}3& -2\\ 2& x\end{array}\right]$ 。已知$A$ 的逆方阵恰好是$B$ 的$c$ 倍（其中$c\ne 0$），则数对$(x,c)=\underline{}$ 。

解
$$\begin{array}{rl}& \left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=A{A}^{-1}=A(cB)=c\left[\begin{array}{cc}3& 2\\ -2& x\end{array}\right]\left[\begin{array}{cc}3& -2\\ 2& x\end{array}\right]=c\left[\begin{array}{cc}13& \ast \\ -6+2x& \ast \end{array}\right]\\ \Rightarrow & \{\begin{array}{l}13c=1\\ c(-6+2x)=0\end{array}\Rightarrow (x,c)=\left(3,\frac{1}{13}\right)\end{array}$$
例题 2

已知
$$\{\begin{array}{l}5x-8y+z=1\\ 4x-7y+z=0\\ 6x-10y+z=0\end{array},\{\begin{array}{l}5x-8y+z=0\\ 4x-7y+z=1\\ 6x-10y+z=0\end{array},\{\begin{array}{l}5x-8y+z=0\\ 4x-7y+z=0\\ 6x-10y+z=1\end{array}$$
的解分别为$(3,2,2),(-2,-1,2),(-1,-1,-3)$ 。若$A=\left[\begin{array}{ccc}5& -8& 1\\ 4& -7& 1\\ 6& -10& 1\end{array}\right]$ 且$AB=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ ，则矩阵$B=\underline{}$ 。

解

所求$B$ 其实就是$A^{-1}$ ，而由题意可列出
$$\left[\begin{array}{ccc}5& -8& 1\\ 4& -7& 1\\ 6& -10& 1\end{array}\right]\left[\begin{array}{c}3\\ 2\\ 2\end{array}\right]=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right],\left[\begin{array}{ccc}5& -8& 1\\ 4& -7& 1\\ 6& -10& 1\end{array}\right]\left[\begin{array}{c}-2\\ -1\\ 2\end{array}\right]=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right],\left[\begin{array}{ccc}5& -8& 1\\ 4& -7& 1\\ 6& -10& 1\end{array}\right]\left[\begin{array}{c}-1\\ -1\\ 3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$
可合并写成
$$\left[\begin{array}{ccc}5& -8& 1\\ 4& -7& 1\\ 6& -10& 1\end{array}\right]\left[\begin{array}{ccc}3& -2& -1\\ 2& -1& -1\\ 2& 2& 3\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
显然
$$B=A^{-1}=\left[\begin{array}{ccc}3& -2& -1\\ 2& -1& -1\\ 2& 2& 3\end{array}\right]$$
例题 3

设$P$、$Q$、$R$ 为二阶方阵，已知$PQ=\left[\begin{array}{cc}2& 0\\ 12& 0\end{array}\right],PR=\left[\begin{array}{cc}1& 3\\ 4& 12\end{array}\right]$ 且$Q+R=\left[\begin{array}{cc}1& 0\\ 3& 3\end{array}\right]$ ，则$P=\underline{}$ 。

解
$$\begin{array}{rl}& P\left[\begin{array}{cc}1& 0\\ 3& 3\end{array}\right]=P(Q+R)=PQ+PR=\left[\begin{array}{cc}2& 0\\ 12& 0\end{array}\right]+\left[\begin{array}{cc}1& 3\\ 4& 12\end{array}\right]=\left[\begin{array}{cc}3& 3\\ 16& 12\end{array}\right]\\ \Rightarrow & P=\left[\begin{array}{cc}3& 3\\ 16& 12\end{array}\right]{\left[\begin{array}{cc}1& 0\\ 3& 3\end{array}\right]}^{-1}=\frac{1}{3}\left[\begin{array}{cc}3& 3\\ 16& 12\end{array}\right]\left[\begin{array}{cc}3& 0\\ -3& 1\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 4& 4\end{array}\right]\end{array}$$

2 线性变换

以下再介绍矩阵所对应的线性变换，但线性变换本身并不是目的，只是帮助更理解矩阵的手段。所以不论你自认的数学基础如何，均可以阅读本文。

定义 线性变换的定义

一个变换$T(x):x\to y$若满足

1. 对于任意$a,b$皆有$T(a+b)=T(a)+T(b)$
2. 对于任意$a$及常数$c$皆有$T(c\cdot a)=c\cdot T(a)$

则$T(x)$为一线性变换。

简单地说，先相加再变换，必等于先各自变换再相加；先常数倍再变换，必等于先变换再常数倍。

例如旋转就是一种线性变换：先旋转$30^{\circ }$，再旋转$50^{\circ }$，等于一口气旋转$80^{\circ }$；旋转$30^{\circ }$三次，等于一口气旋转$90^{\circ }$。函数$y=f(x)=mx$就是一种线性变换：
$$\begin{array}{rl}& f(a+b)=m(a+b)=ma+mb=f(a)+f(b)\\ & f(c\cdot a)=m(ca)=cma=c\cdot f(a)\end{array}$$
函数$y=\sin (x)$不是线性变换，因为$\sin (30^{\circ }+50^{\circ })$不会等于$\sin (30^{\circ })+\sin (50^{\circ })$。

矩阵与线性变换的关联是：任何线性变换，都必可找到一个相应的矩阵，来表示这个线性变换。反过来说也对，每一个矩阵都代表了某一种线性变换。

在通常讨论的矩阵主题中，介绍了几种线性变换：推移、伸缩、旋转、镜射，它们都满足上述定义。

另外，矩阵的列运算其实也满足线性变换的定义！所以我们可以找到矩阵来代表列运算。例如将第一列乘以 2 再加到第二列

$$\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\to \left[\begin{array}{cc}1& 2\\ 5& 8\end{array}\right]$$
可表示成

$$\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]=\left[\begin{array}{cc}1& 2\\ 5& 8\end{array}\right]$$
所以我们可以这么说，$\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]$是一种列运算矩阵，它是将第一列的两倍加到第二列。

而认识列运算矩阵有什么用呢？我们可以用来理解一个求解反矩阵很好用的办法！这个解法无论是几阶的矩阵都适用，以下为简便用二阶方阵示意：
$$\begin{array}{rl}& \left[\begin{array}{cccc}3& 4& 1& 0\\ 2& 3& 0& 1\end{array}\right]\to \left[\begin{array}{cccc}1& 1& 1& -1\\ 2& 3& 0& 1\end{array}\right]\to \left[\begin{array}{cccc}1& 1& 1& -1\\ 0& 1& -2& 3\end{array}\right]\\ & \to \left[\begin{array}{cccc}1& 0& 3& -4\\ 0& 1& -2& 3\end{array}\right]\Rightarrow {\left[\begin{array}{cc}3& 4\\ 2& 3\end{array}\right]}^{-1}=\left[\begin{array}{cc}3& -4\\ -2& 3\end{array}\right]\end{array}$$
这个过程的意思是：为了求$A=\left[\begin{array}{cc}3& 4\\ 2& 3\end{array}\right]$的逆矩阵，我们先将$A$与单位矩阵$I$写一起，写成$\left[A\mid I\right]$。接着作列运算，试图将左边的$A$列运算成$I$，而右边的$I$同时做一样的列运算，等左边顺利变成$I$，看看此时的$\left[I\mid B\right]$，右边那个$B$就是我们要的$A^{-1}$了！

为什么会这样呢？刚刚才介绍，列运算可以想成被一个列运算矩阵乘上去，所以一开始的$A$，列运算一次后，可以看成$E_{1}A$，再列运算一次，可以看成$E_2{E}_{1}A$，等到列运算成$I$以后，可以看成$I=E_n\cdots E_2{E}_{1}A$，而原本在右边的$I$，因为在过程中都一起做相同的列运算，所以它变成$E_n\cdots E_2{E}_{1}I$，也就是说$B=E_n\cdots E_2{E}_1$。可是上面已经讨论出$I=E_n\cdots E_2{E}_{1}A$，现在又说$B=E_n\cdots E_2{E}_1$，所以代入便得$I=BA$，这样便看出$B=A^{-1}$！

写了一大堆$E$也许你看得眼花缭乱，那我讲得更简洁些。线性变换都可以有矩阵来表示，当左边的$A$被我们变成$I$，我们可以想成它被乘上一个矩阵。当然这个矩阵就是$A^{-1}$，才会乘完变$I$嘛。而因为右边的$I$也经过一样的操作，所以右边的$I$也乘了一样的矩阵：$A^{-1}\cdot I$，所以最后的右边那矩阵即是$A^{-1}$。

至此，可下此结论：想得知某个线性变换所对应的矩阵，我们就把这个变换作用到$I$上面，这样就出来了。

刚刚说$\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]$是一种列运算矩阵为例。我想知道将第一列的两倍加到第二列，这个动作对应的矩阵，把$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$拿来做一次「将第一列两倍加到第二列」的动作，这样就得到$\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]$了。

再以伸缩矩阵为例，平面上一点$P(x,y)$如果我们想做$x$伸缩 3 倍、$y$伸缩 -2 倍，变成$P^{\prime }(3x,-2y)$这样的伸缩矩阵要怎么写呢？这个动作是
$$\left[\begin{array}{c}x\\ y\end{array}\right]\to \left[\begin{array}{c}3x\\ -2y\end{array}\right]$$
是一个「第一列变 3 倍、第二列变 -2 倍」的动作，我们将同样的动作作用在$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$上面，就得到$\left[\begin{array}{cc}3& 0\\ 0& -2\end{array}\right]$​ ！

再以平移矩阵为例，平面上一点$P(x,y)$如果我们想做沿$x$平移$y$坐标的 3 倍，变成$P^{\prime }(x+3y,y)$，这样的平移矩阵要怎么写呢？这个动作是
$$\left[\begin{array}{c}x\\ y\end{array}\right]\to \left[\begin{array}{c}x+3y\\ y\end{array}\right]$$
是一个「将第二列三倍加到第一列」的动作，我们将同样的动作作用在$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$上面，就得到$\left[\begin{array}{cc}1& 3\\ 0& 1\end{array}\right]$​ ！

矩阵即线性变换、线性变换即矩阵

注意

(1) 单位矩阵$I$即恒等变换，任何$P(x,y)$被乘上$I$​ 后坐标不变。
$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$$

(2) 零矩阵$O$即零变换，任何$P(x,y)$被乘上$O$后必变成$(0,0)$​。
$$\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

(3) $A^2$也是一种变换，它等于做$A$的变换做两次。例如$A$若是旋转$30^{\circ }$的矩阵，那么$A^2$就是旋转两次，即一口气旋转$60^{\circ }$；又例如$A$是$x$坐标伸缩 3 倍的伸缩矩阵，那么$A^2$就是$x$坐标伸缩 3 倍两次，即$x$​ 坐标一口气伸缩 9 倍的伸缩矩阵。

(4) $AB$也是一种变换，它等于先被$B$变换，再被$A$变换。例如$B$是将$x,y$坐标互换的变换、$A$是投影到$x$轴的变换。则$B=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$，$A=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$，如果$P(x,y)$先被$x,y$坐标互换，得到$P^{\prime }(y,x)$，再投影到$x$轴上，得$P^{\prime \prime }(y,0)$。而如果用矩阵乘法：
$$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}y\\ x\end{array}\right]=\left[\begin{array}{c}y\\ 0\end{array}\right]$$
果然$AB$等于先变换$B$再变换$A$​ 。

(5) 承上，如果我们改变变换的顺序，先将$P(x,y)$投影到$x$轴上，得到$P_1(x,0)$，再做$x,y$坐标互换，得到$P_2(0,x)$​ 。做完变换的结果与刚刚不相等，用矩阵乘法就是：
$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ 0\end{array}\right]=\left[\begin{array}{c}0\\ x\end{array}\right]$$
果然$AB\ne BA$​ 。

(6) $A^{-1}$​ 也是一种变换，它是$A$​ 的逆变换。因为$A^{-1}A=I$​，就是说先被$A$​ 变换，再被$A^{-1}$​ 变换，等同于被$I$​ 变换，即不变。例如$A$​ 是旋转$30^{\circ }$​ 的旋转矩阵，那么$A^{-1}$​ 就是旋转$-30^{\circ }$​ 的旋转矩阵；如果$A$​ 是$x$​ 方向伸缩 2 倍的伸缩矩阵，那么$A^{-1}$​ 就是$x$​ 方向伸缩$\frac{1}{2}$​ 倍的伸缩矩阵。

例题 4

选出下列中正确的项：

(A) 若$A^2=O$，则$A=O$

(B) 若$A^2=I$，则$A=\pm I$

© 若$A^2=A$，则$A=I$or$O$

(D) 若$AB=O$，则$A=O$or$B=O$

(E) 若$A^2=B^2$，则$A=\pm B$

解

(A) 错。如果变换两次等同于零变换，那么该变换本身必是零变换吗？不一定，如果这个变换是「先投影到$x$轴上，再$x,y$坐标互换」，那么如前所述，$(x,y)$会变成$(0,x)$，继续再变换一次，就会变成$(0,0)$。任意的$(x,y)$都会变成$(0,0)$，这就是零变换。以矩阵来说，就是取
$$A=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$$
则

$$A^2={\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]}^2=\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]$$

(B) 错。如果变换两次等同于$I$，那么该变换本身必是$I$或$-I$吗？不一定，如果这个变换是「对$x$轴镜射」，那么$(x,y)$会变成 （对$x$轴镜射，等同于直接$y$坐标加负号），继续再变换一次，就会变回$(x,y)$。任意的$(x,y)$都会变成$(x,y)$，这就是恒等变换。以矩阵来说，就是取
$$A=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$$
因为是$y$坐标加负号，所以对$I$的第二列加负号，这就成了对$x$​ 轴镜射的镜射矩阵。而变换两次，就是
$$A^2={\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]}^2=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$
© 错。如果变换两次与变换一次相同，那么该变换本身必是恒等变换或零变换吗？

不一定，考虑「投影到$x$轴」这变换，投影两次与投影一次当然还是一样的。以矩阵来说，就是取
$$A=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$$
则
$$A^2={\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]}^2=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$$
(D) 错。其实只要考虑$A=B$就变成选项 (A) 了。或者也可另举一例，一个是「投影到$x$轴」、一个是「投影到$y$轴」，无论哪个变换先做，$(x,y)$做了这两个变换后，必为$(0,0)$。以矩阵来说，就是取
$$A=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right],B=\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]$$
则
$$\begin{array}{rl}& AB=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]\\ & BA=\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]\end{array}$$
(E) 错。 其实只要考虑$B=O$ 或$B=I$ 就变成选项 (A) 或 (B) 了。