常用矩阵求导

矩阵求导

简介

在工程中经常涉及到矩阵求导、求偏导，特别是做控制进行优化的时候。矩阵$A$对矩阵$B$求导，本质上就是矩阵$A$中的每个元素分别对矩阵$B$中的每个元素进行求导。其实存在歧义的就是如何排列，其实按行排列还是按列排列都是可以的，只要用的时候维度能够对上。

这里引入了分子布局、分母布局来统一矩阵求导结果的维度。分子布局是让求导结果的维度以分子为主，分母布局是让求导结果的维度以分母为主。以下面这个为例
$$\frac{\partial A}{\partial B}$$
分子布局就是让求导的结果排列以$A$为主，分子布局就是让结果排列以$B$为主。

以分母布局为例的基本原则

原则1

若$f$为标量函数，$x$为列向量
$$\begin{array}{rl}& f(x_1,x_2,...,x_p)\\ & x=[x_1,x_2,...,x_p{]}^T\end{array}$$
那么$f$关于$x$的导数为：
$$\frac{\partial f}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_3}{]}^T$$
若$f$为标量函数，$x$为行向量
$$\begin{array}{rl}& f(x_1,x_2,...,x_p)\\ & x=[x_1,x_2,...,x_p]\end{array}$$
那么$f$关于$x$的导数为：
$$\frac{\partial f}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_3}]$$

原则2

若$F$为列向量函数，$x$为标量：
$$\begin{array}{rl}& F=[f_1(x),f_2(x),...,f_p(x){]}^T\\ & x\end{array}$$
那么$F$关于$x$的导数为：
$$\frac{\partial F}{\partial x}=[\frac{\partial f_1}{\partial x},\frac{\partial f_2}{\partial x},...,\frac{\partial f_m}{\partial x}]=\frac{\partial f^T}{\partial x}$$

推论

若$F$为列向量函数，$x$为列向量：
$$\begin{array}{rl}& F=[f_1(x),f_2(x),...,f_m(x){]}^T\\ & x=[x_1,x_2,...,x_p]\end{array}$$
则根据原则1和原则2可以推理得到$F$关于$x$的导数为：
$$\frac{\partial F}{\partial x}=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& ...& \frac{\partial f_m}{\partial x_1}\\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_m}{\partial x_2}\\ ...& ...& ...& ...\\ \frac{\partial f_1}{\partial x_p}& \frac{\partial f_2}{\partial x_p}& ...& \frac{\partial f_m}{\partial x_p}\end{array}\right]$$
分子布局其实同分母布局计算思路一样，最后的结果相差一个转置符号。

实际使用中常采用混合布局：向量对标量求导，用分子布局；标量对向量求导，用分母布局；向量对向量求导存在分歧，如求雅各比矩阵以分子布局为主。

工程中常用的矩阵求导

• $\frac{\partial x^{T}Px}{\partial x}=Px$，其中$P$是对称正定阵；

• $\frac{\partial Ax}{\partial x}=A^T$；

• 求雅各比矩阵：
  $$\frac{\partial f}{\partial x}=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& ...& \frac{\partial f_m}{\partial x_1}\\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_m}{\partial x_2}\\ ...& ...& ...& ...\\ \frac{\partial f_1}{\partial x_p}& \frac{\partial f_2}{\partial x_p}& ...& \frac{\partial f_m}{\partial x_p}\end{array}\right]$$

• （后续补充）