关于矩阵微分的形状的简单说明-Jacobian form和Shape Convention

给定函数$f:{\mathbb{R}}^{n\times 1}\to \mathbb{R}$，对函数$f(\mathbf{x})$求微分，即$\partial f/\partial \mathbf{x}$究竟是一个行向量还是一个列向量呢？
个人理解，矩阵微分的关键仍然是对矩阵中的各个分量微分值，至于微分后组成什么形状，取决于不同应用场景下的convention。常见的有两种：即Jacobian form和Shape convention。
在Jacobian form下，$\partial f/\partial \mathbf{x}$是一个行向量。原因在于采用这种方式，利用chain rule推导微分比较方便。
在Shape convention下，$\partial f/\partial \mathbf{x}$是一个列向量。采用这个方式，用梯度法对$\mathbf{x}$进行更新时，可以不用转置，因此神经网络采用迭代时应用较多。