菜鸟笔记
提升您的技术认知

矩阵求导、几种重要的矩阵及常用的矩阵求导公式

一、矩阵求导

  一般来讲,我们约定 x=(x1,x2,...xN)T x = ( x 1 , x 2 , . . . x N ) T ,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。

1、向量对向量求导

2、标量对向量求导


3、向量对标量求导

其他的可以参考wiki:维基百科矩阵求导公式

二、几种重要的矩阵

1、梯度(Gradient)


2、雅克比矩阵(Jacobian matrix)


3、海森矩阵(Hessian matrix)

三、常用的矩阵求导公式