对范数求偏导数

首先介绍点基础知识，另一方面也算是巩固下：
A−1表示A的逆矩阵;
AT表示A的转置;
AH表示Hermitian矩阵(A的共轭转置矩阵A∗==A)

对范数求偏导数

eig(A)表示A的特征值

对范数求偏导数

对范数求偏导数

对范数求偏导数

以上是摘自：The Matrix Cookbook
也可参考维基百科：Matrix calculus

L1范数不可微。但是存在次梯度，即是次微分的
L1范数的次梯度如下：

\partial \partial x | | x | | 1 = s i g n (x)

其中sign(x) 表示如下：

s i g n (x) = ⎧ ⎩ ⎨ ⎪ ⎪ + 1 - 1 [- 1, 1] x i > 0 x i < 0 x i = 0

而L1范数：

| | X | | 1 = | x 1 | + | x 2 | + \dots + | x n |

例如：x=(3,2,−5)T
故其梯度为：sign(x)=(1,1,-1)

对范数求偏导数

例如：求解下面函数的偏导数：

f (W) = 12 \sum i, j ϵ S γ i, j | | w T i X - w T j X | | 22

得：

\partial f (W) \partial w i = \sum i, j ϵ s γ i, j (w T i X - w T j X) * \partial (w T i X - w T j X) \partial w i = \sum i, j ϵ s γ i, j (w T i X - w T j X) * X T = \sum i, j ϵ s γ i, j (w T i - w T j) * (X X T)

注意这里得到的是行向量的形式，因此还需要对其进行转置

以上的推倒是基于上图公式得到。。。