机器学习正则化准备知识—范数
本文范数说明
本文中讲解的范数是为讲解正则化内容而做的铺垫，因此不涉及过多过难的范数讲解。主要讲解L-0, L-1, L-2，L- ∞等范数。
1. L-P范数的定义
公式中的w代表n维向量。
2. L-0范数
L0范数即为向量中非零元素的个数。 例如：w={2,10,99,0,50}
则其L0范数为：
3.L-1范数
依据范数定义，则L1-范数为：
若w为二维向量，即(w1,w2)，则L-1范数表示为:
令：
则L-1范数的图像为：
4.L-2范数
依据范数定义，则L2范数为：
若w为二维向量，即(w1,w2)，则L-2范数表示为:
令：
则L-2范数的图像为：
5.L- ∞范数
依据范数定义，则L- ∞定义为：
若w为n为向量，则L- ∞表示为：
由于上式括号内都是无穷次方，因此，取其中的最大值代表L- ∞，即：、
这一步其实就是舍弃较小值，保留最大值。类似于：
6.总结
本文是为机器学习中的正则化，做的知识铺垫，因此对于其他的范数，不做深入讲解。正则化中只用到L1和L2范数，由L1、L2范数的图像可以看到，范数可以理解为一个约束条件。