机器学习----矩阵分析之奇异之分解(SVD分解)

从应用入手:

(一)影像压缩

机器学习----矩阵分析之奇异之分解(SVD分解)

  • 15×25的矩阵,如果直接表示的话,需要15×25个信息。(很多)
  • 但是,实际上它只有三种列。所以,图像的表示其实只用这最关键的三列就可以了。(很少)

(二)过滤杂质

  • -----------------------------------------------------------------------------一个矩阵原本:

机器学习----矩阵分析之奇异之分解(SVD分解) 

  • -----------------------------------------------------------------------------它有很多个奇异值:

机器学习----矩阵分析之奇异之分解(SVD分解)

  • -----------------------------------------------------------------------------可以将矩阵分解成很多个矩阵的相加

机器学习----矩阵分析之奇异之分解(SVD分解)

  • -----------------------------------------------------------------------------但是,只要取奇异值最大的部分,就可以起到过滤杂质的作用

机器学习----矩阵分析之奇异之分解(SVD分解)

 

 

  • 将原本的矩阵和其转置相乘==》实对称矩阵==》可相似对角化==》将对角阵再分解成矩阵相乘的形式==》在中间乘以矩阵和其专置==》获得W矩阵的分解(中间对角阵)==》写成矩阵加和的形式

机器学习----矩阵分析之奇异之分解(SVD分解)

 

 

SVD和SVD++: 

SVD++(其实这里说的并不好,有机会再补)

  • 用户对某个电影进行了评分,说明他看过这部电影,这样的行为蕴含了一定的信息
  • 从侧面反映用户的喜好,通过隐式参数体现在模型中,从而得到一个更为精细的模型SVD++
  • (此处缺模信和损失函数公式)
  • 同SVD,也可以通过梯度下降的方式求解