机器学习----矩阵分析之奇异之分解(SVD分解)
从应用入手:
(一)影像压缩
- 15×25的矩阵,如果直接表示的话,需要15×25个信息。(很多)
- 但是,实际上它只有三种列。所以,图像的表示其实只用这最关键的三列就可以了。(很少)
(二)过滤杂质
- -----------------------------------------------------------------------------一个矩阵原本:
- -----------------------------------------------------------------------------它有很多个奇异值:
- -----------------------------------------------------------------------------可以将矩阵分解成很多个矩阵的相加
- -----------------------------------------------------------------------------但是,只要取奇异值最大的部分,就可以起到过滤杂质的作用
- 将原本的矩阵和其转置相乘==》实对称矩阵==》可相似对角化==》将对角阵再分解成矩阵相乘的形式==》在中间乘以矩阵和其专置==》获得W矩阵的分解(中间对角阵)==》写成矩阵加和的形式
SVD和SVD++:
SVD++(其实这里说的并不好,有机会再补)
- 用户对某个电影进行了评分,说明他看过这部电影,这样的行为蕴含了一定的信息
- 从侧面反映用户的喜好,通过隐式参数体现在模型中,从而得到一个更为精细的模型SVD++
- (此处缺模信和损失函数公式)
- 同SVD,也可以通过梯度下降的方式求解