奇异值分解(SVD)的理解
SVD:Sigular Value Decomposition
SVD有深刻的物理含义,需要理解
1 Definition
A: input data matrix
☆ m × n matrix(e.g, m documents, n terms)
U: Left singular vectors
☆ m × r matrix(e.g, m documents, r concepts) Singular values
☆ r × r diagonal matrix (strength of each concept )(r: rank of matrix A)
V:Right singular vectors
☆ n × r matrix(n terms, r concepts)
2 Properties
It is always possible to decompose a real matrix A into
★ U, unique(唯一的)
i.e唯一的A, 会分解得到唯一的U,
★U, V: column orthonormal(列标准正交化)
☆
☆(Columns are orthogonal unit vectors)
★diagobal(对角的)
☆Entries(singular values) are positive,and sorted in decreasing order(
3 examples
以上是SVD的一个例子
★ 每一列
“意味”着一个concept
.
☆ so there are 3 concepts
★
☆可以看出 3th concepts
的强度很低, 可以判断出这一concept
不太重要
★
3 rows 代表3种不同的concept
,5 columns代表5部不同的电影. 这一矩阵表明了每一部电影与每一种concept
的相似度,或者说, 每一部电影属于每一种concept
的概率.
According to first row [0.56 0.59 0.56 0.09 0.09], we can say:
similarity(movie_1, concept_1) = 0.56
similarity(movie_2, concept_1) = 0.59
similarity(movie_3, concept_1) = 0.56
similarity(movie_4, concept_1) = 0.09
similarity(movie_5, concept_1) = 0.09
本篇来自于Youtube视频的总结学习.