降维

介绍

数据降维是机器学习当中的一种手段，当数据量较大时（维数多），我们通常采取降维的方法，来降低数据的维数，方便我们进行处理以及之后的计算。举一个通俗一点的例子，当我们的对象是人的时候，像：性别、年龄、名字、家庭住址等，都是我们已经收集的特征，每个信息都是一维特征。但是在一次实验当中，我们并不需要这么多维的信息，那我们只取性别、年龄，这样就把开始很多维的信息降到了2维，这就是降维。（自己的理解，如有错误欢迎指出）

数学方面

就我目前学习到的知识，数据降维用到的数学相关的知识在统计学、线性代数方面的知识多一些，下面就数学方面讲解一些自己觉得需要注意到的点，假设下面是我们拿到的一个数据。

1. 观测值

顾名思义，观测值对一个数据的观察然后得出来的值，在这里面（张三，20，男）就是一组观测值，这样的话就是类似我们从三个坐标轴观察我们数据，每个坐标轴其实就是一个纬度。

2.特征向量

特征向量其实就是我们竖着看数据，这一个列向量其实就是这一个纬度的特征向量，类似于（张三，李四）、（20，30）、（男，女）都是特征向量

懂得这两点之后，看数据就方便很多。

数学上的例子

假设一个矩阵M = $\begin{bmatrix}1 & 2 & 1\\-2 & -3 & 1\\3 & 5 & 0 \end{bmatrix}$⎣⎡​1−23​2−35​110​⎦⎤​ ,通过计算可以知道矩阵的秩为2。由矩阵秩的性质可以知道（矩阵的秩是矩阵线性独立的行（列）的个数）

• 我们可以把M用两个新的向量基进行表示

  分别为[1 ,2, 1]、[-2, -3 , 1]

• 相对应的坐标变化为了：[1,0] 、[0, 1]、[1,1]

• 这样我们就将一个三维降到了二维

  

总结

这些都是我个人目前在机器学习降维上的总结，如果有什么不对的地方，欢迎指出。

参考链接：https://juejin.im/post/5c00df556fb9a049b82a2fa4#heading-0