维数灾难

一、定义

随着维度的增加,分类器性能逐步上升,到达某点之后,其性能便逐渐下降

维数灾难

也许分类器准确率依然无法达到要求,加入更多的特征,比如颜色、纹理的统计信息等等,如此下去,可能会得到上百个特征。那是不是我们的分类器性能会随着特征数量的增加而逐步提高呢?答案也许有些让人沮丧,事实上,当特征数量达到一定规模后,分类器的性能是在下降的。随着维度(特征数量)的增加,分类器的性能却下降了。

 

二、维数灾难和过拟合

维数灾难

过多的特征导致的过拟合现象:训练集上表现良好,但是对新数据缺乏泛化能力