少数样本和特征的机器学习算法

Question

我打算做一个yes/no分类器。问题是数据不是来自我的，所以我必须与我所得到的一起工作。我有大约150个样本，每个样本包含3个特征，这些特征是连续的数字变量。我知道数据集非常小。我想提出两个问题：

A）什么是最好的机器学习算法呢？ SVM？一个神经网络？我读过的所有内容似乎都需要一个大数据集。 B）我可以通过添加一些不包含所有特征的样本来增大数据集的大小，只有一个或两个。我已经读过，你可以在这种情况下使用稀疏矢量，这是可能的每个机器学习算法？ （我在SVM中看到过它们）

非常感谢您的帮助！

Answer 1

我的建议是使用一个简单明了的算法，像决策树或回归，虽然，你指的应该工作同样出色的人。

鉴于您的样本数量要多于变量，数据集的大小不应该是个问题。但有更多的数据总是有帮助。

Answer 2

朴素贝叶斯是一个很好的选择，当培训的例子很少的情况下。与逻辑回归相比，Ng和Jordan表明朴素贝叶斯以较少的训练样例更快地收敛到最佳性能。 （参见book chapter的第4部分）。非正式地讲，朴素贝叶斯模型的联合概率分布在这种情况下表现更好。

在这种情况下不要使用决策树。决策树有过度适应的倾向，当你的训练数据很少时，这个问题就会加剧。