Tips of machine learning
文章目录
1 Occam’s razor
奥卡姆剃刀定律（Occam’s Razor, Ockham’s Razor）又称“奥康的剃刀”，它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出。这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。”
为什么贝叶斯推理可以具体化奥卡姆剃刀原理。
这张图给了为什么复杂模型原来是小概率事件这个问题一个基本的直观的解释。水平轴代表了可能的数据集D空间。贝叶斯定理以他们预测的数据出现的程度成比例地反馈模型。这些预测被数据D上归一化概率分布量化。数据的概率给出了一种模型 Hi , P(D|Hi) 被称作支持 Hi 模型的证据。一个简单的模型 H1 仅可以做到一种有限预测，以P(D|H1)展示；一个更加强大的模型 H2，举例来说，可以比模型 H1 拥有更加自由的参数，可以预测更多种类的数据集。这也表明，无论如何，H2 在 C1域中对数据集的预测做不到像 H1 那样强大。假设相等的先验概率被分配给这两种模型，之后数据集落在 C1 区域，不那么强大的模型 H1将会是更加合适的模型。
2 No Free Lunch Theorem
没有免费的午餐定理(No Free Lunch Theorem),这个定理说明，若学习算法 在某些问题上比学习算法 要好，
那么必然存在另一些问题， 在这些问题中 比 表现更好 1。
3 Ugly duckling theorem
这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。渡边慧举了一个鲸鱼的例子说明这个定理： 按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，捕鲸与捕鱼都要行船出海，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类 结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的。
The theorem is named after Hans Christian Andersen’s story “The Ugly Duckling”, because it shows that a duckling is just as similar to a swan as two duckling are to each other. It was proposed by Satosi Watanabe in 1969 2.
这个定理是以汉斯·克里斯蒂安·安徒生的故事《丑小鸭》命名的，因为它表明，丑小鸭与天鹅的相似程度不亚于两只小鸭之间的相似程度。它是由渡边Satosi在1969年提出的。
4 Feature combinations
(1)为什么集体相关的特征单独来看时无关紧要，这也是（2）线性方法可能会失败的原因。
5 Discriminative vs. Generative
Discriminative model vs Generative model
为什么判别模型比生成模型要简单
两类方法的分类条件的密度举例，有一个单一的输入变量x（左图），连同相应的后验概率（右图）。注意到左侧的分类条件密度p(x|C1)的模式，在左图中以蓝色线条表示，对后验概率没有影响。右图中垂直的绿线展示了x中的决策边界，它给出了最小的误判率。
6 Loss functions
学习算法可以被视作优化不同的损失函数：应用于支持向量机中的“铰链”错误函数图形，以蓝色线条表示，为了逻辑回归，随着错误函数被因子1/ln(2)重新调整，它通过点（0，1），以红色线条表示。黑色线条表示误分，均方误差以绿色线条表示。
7 深度学习模型超参数搜索
7.1 Hyper-parameters
7.2 Adjustment period
7.3 Four methods
- Babysitting，又名试错（Trial & Error）
- 网格搜索（Grid Search）
- 随机搜索（Random Search）
- 贝叶斯优化（Bayesian Optimization）