前言

网易云课堂（双语字幕，不卡）：https://mooc.study.163.com/smartSpec/detail/1001319001.htmcourseId=1004570029、
Coursera（贵）：https://www.coursera.org/specializations/deep-learning
本人初学者，先在网易云课堂上看网课，再去Coursera上做作业，开博客以记录，文章中引用图片皆为课程中所截。
题目转载至：http://www.cnblogs.com/hezhiyao/p/7810725.html
编程作业所需库：链接：https://pan.baidu.com/s/1aS1Oia2fskemBHHEMnSepw 密码：66gd

机器学习策略（1）

为什么是机器学习策略

Andrew Ng Deep Learning 第三课

正交化

Andrew Ng Deep Learning 第三课
Tips：简单来说就是做到每次调整的时候，该调整参数与其他参数无关，其他不会受到调参牵连。

单一数字评估指标

Andrew Ng Deep Learning 第三课
Tips：评测不同的分类器的时候有两个指标，准确率Precision（判断为正确的样本中真正正确的比例），召回率Recall（所有正确的样本中判断为正确的比例），将两个指标结合评估为(2/(1/P+1/R))

Tips：当参数多的时候，评估标准为参数平均数，举个例子即为对于A来说，评估为（3+7+5+9）/4=6%，而对于C来说是（2+3+4+5）/4=3.5

满足和优化指标

Andrew Ng Deep Learning 第三课
Tips：判断分类器好坏的时候，选则一个为主要优化指标，其他为满足指标，在所以分类器中先筛选出满足指标能够满足的，再从中按照优化指标来筛选

训练/开发/测试集

Andrew Ng Deep Learning 第三课
Tips：开发集和测试集和训练集要做到随机性，从不同样本空间中添加

Tips：若样本总数大，可以选择98：1：1的分配方式，训练集和测试集的目的是评估已训练的网络的好坏程度不需要过多的样本

什么时候该改变指标

Andrew Ng Deep Learning 第三课
Tips：若假设有两个分类器分别训练的情况，但是错误率较少的分类器有不适合用户的分类，这时候反而错误率较高的分类会更适合

人的表现

Andrew Ng Deep Learning 第三课
Tips：深度学习训练速度刚开始很快，结果一定程度上无法超过人类，极限为贝叶斯错误（Bayes Error），可以估计为人类所能做到的最佳错误率

可避免偏差

Andrew Ng Deep Learning 第三课
Tips：可避免偏差=贝叶斯错误（人类错误率）-训练集错误率，方差=测试集错误率-训练集错误率，两者对比可以判断更新深度学习的方式

https://blog.****.net/qq_43310834/article/details/85015696
Tips：高方差和高偏差的解决方法↑

机器学习策略（2）

人工误差分析

Andrew Ng Deep Learning 第三课
Tips：挑选出一些（例如100个一组）错误标记的样本，人工判断产生误差的方式，再进行改进

Tips：如果有人为标记错的情况，一样在错误样本分析中记录下它占的百分比，根据重要性决定是否改进

快速搭建你的第一个系统

Andrew Ng Deep Learning 第三课
Tips：遇到问题先搭建系统，再根据系统问题进行改进

不同划分集

Andrew Ng Deep Learning 第三课

Tips：若出现A数据样本特别多，B数据样本较少，而我们需要训练面向用户的是B数据样本，划分方法为取B数据样本一半进入训练集和A数据样本全部组成训练集，剩下B的一半再分为两份，一份为开发集，一份为测试集
Andrew Ng Deep Learning 第三课
Tips：在上一步的前提下，将训练集中抽出10%组成一个新集合名为训练开发集，神经网络只训练训练集，在剩下三个集上进行测试，这样能判断大数据（A数据样本）是不是不匹配我们所需要的（B数据样本）的情况
Andrew Ng Deep Learning 第三课
Tips：由此四步，就可以判断是方差/偏差还是数据不匹配问题