人工智能，机器学习，深度学习（笔记）
1.三者关系如图：
人工智能：人工智能是要让机器的行为看起来像人所表现出的智能行为一样人工智能包括计算智能、感知智能和认知智能等层次。
机器学习：机器学习是人工智能的一个分支，它是实现人工智能的一个核心技术，即以机器学习为手段解决人工智能中的问题。
深度学习：又是机器学习的一个分支。
2.机器学习的学习分类
有监督学习：要有大量的训练数据（标记数据）。有监督学习（supervised learning），指的是事先需要准备好输入与正确输出（区分方法）相配套的训练数据，让计算机进行学习，以便当它被输入某个数据时能够得到正确的输出（区分方法）。
无监督学习：类似自学，数据都没有标记。无监督学习（unsupervised learning）的目的是让计算机自己去学习怎样做一些事情，所有数据只有特征而没有标记。
半监督学习：对于半监督学习（semi-supervised learning），其训练数据一部分有标记，另一部分没有标记，而没有标记数据的数量常常极大于有标记数据的数量。它的基本规律是：数据的分布必然不是完全随机的，通过结合有标记数据的局部特征，以及大量没标记数据的整体分布，可以得到比较好的分类结果。
强化学习：类似训练海豚，海豚刚开始不知道饲养员要干什么，但是随着海豚做的动作对，就会得到奖励，慢慢的海豚就知道该做什么，不该做什么。强化学习（reinforcement learning，RL）是以目标导向的。对强化学习来说，它虽然没有标记，但有一个延迟奖励与训练相关，通过学习过程中的激励函数获得某种从状态到行动的映射。强化学习一般在游戏、下棋等需要连续决策的领域。
2.1.无监督机器学习的典型应用模式
聚类
常见算法：k-means
2.2.有监督机器学习的典型应用模式
预测：针对连续数据
常见算法：线性回归、Gradient Boosting、AdaBoost、神经网络
分类：针对离散数据
常见算法：逻辑回归、决策树、KNN、随机森林、支持向量机、朴素贝叶斯、神经网络
3.神经网络
输入层到隐藏层的初步计算：
z1
z2
z3
加上激励函数之后：
神经网络的层数为隐含层的层数。
判断一张黑白图片中的数字为几，28x28=784个像素点，因此有784个输入节点，判断一个数字为几，为一个十分制的结果，因此输出层有10个节点。如果为RGB三色的彩色图片，节点数还需要成3。
隐藏层：一分为二，先从第一层算出值，得到一个线性关系（b的作用是平移），其不足是前后两层只是线性关系，但是生物体中，往往是只有神经元超过某一限定值的时候才能输出神经脉冲，因此设置了**函数，使神经元的表现更好。