UFLDL Tutorial 课程核心内容提炼-1：神经网络

该课程在斯坦福深度学习课上，点此打开

--------------------------------------------------分割线------------------------------------------------------

一、概述

        训练样本集：

        神经网络算法能够提供一种复杂且非线性的假设模型

                                        

    上图这个“神经元”是一个以及截距 为输入值的运算单元，其输出为，其中，为**函数。这里使用**函数Sigmoid：

        这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）

        Sigmoid图像：

                            

二、神经网络模型

                                   

1.圆圈来表示神经网络的输入；

2.标上“”的圆圈被称为偏置节点，也就是截距项；

3.神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）；

4.中间所有节点组成的一层叫做隐藏层；

5.（层），将第 层记为， 是输入层，输出层是 ；

6.神经网络有参数 ， （下面的式子中用到）是第 层第 单元与第 层第 单元之间的联接参数；

7. 是第 层第 单元的偏置项；

8. ，；

9. 表示第 层第 单元的**值（输出值）。

本例中，（前向传播）计算步骤为：

                

可以记为：

                  
                ；

给定第 层的**值 后，第 层的**值 就可以按照下面步骤计算得到：