cs231n_neural network

    接下来我们讨论下神经网络,我们直接以两层的神经网络为栗子,首先我们有一个线性层,我们将线性层的最大值作为输出,将这个输出作为输入。这些非线性计算非常重要,如果我们只是在顶层将线性层合在一起,那么就会简化为一个线性函数。所以我们首先有线性层,然后又这个非线性计算,继而在顶层中再加入另一个线性层,然后再这里,最后我们得到一个计分函数,输入计分向量,一般来说,神经网络就是,由简单函数构成的一组函数,我们用一中层次化的方式,将它们在顶层中堆叠在一起,为了形成一个更复杂的非线性的函数,所以这就是基本的多阶段的分层计算,这可以说是我们实现他的主要手段。

cs231n_neural network

cs231n_neural network



上面我们说到了两层的神经网络,接下来我们看看三层的神经网络,我们可以通过堆叠得到任意深度的神经网络,我们可以在非

线性的条件下重复这一过程,W3乘以上面的max输出的值,就得到一个三层的神经网络。。

cs231n_neural network


接下来我们类比一个人工的神经网络与生物学上的神经网络,我们都是信号传输的过程,首先我们收到x的一个向量,对其进行线性运算,这是我们通过一个非线性运算后,在进行线性运算,这就相当于一个信号传输的过程。


cs231n_neural network



接下来放上我们常用的**函数。。。


cs231n_neural network