关于神经网络，这里有你想要了解的一切！
介绍
随着神经网络的发展，很多过去曾被认为是难以完成的任务现在已经可以完成了例如图像识别、语音识别，在数据集中发现更深的关系等已经变得更加容易了。所以我们应该衷心感谢这一领域的杰出研究人员，他们的发现帮助我们发挥了神经网络的真正力量。
如果你真的有兴趣将机器学习作为一门学科，深入了解深度学习网络对你来说是至关重要。大多数ML算法在给定具有多个变量的数据集时往往会失去准确性，而深度学习模型在这种情况下会产生奇迹。因此，了解它的工作原理非常重要！
在本文中，我将解释深度学习中使用的核心概念，即什么样的技巧可以提高模型的准确性。除此之外，我还会分享各种建模技巧，并深入了解神经网络的历史。
目录
- 神经网络的历史
- 单层感知器
- 多层感知器
- 初始化参数
- **函数
- 反向传播算法
- 梯度下降
- 成本函数
- 学习率
- 动量
- Softmax
- 多层感知器（MLP）总结
神经网络的历史
神经网络是当今深度学习领域技术突破的基石。神经网络可以看作是大规模并行的处理单元，能够存储知识并应用这些知识进行预测。
1950年，神经心理学家卡尔拉什利的论文发表，他将大脑描述为分布式系统。神经网络的设计模仿大脑，网络通过从学习过程中获取知识。然后，使用称为突触权重的干预连接强度来存储所获得的知识。在学习过程中，网络的突触权重被有序地修改以达到期望的目标。
神经网络与人脑进行对比的另一个原因是，它们像非线性并行信息处理系统一样运行，这些系统可快速执行模式识别和感知等计算操作。因此，这些网络在语音、音频和图像识别等领域表现非常好，就是因为其中输入信号本质上是非线性的。
在Hebb1949年出版的“行为组织”一书中，第一次提出了大脑连接性随着任务变化而不断变化的观点。这条规则意味着两个神经元之间的连接同时处于活动状态。这很快成为开发学习和自适应系统计算模型的灵感来源。
人工神经网络有能力从所提供的数据中学习，这被称为自适应学习，而神经网络创建自己的组织或信息表示的能力被称为自组织。
15年后，Rosenblatt于1958 年开发出了感知器（perceptron），成为了神经元的下一个模型。感知器是最简单的神经网络，能将数据线性地分为两类。后来，他随机地将这些感知器互相连接，并使用了一种试错方法来改变权重以进行学习。
1969年，在数学家Marvin Minsky 和Seymour Parpert发表了一篇对感知器的数学分析后，这个方向的研究在接下来的 15 年里陷入了停滞。他们的研究发现感知器无法表征很多重要的问题，比如异或函数（XOR）。其实，那时的计算机还没有足够的处理能力来有效地处理大型神经网络。
1986年，Rumelhart，Hinton和Williams宣布了反向传播算法的发展，它们可以解决XOR等问题，于是又开启了神经网络时代。在同一年，出版了由Rumelhart和McClelland编辑的《Parallel Distributed Processing: Explorations in the Microstructures of Cognition（并行分布式处理：认知的微结构中的探索）》。这本书一直使得反向传播的影响力越来越大，目前，反向传播已经成为多层感知器训练中最流行的学习算法。