神经网络那些事之发展史
https://github.com/123liudong/deeplearing_nocode_handbook.git
神经网络从诞生之日起到现在的人尽皆知并不是大家想象的那么一帆风顺,接下来我将会从下面几个方面来谈谈神经网络大概的发展史:
- 神经网络的提出是为了解决什么问题?
- 为什么神经网络会复兴?
- 为什么神经网络会跌下谷底?
概览起落
四个字概括神经网络的坎坷成长便是"三起两落",网上有张段子图很形象的表示出神经网络的发展趋势,以及部分同志对AI的持有态度.
第一次复兴:诞生
笔者认为神经网络的前身就是感知机,感知机的诞生才算是神经网络的1.0版本.一些资料上认为1943年的A Logical Calculus if Ideas Immanent in Nervous Activity提出了神经元计算模型,这才是神经网络最开始的起点.我认为这个观点没有错,笔者也没有错,如果把神经网络再细化一点,其本质也不过是加减乘除这些最基本的操作.所以这个问题就不用再进行陈述.
1958年提出感知机《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》的大牛叫做Rosenblatt,感知机的过人之处在于仿生物学,可以完成一些简单的视觉处理任务.此外这个大牛在理论上证明了单层神经网络在处理线性可分的模式识别问题时的收敛性,说明单层感知机具有一定程度的学习能力.这一发现在当时可是了不起的啊,于是神经网络的第一次升起便是在他诞生的时候.
第一次跌落:飞来横祸
人工神经网络的跌落在当今看来是必然的.其中一个为人诟病的原因便是神经网络的计算需要大量的计算力,在70年代计算机的硬件计算能力仍不足以处理大规模的数据;其二便是神经网络的训练需要大量的数据,没有足够的语料,神经网络便没有实际的意义了.
不过,第一次跌落的原因主要还是因为极具影响力的Marvin Minsky在1969年点出了单层感知机的局限性,证明了单层感知机不能实现异或功能(一个典型的线性不可分问题),最终得出了一个"基于感知机的研究注定失败"的结论.
因为这一观点在多层感知机(通过叠加感知机实现了异或功能)被推广之前发表,造成了神经网络领域研究处于了长年的停滞状态.
第二次复兴: 此消彼长
这第二次的复兴笔者认为首先得益于科研者永不放弃的精神,这才让感知机没有消失在历史长河中.
兴起的客观原因总体来说有两点:
- 提出的多层感知机解决了感知机不能处理线性不可分的难题.
- 反向传播法的提出,大大地降低了模型训练时间.
第二次跌落:物竞天择,适者生存
借用"物竞天择,适者生存"来表达这段时期吧.
俗话说的好,条条大路通罗马,在1995年到2006年这段时间,一些分类器诸如支持向量机(SVM)和线性分类器这类方法在当时的实验效果算得上是数一数二的,以至于感知机并没有什么优势可言,于是感知机的热潮又逐渐的退去.
跌落原因:
- 同类方法所需数据量少,模型训练时间也短,取得的效果比感知机更好.
- 感知机所需数据量太大,跟其他方法pk则显得训练条件艰难.
- 计算机计算能力较弱,感知机得到一个好模型的时间较长.
- 反向传播法对深层网络会出现梯度消失的问题(其实就是训练数据少了).
- 神经网络是一种黑盒方法,支持向量机等方法便于解释,也能被证明,而神经网络至今没有给出合理的解释.
第三次复兴:终于绽放应有的光芒
神经网络广为认知的一次应该是2016年全宇宙最强的"狗"alphago战胜了站在围棋界顶端的人物李世石.
其实从2006年开始,随着大规模并行计算和GPU的发展,计算力已经能够满足普通神经网络的需求.对于商业来说,许多有用的数据也如同滚雪球一样越来越多.当计算力与数据量都达到了要求,神经网络也是可以甩开膀子开工了.
神经网络在涉及面来说已经是最广的,在深度上也是屈指可数的"万金油"方法,神经网络才刚刚开始起航,未来的路还很长.ps.人类不会被神经网络毁灭的.
原文见于:https://www.yuque.com/bailixiang/blog/pavor1