人工智能名人堂第54期 | 深度学习鼻祖：Geoffrey Hinton

来源：德先生

概要：近日，他因提出capsule 概念，推翻反向传播再次引发广泛关注与热议。

Geoffrey Hinton，被称为“神经网络之父”、“深度学习鼻祖”，他曾获得爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。在2012年，Hinton还获得了加拿大基廉奖（Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖）。2013年，Hinton 加入谷歌并带领一个AI团队，他将神经网络带入到研究与应用的热潮，将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术，并将HintonBack Propagation（反向传播）算法应用到神经网络与深度学习。近日，他因提出capsule 概念，推翻反向传播再次引发广泛关注与热议。

从Geoffrey Hinton家族开始说起

Geoffrey Hinton出生于战后英国的温布尔登，他的父亲叫Howard Everest Hinton，是个英国昆虫学家，喜欢研究甲壳虫。他的母亲Margaret是一位教师。而他们一家也都流淌着饱含聪明才智的DNA：他的叔叔是著名的经济学家Colin Clark，正是他发明了“国民生产总值”这个经济学术语;他的曾曾祖父是著名的逻辑学家George Boole，他发明的布尔代数（Boolean algebra）奠定了现代计算机科学的基础。

Geoffrey Hinton的学习生涯

早在1960年代，Geoffrey Hinton的高中时期，就有一个朋友告诉他，人脑的工作原理就像全息图一样。创建一个3D全息图，需要大量的记录入射光被物体多次反射的结果，然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似，大脑并非将记忆储存在一个特定的地方，而是在整个神经网络里传播。Hinton为此深深的着迷。对Hinton来说，这是他人生的关键，也是他成功的起点。

但是，Hinton的“AI之路”走的并不平坦。

Hinton先是进入了克利夫顿大学，毕业后，他进入了剑桥大学国王学院攻读物理和化学，但仅读了一个月后就退学了。他谈到：“我那时候18岁，第一次离开家自己生活。当时的工作十分繁重，周围没有任何女孩，我感到有些压抑。”

一年之后，他再次申请攻读建筑学，结果又退学了——而退学后仅仅一天，他又转而攻读物理学和生理学。此后，他又改读哲学，但因为与他的导师发生争吵而告终。他承认道：“我有一种教育上的多动症。”

此后，Hinton并没有继续完成他的学业，而是退学后搬到了北伦敦的伊斯灵顿区，那里当时混乱不堪，他在那里成为了一个包工的木匠。他说道：“我做过一些货架、悬吊门这些没什么特别的东西。人们都是靠做这类东西赚钱。”每个星期六的早上，他都会去伊斯灵顿的埃塞克斯路图书馆，在他的笔记本里匆匆记下关于大脑工作原理的理论。

经过几年的艰辛工作，Hinton又回到了学术界，并从1973年开始在英国爱丁堡大学攻读人工智能博士学位，继续他的神经网络的探索。

后来，他转到了美国匹兹堡的卡内基梅隆大学继续进行他自己的研究，但他很快意识到，他所在的院系以及整个美国大部分的AI研究工作都是由美国国防部（DoD）资助的。于是他毅然辞职以示*，并搬到了加拿大这个军事资助基本无害的地方。

他表示：“我离开的时候，带走了一美分硬币，并用一台施乐复印机将它放大，然后把它挂在了我的办公室门上。但是我把其中的‘G’改成了一‘D’，所以上面那句话就变成了：in DoD we trust（‘我们信赖国防部’）。”

既有对AI的恐慌 也有对AI未来发展的期望

据Hinton表示，相比人们对机器日益提升的智能程度的担忧，对人类而言，更为紧迫的威胁其实是杀手机器人的开发。（为强调这一点，116家AI公司创始人在本周联合签署了一份请愿书，呼吁禁止制作致命的机器人武器。）

Hinton自己以前也签署过类似的请愿书，并郑重地写信给英国国防部阐述他对此的担忧。他谈到：“（英国国防部）回复说现在还没必要对此做出什么处理，因为人工智能技术的发展仍任重而道远，而且不管怎么说，它们还有可能会带来很多益处。不过，他们肯定有能力做到这一点。”

除此之外，他还担心人工智能会越来越多地被用于*对平民的监视，而且他还透露称自己曾因为担心他的研究会被安全部门滥用，拒绝了一份在加拿大相当于美国国家安全局董事会的工作邀约。

不过，尽管已经讨论过了当前正在研发的“无人机群”等武器话题，Hinton仍然相信AI所产生的效益会给人类带来福音，尤其是在医疗和教育领域。

Hinton在1994年失去了他的第一任妻子Ros，她因卵巢癌逝世，留下他独自抚养照顾他们收养的两个年幼的孩子。后来，他与其现任妻子Jackie再婚，不过，据说Jackie现在也被诊断出患有胰腺癌。

他认为，人工智能的成果将使医学变得更加高效。他设想，过不了多久，每个人都能够花100美元获取自己的基因图谱（目前这一项目的费用为1000美元）。不过，对于放射科医生而言，AI的发展并不是个好消息，而且Hinton也认为X射线检测工作可能很快就会被大量机器人取代。

Hinton表示：“在一个分工明确的组织型社会里，提高生产力将使每个人受益。问题不在于技术，而在于利益的分配方式。”

现在的Hinton：一半归多伦多大学，一半归Google大脑

现在，Geoffrey Hinton一半时间在多伦多大学教书，一半时间在 Google建设神秘的Google大脑。

深入到谷歌位于多伦多市中心总部内部的办公室，经过其屋顶绿绿的高尔夫球场、桌上足球桌和大胆采用同该公司Logo标志一样基本色的人体工学座椅，我们将看到一个不修边幅的人站在那里，就像是刚从昆汀·布莱克的画像中走出来，与周围环境格格不入。

从外貌上看，Geoffrey Hinton教授有着所有英国学者的典型特征：一头蓬乱的头发，皱巴巴的衬衫，衬衫前口袋里还插着一排圆珠笔，守着一个巨大且脏乱的白板，白板上写满了各种复杂难解的方程式。他的办公室里根本没有座椅，69岁的Hinton教授喜欢一直站着。

虽然他看起来可能有些古怪，但对他办公室外的那些年轻的人事物而言，Hinton是一种类似于神级的存在：他被人们誉为“人工智能（AI）教父”，而这项已经引发全球性变革的新技术背后，与其聪明才智密不可分。

他过去带过的学生已陆续被硅谷挖走，分别在苹果、Facebook和Google这类的科技巨头公司里领导着人工智能领域的研究工作，而他自己也被Google聘请为公司副总裁，主管工程设计部门。在接下来的几个月里，他将执掌多伦多新募集了1.8亿美元资金的人工智能研究所Vector Institute，以期巩固这座城市在人工智能领域作为全球领导者的地位。

尽管在北美呆了这么多年，Geoffrey Hinton教授仍旧操着一口标准的英式口音说道：“被称为‘教父’，我感觉有一些难为情。”

他笑着表示：“我对我自己的数据有一种里根式的笃信。”而正是Geoffrey Hinton对自己的工作成果不可动摇的信念，促使他从学术生涯多年的不得志走到了当前最热门的AI前沿。

Hinton教授是机器学习的开创者，使得计算机可以独立想出程序、自己解决问题。特别重要的是，他还从中开辟了机器学习的一个子领域，即所谓的“深度学习”，也就是让那些机器像一个蹒跚学步的孩子一样，模仿大脑的神经网络形式。

这意味着计算机可以自动构建一层层智慧网络。随着近年来非常强大的处理技术的出现，这种深度学习框架经历了巨大的变革，现已成为主流方法：从我们的智能手机中的语音识别模式到图像检测软件再到亚马逊为用户推荐购买哪本图书，全都离不开深度学习。

Hinton及其同事们的工作挖掘出了机器学习的无限潜力，他们也被其竞争对手戏称为“加拿大黑手党”。

近期，Geoffrey Hinton带领谷歌大脑团队推出了新作：通过给个体标签建模来提高分类能力，同时也展示了通过采用这种标记方法我们提升了计算机辅助诊断糖尿病导致视网膜病变的准确度。谷歌大脑团队提供了一种创新的方法，以处理那些数量巨大的、需要借助专家来标记标签的现实数据。

同时，Geoffrey Hinton在多伦多大学也有新动作，近期，多伦多大学宣布成立一个专注于人工智能研究的独立研究机构——向量学院（Vector Institute），作为多伦多大学计算机系名誉教授的Geoffrey Hinton被任命为首席科学顾问，他将在这里开展人工智能研究，吸引更多人才并致力于将多伦多建设成一个全球人工智能的中心。Hinton的这个团队也会是Google Brain的一个延伸，而恰巧在去年底，Google早已宣布在蒙特利尔开设了一个Google Brain的分部。

即便是高瞻远瞩如Hinton，他也不知道人工智能革命接下来会将我们带向何处。他说道：“在这个领域，很难预测五年以后的事情，毕竟事情往往并不会像你期待的那样如期而至。”

不过可以确定的是，正如我们所知，新世界的大门即将开启。

推翻30年的研究成果 新“胶囊网络”或重建AI世界

Hinto最近提出了一种新方法，这种方法可能会改变计算机视觉传输的方式，重塑人工智能。上周晚些时候，Hinton发表了两篇研究论文，说出了他考虑了近40年的想法。“很长一段时间，它只是一种直觉，实际的测试结果并不好”，Hinton说，“我们最后终于找到了有效的方式”。

Hinton的新方法叫做“胶囊网络”，它是一种扭曲的神经网络，这种网络可以使机器更好的通过图像和视频了解世界。Hinton一直与在多伦多谷歌办事处的两位同事一起研究这项新技术。他在上周发布的一篇论文中写到，基于Hinton的胶囊网络的软件在识别手写数字的标准测试上与现有的最好的识图软件不相上下，而在一项从不同角度识别卡车和汽车等玩具的软件测试上，胶囊网络错误率比第一次测试减少了一半。

胶囊网络意在弥补当今机器学习系统的不足，这些不足限制了机器学习的效率。如今的图像识别软件需要大量的示例图片来学习各种情况下的物体。这是因为软件意识不到他在新场景下需要学习什么，比如当它之前识别过的物体以不同的角度呈现时，软件就认不出那个物体了。

教一台计算机从多角度识别一只猫，就需要覆盖不同的视角数千张的照片。而人类孩子却不需要如此多的训练来识别家里的动物。Hinton认为缩小人工智能系统和普通幼儿之间差距的想法就是在计算机视觉软件中建立更多的知识网。胶囊是一些小的原始虚拟神经群，设计这些群的目的是分别追踪一个物体的不同部分，比如猫的鼻子和耳朵，以及它们在空间中的相对位置。一个由许多胶囊组成的网络能够在新的场景下识别出一个已经见过的物体。

现在说胶囊网络将是一个新的巨大飞跃还为时过早，Hinton本人也这样认为，胶囊网络仍需要数量庞大的图像集合中证明胶囊网络的有效性，而这项技术当前的识别速度与现有的图像识别软件相比仍比较缓慢的。

Hinton对此很乐观，他认为这些缺点可以解决，其他业内人士也对此抱有希望。

在某些方面，胶囊网络的研究与人工智能最近的趋势有所不同。最近对神经网络的一种理解是，人类应该尽可能少为人工智能软件提供知识编码，而应该让他们自己弄明白。

纽约大学心理学教授Gary Marcus去年向Uber出售了一家人工智能初创公司。他说，胶囊网络为人工智能带来了新鲜空气。Marcus认为，人工智能研究人员应该更多地模拟大脑是如何内置的，人脑是先天的机器，可以学习像视觉、语言等重要的技能。Marcus说:“现在评价胶囊网络将带来巨大飞跃还为时过早，但我们很高兴看到Hinton打破了这个领域的常规。”