院士张钹：第三代AI算法是符号主义和联结主义的整合

2019年11月1日北京智源大会闭幕式及全体会议中，中国科学院院士、智源研究院学术委员会主席张钹进行了主题演讲《迈向第三代人工智能》。这是自今年4月，张钹首次面对公众提出“第三代人工智能”概念后，对第三人工智能具体算法思路和最新研究进展所作的一次详细介绍。

张钹认为第三代人工智能算法将是人工智能符号主义、联结主义这两条发展路线的优化整合，并针对整合的路径、当前成果、难点和挑战等进行了细致入微的剖析。因此，对中国人工智能的科研和从业人员来说，张钹的演讲，无疑提供了一幅当前人工智能算法痛点问题和未来路径的精准导航图，这对我们思考未来人工智能技术和产业的趋势和机遇，将会带来无数有益的参考。

 

下面，就让我们以张钹院士演讲的精彩要点为蓝图，步入第三代人工智能算法的世界。

 

01

人工智能算法的三个时代：

从知识、数据到融合驱动

张钹将人工智能划分为如下三个时代：

最早的第一代人工智能模型是以知识和经验为基础的推理模型，经实践并没有取得成功；随后的第二代人工智能，是利用基于大数据的深度学习，获得了意想不到的成就，但因为算法的不可解释性导致很多安全隐患；第三代人工智能，也是张钹对中国未来人工智能走向的希冀：在目前第二代人工智能的基础上，加进人类的常识、知识，建立一个可解释的、鲁棒的人工智能理论，发展可信、安全和可靠的人工智能技术。

 

如果我们参照人工智能发展历史（如下图，数据来自艾瑞咨询），会发现张钹描述的第一、二代人工智能，实际上对应了全球人工智能过去60多年历史中的3次爆发期。

 

图1：人工智能的发展历程

 

第1、2次爆发期，人工智能走的是符号主义路线。第1次爆发期是在上世纪60年代左右，标志性的成就是纽厄尔和赫伯特·西蒙用问题求解程序完成了《数学原理》（罗素著）第二章全部52条数学定理的证明。这意味着用计算机进行人类的逻辑推理、实现符号演算之路，迈出了里程碑的新篇章。值得一提的是，我国数学家吴文俊也在这个领域留下了华彩的印记，他在上世纪70年代提出了几何定理机器证明的吴文俊方法，可谓符号主义的巅峰之作。吴文俊也因此于1997年获得了国际自动推理最高奖“Herbrand自动推理杰出成就奖”。

 

第2次爆发期是在上世纪70、80年代，典型应用是以领域知识服务为核心的专家系统，比如卡耐基梅隆大学给DEC公司设计的专家系统XCON，自1980年投入使用后的近6年时间里，每年给公司节省2000万美元。

人工智能的前2次爆发先后堕入寒冬的原因，总体来说，都是受困于算力、数据和应用场景的限制，包括陷入了“莫拉维克悖论”，即“人类所独有的高阶智慧只需较少的算力，例如推理，但是无意识的技能和直觉却需要极大的算力”。

 

人工智能的第3次爆发，便步入以机器学习，尤其是深度学习为核心的联结主义路线，即张钹说的第二代人工智能。所谓联结主义，指通过对人类大脑进行逆向演绎，构建人工神经网络来训练智能算法的方法，特点是领域集的规则模型无需预定义，而是从训练数据中运算获得。

有两个重要的奠基性工作促成了这个时代的到来：1984年 Valiant 提出了概率近似正确模型（PAC，Probably Approximately Correct），在概率论范畴，为机器学习第一次提供了坚实的数学理论基础，它可以最大限度降低泛化（Over-generalization）带来的错误。

另一项工作发生在2006年，Geoffrey Hinton 发表了一篇论文，通过构造多层人工神经网络的深度学习模型，解决了传统神经网络算法的重要瓶颈问题——梯度消失。

深度学习由此浮出水面，但它真正声名大噪则是到了6年后的2012年：Hinton 课题组为了证明深度学习的潜力，首次参加 ImageNet 图像识别比赛，其通过构建的 CNN 网络 AlexNet 以超过第二名10个百分点的成绩夺冠。到了2016年，伴随着 AlphaGo 战胜人类顶级棋手李世石，深度学习的声势可以说席卷了全球 AI 产业界。

 

但张钹认为第二代人工智能存在明显的软肋。张钹指出人工智能要超越人类，需要满足这5个必要条件：丰富的数据或知识，确定性信息，完全信息，静态信息，单任务或有限领域。

而用现在的第二代人工智能来做参照，它很难满足这些条件，原因在于它的结论不具备可解释性，即在它在应用中的决策、诊断结论无法解释前因后果，这直接导致的后果是它的安全性非常脆弱。

 

如果更进一步地追根溯源，张钹认为是人工智能的理论，也就是它的模型和算法出了致命问题：它采用的是非常简单的前向神经网络模型，没有根据特定任务来构造它的结构，训练算法本质上是概率统计方法，这些因素导致结果只是一些“重复出现的模式”、“关联的数据”，从而无法“找到语义的特征”，换句话说难以发现因果关系。

 

下图揭示了人工智能的黑匣子隐患，图中右边的熊猫跟左边相比，仅仅是多了一点细微的、低层次局部特征和长臂猿相像的噪声，结果计算机“一叶障目”般地将熊猫活生生地识别成一只长臂猿。

 

图2：熊猫图像的模式识别和噪声影响

 

在算法只能表达相关性，没有因果性的前提下，出现这样的错误是不可避免的，这势必将成为阻碍人工智能产业进一步深度、广度渗透的“阿喀琉斯之踵”。

为此张钹提出了发展第三代人工智能的倡议：将知识驱动和数据驱动结合，建立一个可解释和鲁棒的人工智能理论，发展可信，安全和可靠的人工智能技术，扩展人工智能应用的范围。

 

02

第三代人工智能的统一算法框架：

“Embedding ”+“Rasing”

张钹认为第三代人工智能也是知识驱动的符号主义，和数据驱动的联结主义路线的优化整合。

落实到具体的算法方法论层面，他们正在研究的一个重要方向是：用“Embedding ”（嵌入）的方式，将知识符号，转变为向量，尽量保持语义不变；以及用“Rasing”（提升）的方式，将特征向量空间提升为语义空间；随后将这两种方式的结果投射到同一语义向量空间中去运算，建立统一的理论框架，并作为孕育第三代人工智能新技术、新应用的重要基础（如下图）。

 图3：第三代人工智能算法的混合模型

 

接下来，让我们步入这个算法框架，看看它们的特征和相关进展。

 

首先，我们来看一下“Embedding ”方式，它来自对于符号主义的优化改良。鉴于传统符号主义方法中，只能做符号推理，难以进行数学计算，这便有词嵌入（Word Embedding）的方式，将离散空间的符号，变成方便数学计算的连续空间里的向量。

张钹认为这里的一个非常关键的问题是，当离散的词变成向量后如何保持它的语义？

目前主流的方法是采用 Skip Gram 模型来处理，但众所周知它还是会丧失很多语义。学术界正在讨论的一种解决方式是采用语境化（context）的词嵌入方法（如下图），因为语义是在一定语境下的，有了语境，便可以保证词在投射到向量空间后，可以保持更多的语义。

图4：语境话的词嵌入方法

 

张钹还推荐了清华大学教授、智源学者朱军团队的研究，他们另辟蹊径采用贝叶斯网络和深度学习结合的方式：用贝叶斯网络表示知识结构，然后投射到向量空间里。

图5：贝叶斯网优化深度学习

 

目前，朱军团队已经基于这种新算法思路，研发了一个算法开放平台——“珠算”，并且应用在了智能制造、金融和农业等领域。

 

接下来，我们来看一下“Rasing”模式，即将传统联结主义中的特征向量空间提升到语义空间。张钹认为这方面的方法论模型，可以向人类大脑学习，比如横向联结、反馈、注意力机制、多模态记忆等。

下面的“Spare firing+ HMAX”研究项目，便是一个向神经科学学习的案例：Spare firing 是神经科学中的概念，借鉴它的模式可以实现用少量神经元对大量的特征进行编码；HMAX 模型是 Riesenhuber等人于 1999 年提出，其理念是模仿人的认知，由点到线到面逐级抽象，还原高级特性。

图6：“Spare firing+ HMAX”层次结构

 

但张钹也指出，目前用“Rasing”的方式做图像识别，只能在满足特定条件下才有成效，比如图像中的物体比较大等，如下图的特征提取，第一排、二排需要确实出现了“人脸”、“车”的轮廓才可以提出它们的语义信息来。

 

图7：基于图像特征提取语义

 

可见，无论是“Embedding”还是“Rasing”方式均方兴未艾、还有很长一段路要走。而将两者结合起来构建混合模型的方式，学术界近年来也已经开始了尝试，张钹认为下面这个欧洲项目（如下图）给了他们很大的启发，它说明这条混合模型道路是可以走下去的。

图8：采用混合算法的城市关系学习

 

这个项目主要是要表示城市之间的关系，比如城市分成首都、海滨城市，首都里有北京、柏林，海滨城市里有汉堡。如果仅用深度学习的方法，这一个结构是学习不出来的。因此它采用了预先将相关知识结构嵌入到图中间的向量空间，然后用深度学习训练的方式。

 

张钹认为这种将符号主义和联结主义优化整合的算法模型，代表了第三代人工智能算法的重要方向。

近两年全球人工智能算法的研究动态也印证了这种判断。比如深度学习之父 Geoffrey Hinton 同样意识到了深度学习的弊病，甚至发出了“Convolutionalneural networks are doomed”（卷积神经网络注定被终结）的感叹。

2017年10月，在NIPS会议上，Hinton发表了题为《胶囊之间的动态路由》论文，提出了全新的深度学习模型——胶囊网络（CapsNet）。细究胶囊网络的思路，我们会发现它和张钹预测的第三代人工智能算法潮流是一脉相承的：

以图像识别为例，“胶囊”代表图像中特定实体的各种特征，比如位置、大小、方向、速度、色调、纹理等等，作为一个单独的逻辑单元存在。算法运行时，每个胶囊学习预测到的数据，通过一个协议路由算法，逐层传递给更高层次的胶囊。而所谓“动态路由”，指低级别胶囊向高级别胶囊传统数据，如果两者预测一致，那么高级别胶囊便提升自己的活跃度。

从这些思想不难看出，胶囊作为逻辑单元其实也是一个知识单元，胶囊网络同样是人工智能符号主义和联结主义路线的优化整合。

 

03

人工智能的未来：

科学性和伦理性密不可分

需要关注的是，张钹在介绍第三代人工智能算法之后，着重讨论了人工智能的治理问题，包括避免人工智能“误用”、“滥用”和“有意破坏”的各种解决方案。这正如张钹所言，人工智能治理层面的诉求，包括实现可信的人工智能、可信的社会，体现了第三代人工智能算法之所以追求鲁棒、可解释性的根本目标和价值观。

截止编辑完稿之际，一个佳讯传来：张钹获得了中国人工智能协会（CAAI）颁发的2019年度“吴文俊人工智能最高成就奖”，以表彰他在“搜索、规划和问题求解等领域建立形式化理论和高效算法”中做出的卓越贡献。

通过张钹对第三代人工智能算法提纲挈领的解剖，我们不仅能感受到他渊博、精深的理论和算法造诣，更重要的是看到他作为中国人工智能的奠基人之一，又一次点亮了引领中国未来人工智能发展的灯塔——人工智能算法的科学性，和它服务人类福祉的伦理性密不可分。

- 往期文章 -

↓ 点击"阅读原文"加入「智源社区」