人工智能的第三次浪潮

从感知到认知

人工智能发展

算法发展

预训练模型BERT

近几年，在自然语言处理中广泛运用

视频到视频合成

自监督学习

通过大量的数据，就可以识别出来物体，比如猫!!!，不需要标记样本。

面向图数据的自监督学习

下个十年：认知、推理

两个问题：

• 一个庞大的常识知识库
• 知识的理解能力：面向认知的机器学习，需要可解释的机器学习方法（推理算法）

认知图谱

人脑双系统

认知图谱的推理模型

下一个三十年：意识

Manuel Blum

意识：全局工作空间理论 GWT

1980年,认知神经科学家 Bernard Baars 提出了全球空间模型的概念

有意识学习

所谓的有意识学习，就是有目标的机器学习，给定数据，训练一个模型，通过模型进行分类（决策），所以有意识学习输出是一个短期记忆模型，但是这个短期记忆模型比较简单：数据有限、无背景知识。

可以做快速匹配：比如眼睛识别屋子里面的物品，苹果，桌子，板凳，一眼就能看出来。

无意识学习

无意识学习对应着长期记忆模型，长期记忆模型有点类似半监督或者无监督学习模型，或者当下比较流行的预训练和自监督学习；无意识处理对应多种长期记忆，所以无意识可以考虑多个不同的处理器，这些处理器之间有连接，也可以没有，很多时候是并行处理，但是针对特定任务，比如有意识思考某个问题时候，形成特定连接，包括无意识处理器（无监督模型）和有意识处理器（有监督模型）之间的连接，这里可以考虑成fine-true。当然连接权重可以通过外界反馈强化学习来实现。无意识处理器之间的连接以及和有意识处理器之间的连接可以类比为注意力机制。

最后值得注意的是长期记忆的构造和实现，人脑记忆保存的是模型图，而不是概念图。每个长期记忆都可能是一个模型，可以生成样本，具体学习方法，可以想象一下是一个层次聚类。通过这样就可以用有监督、无监督、强化、注意力、fine-tune来实现 GWT 模型。