本周AI热点回顾：IJCAI 今年不开了、AI算法效率每14月翻番、首届全程线上ICLR：视频&PPT全开放...
01
超摩尔定律！AI算法效率每14月翻番，OpenAI：长江后浪推前浪
著名人工智能研究机构 OpenAI 近日更新了有关业内顶尖机器学习模型算法需求的报告，并得出最新结论：自 2012 年以来，在著名数据集 ImageNet 上训练一个图像分类系统所需的算力每 16 个月减少一倍。OpenAI 本次研究发现的模型效率提升是最引人关注的地方。它还有着更深层次的意义：为 AI 的技术属性和社会影响提供依据。
OpenAI 并不是首个公开提出对 AI 模型的效率展开基准测试的机构。2019 年，艾伦人工智能研究所、卡内基梅隆大学以及华盛顿大学的科学家提议将效率作为 AI 学术论文以及准确性和相关度量的更常用评估标准。同时，也有人呼吁进行工业级的效能分析，并为机器学习项目建立每瓦特计算（compute-per-watt）的标准。
在调查研究中，OpenAI 发现在 WMT-14 翻译任务上谷歌 Transformer 所需算力已经比此前常用的 seq2seq 模型要少 61 倍——而两者推出的相隔时间也仅有 3 年。DeepMind 的著名人工智能 AlphaZero 不仅可以从零开始自我学习实现在围棋、象棋、日本将棋等游戏中超越人类的水平，而且要比前一代系统，仅早一年推出的 AlphaGoZero 节省 8 倍算力。
对于 OpenAI 自己，最近被人们所熟知的技术当然是 Dota 2 人工智能 OpenAI Five 了，其最新的 Rerun 版本仅需 1/5 的算力即可打败前一代算法，而两代推出的相隔时间仅有三个月。
近年来各种算法训练出 AlexNet 级图片分类效果所需的算力，蓝色点为当时效率最优。
简而言之，仅以图像分类任务来看的话，过去 7 年人工智能的效率已经提升了 44 倍。这个速度超过了摩尔定律，似乎意味着只要持续努力下去，我们无需担心会因为硬件瓶颈而导致人工智能发展受阻的情况。另一方面，考虑到 2012 年的算力价格和 2019 年大有不同，在实践中情况还要更好一些。
OpenAI 推测算法效率可能超过摩尔定律带来的增益，因为它观察到集成电路中的晶体管数量大约每两年翻一番。有趣的是，人工智能的发展规律也类似于英特尔芯片近年来提出的「Tick Tock」发展战略——新的功能通常需要耗费大量的算力才能获得（新制程），然后这些功能的优化版本得益于流程改进而实现更高效的部署（似乎可以对应芯片上新微架构的提升）。
调研结果表明，对于投入大量研究时间和/或算力的 AI 任务来说，算法效率的提升可能超过了对硬件效率的需求。
信息来源：机器之心
02
再有大动作，IJCAI 2020 将直接到 2021 年召开！
原定于 7 月 11 日在日本横滨召开的IJCAI，将延期半年，至 2021年1月召开。这意味着， IJCAI 将直接跳过多灾多难的2020，将脚步跨入 2021。
简单理解这份声明，大概信息是：
1、本将 7 月份在日本横滨召开的 IJCAI-PRICAI 2020 显然不能召开了；
2、我们将会议推迟到2021年的1月份；
3、至于是线上会议还是线下会议，还需要根据疫情发展再做观察；
4、线下的话（很可能是在1月5~10日），考虑到国际旅行限制，也将支持远程报告；
5、线上的话（具体日期待定，但在1月份），我们要做一个高质量的会议；
6、无论如何，我们将尽可能确保做到 “面对面的会议”（in-person conference）；
7、大家放心，该发布的信息我们还正常发布，IJCAI 议程我们将在7月份如期发布，且能在IJCAI官网上查到。
IJCAI，作为人工智能领域的顶级会议，从1969年召开至今，向来比较低调。然而在去年却因审稿人在评审、打分、rebuttal 等环节发生严重甚至是可笑的“翻车”事件而“大火”了一把。更为痛心的是，在随后清华发布的新版 AI 顶会评级，更是直接将 IJCAI 从 A 类「降级」到 B 类。
这种「降级」以及AI顶会中存在的诸多问题（例如审稿人严重不足、质量参差不齐等），引发了IJCAI 组委会的深思以及求变的欲望。在IJCAI 2019会议中，由历届IJCAI 程序主席举办了一场具有历史性意义的研讨会，就如何认识及应对当前顶会中暴露的问题做了全面系统的思考。
比如，大家针对改进评审过程中论文与审稿人不成比例，提出“快速淘汰机制”，即
快速筛掉质量不高的一部分论文当然就可以减少工作量；更少的工作量，就可以专注地评审论文，提高评审质量。可以在现有流程前增加一个快速筛论文环节，比如：根据摘要筛论文；要求提交短视频或者论文演讲的 PPT，根据它们筛论文；每篇论文只看 20 秒。但毕竟还是增加了额外的工作量。
这种“快速淘汰机制”，正是今年2月份 IJCAI 2020 的灭霸式审稿的出处。IJCAI-PRICAI 2020将评审过程分为两个阶段，第一阶段的summary reject，每篇论文都被发送至 7 到 10 名高级 PC ，并要求他们花 5 到 10 分钟对论文进行评审，并回答此问题：“该论文是否应该进入下一轮评审？”。基于高级 PC 的评选，负责该论文的领域主席最终决定该文论是否将进入全面审核阶段。
最终 5147篇投稿，直接有 2191 篇被拒。惨不忍睹。更加惨不忍睹的是，两个月后，IJCAI 录用结果出炉，仅录用592篇，录用率直降到 12.6%。
信息来源：AI科技评论
03
飞桨动态图重大升级，全面提升各项性能
有过深度学习框架编程体验的开发者都知道，目前主要有声明式和命令式两种编程范式，一般被称为静态图模式和动态图模式。相对于静态图模式，动态图类采用“define-by-run”的执行方式，写一行代码即可即时获得结果，在编程体验、调试便捷性等方面有绝佳的优势；而静态图采用先编译后执行的方式，事先定义好整体网络结构再执行，能够对全局编译优化，更有利于性能的提升，也有利于模型的保存和部署。
下面我们就来看看，本次飞桨在动态图方面带来哪些新升级：
提升Python与 C++交互效率
我们知道，为了保证运行效率，框架底层的运算逻辑都是使用C++实现的，而为了编程的便利性，框架的用户编程接口为Python。在动态图模式下，每一个OP执行时，都需要进行一次Python与C++交互，即将Python端的对象传递给C++端，这相对于静态图模式是一种显著的额外开销。新版本中，优化了Python与C++交互的数据结构，传递的结构更加精简，大大提升了执行效率。
在1.6版本的实现中，动态图的VarBase对象包含在Variable对象当中的，python与c++交互处理的是Variable对象，但是在Python的底层，这种对象保护关系是通过map进行实现的，我们获取或者修改包含的元素，性能都非常的差，在1.7中，我们重新设计了动态图的VarBase对象，python与c++直接传递VarBase对象，节省map的查找和修改开销，从而提高性能。
优化C++端运行效率
动态图模式下，每个OP执行时，均需要做一次数据构造，OP运行结束之后进行析构。由于Op中包含了复杂的map等结构，这种结构的构造和析构会都带来很大的开销，在1.7版本中，我们通过框架的优化，移除了这种map的构造和析构。简化数据结构，降低构造开销，由此提升执行效率。
【提升运行效率】优化DataLoader，提升整体性能
DataLoader虽然不算是动态图核心功能，但却是影响任务整体训练性能的重要因素。由于动态图执行模式下的差异性，对应的DataLoader的设计和实现需要有不同于静态图模式的更多考量。动态图模式下若每个op执行时，都申请python的全局锁（Global Interpreter Lock），会导致异步DataLoader中数据处理的线程效率受到很大影响，如果训练时每个batch的数据量比较大，DataLoader的性能就不如静态图模式下那么高效。为此，飞桨新版本的动态图模式在原来的基础上引入了multi-processing进行数据处理，这种进程间的处理不受全局锁的影响，进而提升执行效率。在resnet，se_resnext等任务上，整体性能提升约30%。
优化反向计算策略，删除冗余Tensor空间，降低显存占用。
针对部分OP，在执行反向计算时不依赖正向Tensor值，只依赖Tensor shape的情况，引入策略，删除不需要的Tensor空间，只保留需要的Tensor shape信息，以降低显存占用。在Resnet等任务上，同一个硬件设备上，能够设置最大batch size 提升了20%左右。
信息来源：飞桨PaddlePaddle
04
首届全程线上ICLR：视频&PPT全开放，谁都能看，还取消了最佳论文
一年一度的ICLR又结束了。拜疫情所赐，这次是前所未有的线上虚拟会。原本计划在非洲埃塞俄比亚举办的大会，不得不改成线上进行。
近日，ICLR官方开放了整个大会虚拟会议的访问，任何人都可以访问大会演讲者的视频和PPT。而且，今年取消了最佳论文。
当然作为第一届在网络上举办的ICLR，大会主办方发文总结了一下今年的经验教训。主要数据如下：
作为AI顶级学术会议之一，ICLR 2020收到2594篇论文投稿，接受了其中687篇。
线上会议带来的好处是人数增加了。今年共有来自89个国家和地区的5622人注册参会，相比去年2700多人参会，规模增长了一倍多。共有1336人进行线上演讲，平均每篇论文的网页被浏览200次，视频观看量达到10万人次。
由于今年的参会者遍布全球各地，为了让所有人不熬夜参会，ICLR制定了异步优先的策略。每个人都可以按照自己的作息时间参会，每篇论文都会发表两次，保证东西半球的学者们不会错过任何内容。
除了在线视频会议外，今年大会的论文检索，还用上了机器学习技术。ICLR 2020使用了潜在变量模型进行评分校准，使用视觉模型在从每篇论文中提取缩略图，使用了自然语言工具将相关论文可视化，并使用了推荐器系统为参与者创建推荐集。
最后明年的ICLR将于5月初举办，论文投稿截止日期设定在今年10月初。明年此时疫情应该会得到有效控制，只是暂时还不清楚线上会议的形式是否会保留。
信息来源：量子位
05
本周论文推荐
【ACL 2020 | 百度】：基于图表示的多文档生成式摘要方法 GraphSum
Leveraging Graph to Improve Abstractive Multi-Document Summarization
论文介绍：
多文档摘要（Multi-Document Summarization）技术自动为主题相关的文档集生成简洁、连贯的摘要文本，具有广阔的应用场景，例如热点话题综述、搜索结果摘要、聚合写作等。
生成式多文档摘要方法的难点之一是如何有效建模文档内及文档间的语义关系，从而更好地理解输入的多文档。为此，本论文提出基于图表示的多文档生成式摘要方法 GraphSum，在神经网络模型中融合多文档语义关系图例如语义相似图、篇章结构图等，建模多篇章输入及摘要内容组织过程，从而显著提升多文档摘要效果。
GraphSum 基于端到端编解码框架，其中图编码器利用语义关系图对文档集进行编码表示，图解码器进一步利用图结构组织摘要内容并解码生成连贯的摘要文本。GraphSum 还可以非常容易地与各种通用预训练模型相结合，从而进一步提升摘要效果。在大规模多文档摘要数据集 WikiSum 和 MultiNews 上的实验表明，GraphSum 模型相对于已有的生成式摘要方法具有较大的优越性，在自动评价和人工评价两种方式下的结果均有显著提升。
END