为什么AI的发展速度快于摩尔定律-算法的时代

摩尔(Moore)于1965年发表的原始论文《将更多的元件塞入集成电路》包含了许多令人难以置信的见解。 其中之一被简化为“计算机每2年提高2倍的速度”。

摩尔的愿景已经实现。 您可以在沃尔玛购买“便携式家用计算机”,并同时购买一些除臭剂。

为什么AI的发展速度快于摩尔定律-算法的时代
摩尔论文的数字

针对非机器学习问题的计算机算法没有得到太多改进。 例如, 快速排序 (一种常用的排序算法)明年就要60岁了。

为什么AI的发展速度快于摩尔定律-算法的时代
维基百科中的快速排序动画

深度学习算法改进

机器学习模型的发展速度快得多。 下面是一个示例,该示例比较了许多对象检测系统中使用的子系统,该系统称为“区域提议网络”:

为什么AI的发展速度快于摩尔定律-算法的时代

mAP ”是衡量网络质量的指标。 这里的目标是能够在较短的时间内获得相似的分数。 与原始方法相比, 更快的R-CNN的速度提高了250 ,比快速R-CNN的速度提高了10倍

那么Faster花费多长时间才能获得10倍的改进? 一些年?

没有。

Fast和Faster于2015年同年出版。 是的,没错,我们看到同年速度提高了10倍。

随着时间的流逝,我们也看到了错误或AI犯了多少错误。 例如,在ImageNet大规模挑战中,我们使用Squeeze和Excite网络的错误已从28%下降到2% 2012年的重大飞跃是转向基于深度学习的方法, AlexNet撰写本文时获得了难以置信的27,571次引用。

为什么AI的发展速度快于摩尔定律-算法的时代
参见http://www.image-net.org/challenges/LSVRC/

受益于更多数据的算法

深度学习模型受益于更多数据。 他们在训练时利用更多的数据来产生更好的质量模型。 当模型被使用时(在测试时),它以相似的速度运行,而不管原始网络在其上训练了多少数据³。

这与通常试图减少系统中使用的数据量的“传统”编程形成直接对比。 实际上,有一种叫做Big O的完整语言专门用于此目的。

数据的可用性正在增加。 例如用于相机。 数据可用性的提高有助于机器学习模型的一种方式是转移学习。 更多数据可能意味着功能更强大的预训练模型,以及更易于访问新数据以进行微调。

为什么AI的发展速度快于摩尔定律-算法的时代
为什么AI的发展速度快于摩尔定律-算法的时代
左:2012-2022年按应用分列的北美相机模块市场,(百万美元)

专用硬件

专用硬件(例如GPU)也在提供帮助。 其他人已经对此进行了很多深入的探讨,因此我将简要说明一下这个示例:

为什么AI的发展速度快于摩尔定律-算法的时代
https://www.rtinsights.com/gpus-the-key-to-cognitive-computing/

在这里,我们看到了6年来10倍的性能提升。 如果每2年将性能提高一倍,则仅相当于提高了4倍。 更加具体的电路设计可能会进一步改进

进展

与传统编程相反,人工智能算法一直在以更快的速度发展。 为这些新算法设计的硬件推动了进一步的发展。

算法+专用硬件正在推动这一发展

但是,为什么硬件部分比摩尔定律更快? 区别在于为“特定”目的而设计的硬件,而不是通常增加更多功率的硬件。 例如,图形单元并不总是比中央处理器更好。

如果您的手机仅在图形单元上运行,则电池可能会在一天中的一半时间耗尽,并且在执行常见任务时可能会感觉很慢。

但是,专用硬件确实可以在其擅长的任务(例如深度学习)上获得丰厚的回报。 这种专用硬件的构建可以绕过CPU限制。

“而且这些核可以通过线性增加的计算能力来添加,从而绕过当今的摩尔定律限制……” –布鲁斯·皮勒¹

好的,但是算法呢? 真的有什么不同?

在指令驱动的编程中,我们有“证明”的做某些事情的最佳方法。 如果证明依据的假设是正确的,那么建议的方法就是我们“认为!”的最佳方法。 我们将永远解决这个问题。

我们还没有基于深度学习的方法来“证明最优”!

社区付出了巨大的努力来发展最新技术,发现全新的方法并优化现有的方法。 胶囊网络就是一个具体的例子。

与以单个值(即“ 1”)操作的普通网络相比,胶囊网络在信息列表(即[1、4、65、1])的“最低”级别上进行操作。 您可以想象,从仅一个数字到无限的数字列表将打开一个全新的可能性世界。

为什么这么重要?

衡量计算机实用性的一个关键指标是计算机上运行的软件。 想象一下没有您喜欢的应用程序的智能手机或没有Netflix的电视。

尽管软件的使用一直在进步-使用这些进步的能力主要是关于硬件-而不是改进的算法。

为什么AI的发展速度快于摩尔定律-算法的时代
为什么AI的发展速度快于摩尔定律-算法的时代
为什么AI的发展速度快于摩尔定律-算法的时代

取消传统软件系统约束的算法可能会获得越来越少的回报。 除上述示例外,请考虑A *算法

为什么AI的发展速度快于摩尔定律-算法的时代
维基百科的A *插图

它于1968年首次发布,至今仍是最好的通用方法之一,因此在当今的计算机科学教室中都有教授。

算法的时代

我们现在生活在深度学习算法取得巨大进步,远远超过以前的算法改进的时代。 这与硬件的改进更加复杂,导致AI效率的惊人增长。

区域提案网络是AI模型的子方法,同年改进了10倍。

快速发展的技术难以预测结果。

为什么AI的发展速度快于摩尔定律-算法的时代
http://www.nydailynews.com/news/world/check-contrasting-pics-st-peter-square-article-1.1288700

在过去的30年中,我们看到整个行业都被颠覆了,技术以每2年2倍的速度增长。 新算法改进 +硬件改进的复合效果将使我们之前的进展显得缓慢。

我们还没有为最后一波破坏做好准备,而对于下一个破坏浪潮则加倍了。 如果我们认为30年是颠覆性的,那么接下来的30年将使我们震惊。

这一进步将继续带来各种好处,例如自动驾驶汽车,皮肤癌检测和更智能的语法检查。 它还可能导致自动武器的出现,影响当今的大多数工作

呼吁重新思考工作的意义

人们通常通过工作来定义自己。 没有不可避免的“那么,你怎么办?”就无法参加社交活动。 问题被弹出。 也许您甚至是一个问它的人!

但是,如果AI能比您做得更好,您如何通过工作定义自己? 当AI能够发挥作用的估计时间短于人工训练所需的时间时,会发生什么情况?

过去,我们一直在创造新的工作机会,但现在在培训和学习新技能方面已经达到了临界点。

“很明显,我们应该停止培训放射科医生,” —计算机科学家Geoffrey Hinton(下面的链接)

开复在他的演讲中有一些很棒的主意。 它以与AI合作为中心。

为什么AI的发展速度快于摩尔定律-算法的时代
资料来源:李开复https://www.youtube.com/watch?v=ajGgd9Ld-Wc&t=5s

我认为教育将发挥重要作用。 不仅对于开发软件的人员,而且对使用软件的人员越来越多。 喜欢Udacity的公司正在使世界一流的教育比以往任何时候都更容易获得。 当然,麻省理工学院和哈佛大学与MIT OpenCourseWareHarvardX已有一段时间了。

我们需要不断提高对幕后算法在我们的日常生活中的运行能力以及未来将增长多少的意识。

在算法时代,您将如何定义自己? 人工智能可以胜任吗? 那你的同事呢?

谢谢阅读!

1 https://www.forbes.com/sites/kenkam/2018/04/23/how-moores-law-now-favors-nvidia-over-intel/#7c498c3f5e42

2 https://www.economist.com/leaders/2018/06/07/ai-radiology-and-the-future-of-work

3从技术上讲,如果您继续增加网络中的数据,则可能需要更大的网络(“表示能力”),但是假设您保持网络的大小不变,并且只是在培训时比较添加数据的成本,具有更多数据的网络将获得更好的质量结果(来自“更好”的权重),并且运行时间相同。

From: https://hackernoon.com/the-age-of-the-algorithm-why-ai-progress-is-faster-than-moores-law-2fb7d5ae7943