为什么说边缘人工智能才是未来？
今天的人工智能（AI）处理大部分是在基于云端的数据中心中完成的。大部分AI处理以深度学习模型训练为主导，这需要大量的计算能力。在过去的6年中，我们看到计算需求增长了300,000倍，其中图形处理单元（GPU）提供了大部分支持。
从AI处理的角度来看，AI推理是在训练后执行的，并且计算强度相对较低，在很大程度上已被忽略。像训练一样，推理也主要在数据中心完成。但是，随着AI应用程序多样性的增长，基于云的集中式培训和推理机制正受到质疑。
为何需要边缘人工智能？
当今的AI边缘处理专注于将AI工作流的推理部分移至设备，从而将数据限制在设备上。AI应用程序迁移到边缘设备的原因有多种，具体取决于应用程序。在评估云计算与边缘处理时，必须考虑隐私，安全性，成本，延迟和带宽。诸如Google的Learn2Compress之类的模型压缩技术的影响，该技术可将大型AI模型压缩为小型硬件尺寸，这也促进了AI边缘处理的兴起。
联合学习和基于区块链的分散式AI架构也是AI处理向边缘化转变的一部分，而部分培训也可能会向边缘化发展。根据AI应用程序和设备类别的不同，有几种用于执行AI边缘处理的硬件选项。这些选项包括CPU，GPU，ASIC，FPGA和SoC加速器。
什么是边缘人工智能？
边缘人工智能将AI移到了真正需要的地方：在设备中，而不是依靠云端中的服务器。
在继续之前，我们应该了解机器学习如何工作的基础知识。任何基于机器学习的解决方案的两个主要阶段是训练和推理，可以描述为：
训练是一个阶段，其中将（非常）大量的已知数据提供给机器学习算法，以使其“学习”（惊奇）要做什么。利用该数据，算法可以输出包含其学习结果的“模型”。这一步对处理能力的要求很高。
推理是将学习的模型与新数据结合使用，以推理其应识别的内容。训练阶段中的“已知数据”称为标记数据。这意味着每个数据（声音，图像等）都有一个标签，就像一个小贴纸，描述了它的含义。语音识别AI经过数千小时的标记语音数据训练，以便从口语句子中提取文本。然后，可以使用自然语言识别来将命令中的文本转换为计算机可以理解的命令。
一旦训练完成，模型就需要处理能力的一小部分来执行推理阶段。这样做的主要原因是推论使用一组输入数据，而训练通常需要大量样本。用于推理的生产模型也是“冻结的”（无法再学习），可能修剪了较少的相关功能，并针对目标环境进行了仔细优化。最终结果是它可以直接在嵌入式设备：在边缘上运行。这样做可以为设备提供决策权，从而使其具有自主性。那就是边缘AI！
设备上的边缘人工智能的硬件挑战：芯片中的边缘人工智能
像许多新概念一样，边缘人工智能背后的技术已经存在了一段时间：机器学习算法在计算机和智能手机中很常见，它们在这些设备里工作得很好。但是嵌入式设备呢？OK，工具和硬件现在可以组合在一起，形成一个有意义的解决方案，这要归功于：增加设备的处理能力，并提供可为AI（GPU和ASIC）提供硬件加速的模块。
1)不断改进AI模型及其性能
2）工具和资源的质量，使数据科学家，AI专家和开发人员的开发过程更加轻松
这意味着我们现在不仅可以在超级计算机中，而且可以在汽车，智能手机，网页，Wi-Fi路由器甚至家庭安全系统中集成人工智能解决方案。
将推理有效地嵌入设备需要什么？
是的，边缘人工智能首先要选择正确的硬件。
边缘设备上的AI推理可以在以下几种硬件上实现：
CPU：在智能手机和嵌入式设备上，任何最新的ARM CPU（Cortex-A7及更高版本）都具有处理它的能力。它可能不是最快或最有效的解决方案，但通常是最简单的。通常使用TensorFlow Lite，并提供大型TensorFlow框架的关键功能。
GPU：对GPU的开箱即用支持会有所不同，但是它们通常确实提供了大吞吐量（i.MX6 Vivante，nVidia Jetson），从而提供了出色的推理频率和更低的延迟。它还可以减轻CPU的工作量。
AI专用硬件（ASICS，TPU）：这是一个快速增长的类别。这些硬件部件提供了最有效的AI解决方案，但可能会变得昂贵或难以设计。
让我们在下面深入研究最后两个解决方案。
一种可能性是利用GPU的处理能力和并行化功能。人工智能就像具有数百个神经元的虚拟大脑：它看起来非常复杂，但实际上是由大量简单元素（大脑神经元）组成的。好吧，GPU是为此而制造的！简单的独立操作适用于屏幕上的每个点（像素或顶点）。大多数机器学习框架（TensorFlow，Caffe，AML等）都旨在利用存在的正确硬件。 Nvidia板是不错的选择，但实际上任何GPU都可以利用。
另一个解决方案是集成专用硬件。可以通过定制硬件来加速机器学习，这两个竞争者是AI专用芯片和AI ASIC（专用集成电路）。这些正在快速发展！
Google Edge TPU已经在今年三月份正式发布。ARM也推出了其机器学习和对象检测处理器，英特尔，微软和亚马逊也在开发自己的解决方案。目前，最好的选择是让所使用的AI工具支持GPU。 Google Edge TPU已经投入生产，并且推出了多类型的含有TPU芯片的模块化硬件产品，比如PCIe，SoM等等。
但是，除了“前卫”因素之外，我们知道产品中的AI技术以及边缘人工智能可以增加巨大的价值。
选择边缘人工智能进行创新的5个理由：
1）脱机可用性：这可能是最明显的论点。如果无论条件和连接性如何都需要应用程序可用，则必须将智能放置在本地设备中。由于远程蜂窝数据不稳定，DDoS攻击后服务中断或仅仅是因为你的设备正在地下室中使用，会导致连接中断！对于基于云的解决方案来说，这是一个巨大的挑战。但是，如果将智能放在本地设备上，则无需担心。
2）降低云服务成本（试问谁不想要？）：云服务非常方便（可扩展性，可用性），但是却代表着相当可观的经常性成本，随着越来越多的人使用解决方案，这种成本将会增加。这些成本将持续到产品的整个生命周期。但是，如果要出售运行AI的独立设备，则将大大降低其重复成本和基础架构需求。
3）限制连接成本：带宽和蜂窝数据也很昂贵。通过仅发送AI的计算结果，就地处理信息可以将帐单除以100倍（对于视频则更多）。对于视频安全解决方案，兆字节的视频将转换为几个字节。对于你的安全监控器，这几个字节会说：“这里没有窃贼，但是你的狗把家里弄得一团糟！”。
4）处理机密信息：当可以在本地收集和处理关键信息时，为什么要在数百公里的线路上发送关键信息？这并不意味着我们不应该担心设备的安全性，而是要担心的一件事。这也将使你的客户感到安心。
5）响应时间至关重要：在本地收集和处理数据很可能会缩短响应时间，从而改善用户体验。但是，仅当设备可以足够快地处理数据时才这样。
6）环保：好的，虽然仅此一项并不能将公司或产品转变为环保产品，但在本地处理数据对于制造高效的AI设备无疑是有意义的。中小型物联网设备每天将发送1MB或更少的内存，大约可以每天估算20g的二氧化碳。经过一年的复合，10,000台设备可产生多达73吨的二氧化碳！在本地进行处理可以将其缩小到730kg，这对地球来说要好得多。并且请记住，基于视频或图像的解决方案可能会产生更大的影响。
如果你无法确定其中任何一种情况，那么最好使用基于云的标准解决方案。 Microsoft，Amazon和Google服务提供了一个坚实的起点，而许多其他独立的库可用于在云中构建自定义的，更“手工”的解决方案。
基于边缘人工智能的解决方案
钛灵AIX是一款集计算机视觉与智能语音交互两大核心功能为一体的迷你人工智能计算机，搭载了专业AI边缘计算芯片与多种传感器。Model Play面向全球开发者的AI模型资源平台，内置多样化AI模型，兼容钛灵AIX，支持边缘人工智能计算芯片Google Edge TPU，加速专业级开发。
此外，Model Play提供完整易用的迁移学习模型训练工具及丰富模型实例，可与钛灵AIX完美搭配结合，实现各类人工智能应用的快速开发。基于Google开源神经网络架构及算法，构建自主迁移学习功能，用户无需写代码，通过选择图片、定义模型和类别名称即可完成AI模型训练，实现人工智能的易学易开发。
转向边缘人工智能可以带来新的机会
边缘人工智能是许多基于AI的服务的下一步。 最高的可用性，数据安全性，减少的延迟和成本是未来AI系统的所有关键优势。 无论是公司还是个人，现在都是采取行动的好时机。 尽管有些人可能认为它尚未成熟，但是技术正在融合在一起。 只需付出有限的努力，就可以进行实验和实施概念证明，从而在全球范围内获得竞争优势。 考虑到AI和IoT的指数级增长，边缘人工智能增长是不可避免的。