深度学习部署工具包（DLDT）介绍--002

1.深度学习部署工具包（DLDT）包括：

深度学习模型优化器（Deep Learning Model Optimizer），一种跨平台的命令行工具，用于导入模型并使用推理引擎为最佳执行做好准备。模型优化器导入，转换和优化模型，这些模型在流行的框架中训练，例如Caffe *，TensorFlow *，MXNet *，Kaldi *和ONNX *。
深度学习推理引擎（Deep Learning Inference Engine），一种统一的API，允许对许多硬件类型进行高性能推断，包括英特尔®CPU，英特尔®集成显卡，英特尔®Movidius™神经计算棒，英特尔®神经计算棒2和采用英特尔®的英特尔®视觉加速器设计Movidius™VPU
演示和示例（Demos and samples），一组简单的控制台应用程序，演示如何在应用程序中使用推理引擎
工具 - 一组简单的控制台工具，用于校准和测量模型的精度
预先训练的模型 - 一套用于学习和演示目的的预训练模型或开发深度学习软件

2..深度学习网络（Deep Learning Deployment Toolkit，简称DLDT）从训练环境部署到嵌入式平台遇到的问题有哪些：

行业中广泛使用了许多深度学习框架，如Caffe *，TensorFlow *，MXNet *，Kaldi *等。
通常，深度学习网络的训练在数据中心或服务器群中执行，而推理可能在嵌入式平台上进行，针对性能和功耗进行了优化。这些平台通常受限于软件角度（编程语言，第三方依赖，内存消耗，支持的操作系统），以及硬件角度（不同的数据类型，有限的功率范围），因此通常不推荐，(有时甚至不可能）用原始训练框架进行推理。另一种解决方案是使用针对特定硬件平台进行了优化的专用推理API。
部署过程的其他复杂性包括支持越来越复杂的各种层类型和网络。显然，确保变换网络的准确性并非易事。

3.工作流程：

深度学习部署工具包（DLDT）介绍--002

步骤：

4.模型优化器（Model Optimizer）是什么

Model Optimizer是一个跨平台的命令行工具，可促进训练和部署环境之间的转换，执行静态模型分析并自动调整深度学习模型，以便在端点目标设备上实现最佳执行。

Model Optimizer旨在支持多种深度学习支持的框架和格式。

在运行Model Optimizer时，您无需考虑要使用的目标设备，MO的相同输出可用于所有目标。

5.模型优化器支持的框架和格式：

6.模型优化器工作流程：

该过程假定您使用受支持的框架之一训练了网络模型。Model Optimizer工作流程可描述如下：

为支持的深度学习框架之一配置模型优化器，该框架用于训练模型。
提供包含特定网络拓扑，调整后的权重和偏差（带有一些可选参数）的训练网络作为输入。
运行模型优化器以执行特定的模型优化（例如，某些网络层的水平融合）。精确优化是特定于框架的，请参考相应的文档页面：转换Caffe模型，转换TensorFlow模型，转换MXNet模型，转换Kaldi模型，转换ONNX模型。
模型优化器生成网络的中间表示（IR）作为输出，该网络用作所有目标上的推理引擎的输入。IR是一对描述整个模型的文件：
- .xml：拓扑文件 - 描述网络拓扑的XML文件
- .bin：经过训练的数据文件 - 包含权重和偏差二进制数据的.bin文件

可以使用推理引擎读取，加载和推断中间表示（IR）文件。推理引擎API在许多支持的英特尔®平台上提供统一的API

6.推理引擎（Inference Engine）

推理引擎是一个运行时，它提供统一的API以将推理与应用程序逻辑集成：

推理引擎支持多个图像分类网络的推断，包括AlexNet，GoogLeNet，VGG和ResNet系列网络，完全卷积网络（如用于图像分割的FCN8）和物体检测网络（如Faster R-CNN）。

有关支持的硬件的完整列表，请参阅“ 支持的设备”部分。

Inference Engine软件包包含标头，运行时库和示例控制台应用程序，演示了如何在应用程序中使用推理引擎。