Facebook将照片3D化
文章目录
此文纯属爱好
原文：https://ai.facebook.com/blog/-powered-by-ai-turning-any-2d-photo-into-3d-using-convolutional-neural-nets/
Facebook AI 团队开源了将2D图像转成3D图像算法，将单摄像头拍摄的2D RGB图像转化成3D图像。这可以让个人开发者和创业团队容易地也进入到照片3D化的研发和产品化中来。
卷积网络使用U-Net的结构：
其中使用了面向移动设备优化的FBNet模块，该模块基本构成是点卷积层，可选的上采样层，K x K深度卷积层和附加的点卷积层。 如上图，该U-Net结构被修改为沿skip连接放置FBNet模块， U-Net编码器和解码器均包含五个阶段，每个阶段对应于不同的空间分辨率。
选择了算法架构并没有结束，为使得算法保有高精度和满足一定的受限计算资源，Facebook 工程师们使用了神经架构搜索方法ChamNet来配置结构参数。其搜索空间有种架构，他们使用了800块 Tesla V100 GPUs 耗费了3天时间完成了搜索。
FBNet 和 ChamNet开源地址：
https://github.com/facebookresearch/mobile-vision
为了更好的降低模型大小提高计算速度，他们进一步将模型转化为Int8数据，使用Int8精度推断，这里他们使用了PyTorch生态的QNNPack 和 QAT（量化感知训练）方法，进一步消除训练阶段和产品部署的模型性能差距。
这两项技术的开源地址和使用说明：
https://github.com/pytorch/QNNPACK
模型量化，简化计算量
https://pytorch.org/docs/stable/quantization.html