自动驾驶领域大佬在CVPR2020中 关于3D Reconstruction Learning的报告
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者:黄浴
https://zhuanlan.zhihu.com/p/150948693
本文仅做学术分享,如有侵权,请联系删除。
Andreas Geiger在自动驾驶的名气不用说,这次在CVPR 2020他也是在多个workshop做报告,这是他在workshop on 3d scene understanding关于Learning 3D Reconstruction in function space的报告。
和著名的教授David Forsyth一起开头,地位不可小视。
团队
目标是学习智能系统
3D世界是复杂的
3D重建是很难的
重温传统理论
问题:能不能图像学习3D结构推理?
一个环境的图像
一个NN学习问题:黑盒子?
输出表示?
Voxels
Points
Mesh
idea:隐含地表面看出分类问题,Occupancy Network(去年CVPR论文)
训练目标
加基于encoder的KL项
两个结果例子(voxel,point)
问题:目标表观学习?
texture field:去年ICCV论文
原理图
加GAN
也可以加VAE
结果例子
问题:目标运动呢?
occupancy flow:去年ICCV论文, 4D变成3D。注:ODE (ordinary differential equation)
求解ODE,学习particle dynamics,得到OFlow
结果
问题:学习隐含表征?
前向传递(渲染)
DVR:texture fields
后向传递(差分训练)
DVR:gradient
2D监督信号的结果
2.5D监督信号的结果
最后的工作没有发表?
工作连贯性强