CVPR 2020 开源论文 | 多种可能性行人未来路径预测
©PaperWeekly 原创 · 作者｜梁俊卫
学校｜卡耐基梅隆大学博士生
研究方向｜计算机视觉
在这篇文章里我将介绍我们最新在 CVPR'20 上发表的工作：The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction，主题是关于多种可能性的行人未来路径预测。我们的数据集和代码已经全部开源，里面包括完整的在 3D 模拟器中重建多种可能性未来行人路径的 tutorial，欢迎尝试。
论文标题：The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction
论文链接：https://arxiv.org/abs/1912.06445
代码链接：https://github.com/JunweiLiang/Multiverse
行人未来路径预测问题：你能预测下面行人的未来路径吗？
在这篇文章里，我们研究的是多种可能性的行人未来预测问题。从下面的例子可以看到，这个人可能会走向几个不同的方向：
我们提出新的数据集：The Forking Paths Dataset
在真实世界的视频中，我们只能看到一种可能的事件发生，比如上面的例子中，红框中的人是一直往前走，但也许在另一个平行宇宙中，他可能走向另外一个不同的方向，但我们在真实视频中无法观察到。
为了能够取得一个能够量化评估多种可能性路径预测模型的数据集，我们使用基于游戏引擎-虚幻 4 的 3D 模拟器（CARLA [3] ）创建了一个新的 trajectory prediction 数据集。
在这个数据集中，我们重建了真实世界的场景和动态事件，然后让标注者控制 agents 走到设置好的目标点，记录下这些能反映真实人类在同样情况下可能会走的路径。
▲ 重建真实动态场景到3D模拟器中3
多名人类标注者观察该场景 4.8 秒后就可以以第一人称或者第三人称控制 agent 走到目的地。我们希望在这种方式下，可以在同样的场景中，捕捉到人类真实的反应以及可能选择的路线。
▲ 标注界面
以下是我们数据集的展示:
在我们的设定中，标注者会先观察 4.8 秒时间（如下图中的黄色路线），然后就可以控制 agent 走到目的地点。整个标注过程限时 10.4 秒，然后如果跟其他 agent 碰撞到的话会要求重新标注。
标注完成后，我们在 3D 模拟器中选择多个摄像头位置和角度进行数据录取，可以模拟一般的 45 度角监控视频的角度，也有头顶的无人机视频角度。我们甚至可以使用不同的天气状况和光照条件。
整个数据集，代码，以及 3D assets 都已经开源，详见我们的 Github repo [4]。里面包含了一个详细的建立这个数据集的 tutorial，对 3D 视觉和模拟器感兴趣的同学可以尝试一下。
▲ 我们提供了一个简单易用的场景可视化编辑工具
我们的新模型：The Multiverse Model
We propose a multi-decoder framework that predicts both coarse and fine locations of the person using scene semantic segmentation features.
▲ The Multiverse Model for Multi-Future Trajectory Prediction
History Encoder computes representations from scene semantics
Coarse Location Decoder predicts multiple future grid location sequences by using beam search
Fine Location Decoder predicts exact future locations based on the grid predictions
Our model achieves STOA performance in the single-future trajectory prediction experiment and also the proposed multi-future trajectory prediction on the Forking Paths Dataset.
▲ Single-Future Trajectory Prediction. The numbers are displacement errors and they are lower the better. For more details see [1].
▲ Multi-Future Trajectory Prediction on the Forking Paths Dataset. The numbers are displacement errors and they are lower the better. For more details see [1].
Qualitative analysis with the popular Social-GAN [2] model:
▲ Qualitative comparison. The left column is from the Social-GAN [2] model. On the right it is our Multiverse model. The yellow trajectory is the observed trajectory and the green ones are the multi-future trajectory ground truth. The yellow-orange heatmaps are the model outputs.
回到前面的例子，你的预测对了吗？
项目网站：
https://next.cs.cmu.edu/multiverse/
参考文献
[1] Liang, Junwei, Lu Jiang, Kevin Murphy, Ting Yu, and Alexander Hauptmann. “The garden of forking paths: Towards multi-future trajectory prediction.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. [Dataset/Code/Model]
[2] Gupta, Agrim, Justin Johnson, Li Fei-Fei, Silvio Savarese, and Alexandre Alahi. “Social gan: Socially acceptable trajectories with generative adversarial networks.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.
[3] http://carla.org/
[4] https://github.com/JunweiLiang/Multiverse
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
???? 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
???? 投稿邮箱：
• 投稿邮箱：[email protected]
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
????
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。