密歇根大学团队成果:自动驾驶视觉系统——Bio-LSTM: 三维步行姿势和步态预测的生物力学反馈神经网络
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
视觉系统,不仅是用来看的,还能预测“未来”!
密歇根大学(University of Michigan)向来以自动驾驶汽车技术闻名,最近,他们又有了大动作——研究一种改进的算法,来预测路上行人的动作。
这种算法不仅考虑了行人在做什么,还考虑了他们是如何做的。这种肢体语言对于预测一个人接下来要做什么是至关重要的。
Arxiv地址:
https://arxiv.org/pdf/1809.03705.pdf
IEEE地址:
https://ieeexplore.ieee.org/document/8626436
密歇根大学团队将研究成果发布在了Arxiv及IEEE中,有兴趣的读者可以访问上方或者文末链接进行详读。
本文提出了一种基于生物力学的递归神经网络(Bio-LSTM),该网络可以在全局坐标系下预测行人的位置和三维关节体位姿,该网络能够同时预测多个行人的姿态和全局位置,以及距离摄像机45米以内的行人(城市交叉口规模)。
“看”到更细节的动作,预测路人行动
关注路上行人并预测他们将要做什么是任何自动驾驶视觉系统的重要组成部分。
让自动驾驶车辆理解路上行人的存在,并分析一些细节信息,会对车辆一下步如何操作产生巨大的影响。
有些公司宣称其自动驾驶车辆的视觉系统,在这样或那样的范围/条件下可以看到并标记“人”,但目前很少人提出,可以看到并标记像“手势”或“姿势”这样更为细节的部分。
这种视觉算法可以(尽管现在不太可能)像识别一个人并观察他在几帧内移动了多少像素那样简单,然后从那个节点进行推断。但人类的运动自然要比这复杂得多。
UM的新系统使用激光雷达和立体摄像机系统,不仅可以估计一个人的轨迹,还可以估计他们的姿势和步态:
-
姿势可以表明一个人是否在靠近或远离汽车、是否在使用拐杖、是否在弯腰接电话等等;
-
步态不仅表示速度,也表示意图。
例如,路人将头转向他们肩膀方向时,他们可能接下来会转身,或者只是看了一眼肩膀然后继续向前走;路人伸出手臂,他们可能在向某人(或车辆)发出停车信号。
这些额外的数据将有助于视觉系统对动作的预测,使得导航规划和防止意外事件更加完备。
更重要的是,它只需要几个框架就可以很好地完成工作——可能只需要包括单步和手臂的摆动。
这就足以做出一个轻松击败简单模型的预测,这是一种关键的性能衡量指标。
论文Arxiv地址:
https://arxiv.org/pdf/1809.03705.pdf
论文IEEE地址:
https://ieeexplore.ieee.org/document/8626436
原文地址:
https://techcrunch.com/2019/02/16/vision-system-for-autonomous-vehicles-watches-not-just-where-pedestrians-walk-but-how/
联盟已打包好论文,后台也可下载
【论文下载方式】
关注公众号后台回复关键词:
20190225
即可下载全文
END
声明:本文来源于网络,【新智元】
如有侵权,联系删除
加群交流
关注计算机视觉与人工智能技术,欢迎加入CV联盟群
扫描添加CV联盟微信拉你进群,备注:CV联盟
热文荐读
亲身经历2019年校招8个大厂心得体会,纯干货分享(大疆、百度...)
重磅!图森王乃岩团队最新工作—TridentNet:处理目标检测中尺度变化新思路
GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】
算法岗百里挑一热爆了,全球AI大厂薪酬大起底
史上最全!计算机科学领域顶会最佳论文大合集:微软研究院最多,清华排24MIT的周博磊博士如何解释深度学习模型(附PPT)
【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》(附下载链接)
人工智能相关领域的国际顶尖会议介绍