抓取检测之Robotic Grasp Detection using Deep Convolutional Neural Networks

论文

S. Kumra and C. Kanan, “Robotic grasp detection using deep convolutional neural networks,” 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vancouver, BC, 2017, pp. 769-776

简介

输入为RGB-D数据，两路神经网络分别提取RGB和D的特征，最后融合两路特征，通过SGD对每张图预测一个最优抓取矩形框。没有进行实际场景抓取测试，只评估了在数据集上的性能。在cornrll数据集上表现为，Image-wise split准确率为89.21%，object-wise split准确率为88.96%。

抓取表示

采用经典的抓取矩形框
数据集为cornell grasp数据集

网络结构

论文中介绍了单模态网络和多模态网络。单模态网络只有一路特征提取网络（ResNet-50），以RGB为输入。网络如下：

多模态网络有两路特征提取网络，都是ResNet-50。分别提取RGB和D的特征，D扩展为3通道。提取特征后进行融合，再通过3个全连接层预测1个最优的矩形抓取框。网络结构如下：

其中的特征提取网络ResNet-50都在ImageNet上进行了预训练。

结果

若预测的矩形与GT的夹角小于30°，且IOU大于25%，认为预测正确。

不足

1、输入图像只能包含一个目标
2、没有在真实抓取场景中评估性能