【论文笔记-Stereo】Pyramid Stereo Matching Network

论文思想

  1. 使用ResNet提取特征
  2. 用dilated convolution增大感受野
  3. 用Pyramid pooling module,提取各个scale的特征,使之包含global的context信息
  4. 用feature volume shift构建volume
  5. 用stacked hourglass 3D CNN(encoder-decoder)来处理cost volume,在训练过程中使用不同层级的hourglass的输出算加权loss
  6. end-to-end stereo estimation
  7. 在KITTI上取得了当时最好的结果

笔记

结构

【论文笔记-Stereo】Pyramid Stereo Matching Network

【论文笔记-Stereo】Pyramid Stereo Matching Network

【论文笔记-Stereo】Pyramid Stereo Matching Network

【论文笔记-Stereo】Pyramid Stereo Matching Network

视差计算(回归方法)

DIsparity regression

dpred=idmaxdiσ(di)

与MC_CNN,Content-CNN不同,此时的d是连续值。

损失函数

smooth_l1_loss, 在目标检测中常被使用,对outlier的鲁棒性更强。(outlier容易造成梯度爆炸,把MSE>1的部分改为l1,梯度由(x-t)变为+-1)