论文阅读《Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching》

Cascade residual learning  (两阶段)

Problem: 不适定区域（目标遮挡、重复纹理、无纹理等）难以产生高质量的视差

 

贡献：

1. DispNet + up-conv 恢复到全分辨率输出，使视差图像包含更多细节
2. 校正初始视差（多规模残差学习机制提供更多有效的优化）

Tip: 直接学习残差信号比直接学习视差更容易

 

改进： 非一个个堆积残差块，残差信号不能直接监督，用多规模的残差学习机制，学习ground-truth与初始视差的差异来监督残差信号

 

特点：

1. End-to-end
2. 集成传统pipeline（匹配代价计算、代价聚合、视差计算、视差优化）

 

 

Stage 1:

对Dispnet的改进：额外的反卷积使视差图恢复到输入图大小的分辨率

DispFullNet优势：提供额外的信息，学习目标边界尖锐的变化  

产出：相对左图的初始视差，根据视差warp出右图得到一个合成的左图

 

Stage 2:

输入concatenation

新的视差 d2=d1+r2

Tip：极端情况，第一阶段已经产生最优视差图，第二阶段0残差来保持最优性

       0：原始分辨率

理解：不同的分辨率都有一个初始视差，学习多规模的残差信号

优点： 与直接学习counterpart相比，并入residual learning更优异，也有益于整个网络的微调，可减轻过拟合