【Bias 03】Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming
Related work
Improving corruption robustness
- 去除腐蚀:(1)提出一种基于DNN,恢复雨雾图片质量的方法。(2)预处理中去除雨。但这种方法都是针对某种腐蚀。
- 数据增强:把腐蚀数据加入训练。(1)blurred images上分类器表现脆弱,通过在blurred images上fine-tune提高对它的鲁棒性。(2)在一种腐蚀上fine-tune,并不能提高另一种腐蚀上的效果。(3)在stylized version of the ImageNet datasets上训练。
Evaluating robustness to enviromental changes in autonomous driving
- 建模天气情况
- 收集不同天气情况下,真实或人造数据集
- 提出一种衡量目标检测在adverse weather conditions下退化的方法,在Virtual KITTI dataset。
- 研究目标检测模型对雨天图像的脆弱性,识别模型失效的corner cases,在训练集中加入人工雨天图像。
- 建模photo-realistic snow和fog,去增强real and virtual video streams。
Methods
在PASCAL-C、COCO-C和Cityscapes-C上对15种包含5中严重程度的corruptions进行测试。15种corruptions分为noise、blur、digital和weather四类。本文只测试了模型在clean和corrupted data上的效果。
衡量标准:
结果
combined data效果最好。
本文进一步在BDD100k,一个weather conditions下的驾驶场景数据集测试。具体来说,使用clear data训练,在rainy和snowy data上测试,其他如foggy、partly cloudy、overcast和undefined被丢弃。并且建立了725张的测试集,这个数字是由最少测试集的图片数量决定(这里是rainy)。
作者认为,在synthetic和natural corruptions上的测试结果有一定的关联。并且combined data上训练的Faster RCNN结果最好。
BDD100k
参考:https://blog.****.net/jocelyn870/article/details/81207448