论文解读:Learning to see in the dark
论文下载地址:https://arxiv.org/abs/1805.01934
论文github :https://github.com/cchen156/Learning-to-See-in-the-Dark
简要介绍:提出了一种基于全卷积神经网络的端到端的处理极限低光图像的网络结构。
输入:短曝光(0.1,0.04,0.033)的传感器数据(raw)
Label:对应的长曝光(10,30)低ISO的高质量RGB图像(会存在些许噪声)
端到端神经网络的作用:颜色变换,去马赛克,去噪,图像增强
目的:在光线不足的情况下产生感知良好的图像,而不是彻底删除图像中的所有噪音或者最大化对比度
上图由上而下展示了传统的图像处理管线,L3管线, 多帧图像管线,论文模型管线
卷积网络类型:U-net or CAN (注意输入和输出的类型不统一,所以不能用一般的残差学习网络)
在网络的最后,经过了一个子像素层来恢复图像原来的分辨率
超参数说明:Amplification Ratio :决定了输出的亮度,训练时取为label和input的曝光时间之商
:Black_Level:减去的一个值,不知道是啥意思
训练过程:为每一个相机训练一个网络,数据增强方式:随机裁剪512*512,随机翻转,随机转置
学习率:1-2000:1e-4 2001-4000 : 1e-5 (epoch)
为了使图像表现更好,对输出图像可以应用直方图拉伸