摘要：

在本文提出的算法中，使用CNN根据图像的质量分数将图像进行分类处理，得到网络高层所提取到的视觉感知特征。然后使用视觉显著模型将提取的左右视图特征进行融合，同时多尺度下的视差图统计特征被提取出来，最终综合以上特征，使用SVR进行训练。

方法详述

首先，一个CNN模型从零开始训练，自适应地提取图像质量感知特征。使用这个模型，从左右视图中提取感知特征，然后左右视图基于显著性权重进行融合得到融合特征，同时提取多尺度下的视差统计特征来作为特征的补充。最后结合CNN提取的特征和视差特征进行SVR训练。
总体框架

CNN训练和自适应特征的提取

高性能的分类网络可以用于IQA中，同时由于数据集的限制，浅层神经网络比深层神经网络能获得更好的性能，因此使用CaffeNet来自适应提取质量感知特征。该部分结构如下图所示：

数据集根据质量分数分为6类，因此最后的全连接层有6个输出，同时实验表明更多或更少的分类会使分类准确率下降。训练CaffeNet的数据集包括LIVE3D phase Ⅰ的365个图像对和LIVE2D的779张图像，最终有1509张图像，因为该网络是单输入的，DMOS需要被分配到3D图像的每个单视图上，但PhaseⅡ大都数是非对称失真，DMOS无法表示两个视图的质量分数，输入图像是从原图像截取的227x227的图像块。CaftteNet的网络结构如下：

通过该部分可以得到左右视图的自适应特征。

双目特征融合

显著性图表示不同图像不同区域的注意力，更高的显著性表示更多的注意力，同时表示更高的能量，发生在显著性高区域的失真比发生在显著性低区域的影响大，因此显著性可以用于IQA中，计算显著性并将其作为权重将左右视图的特征进行融合，计算公式如下：

PS：这里公式都写错了，不知道这篇论文怎么审过的，很明显的失误。

视差特征提取

使用OpeanCV函数计算图像的视差，将视差的统计特征作为特征，包括均值，峰值和偏移，并进行多尺度计算i=1,2,3,4，分别为四个不同尺度，M,K,S分别为均值，峰值和偏移，特征计算如下：

使用SVR进行特征映射

以上特征最终汇总可得到CNN提取的并使用权重融合的特征，外加多尺度下的视差特征，两部分作为最后的总特征，并使用SVR训练。

总结

emmm,这篇文章和他最新发的一篇十分像，详情，整体架构十分相似，只是在特征提取时，新的网络结构采用预训练的模型，然后视差信息处改了下统计特征，其它的左右特征融合等部分均相同。