CVPR 2017 的 MIT 论文《Network Dissection: Quantifying Interpretability of Deep Visual Representations》

其项目网页：Network Dissection

 

【所实现的】

直接剖析其他任务中训练好的 CNN 模型，解释其神经元对应的语义概念

 

【方法概要】

• （1）构建一个包括多层次图片（从简单颜色纹理到复杂场景物体）并在像素级别人工标注了语义的 Broden 数据集；

• （2）把Broden数据集输入待测试的 CNN 模型，收集 CNN 模型神经元对语义概念的**响应；
• （3）测量、量化神经元与语义概念的对齐（映射）。
•  

【局限性】

仅能较好解释 CNN 模型中对 Broden 数据集中有定义的语义概念的响应。

 

【提出并分析了三个问题】

（1）什么是神经网络的可解释表示，其要素如何检测、量化？

测量、量化方法见上；提出了一个量化的单位 IoU（intersection over union），计算公式为（（像素级语义划分范围）∩（神经元**区域））/（二者的并集）

（2）可解释的隐藏神经元是否与特征空间构成特定的映射？

一个语义概念可能被多个神经元检测到，一个神经元也可能检测多个语义。

其中只看一个神经元中 IoU 最高的语义。

（3）神经网络训练中什么因素会影响可解释的程度？

• 可解释的度量：CNN（某层）中独特检测器（Unique detector）的数量（神经元最对应语义的 IoU > 0.04时为独特检测器）
• 网络深度：CNN 中越往后层比前面的层可解释性更高，同时可解释的语义等级也更高（浅层可检测颜色、纹理，深层可检测物体、场景）；跨网络结构比较时，网络结构越深，最后层可解释性越高。

• 图片角度：保持分类能力不变下旋转图片，旋转角度越大，CNN 可解释性越低。（也说明了分类辨别力与可解释性相互独立）

• 训练用的数据集：数据集内容越丰富，训练出的 CNN 可解释性越高。

• 训练参数：迭代次数大程度上与可解释性成正比

Fine Tuning 可以提高神经元可解释性

有监督 > 自监督

 

欢迎讨论