Understanding Neural Networks Through Deep Visualization安装
这是Jason Yosinski, Jeff Clune, Anh Nguyen, Thomas Fuchs, and Hod Lipson在2015年出版在Computer Science上的一篇论文,主要讲述的是卷积神经网络可视化。https://github.com/yosinski/deep-visualization-toolbox 为本论文的公开代码,先讲述一下代码的运行环境及步骤,随后会贴出对本论文的理解。
运行环境:linux+caffe
步骤:
Step 0: Compile master branch of caffe
本代码运行的前提是,配置过caffe。因为配置caffe的过程中会出现一些依赖库,正是本代码所需要的。http://blog.****.net/u011204487/article/details/51596471是配置caffe的过程。注意Makefile.config中的CPU_ONLY := 1设置。
Step 1: Compile the deconv-deep-vis-toolbox branch of caffe
以下运行是在caffe根目录下
$ git remote add yosinski https://github.com/yosinski/caffe.git
$ git fetch --all
$ git checkout --track -b deconv-deep-vis-toolbox yosinski/deconv-deep-vis-toolbox
#这个地方很有可能报错,提示你更新代码会覆盖本地
#$ git checkout --track -b yosinski/deconv-deep-vis-toolbox
#$ git checkout --track -b deconv-deep-vis-toolbox
#只需将两个工具包分开下载就好
$ < edit Makefile.config to suit your system if not already done in Step 0 >
#编辑Makefile.config以适合自己的caffe
$ make clean
$ make -j
#这将会是一个漫长的等待,$ make -j4 可以稍微加快一下速度
$ make -j pycaffe
Step 2: Install prerequisites
这是要安装三个python-opencv scipy python-skimage东西,在安装 scipy 的时候可能会出现问题,只说可能,可以通过先安装pip来解决。
$ sudo apt-get install python-opencv scipy python-skimage
Step 3: Download and configure Deep Visualization Toolbox code
$ git clone https://github.com/yosinski/deep-visualization-toolbox
$ cd deep-visualization-toolbox
$ cp models/caffenet-yos/settings_local.template-caffenet-yos.py settings_local.py
$ < edit settings_local.py >
#在打开的setting_local.py文件中,有几处要修改成自己的文件路径,一定要看清楚有几处,这个特别重要
$ cd models/caffenet-yos/
$ ./fetch.sh
#这将会是一个极其漫长的等待
$ cd ../..
Step 4: Run it!
$ ./run_toolbox.py
问题1: Step 2的时候安装scipy的时候报错,提示没有scipy模块。查询之后发现安装python-scipy即可(部署的虚机默认是安装该模块)
问题2:cv2 not found 解决方法pip install opencv-python
问题3: sudo gedit settings.py 设置caffevis_mode_gpu = False, 否则不使用GPU的话会报错(我们部署的ubuntu虚机不带GPU,可参考 http://www.cnblogs.com/ToBeCoder/p/6491864.html)
这个工具还是挺有意思的,可以看到每层每个神经元的结构和内容,并且可以进行可视化。左上角是输入图片,中间的部分是对图片经过网络(这里是CaffeNet)进行前向传播之后得到feature map的可视化,我们可以通过上下左右控制光标移动,按‘h‘键可以查看按键的功能,我们尝试移动一下光标,看一下conv5的第151个feature map, 左边的中间区域是feature map的放大版本,右侧上方的九张图片是参数化的可视化方法(gradient ascent),这里暂且不提,右侧中间区域就是使用在上面提到的方法,得到的这个feature map的前9张响应图片块,下方是对这几张图片进行反卷积的结果。
基本的按键:
e 切换下一张
w 切换上一张
b 对某一个feature map进行反卷积
o 光标不变,切换下一层
u 光标不变,切换上一层
h 打开帮助菜单