Paper Reading:NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

Motivation

神经网络架构搜索的第一篇文章，将强化学习与深度学习结合。

其主要目的是使用强化学习寻找最优网络，包括一个图像分类网络的卷积部分（表示层）和RNN的一个类似于LSTM的cell。由于现在的神经网络一般采用堆叠block的方式搭建而成，这种堆叠的超参数可以通过一个序列来表示。所以，NAS会使用一个RNN构成的控制器（controller）以概率随机采样一个网络结构，接着在CIFAR-10上训练这个网络并得到其在验证集上的精度，然后在使用强化学习的方法更新控制器的参数，如此循环执行直到模型收敛。

Architecture

NAS-CNN：

对于只有卷积层构成的网络。其是很容易用控制器来表示的。即将控制器分成N段，表示N层，每一段由若干个输出，每个输出表示CNN的一个超参数，例如Filter的高，Filter的宽，横向步长，纵向步长以及Filter的数量，同时在第N层，添加N-1个anchor来确定是否需要在该层和之前的某一层添加跳跃连接，下图所示：

1.如果没有输入，那么原始图像作为输入
2.在最后一层，将所有还没有connected层的输出concatenate起来作为作为分类层的输入。
3.如果需要concatenated的输入层有不同的size，那么小一点的层通过补0来保证一样大小

最后搜索出来的神经网络架构：

Experiment

结果匹配和手动设计的网络性能类似，不过对于训练时，需要用极多的资源。（450 GPUs for 3-4 days ）