NAS-FPN论文笔记

NAS-FPN：一种学会自动架构搜索的特征金字塔网络

尝试神经网络搜索设计FPN,其实就是优化FPN。

1.Abstract

目前最先进的卷积结构用于物体检测是手工设计的。我们的目标是一个更好的学习可扩展特征金字塔结构，用于目标检测。在一个覆盖所有交叉尺度连接的可扩展搜索空间中，采用神经网络结构搜索，发现了一种新的特征金字塔结构。名为NAS-FPN，由自顶向下和自下而上的连接组合而成，可以跨范围地融合特性。

与最先进的目标检测模型相比，NAS-FPN与retinanet框架中的各种主干模型相结合，实现了更好的准确性和延迟权衡。与mobilenetv2模型的最先进的ssdlite相比，nas-fpn提高了2ap的移动检测精度，达到48.3 ap，以更少的计算时间超越了mask r-cnn的检测精度。

2.Related Works

当前目标检测网络中采用特征金字塔网络（FPN）结构解决多尺度的问题，但是这些 FPN 都是人工事先设计，并不一定是最优的结构。为了更灵活地获得更优的 FPN 结构，提出了采用神经架构搜索（NAS）的方式定制化地构建 FPN，该结构又称 NAS-FPN。(在fpn特性上添加额外的自下而上路径可以改进低分辨率特性的特性表示)

目标是为RetinaNet发现更好的FPN架构。为了发现更好的FPN，利用了提出的神经架构搜索框架。

神经架构搜索训练控制器使用强化学习在给定搜索空间中选择最佳模型架构。 控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号。 因此，通过反复试验，控制器可以学习如何随着时间的推移生成更好的架构。

Architecture Search Space

FPN 的众多跨连接构成了很大的搜索空间。在搜索空间中，一个 FPN 由很多 merging cells 组成，然后合并一些来自不同层融合的特征表示。一个 merging cell 将两个来自不同特征层的特征连接融合产生一个特征输出，这样的单元结构就构成了 FPN 的元结构，同时所有的可能的特征层组合由 merging cells 组建化的表示，这也就构成了我们的搜索空间（模块化）。一个 merging cell 的结构如下：

构建 merging cell 是由控制器 RNN 来做决定，它不仅要决定选取哪两个特征层，还要决定采用那种特征融合方式。

每个 merging cell 有 4 个预测步骤：

在step 4中的operations有两种，sum和global pooling，因为他们简单有效.输入的特征层使用最近邻采样或者max pooling来调整到输出分辨率，merged特征层总会跟着ReLu, 3x3卷积和一个BN层。

在架构搜索期间，可以有多个候选功能共享相同的分辨率。 为了减少已发现架构中的计算，我们避免在步骤3中为中间合并单元选择步长8特征。 最后，最后5个合并单元被设计为输出特征金字塔{P3，P4，P5，P6，P7}。 输出特征级别的顺序由控制器预测。 然后通过重复步骤1,2,4生成每个输出特征层，直到完全生成输出特征金字塔。

Deeply supervised Anytime Object Detection

NAS 利用强化学习训练控制器在给定的搜索空间中选择最优的模型架构。控制器利用子模型在搜索空间中的准确度作为奖励信号来更新参数。因此，通过反复试验，控制器逐渐学会了如何生成更好的架构。由于不知道 FPN 的跨连接情况，NAS-FPN 采用 RNN 作为控制器，使用该控制器来产生一串信息，用于构建不同的连接。