DPN

Paper : Dual Path Networks
Code : official

摘要

作者首先将ResNeXt和DenseNet使用HORNN的框架统一起来，说明了两个符合直觉的结论

1. ResNeXt模型具有较高的特征复用性
2. DenseNet模型可以更好的探索新特征
   接着，尝试使用直接将两个网络合并成一个网络，并说明在准确率良好的情况下，相比ResNeXt和DenseNet，计算力和模型规模更小。个人感觉结合方式没什么创新，分析得到的结论倒是值得一看。

网络结构

简单描述一下HORNN与ResNet和DenseNet之间的关系

• ResNet复用了前面层已提取过的特征，除去这些直连的复用特征外，真正由卷积提取出来的特征基本都是之前没有提取到过的全新特征，所以ResNet特征冗余度比较低。
• DenseNet前面层提取出的特征不再是被后面层简单的复用，而是创造了全新的特征，这种结构后面层用卷积提取到的特征很有可能是前面层已提取过的，所以DenseNet特征冗余度高。

DPN结合了两者的优点，既要复用特征，低冗余率，又要给予模型足够的灵活性发现新特征，表达式如下

其中$x^k$xk为DenseNet path，$y^k$yk为ResNet path，从网络结构直观上看表示如下

参考的DPN网络结构设计

核心观点

1. 对ResNet和DenseNet的优点进行了较为细致的分析
2. 提出了将ResNext和DenseNet结合的方法