原论文名称：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
论文下载地址：https://arxiv.org/abs/1905.11946
原论文提供代码：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
自己使用Pytorch实现的代码： pytorch_classification/Test9_efficientNet
自己使用Tensorflow实现的代码： tensorflow_classification/Test9_efficientNet
不想看文章的可以看下我在bilibili上录制的视频：https://www.bilibili.com/video/BV1XK4y1U7PX

---

---

0 前言

在之前的一些手工设计网络中(AlexNet，VGG，ResNet等等)经常有人问，为什么输入图像分辨率要固定为224，为什么卷积的个数要设置为这个值，为什么网络的深度设为这么深？这些问题你要问设计作者的话，估计回复就四个字——工程经验。而这篇论文主要是用NAS（Neural Architecture Search）技术来搜索网络的图像输入分辨率$r$，网络的深度$depth$以及channel的宽度$width$三个参数的合理化配置。在之前的一些论文中，基本都是通过改变上述3个参数中的一个来提升网络的性能，而这篇论文就是同时来探索这三个参数的影响。在论文中提到，本文提出的EfficientNet-B7在Imagenet top-1上达到了当年最高准确率84.3%，与之前准确率最高的GPipe相比，参数数量（Params）仅为其1/8.4，推理速度提升了6.1倍（看上去又快又轻量，但个人实际使用起来发现很吃显存）。下图是EfficientNet与其他网络的对比（注意，参数数量少并不意味推理速度就快）。

---

1 论文思想

在之前的一些论文中，有的会通过增加网络的width即增加卷积核的个数（增加特征矩阵的channels）来提升网络的性能如图(b)所示，有的会通过增加网络的深度即使用更多的层结构来提升网络的性能如图(c)所示，有的会通过增加输入网络的分辨率来提升网络的性能如图(d)所示。而在本篇论文中会同时增加网络的width、网络的深度以及输入网络的分辨率来提升网络的性能如图(e)所示：

• 根据以往的经验，增加网络的深度depth能够得到更加丰富、复杂的特征并且能够很好的应用到其它任务中。但网络的深度过深会面临梯度消失，训练困难的问题。

The intuition is that deeper ConvNet can capture richer and more complex features, and generalize well on new tasks. However, deeper networks are also more difficult to train due to the vanishing gradient problem

• 增加网络的width能够获得更高细粒度的特征并且也更容易训练，但对于width很大而深度较浅的网络往往很难学习到更深层次的特征。

wider networks tend to be able to capture more fine-grained features and are easier to train. However, extremely wide but shallow networks tend to have difficulties in capturing higher level features.

• 增加输入网络的图像分辨率能够潜在得获得更高细粒度的特征模板，但对于非常高的输入分辨率，准确率的增益也会减小。并且大分辨率图像会增加计算量。

With higher resolution input images, ConvNets can potentially capture more fine-grained patterns. but the accuracy gain diminishes for very high resolutions.

下图展示了在基准EfficientNetB-0上分别增加width、depth以及resolution后得到的统计结果。通过下图可以看出大概在Accuracy达到80%时就趋于饱和了。

接着作者又做了一个实验，采用不同的$d,r$组合，然后不断改变网络的width就得到了如下图所示的4条曲线，通过分析可以发现在相同的FLOPs下，同时增加$d$和$r$的效果最好。

为了方便后续理解，我们先看下论文中通过 NAS（Neural Architecture Search） 技术搜索得到的EfficientNetB0的结构，如下图所示，整个网络框架由一系列Stage组成，${\hat{F}}_i$表示对应Stage的运算操作，${\hat{L}}_i$表示在该Stage中重复${\hat{F}}_i$的次数：

作者在论文中对整个网络的运算进行抽象：
$$N(d,w,r)=\underset{i=1...s}{\odot }{F}_i^{L_i}(X_{⟨H_i,W_i,C_i⟩})$$
其中：

• $\underset{i=1...s}{\odot }$表示连乘运算。
• $F_i$表示一个运算操作（如上图中的Operator），那么$F_i^{L_i}$表示在$\mathrm{S}\mathrm{t}\mathrm{a}\mathrm{g}\mathrm{e}i$中 $F_i$运算被重复执行$L_i$次。
• $X$表示输入$\mathrm{S}\mathrm{t}\mathrm{a}\mathrm{g}\mathrm{e}i$的特征矩阵(input tensor)。
• $⟨H_i,W_i,C_i⟩$表示$X$的高度，宽度，以及Channels（shape）。

为了探究$d,r,w$这三个因子对最终准确率的影响，则将$d,r,w$加入到公式中，我们可以得到抽象化后的优化问题（在指定资源限制下），其中$s.t.$代表限制条件：

Our target is to maximize the model accuracy for any given resource constraints, which can be formulated as an optimization problem:

$$\begin{gathered} \underset{d,w,r}{\max }Accuracy(N(d,w,r)) \\ s.t.N(d,w,r)=\underset{i=1...s}{\odot }{\hat{F}}_i^{d\cdot {\hat{L}}_i}(X_{⟨r\cdot {\hat{H}}_i,r\cdot {\hat{W}}_i,w\cdot {\hat{C}}_i⟩}) \\ Memory(N)\le \mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}\_\mathrm{m}\mathrm{e}\mathrm{m}\mathrm{o}\mathrm{r}\mathrm{y} \\ FLOPs(N)\le \mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}\_\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{p}\mathrm{s}(2) \end{gathered}$$
其中：

• $d$用来缩放深度${\hat{L}}_i$
• $r$用来缩放分辨率即影响${\hat{H}}_i$和${\hat{W}}_i$
• $w$就是用来缩放特征矩阵的channel即${\hat{C}}_i$
• target_memory为memory限制
• target_flops为FLOPs限制

接着作者又提出了一个混合缩放方法 ( compound scaling method) 在这个方法中使用了一个混合因子$\varphi$去统一的缩放width，depth，resolution参数，具体的计算公式如下，其中$s.t.$代表限制条件：
$$\begin{gathered} depth:d={\alpha }^{\varphi } \\ width:w={\beta }^{\varphi } \\ resolution:r={\gamma }^{\varphi }(3) \\ s.t.\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2 \\ \alpha \ge 1,\beta \ge 1,\gamma \ge 1 \end{gathered}$$

注意：

• FLOPs（理论计算量）与depth的关系是：当depth翻倍，FLOPs也翻倍。
• FLOPs与width的关系是：当width翻倍（即channal翻倍），FLOPs会翻4倍，因为卷积层的FLOPs约等于$featur{e}_w\times featur{e}_h\times featur{e}_c\times kerne{l}_w\times kerne{l}_h\times kerne{l}_{number}$（假设输入输出特征矩阵的高宽不变），当width翻倍，输入特征矩阵的channels（$featur{e}_c$）和输出特征矩阵的channels或卷积核的个数（$kerne{l}_{number}$）都会翻倍，所以FLOPs会翻4倍
• FLOPs与resolution的关系是：当resolution翻倍，FLOPs也会翻4倍，和上面类似因为特征矩阵的宽度$featur{e}_w$和特征矩阵的高度$featur{e}_h$都会翻倍。

所以总的FLOPs倍率可以用近似用$(\alpha \cdot {\beta }^2\cdot {\gamma }^2{)}^{\varphi }$来表示，当限制$\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2$时，对于任意一个$\varphi$而言FLOPs相当增加了$2^{\varphi }$倍。

接下来作者在基准网络EfficientNetB-0（在后面的网络详细结构章节会详细讲）上使用NAS来搜索$\alpha ,\beta ,\gamma$这三个参数。

• （step1）首先固定$\varphi =1$，并基于上面给出的公式(2)和(3)进行搜索，作者发现对于EfficientNetB-0最佳参数为$\alpha =1.2,\beta =1.1,\gamma =1.15$
• （step2）接着固定$\alpha =1.2,\beta =1.1,\gamma =1.15$，在EfficientNetB-0的基础上使用不同的$\varphi$分别得到EfficientNetB-1至EfficientNetB-7（在后面的EfficientNet(B0-B7)参数章节有给出详细参数）

需要注意的是，对于不同的基准网络搜索出的$\alpha ,\beta ,\gamma$也不定相同。还需要注意的是，在原论文中，作者也说了，如果直接在大模型上去搜索$\alpha ,\beta ,\gamma$可能获得更好的结果，但是在较大的模型中搜索成本太大（Google大厂居然说这种话），所以这篇文章就在比较小的EfficientNetB-0模型上进行搜索的。

Notably, it is possible to achieve even better performance by searching for α, β, γ directly around a large model, but the search cost becomes prohibitively more expensive on larger models. Our method solves this issue by only doing search once on the small baseline network (step 1), and then use the same scaling coefficients for all other models (step 2).

---

2 网络详细结构

下表为EfficientNet-B0的网络框架（B1-B7就是在B0的基础上修改Resolution，Channels以及Layers），可以看出网络总共分成了9个Stage，第一个Stage就是一个卷积核大小为3x3步距为2的普通卷积层（包含BN和激活函数Swish），Stage2～Stage8都是在重复堆叠MBConv结构（最后一列的Layers表示该Stage重复MBConv结构多少次），而Stage9由一个普通的1x1的卷积层（包含BN和激活函数Swish）一个平均池化层和一个全连接层组成。表格中每个MBConv后会跟一个数字1或6，这里的1或6就是倍率因子n即MBConv中第一个1x1的卷积层会将输入特征矩阵的channels扩充为n倍，其中k3x3或k5x5表示MBConv中Depthwise Conv所采用的卷积核大小。Channels表示通过该Stage后输出特征矩阵的Channels。

---

2.1 MBConv结构

MBConv其实就是MobileNetV3网络中的InvertedResidualBlock，但也有些许区别。一个是采用的激活函数不一样（EfficientNet的MBConv中使用的都是Swish激活函数），另一个是在每个MBConv中都加入了SE（Squeeze-and-Excitation）模块。下图是我自己绘制的MBConv结构。

如图所示，MBConv结构主要由一个1x1的普通卷积（升维作用，包含BN和Swish），一个kxk的Depthwise Conv卷积（包含BN和Swish）k的具体值可看EfficientNet-B0的网络框架主要有3x3和5x5两种情况，一个SE模块，一个1x1的普通卷积（降维作用，包含BN），一个Droupout层构成。搭建过程中还需要注意几点：

• 第一个升维的1x1卷积层，它的卷积核个数是输入特征矩阵channel的$n$倍， n ∈ { 1 , 6 } n \in \left\{1, 6\right\} n∈{ 1,6}。
• 当$n=1$时，不要第一个升维的1x1卷积层，即Stage2中的MBConv结构都没有第一个升维的1x1卷积层（这和MobileNetV3网络类似）。
• 关于shortcut连接，仅当输入MBConv结构的特征矩阵与输出的特征矩阵shape相同时才存在（代码中可通过stride==1 and inputc_channels==output_channels条件来判断）。
• SE模块如下所示，由一个全局平均池化，两个全连接层组成。第一个全连接层的节点个数是输入该MBConv特征矩阵channels的$\frac{1}{4}$，且使用Swish激活函数。第二个全连接层的节点个数等于Depthwise Conv层输出的特征矩阵channels，且使用Sigmoid激活函数。
• Dropout层的dropout_rate在tensorflow的keras源码中对应的是drop_connect_rate后面会细讲（注意，在源码实现中只有使用shortcut的时候才有Dropout层）。

---

2.2 EfficientNet(B0-B7)参数

还是先给出EfficientNetB0的网络结构，方便后面理解。

通过上面的内容，我们是可以搭建出EfficientNetB0网络的，其他版本的详细参数可见下表：

Model	input_size	width_coefficient	depth_coefficient	drop_connect_rate	dropout_rate
EfficientNetB0	224x224	1.0	1.0	0.2	0.2
EfficientNetB1	240x240	1.0	1.1	0.2	0.2
EfficientNetB2	260x260	1.1	1.2	0.2	0.3
EfficientNetB3	300x300	1.2	1.4	0.2	0.3
EfficientNetB4	380x380	1.4	1.8	0.2	0.4
EfficientNetB5	456x456	1.6	2.2	0.2	0.4
EfficientNetB6	528x528	1.8	2.6	0.2	0.5
EfficientNetB7	600x600	2.0	3.1	0.2	0.5

• input_size代表训练网络时输入网络的图像大小
• width_coefficient代表channel维度上的倍率因子，比如在 EfficientNetB0中Stage1的3x3卷积层所使用的卷积核个数是32，那么在B6中就是$32\times 1.8=57.6$接着取整到离它最近的8的整数倍即56，其它Stage同理。
• depth_coefficient代表depth维度上的倍率因子（仅针对Stage2到Stage8），比如在EfficientNetB0中Stage7的${\hat{L}}_i=4$，那么在B6中就是$4\times 2.6=10.4$接着向上取整即11.
• drop_connect_rate是在MBConv结构中dropout层使用的drop_rate，在官方keras模块的实现中MBConv结构的drop_rate是从0递增到drop_connect_rate的（具体实现可以看下官方源码，注意，在源码实现中只有使用shortcut的时候才有Dropout层）。还需要注意的是，这里的Dropout层是Stochastic Depth，即会随机丢掉整个block的主分支（只剩捷径分支，相当于直接跳过了这个block）也可以理解为减少了网络的深度。具体可参考Deep Networks with Stochastic Depth这篇文章。
• dropout_rate是最后一个全连接层前的dropout层（在stage9的Pooling与FC之间）的dropout_rate。

最后给出原论文中关于EfficientNet与当时主流网络的性能参数对比：