南极Python

MobileNet V2MobileNet V2在MobileNet V1的基础上，引入了线性瓶颈层(Linear Bottlenecks)和倒残差结构(Inverted residuals)。 Linear Bottlenecks作者认为，非线性的激活函数，比如ReLU，会导致信息的丢失。 具体地，作者将一个二维空间的流形( manifolds)通过一个后接ReLU激活的变换矩阵，嵌入到另一个维度的空间中，然后再投影回原来的二维空间。 结果显示：当另一个空间的维度较低(n=2,3,5)时，还原效果很差；当另一个空间维度高一些(n=15,30)时，才能够基本还原。 但是，在接下来你会看到，这里采用的Inverted residuals中的通道数会被最后一个1x1进行压缩，也就是要将3x3卷积提取的特征进行压缩，但这样做就对应了上述实验中另一个空间维度较低时的情况，即”信息丢失”。 针对这个问题，作者提出将卷积后的激活函数设置为线性的。实验证明，该方法能够有效保留信息。具体实现时，只需去掉本来在卷积后的非线性激活函数即可。 Inverted...

MobileNet V1MobileNet V1 有点像VGG，它们的网络结构都是单分支的，通俗点说就是：一条路走到底。 只不过，相比于VGG，MobileNet V1 大量使用了深度可分离卷积，在模型的预测能力变化很小的前提下，极大地提升了模型的速度。 ps：关于深度可分离卷积，可以查看这篇文章；关于VGG，可以查看这篇文章。 MobileNet V1 的网络结构如下： 其中，Conv表示普通卷积，Conv dw表示逐通道卷积，s1表示卷积步长为1，s2表示卷积步长为2。 PyTorch 实现 MobileNet V1对于普通的卷积，即上面结构图中的Conv直接调用torch.nn.Conv2d就可以了； 而在上面的网络结构图中，每一个蓝色框起来的两部分组合起来就是深度可分离卷积，它包括了逐通道卷积(Conv...

XceptionXception将Inception中的Inception模块替换为深度可分离卷积。在几乎不增加参数量的前提下，Xception在一些图像分类任务中的表现超越了Inception V3。 我们之前介绍的深度可分离卷积是先做逐通道卷积，再做逐点卷积，而在Xception的论文描述中，这两步的顺序正好相反（见下图）。不过没关系，论文中也指出，这里的顺序并不影响效果（理由：in particular because these operations are meant to be used in a stacked setting.）。 同时，经过实验发现，深度可分离卷积中的卷积层之间不加非线性激活函数的效果相较于加入非线性激活函数来说会更好一些。 Xception的网络结构如下： 网络总共可以分为3个部分：Entry flow，Middle flow，以及Exit flow，并且借鉴了ResNet的思想，引入了跳连(skip connection)。注意每个卷积（包括普通卷积与深度可分离卷积）之后都做了批归一化操作，只是没在网络结构图中画出。 PyTorch...

分组卷积(Group Convolution)分组卷积将输入特征图进行分组，分别对每组的特征图进行卷积操作，得到输出的特征图，最后再将每组卷积后得到的特征图拼接在一起，就完成了整个卷积操作。 在PyTorch中，输入特征图个数与输出特征图个数需要能够被分组数整除，因为输出特征图个数需要均摊给每一组。比如输入特征图个数为X，输出特征图个数为Y，分组数为g，且g可整除X和Y，那么每一组的输入特征图个数为X/g，输出特征图个数为Y/g，总的输出特征图个数为(Y/g)*g=Y 假设输入特征图个数为6，卷积核尺寸为3*3，输出特征图个数为10，不考虑偏置项。以下操作基于本例》 普通卷积：当分组数为1时，就是普通的卷积 12345678910import torchimport torch.nn as nnfrom torchsummary import summaryclass Model(nn.Module): def __init__(self): super().__init__() ...

ResNet一般来说，网络越深越复杂，同时网络提取特征的能力也就越强。但是，实验发现，当继续增加网络层数，使得网络越来越深时，网络能力不增反减。 似乎，当网络层数达到一定程度时，就达到了深度学习的天花板了？ ResNet的提出，解决了这一问题。深度学习的天花板还远着呢！ 对于一个浅层网络，我们想在此基础上加深网络，同时希望加深后的网络至少能力不能退化。也就是说，新加进来的几层即使不能提升网络的能力，也不要影响到加入这些新的层之前的网络的能力。 具体地，直接将添加新的层之前的网络输出与添加新的层之后的网络输出做一个加法，然后让网络自己去学习新加进来的层是否起作用，起多大的作用。 这样，如果新加进来的层不怎么起作用，那么网络最终的输出就是添加新的层之前的输出，这样就能保证网络的能力至少不会因为网络的加深而退化。 这张图描绘了上述文字所要传达的思想： 对于浅层网络的输出x，有两个分支，一个分支直线向下，代表映射F，它将x映射为F(x)；另一个分支直接将x连接到F(x)处，这被称之为skip...

GoogLeNetGoogLeNet，也叫做Inception，没错，翻译过来就是《盗梦空间》。 相较于之前的网络，GoogLeNet网络层数更多，网络变得更深，网络结构也变得更加复杂。 不过，虽然网络结构复杂，但由于使用了1*1卷积来减少通道数，GoogLeNet所包含的参数不增反减，这也是GoogLeNet表现如此出众的重要原因之一。 GoogleNet的网络结构参数表如下： type：网络层类型patch size/stride：(卷积核or池化窗口)尺寸/（卷积/池化）步长output size：该层输出特征图的shape GoogLeNet重复使用了inception，和NiN基础块一样，它也是一个单独的块，不妨记作inception block，蓝色框起来的是便是inception block需要的参数。 inception block结构如下： inception...

...

...

VGGVGG的提出者所在实验室名字为Visual Geometry Group ，因此就地取名，VGG诞生了。 VGG通过堆叠大量的VGG块，实现了更深的网络结构。 这里的VGG块，包含了多个卷积层一个池化层： 卷积层的卷积核尺寸为3*3，stride为1，padding为1；这种结构保证了输入图片(或特征图)经过卷积后得到的特征图的尺寸与输入尺寸是一样的。也就是或，卷积仅仅改变通道数，而不改变图像(特征图)的尺寸。 池化层的池化窗口尺寸和stride都是2，从而使得特征图的尺寸减半。 在堆叠的多个VGG块之后，是一些全连接层，负责最后的分类结果输出。 根据网络层数的不同，VGG有多个版本，如下图： 可以看出，不同版本之间的差异体现在卷积层（VGG...

AlexNet在2012年的Imagenet竞赛中，AlexNet以低于第二名10.8个百分点的top-5错误率赢得了冠军，自此以后，基于CNN的图像分类算法开始流行起来，深度学习时代到来了。 AlexNet的网络结构如上图所示。相比于之前的LeNet-5，AlexNet堆叠了更多的卷积块，从而网络更深。同时，它还引入了Dropout的技巧，以及ReLU激活函数等。 在AlexNet刚被提出时，受限于当时的算力，作者采用了多个GPU进行训练。而随着技术的发展，现在的算力已经可以在单卡上训练AlexNet了，且显存绰绰有余。 更多细节，将在代码实现中体现。 PyTorch...