1、AlexNet

在2010年的ImageNet LSVRC-2010上，AlexNet在给包含有1000种类别的共120万张高分辨率图片的分类任务中，在测试集上的top-1和top-5错误率为37.5%和17.0%（top-5 错误率：即对一张图像预测5个类别，只要有一个和人工标注类别相同就算对，否则算错。同理top-1对一张图像只预测1个类别），在ImageNet LSVRC-2012的比赛中，取得了top-5错误率为15.3%的成绩。AlexNet有6亿个参数和650,000个神经元，包含5个卷积层，有些层后面跟了max-pooling层，3个全连接层，为了减少过拟合，在全连接层使用了dropout。

1.1、网络结构图

2、VGG

VGG是Oxford的Visual Geometry Group的组提出的（大家应该能看出VGG免费精选名字大全的由来了）。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。

2.1、VGG原理

VGG16相比AlexNet的一个改进是采用连续的几个3×3的卷积核代替AlexNet中的较大卷积核（11×11，7×7，5×5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。

简单来说，在VGG中，使用了3个3×3卷积核来代替7×7卷积核，使用了2个3×3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感受野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

比如，3个步长为1的3×3卷积核的一层层叠加作用可看成一个大小为7的感受野（其实就表示3个3×3连续卷积相当于一个7×7卷积），其参数总量为 3x(9xC^2) ，如果直接使用7×7卷积核，其参数总量为 49xC^2 ，这里 C 指的是输入和输出的通道数。很明显，27xC^2小于49xC2，即减少了参数；而且3×3卷积核有利于更好地保持图像性质。

2.2、VGG网络结构

下面是VGG网络的结构（VGG16和VGG19都在）：

• VGG16包含了16个隐藏层（13个卷积层和3个全连接层），如上图中的D列所示
• VGG19包含了19个隐藏层（16个卷积层和3个全连接层），如上图中的E列所示

VGG网络的结构非常一致，从头到尾全部使用的是3×3的卷积和2×2的max pooling。

2.3、VGG优缺点

2.3.1、VGG优点

• VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3×3）和最大池化尺寸（2×2）。
• 几个小滤波器（3×3）卷积层的组合比一个大滤波器（5×5或7×7）卷积层好：
• 验证了通过不断加深网络结构可以提升性能。

2.3.2、VGG缺点

• VGG耗费更多计算资源，并且使用了更多的参数（这里不是3×3卷积的锅），导致更多的内存占用（140M）。其中绝大多数的参数都是来自于第一个全连接层。VGG可是有3个全连接层啊！

PS：有的文章称：发现这些全连接层即使被去除，对于性能也没有什么影响，这样就显著降低了参数数量。