pytorch深度学习实践3——多分类问题，卷积神经网络CNN

多分类问题Softmax Classifier分类器

全连接网络：用线性层将网络连接在一起

softmax数学原理：

loss函数实现方法：

交叉熵损失：


手写数字识别分类案例代码：
引入的包和库：


将图像转换为pytorch的tensor
将图像归一化为0-1分布

将transforms运用到dataset中：

构建模型：


定义损失函数和优化器：

训练：

卷积神经网络CNN（基础篇）

卷积神经网络结构：


彩色图像做卷积：

卷积核的张量有四个维度：


实例：


最大池化：


基本过程：


实现代码：




结果达到98%

卷积神经网络CNN（高级篇）

1*1的卷积核的作用：




梯度消失：指在反向传播过程中，梯度始终小于1，在累乘的过程中，会逐渐趋于0，由于w=w-ag g(梯度)等于0时，w就不再改变。利用残差网络可以有效的抑制梯度消失的出现。利用残差网络要保证输出层和输入层的维度保持一致。
残差网络的实现：