PyTorch学习笔记之神经网络包 nn 和优化器 optim
torch.nn 是专门为神经网络设计的模块化接口。构建于 Autograd 之上,可用来定义和运行神经网络。下面介绍几个常用的类:
注: torch.nn 为了方便使用,将它设置成 nn 的别名。
除了 nn 别名以外,我们还引用了 nn.functional,这个包中包含了神经网络中使用的一些常用的函数,这些函数的特点是,不具有可学习的参数(ReLu, pool, DropOut 等),这些函数可以放在构造函数中,也可以不放,但是这里建议不放。
一般情况下,我们将 nn.functional 设置为大写的 F, 这样缩写方便调用
- 定义一个网络
PyTorch 中已经为我们准备好了现成的网络模型,只要继承 nn.module,并实现它的 forward 方法, PyTorch 会根据 autograd,自动实现 backward 函数,在 forward 函数中可使用任何 tensor 支持的函数,还可以使用 if、for 循环、print、 log 等 Python 语法,写法和标准的 Python 写法一致。
网络的可学习参数通过 net.parameters() 返回。
net.named_parameters 可以同时返回可学习的参数及名称。
forward 函数的输入和输出都是 Tensor。
在反向传播前,先要将所有参数的梯度清零。
注意 :torch. nn 只支持 mini-batches,不支持一次只输入一个样本,即一次必须是一个 batch。
也就是说,就算我们输入一个样本,也会对样本进行分批,所以,所有的输入都会增加一个维度,我们对比下刚才的nn中定义为3维,但是我们人工创建时多增加了一个维度,变为了4 维,最前面的 1 即为 batch-size。
- 损失函数
在 nn 中 PyTorch 还预制了常用的损失函数,下面我们用 MSELOSS 用来计算均方误差
- 优化器
在反向传播中计算完所有参数的梯度后,还需要使用优化方法来更新网络的权重和参数,例如随机梯度下降法(SGD)的更新策略如下:
torch.optim中实现大多数的优化方法,例如:RMSProp、Adam、SGD 等,下面我们使用SGD 做个简单的样例: