Epoch和Batch,权重衰减和Dropout,Softmax和Logistic,IOU的基本概念
由于是从Word文档直接复制过来,其中格式如果乱码或者不通顺,请评论区告知我
目录
一、卷积网络基本概念
参考链接:https://blog.****.net/lql0716/article/details/80853169
1、Epoch和Batch
Epoch
当一个完整的数据集 D
通过了神经网络一次并且返回了一次,这个过程称为一个 epoch
Batch
当一个 epoch 对于计算机而言太庞大的时候,就需要把它分成 k个小块(k 个子集 {B1,…,Bk}),一个小块 Bi 就是一个batch,一个batch通过神经网络一次就是一个epoch,那么全部数据 D 要通过神经网络一次,那就需要迭代 k 次才能使得这 k 个 batch 全部通过神经网络一次,也就是需要经过 k个 epoch
例子
比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch,那么完成一个 epoch 需要 4 个 iteration。
2、权重衰减(weight decay)和Dropout(清理掉无用的神经元)
去掉无用的神经元之后,会产生一个新的神经网络,利用新的神经网络继续训练
3、Softmax逻辑回归和Logistic回归
- Softmax逻辑回归:用于多分类
- Logistic回归:只用于二分类
4、IOU的概念
目标检测中IOU的介绍(Intersection over Union)
IOU的输入
1.ground-truth的bounding box
2.预测的bounding box
IOU的输出
输出为值在[0,1]之间的数字,公式如下: