Epoch和Batch,权重衰减和Dropout,Softmax和Logistic,IOU的基本概念

由于是从Word文档直接复制过来,其中格式如果乱码或者不通顺,请评论区告知我

一、卷积网络基本概念

参考链接:https://blog.****.net/lql0716/article/details/80853169

1、Epoch和Batch

Epoch
  当一个完整的数据集 D
  通过了神经网络一次并且返回了一次,这个过程称为一个 epoch
Batch
  当一个 epoch 对于计算机而言太庞大的时候,就需要把它分成 k个小块(k 个子集 {B1,…,Bk}),一个小块 Bi 就是一个batch,一个batch通过神经网络一次就是一个epoch,那么全部数据 D 要通过神经网络一次,那就需要迭代 k 次才能使得这 k 个 batch 全部通过神经网络一次,也就是需要经过 k个 epoch

例子
  比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch,那么完成一个 epoch 需要 4 个 iteration。

2、权重衰减(weight decay)和Dropout(清理掉无用的神经元)

去掉无用的神经元之后,会产生一个新的神经网络,利用新的神经网络继续训练
Epoch和Batch,权重衰减和Dropout,Softmax和Logistic,IOU的基本概念

3、Softmax逻辑回归和Logistic回归

  • Softmax逻辑回归:用于多分类
  • Logistic回归:只用于二分类

4、IOU的概念

目标检测中IOU的介绍(Intersection over Union)
  IOU的输入
    1.ground-truth的bounding box
    2.预测的bounding box
  IOU的输出
    输出为值在[0,1]之间的数字,公式如下:
IOU=IOU = {两个矩形交集的面积 \over 两个矩形的并集面积}

Epoch和Batch,权重衰减和Dropout,Softmax和Logistic,IOU的基本概念Epoch和Batch,权重衰减和Dropout,Softmax和Logistic,IOU的基本概念