深度学习1.1笔记找不见了，所以又听了一遍

交叉训练集，验证参数集；

1.选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好那个
2.如果训练数据量不够，使用交叉验证方法，它能帮助我们在选取最优超参数的时候减少噪音。
3.一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。
4.最近邻分类器能够在CIFAR-10上得到将近40%的准确率。该算法简单易实现，但需要存储所有训练数据，并且在测试的时候过于耗费计算能力
5.最后，我们知道了仅仅使用L1和L2范数来进行像素比较是不够的，图像更多的是按照背景和颜色被分类，而不是语义主体分身。

精度太多，从来不用
103072个输入10类
307210个输入10个权重
b:偏置值

得分值越大越重要，

将损失函数映射到sigmoid函数

然后即可表示概率
离0越近损失越大，离1越近损失越小，

学习率小迭代次数多



batch_size = 50 #每次传来50个图像，（排除噪音干扰）算平均得到正确的更新方向50000/50=1000，每次跑100个数据batch_size等于次数


学习率要调的低一点，
学习过程中开始时学习率大一些，后来小一些

epochs:总的数据执行几次
epochs=1；50000个数据跑一次
epochs=1；50000个数据跑2次
batchsize=100;
50000///100=500


反向传播就是看各个元素对结果的影响





神经网络基本是全连接操作

神经网络只是在进行特征提取
**函数：

过拟合，即便训练集是99%的精度也不会直接用，因为在别的上面已经过拟合了。

为满足噪音点会产生过拟合

有过拟合风险，不平稳
但是
神经元越多也是过拟合风险也越大



数据预处理
relu函数会偏向于数值大的
这样取出来的就不科学。

正则化L:drop-out防止过拟合
随机选择更新的神经元，通常是固定的。杀死神经元参数变少过拟合变低2
比如保留60%

这节课，结束，下课