《深度学习：一起玩转Tensorlayer》学习补充笔记

主要笔记在CNKI E-Study中，此文档作为补充说明

名词解释

• PCA (principle component analysis):主成分分析法
• 距离与范式
  • 曼哈顿距离(L1)
  • 欧氏距离(L2)
  • 马氏距离(L3)
• MSE (mean squared error)：均方误差
• KLD (KL Divergence)：KL散度,相对熵，量化两种概率分布P和Q之间差异的方式。
• :稀疏性
• Binomial Distribution：二项式分布
• Entropy：熵，一般用H表示
  • 
• VAEs (Variational Autoencoders)：变分自编码器
• Variational Bayesian Methods：变分贝叶斯法
• cross-entropy：交叉熵,编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数。
  • 为什么在神经网络中使用交叉熵损失函数，而不是K-L散度？

    K-L散度=交叉熵-熵，即 DKL( p||q )=H(p,q)−H§。在神经网络所涉及到的范围内，H§不变，则DKL( p||q )等价H(p,q)。

• CNN (Convolutional Neural Networks)：卷积神经网络
• Stride：步长
• Zero-padding：外围补零
• R-CNN：区域卷积神经网络
• SVM（Support Vector Machine）：支持向量机
• ROI：Region Of Interest
• RPN：Region Proposal Networks
• YOLO（You Only Look Once）：CNN负责特征提取，全连接层负责分类识别
• FC：全连接
• VGGNet内存问题：VGGNet参数大约520MB，训练时，如果要保存反向传播梯度值，将占用1GB内存（一张图片），在GPU上采用mini batch训练的方法，需要注意显卡内存是否足够（呵，不够）。
• GoogLeNet：（利用1×1卷积核进行降维）
• ResNet
• 数据增强：通过对图像的变换，创造出更多的图像

一个DL名词解释汇总