深度学习1——入门与共享单词预测
B站学习笔记
深度学习
神经网络是基于感知机的扩展,而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西,DNN有时也叫做多层感知机(Multi-Layer perceptron,MLP)。
深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,
深度神经网络就是一个大规模的特征提取器
深度学习就是利用深度神经网络进行从数据中学习的技术
输入大量的数据,深度神经网络就会自己调节权重来拟合数据中的模式
卫生
把一层一层的比作公司不同的部门或者工厂的车间,每一层(每一个车间)中的神经元就是一个员工,通过员工之间的协同工作,将结果一层一层的向外输出产品,当发现产品出现问题的时候,就需要对整个工序进行追踪,反向追踪是哪个一个员工出错
映射
框架
如果要玩转深度学习,需要选择一个合适的框架(也就是工具平台)
代码简介
代码量少
代码效率高
Tensor,中文叫张量,是深度学习的一个基础,不然TensorFlow也不会叫Tensor和Flow了。
Tensor实际上就是一个多维数组
而Tensor的目的是能够创造更高维度的矩阵、向量。
装载到GPU上可以提高速度
GPU的处理速度之快得益于它可以高效地处理矩阵乘法和卷积
CPU是基于延迟优化的,而GPU是基于带宽优化的。CPU与GPU就像法拉利与卡车,两者的任务都是从随机位置A提取货物(即数据包),并将这些货物传送到另一个随机位置B,法拉利(CPU)可以快速地从RAM里获取一些货物,而大卡车(GPU)则慢很多,有着更高的延迟。但是,法拉利传送完所有货物需要往返多次:
相比之下,大卡车可以一次提取更多的货物,减少往返次数:
句话说,CPU更擅长于快速获取少量的内存(537),GPU则更擅长于获取大量的内存(矩阵乘法:(A*B)*C)。
作者:木亦汐
链接:https://www.jianshu.com/p/d21f49b4cd72
深度学习是一个计算需求强烈的领域,您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下,这可能看起来像是等待实验结束的几个月,或者运行一天或更长时间的实验,只是看到所选参数已关闭。深度学习是一个计算需求强烈的领域,您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下,这可能看起来像是等待实验结束的几个月,或者运行一天或更长时间的实验,只是看到所选参数已关闭。
借助GPU,我很快就学会了如何在一系列Kaggle比赛中应用深度学习,
反向传播
可以调用函数完成 反向传播
实例——共享单词数量预测
预测每小时单侧数量的情况
也可交叉验证
至此,可以构建人工神经网络了
神经元多了,容易过拟合和影响速度
接下来使用pytorch进行建模
在运行结果中,基本上预测效果较好,在后面部分是由于节日原因,可以理解