【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning

绪论部分

该系列课程我将学到:
【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
所以可以看出这个

  • 课程第一部分,也就是我现在学习的部分是整体的一个基础,偏向于机器学习;
  • 课程第二部分,讲授一些超参数的的调整和正则化以及优化等知识,所以算是在第一部分上更深入的一个介绍;
  • 课程第三部分,经过前两部分的学习,基本具备了良好的基础,现在就可以应用到自己的项目或者感兴趣的地方,去崭露头角
  • 课程第四部分,CNN,是我目前在用的,但是我根本还不怎么了解,慢慢来,学好打好基础;
  • 课程第五部分,NLP相关,主要是处理序列相关的,比如语音,视频等,

Introduction to Deep Learning

Our Goal: Be able to explain the major trends driving the rise of deep learning, and understand where and how it is applied today.

一、目录

  • What’s a neural network?
  • Supervised Learning with Neural Networks
  • Why is Deep Learning taking off?
  • About the Course
    具体视频和材料如下:

【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning

二、学习内容

1. What’s a neural networks?(何为神经网络)——2019-06-03

这里假定大家对于生物学上的神经元的模式已经有所了解了,就是信息的传递,个人感觉不需要多么深刻的理解,只需要有高中生物的相关残存记忆就能很好理解了。
那么什么是计算机上所说的圣经网络呢?有这个视频:
从预测房价的例子来看:
(1)房间大小决定房子价格:

  • 已知条件:已经有一些已知的数据,按照(房屋大小,房屋价格)给出,比如图片中那些小红×,
  • 目标:现在我们的目标就是根据已知条件,对于目前我们只知道房屋大小的一个房子,进行它的合理的价格预测;
    【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
    那么现在如何实现这个目标呢?没错,就是利用已知数据来构建一个线性方程,然后估计出这个线性函数的参数(一般就是斜率和截距),有了这两个数据,那么基本就可以把房屋大小房屋价格的关系对应起来。
    那么现在,这个得到的方程,就可以理解为一个神经元:
    ——————————————————————————
    方程:投入x(房屋大小), 输出y(房屋价格)
    神经元:输入, 输出
    【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
    ——————————————————————————

(2)多参数的房屋价格预测:
现实生活中其实很少找到线性的东西,评价一个人也不能简单的用好或者坏来说,
房价也是啊,虽然房子大小在一定的程度上正相关与房屋价格,但是也要看什么地方的房子啊,北京放假和青海放假有的比吗?
就是这个道理,所以我们还要多考虑一些因素
比如卧室数量、邮政编码(这里以美国为例,邮政编码可以看出出行便利程度,就好比中国北上广深和其他城市房价不一样)、教育程度等等
由多种因素来决定房屋的价格,即便是同一个城市,不是也要分学区房啊,哈哈哈

【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
稍微整理一下,可以抽象成下面的模型:
【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
每一个节点都和上一层所有节点相连接,这其实也就是 全连接
这里不再是直接一个神经单元直接连着输入输出,而是有两层,在以后的问题中可能还会有更多层,那么具体的来表述就很麻烦,所有还要再抽象一下,
把中间的,不管多少层,都理解成隐藏层统一考虑。
这样的话,神经网络就还是:
输入——神经网络——输出
这样的形式!方便理解!
从而也得到了输入到输出之间的映射!
这个函数中的参数就是我们在利用已知数据的时候估计出来的,也就是后续总的权重!

2. Supervised Learning with Neural Networks(基于神经网络的监督学习) ——2019-06-04

当前很多人都鼓吹自己的学习算法多么的有效,但是事实上现在众多的算法都还只是监督学习的东西。
那么什么是(Supervised Learning)监督学习呢?
监督学习就可以理解成有指导的学习,有老师指引的学习,如图题目做对了老师回给你打勾,你之后的解题思路就会朝着这个正确的方向发展,但是当你错了的时候,老师就会给你打叉,你之后的解题思路也就会因此避开这样的思路,这里的老师对你就是一个监督行为,现在把这个做题的概念对应到更广泛的任务上,抽象一下,就是当我们处理一个任务,我们是有指导的,这个指导就是数据的标签,告诉我们对错或者是否,经过大量的这样的“有监督”的学习,我们就可以朝着更为合理的方向(这里的合理就是指更加符合标签规律)发展,这就是监督学习。

而且目前已经取得很好成就的应用如下图,比如预测啊,广告啊,语音识别啊,机器翻译啊,自动驾驶啊等等等:
【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning

具体而言的话,还要讲两种结构的数据:

  • 结构化的数据(指特征都是具有良好定义的,比如房屋大小,卧室数量等等)
  • 非结构化的数据(指比较难以良好定义的,比如像素,语音,文本等等,单独的每一个我们并不知道它是什么意思,比如一个像素,一个单词等等,非常缺乏定义)

【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning
深度学习基本都是在这些或结构化或非结构化的数据上建立起来的,并且取得了良好的表现效果。
那么为什么Deep Learning 可以如此优秀呢???

那就是接下来的 Why is deep learning taking off? 了,我们拭目以待

3. Why Is Deep Learning taking off??(深度学习为何如此优秀???)——2019-06-05

总是会有人问为什么深度学习这两年发展的原来越受人喜欢和重视?每当有人有这样的疑惑的时候 ,我就会画一张图来告诉他们:
如下:
横坐标:某任务上我们拥有的数据量;
纵坐标:表现,学习算法的性能

可以看出来,传统的方法在刚开始的时候性能是会增加的,但是随着数据量的增加,性能基于平坦,上升会很缓慢,甚至基本没什么可以再增长的可能性了!

【Neural Networks and Deep Learning2019吴恩达最新Coursera课程学习】——第一周—Introduction to deep learning

所以啊,可以看出最主要的原因:
数据规模造就了深度学习的优越性!
简单来说,数据规模增加了,传统方法基本就那样了,这个时候深度学习的方法还是会继续获取良好性能,这个时候你不选择深度学习才是让人难以理解的事情!

4. About this course(关于这门课)——2019-6-10

大概讲了这门课的学习大纲吧

5.课程的测验题目:

比较简单,认真听课的话基本都是100%答对的!

6. 40min的Hinton的课程网速原因有点不好用