Neural Networks and Deep Learning -- Class 1: Introduction to deep learning
小序：
最近做项目要用到神经网络相关的东西，深度学习都火了好一段时间了，想认真研究一下，看看别人口中的玄学是否果然那么玄~
网易云课堂上有完整的中文字幕配套视频，可惜做不了作业，想着这东西必须得多实践才能掌握扎实，鼓起勇气在course上报了一个月311块的课，加油~
因为感觉自己刚入门，很多专业术语都不了解，所以采取的策略是：在网易云上听课，在coursera上完成作业，及时整理笔记发布在****上。
--------------------------------------------------------------------------------
【课堂笔记】
1.1 欢迎
1.2 什么是神经网络
房价预测案例：ReLU函数 (Rectified Linear Unit) 修正线性单元
足够样本 -> 精准映射函数 映射
所谓神经网络，就是从足够多的样本中提取出的精准的映射函数，其本质就是映射。
1.3 用神经网络进行监督学习
应用领域：
计算广告 计算机视觉（cnn） 语音识别（rnn） 机器翻译(rnns) 无人驾驶(cnn)
网络分类：
标准神经网络
卷积神经网络 常用于图像
循环神经网络 一维序列
数据分类：
结构化数据 清晰定义
非结构化数据 机器更难以理解
1.4 为什么深度学习会兴起
传统模型无法处理海量数据
足够大的神经网络+足够大的数据量（带标签的数据）=> 神经网络更好的表现
训练数据规模：m
训练集不大 手工设计/细节对算法影响较大 各算法之间的优劣定义不明确
训练集很大时 神经网络优势更明显
算法优化 sigmod -> ReLU梯度不再趋近于0 => 梯度下降算法更快
神经网络兴起的原因：数据量大 & 快速计算 & 算法创新
算法优化 => 实现快速计算; 提高迭代速度，改进想法
1.5 关于这门课
编程基础 练习
单隐层神经网络、多隐层神经网络
1.6 课程资源
论坛、邮件
-------------------------------------------------------------------------------
【作业整理】
错题：
6. Images for cat recognition is an example of “structured” data, because it is represented as a structured array in a computer. True/False?
Answer: False
看着题目莫名其妙就被带进去了，也没深入思考。图片、语音之类的当然是非结构化数据了，结构化数据基本可以理解为表格型数据？或者像MongoDB那种,非关系型数据库？审题要仔细~
7. A demographic dataset with statistics on different cities' population, GDP per capita, economic growth is an example of “unstructured” data because it contains data coming from different sources. True/False?
Answer: False
还是栽在了数据类型上，非结构化数据主要就是image, audio or text datasets。
重点题目：
2. Neural Networks are a brand new field.
深度学习那本书中提到，20世纪40年代神经网络就已经出现，后来因为种种原因中间经历过几次停滞，所以并不属于全新的领域哦~
4. Finding the characteristics of a model is key to have good performance. Although experience can help, it requires multiple iterations to build a good model.
mark一下题目解答中的这句话，所以神经网络都是要经过漫长的训练过程滴~
8. RNNs represent the recurrent process of Idea->Code->Experiment->Idea->....
整理题目时看到这句话突然有点困惑了。。好像也没什么问题。。后来猜测大概题目的意思是RNN是不是代表这个循环实验的过程。。这样就说得通了
9.
这张图值得很好的保存，可以说，在数据量较小的情况下，网络性能差异不明显，数据量增大时，网络规模越大，性能也就越好。
或者归纳成第10题中的这两句话：就是数据越多越好，网络规模越大越好~
Bringing more data to a model is almost always beneficial.
Increasing the size of a neural network generally does not hurt an algorithm’s performance, and it may help significantly.