读书笔记:“Deep Learning by Bengio” 之 Introduction
虽然已经用CNN,SDAE,DBN 跑了一些应用,也做了些research写了弱弱的论文,但总觉得有些知识不扎实,有所欠缺。开始抽空将大牛的深度学习书系统的看一遍,并在此记录。
第一章的introduction很简单,对深度学习的思想,框架和所属领域关系做了界定,并列举了深度学习发展的三个阶段以及三个主要特点。
point 1: 深度学习与机器学习,AI人工智能的关系:
point 2: 深度学习与计算神经科学是完全不同的两门科学,深度学习关心的是用代码程序来完成特定任务,而计算神经科学是研究如何建立model去模拟大脑的工作机制(虽然二者会对彼此的研究略有影响),但深度学习绝不是对大脑的模拟~
point 3: 深度学习发展的三个历史阶段:
point 4: 深度学习较于之前的三大突破:1,大数据提供了大量的训练数据集,使得模型拟合更为优秀。2,硬件的发展使得模型的深度,框架的复杂度都能够大大提高。3,模型准确度不断提高,应用领域不断扩大,对现实世界的影响力越来越强。
这本书分三大部分为: 1,深度学习所需基础数学知识。 2,基本的深度学习模型。 3,提高模型或解决具体问题的经典技巧。