[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)

PDF VIDEO

Keras

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Example Application - Handwriting Digit Recognition

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Step 1 : define a set of function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Step 2 : goodness of function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Step 3 : pick the best function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


x_train, y_train

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


batch_size & epoch

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Speed

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Speed - Why mini-batch is faster than stochastic gradient descent?

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
对GPU来说,让它做上述两个运算,所用的时间几乎是一样的,在矩阵相乘中的每一个元素,都是可以并行运算的,所以上面用的时间会变成下面的两倍,所以GPU+mini-batch会使效率大大提升。


Shuffle the training examples for each epoch

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)


Analysis

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)