cs231n_2018_lecture12_notes_无监督学习和生成模型

一、无监督学习

先介绍熟悉的有监督学习supervised learning——已知:数据和标签;目标:学习得到一个函数使得能够将数据映射到标签。

有监督学习的例子:分类classification、回归regression、目标检测object detection、语义分割semantic segmentation、图像字幕image captioning等等。

cs231n_2018_lecture12_notes_无监督学习和生成模型

介绍这章的主题无监督学习unsupervised learning——已知:数据(标签未知);目标:学习些潜在的隐藏的数据结构。

无监督学习的例子:聚类clustering、降维dimensionality reduction、特征提取feature learning、密度估计density estimation等。

cs231n_2018_lecture12_notes_无监督学习和生成模型

cs231n_2018_lecture12_notes_无监督学习和生成模型

 

二、生成模型

生成模型generative models任务是在给定训练数据后生成符合训练样本特征分布的崭新样本,可以分为explicit density estimationimplicit density estimation

概念的直观理解图:

cs231n_2018_lecture12_notes_无监督学习和生成模型

下属分类图(几个名词记住,可以搜索查看学习):

cs231n_2018_lecture12_notes_无监督学习和生成模型

流行的三个,Fully visible belief network、Variational Autoencoders (VAE)、Generative Adversarial
Networks (GAN)  !

 

1、Fully visible belief network

1)PixelRNN: 从边角开始生成图像的像素,使用RNN(LSTM),依赖于之前的像素。缺点是这种序列形式的生成太慢了。

cs231n_2018_lecture12_notes_无监督学习和生成模型

2)PixelCNN: 模式基本类似,只是使用了CNN代替RNN,速度快于PixelRNN,但依然很慢。

cs231n_2018_lecture12_notes_无监督学习和生成模型

2、Variational Autoencoders (VAE)

自动编码器

3、Generative Adversarial Networks (GAN)

生成对抗网络

目前对我而言理解起来难度感觉好大,只扫视了几眼,公式推导、公式含义!应该可以从公式中思索出网络的本质?

 

下面这幅图是这章的总结

cs231n_2018_lecture12_notes_无监督学习和生成模型