1,生成模型和判别模型的区别

相同点:

   同样的model 都是, 同样的goodness of function都是使用似然函数L.

不同点: 生成模型使用的损失函数中的每个样本的概率f,都假设为一个特定分布(如高斯分布),用该分布的概率密度函数来代替f,最后求出这个概率分布(μ,Σ)就可以.

判别模型则是不假设分布,直接对似然函数求gradient decent,似然函数经对数变换后得到的交叉熵作为损失函数

 

2,Multi-class Classification

为什么使用one-hot编码来表示y^,参见: https://blog.****.net/Li_yi_chao/article/details/80852701

逻辑回归有时候无法直接在当前数据的特征空间进行划分;

当然,我们有解决方案叫做Feature Transformation，原来的feature分布不好划分，那我们可以将之转化以后，找一个比较好的feature space，让Logistic Regression能够处理;

特征转换的方式很多，举例类别1转化为某个点到 (0,0)(0,0) 点的距离，类别2转化为某个点到 (1,1)(1,1) 点的距离。然后问题就转化右图，此时就可以处理了。但是实际中并不是总能轻易的找到好的特征转换的方法。

我们人为地去建立转换函数来很好的完成特征转换，实际上是比较难的，或者说比较费工夫的,让机器自己学习找到一个好的转换函数是一个很好的方法,也即神经网络.我们把每一个Logistic Regression叫做一个neuron(神经元)，这些神经元就可以进行Feature Transformation, 把这些Logistic Regression串起来所形成的network，就叫做Neural Network，就是类神经网路，这个东西就是Deep Learning！