Logistics Regression

• logistics regression 和 linear regression的异同

  1. 首先logistics regression 和 linear regression产生的结果不同，前者得到的结果在0-1之间。
  2. 两者的loss function不一样
  3. 两者最终的Gradient descent的方式是一致的
     

• Best function的获取方式是，选取能够最大化sample到training data的分布函数
  

注： cross-entropy指的是交叉熵，其中熵也即是信息量，如 熵描述中所示，交叉熵指的是两个分布之间的相似程度。

• Generative model VS Discraminative model
  Generative model 往往都需要较多的假设，而Discraminative model所需要的假设较少，所以一般Generative的效果会比discraminative的效果要好。但是在数据量较少，或者噪声数据较多的情况下，Generative model可能拥有更好的性能。

• 多分类问题，运用softmax function，其含义如下图所示
  

• 碰到logisitc regression解决不了的问题，可以使用feature transformation的方式，使得能够给两个不同的类别的数据点找一个超平面将他们切割开。这种方式其实也就是多个logistics regresssion的级联，也就是Deep Learning