机器学习—逻辑回归
逻辑回归
有监督机器学习
线性回归：预测一个连续的值
逻辑回归：预测一个离散的值
逻辑回归的引入
良性肿瘤 and 恶性肿瘤
有一家医院希望我们能开发出一款分类器，可以通过数据分析出
一块肿瘤到底是良性的，还是恶性的
当我们要做二分类的时候，我们一般只希望得到两个值 y = 0 或 1
但是， 线性回归得到的值是在一个范围内的连续值，而且可能远 > 1 或远 < 0
这样会给分类带来困难
更新的模型：
阶跃函数：不连续
更新的模型：
连续的模型：Sigmoid sigmoid函数也叫logistic函数
如果想要模型的y值坐落在[0,1]的区间上那么就需要使用sigmoid函数
为什么用sigmoid函数
数学上，是根据广义线性回归的模型推导所得的结果
直观上，
（1）输出范围有限，数据在传递中不容易发散
（2）抑制两头，对中间细微变化敏感，对分类有利
（3）性质优秀，方便使用（Sigmoid函数是平滑的，
而且任意阶可到，一阶二阶导数可以直接由函
数得到不用求导，这在做梯度下降的时候很实
用）
决策边界
非线性决策边界
熵
熵的意义：
热力学上：熵是一种测量分子不稳定的指标，分子运动越不稳定，熵就越大
信息论（香农）：熵是一种测量信息量的单位，信息熵，包含的信息越多，熵就越大。
机器学习:熵是一种测量不确定性的单位，不确定性越大，概率越小，熵就越大！