logit
1.为什么需要logit回归?
线性回归不稳健 异常点对拟合直线的影响很大 so linear不适合做分类问题
2.为什么要sigmoid？sigmoid能做什么？
y=0，1是离散问题,直接建立方程 函数不连续——损失函数不可导——参数无法用梯度法优化
所以我们由 转为
的广义线性思路
的值表征y取值的概率大小 最由概率大小转化为判断y的0,1值
优点：给出了结论的置信度(sigmoid(x))
参数优化可以做了
课时48 ???????????? 决策边界 （ < - > svm）
课时49 50 ???????????????????? 损失函数
为什么损失函数里y不能直接用?
因为非线性 , 所以
曲线是非凸 的——容易陷入局部最优 到不了全局最优
——>想办法转化为凸函数
即转化为对
线性
????????????????????
损失函数使用极大似然
that is
课时51 高级优化
//todo
conjugate gradient
BFGS
L-BFGS
优点：自动化学习率 收敛速度 缺点：复杂太高级