吴恩达老师机器学习课程个人笔记(第六课)
逻辑回归
1.一个常用的逻辑函数为S型函数:
2.逻辑回归模型(logistic regression model)需要 0<=htheta(x)<=1。令
即可
3.令h(x)小于等于0.5时,y=1,那么只需要Tx>=0,即有y=1
4.决策边界(decision boundary),比如:
- 线性决策边界:
- 非线性决策边界:
5 .训练集正是用来拟合参数向量的。
6 .如果样本数据是非常不规则的,那么我们可以通过利用各种高阶方程来确定我们的决策边界,比如0+1x1+2x2 +3x12+…+kx1mx2n+…
7 .逻辑回归的代价函数为:
这个代价函数是一个非凸函数,并且能用一些算法得到最优参数,这是符合我们要求的。我们可以用y=1的情况来说明一下为什么可以用这个函数:这是h(x)的函数图像:
通过这个图像我们可以发现,若y=1,而h(x)=0,也就是预测结果与实际值不符,那么这个算法的惩罚代价就会很大,y=0的情况同理
8 .non-convex:非凸的
9 .其它的优化算法还有共轭梯度下降法(conjugate descent)、变尺度法(BFGS)、限制变尺度法(L-BFGS)
10 .sophisticated [səˈfɪstɪkeɪtɪd]复杂的
11 .octave语法:@+函数名:指向函数的指针
12 .exitFlag=1表示该算法已收敛
13 .一对多的逻辑分类器的选择:(比如一对三)把三个样本分成三个二元组,每个组分别选出h(1)(x),h(2)(x),h(3)(x),然后分别取最大,即分别为y=i的最大概率
14 .黄海广教授的完整课程笔记在pdf的第102~114页。
.