week3-2.Logistic Regression Model

一、Cost Function

逻辑回归的基本问题：

使用线性回归中的代价函数J不合适。因为h(x)=1/(1+e^(-theta'*x))是非线性的，带入后得到的代价函数是非凸的（non-convex），有很多局部最优点，可能找不到全局最优。

逻辑回归中使用的代价函数J：

对cost函数（方程组）进行化简：

化简后的J函数为：

向量表示：

梯度计算公式（确定theta的公式）：

发现将J函数带入计算后得到的公式与线性回归中的一样。

向量表示：

高级优化算法可以再每轮迭代中自动更改学习率alpha，所以不用人为指定。

关于高级优化函数fminunc的使用：

initialTheta必须是不少于二维的向量。