机器学习基础 - [第三章：逻辑回归]（2）逻辑回归模型的决策边界

1、假设函数的性质

假设在分类问题中，当$h_{\theta}(x)\ge0.5$hθ​(x)≥0.5时，预测的标签$y^{&#x27;}=1$y′=1;当$h_{\theta}(x)&lt;0.5$hθ​(x)<0.5时，$y^{&#x27;}=0$y′=0
根据逻辑函数$g(z)=h(\theta^{T}x)$g(z)=h(θTx)的性质：
当$g(z) \ge0.5$g(z)≥0.5时，$z\ge0$z≥0，$\Rightarrow\theta^{T}x\ge0$⇒θTx≥0
当$g(z) &lt; 0.5$g(z)<0.5时，$z &lt; 0$z<0，$\Rightarrow\theta^{T}x&lt;0$⇒θTx<0
由此：
$\theta^{T}x\ge0$θTx≥0时，$y=1$y=1
当$\theta^{T}x &lt; 0$θTx<0时，$y=0$y=0

2、决策边界

（1）线性决策边界：
如下图所示，假设函数$h_{\theta}(x)=g(\theta_{0}+\theta_{1}x+\theta_{2}x)$hθ​(x)=g(θ0​+θ1​x+θ2​x)，即$\theta^{T}x=\theta_{0}+\theta_{1}x+\theta_{2}x$θTx=θ0​+θ1​x+θ2​x
由第一部分已知：
$\theta^{T}x\ge0$θTx≥0时，$y=1$y=1
$\theta^{T}x &lt; 0$θTx<0时，$y=0$y=0
即$\theta_{0}+\theta_{1}x+\theta_{2}x\ge0$θ0​+θ1​x+θ2​x≥0时，$y=1$y=1,
$\ \theta_{0}+\theta_{1}x+\theta_{2}x &lt; 0$ θ0​+θ1​x+θ2​x<0时，$y=0$y=0。

令$\theta_{0}=-3，\theta_{1}=1，\theta_{2}=1$θ0​=−3，θ1​=1，θ2​=1
则最终得到的是：
$-3+x_{1}+x_{2}\ge0$−3+x1​+x2​≥0时，$y=1$y=1,
$-3+x_{1}+x_{2}&lt;0$−3+x1​+x2​<0时，$y=0$y=0。
其中$-3+x_{1}+x_{2}=0$−3+x1​+x2​=0就称之线性决策边界。

注意：决策函数是假设函数的性质，而与数据无关，训练集不是用来定义参数$\theta$θ的，而是用来拟合参数$\theta$θ的，一旦参数确定了，决策边界就确定了。

（2）非线性决策边界
当特征中含有高阶多项式特征时，例如$x=[x_{1}，x_{2}，x_{1}^{2}，x_{2}^{2}]$x=[x1​，x2​，x12​，x22​]，在给定参数$\theta$θ的情况下，所形成的决策边界就是非线性的，如下图所示：