53-决策边界

决策边界

  上一篇博客我们实现了自己的逻辑回归算法,将鸢尾花这个数据集进行了很好的分类识别。当然,我们只选取了其中的两个类和两个特征。

  对于 S i g m o i d Sigmoid Sigmoid 这个式子:

53-决策边界
  
  通过观察 S i g m o i d Sigmoid Sigmoid 函数可以得出一个结论, S i g m o i d Sigmoid Sigmoid 函数是以 t = 0 t = 0 t=0 为分界点的。我们把这样一个结论带进下面的式子中:

53-决策边界

  
  在逻辑回归的式子 p p p 中, t t t 的值就相当于是 θ T ⋅ x b θ^T·x_b θTxb 的值,所以我们很容易得出一个结论:

53-决策边界
  
  此时我们的样本 x x x 的分类是 1 还是 0 这个边界点就在 θ T ⋅ x b = 0 θ^T·x_b = 0 θTxb=0 这样的位置,这个位置就被称为决策边界

53-决策边界
  
  决策边界是两个向量相乘,同时它也代表一根直线。假设 X X X 有两个特征,我们的决策边界就可以写成这个式子:

53-决策边界

  这样的式子是一条直线的表达式,在我们的二维坐标系中,我们的横轴是 x 1 x_1 x1 这个特征,我们的纵轴是 x 2 x_2 x2 这个特征。不过通常我们绘制一根直线,我们更愿意将其写成 y = k x + b y = kx + b y=kx+b 这样的形式,这里的 y y y 就是 x 2 x_2 x2。我们将其简单转换一下得到下面的式子:

53-决策边界

  我们推导出这个式子,是为了能够在程序中将这根直线给画出来。


编程实现决策边界

  
下面我们实际编程观察决策边界。(接着上一篇的 Notebook 写)
  

53-决策边界
53-决策边界

53-决策边界
53-决策边界
53-决策边界
53-决策边界


  具体代码见 52 实现逻辑回归.ipynb