代价函数的意义

我们来复习上一节的知识：
假设函数：$h_\theta(x)=\theta_0+\theta_1x$hθ​(x)=θ0​+θ1​x
参数：$\theta_0,\theta_1$θ0​,θ1​
代价函数：$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{i=m}(h(x^i)-y^i)^2$J(θ0​,θ1​)=2m1​∑i=1i=m​(h(xi)−yi)2
目标：求得当$J(\theta_0,\theta_1)$J(θ0​,θ1​)最小时的$\theta_0,\theta_1$θ0​,θ1​值

做一个简化，令：
$h_\theta(x)=\theta_1x$hθ​(x)=θ1​x

我们可以画出假设函数和代价函数的值。可知，当$\theta_1=1$θ1​=1时，有
$h_\theta(x)=x$hθ​(x)=x
$J(\theta_1=1)=\frac{1}{2*3}*[(1-1)^2+(2-2)^2+(3-3)^2]=0$J(θ1​=1)=2∗31​∗[(1−1)2+(2−2)2+(3−3)2]=0

当$\theta_1=0.5$θ1​=0.5时，有
$h_\theta(x)=0.5x$hθ​(x)=0.5x
$J(\theta_1=0.5)=\frac{1}{2*3}*[(0.5-1)^2+(1-2)^2+(1.5-3)^2]=0.58$J(θ1​=0.5)=2∗31​∗[(0.5−1)2+(1−2)2+(1.5−3)2]=0.58

当$\theta_1=0$θ1​=0时，有
$h_\theta(x)=0$hθ​(x)=0
$J(\theta_1=0)=\frac{1}{2*3}*[(0-1)^2+(0-2)^2+(0-3)^2]=2.3$J(θ1​=0)=2∗31​∗[(0−1)2+(0−2)2+(0−3)2]=2.3

据此我们可以作出$h_\theta(x)$hθ​(x)和$J(\theta_1)$J(θ1​)的图

下次我们将继续讨论加上$\theta_0$θ0​的情形