吴恩达《Machine Learning》-cost function损失函数(二)
问题:如何选择参数θi?
m代表样本数量
θ表示 参数 机器学习主要就是学习函数中的参数
比如一次函数 不同的参数 会产生不同的函数
目的:
找到一组θ0,θ1参数使 图中函数的线 尽可能多的拟合到更多的数据点。故也就是使图中线上的函数值hθ(x) 与 数据点的值 y 之间的距离最小。
为了防止hθ(x) - y 产生的正负值相加问题。采用平方差,都转换为正数。之后将m个样本的差值求和,除以2m个样本数 计算均值。(除以m算均值也差不多)
损失函数为平方误差函数( “Squared error function”, or “Mean squared error”):
还有其他类型的损失函数,平方误差函数为其中之一。平方误差函数更适合于回归问题中。
其中 hθ(x)为我们预测的函数
问题:为何要1/2m 计算均值的一半 不是1/m直接算均值
因为乘1/2对于之后计算梯度下降更方便。
1/2将会抵消平方函数求导后的平方项。
举例:x^求导 =2x
故前面乘1/2后,变为=1/2x^=1/22x=x (完美抵消了平方项)
举例:
J(θ1)当 θ1=0 时,J(1)=0
J(θ1)当 θ1=0.5 时,J(0.5)=0.58 (样本点和hθ(x)线的y轴方向距离的平方和)
目标:
线段尽可能匹配上数据集的所有点
转化为:找一个最小化J(θ1)最小时的θ1值,故θ1=1为最佳点
举例:
当拥有两个参数的情况(θ0,θ1)
损失函数J(θ0,θ1)作图如下
如何描述弓形曲面
用等高线图 描述弓形曲面。同一个圆圈(等高线)上的每个点的J(θ0,θ1)值相同