斯坦福机器学习笔记-多项式回归

多项式回归

在线性回归中,我们通过如下函数来预测对应房屋面积的房价:

hθ(x)=θ0+θ1sizeh_θ(x)=θ_0+θ_1∗size

通过程序我们也知道,该函数得到的是直线拟合,精度欠佳。现在,我们可以考虑对房价特征 sizesize 进行平方,以及获得更加精准的 sizesize 变化:

hθ(x)=θ0+θ1size+θ2size2hθ(x)=θ_0+θ_1∗size+θ_2∗size^2

这就是多项式回归。

如下图所示,多项式回归得到了更好的拟合曲线。但我们也发现,在房屋面积足够大时,曲线反而出现了下沿,这意味着房价反而随着在房屋面积足够大时,与面积成反比,这明显不符合可观规律(虽然我们很渴望这样的情况出现):
斯坦福机器学习笔记-多项式回归
进一步地,我们考虑加上三次方项目或者替换二次方项为开方,得到如下两种预测:

(1)hθ(x)=θ0+θ1size+θ2size2+θ3size3(1)\quad h_θ(x)=θ_0+θ_1∗size+θ_2∗size^2+θ_3∗size^3
(2)hθ(x)=θ0+θ1size+θ2size(2)\quad h_θ(x)=θ_0+θ_1∗size+θ_2∗\sqrt {size}

在该例中,因为三次方项会带来很大的值,所以优先考虑采用了开方的预测函数。