吴恩达机器学习笔记(一)

  1. 代价函数(损失函数loss)
假设函数 代价函数
预测函数 关于某一参数为变量函数
对样本进行预测 在该参数取某一值时预测函数对样本的损失程度

比如:吴恩达机器学习笔记(一)图片来源:吴恩达机器学习视频-代价函数(一)
方差损失函数计算公式:J=1/2m∑(真值-预测值)^2.
左图为预测函数(假设函数),右图为损失函数,图中为到一次函数截距θ1为0.5时的预测函数和损失函数,正如图片中计算得到损失值为0.58.

优化的目标:选择合适的θ1,使得J(θ)最小

  1. 梯度下降
    作用:寻找损失函数的最小值
    做法:初始化两个参数,通常为0
    改变两个参数来寻找损失函数最小值

吴恩达机器学习笔记(一)