似然函数

先贴上链接,真香,https://zhuanlan.zhihu.com/p/33568166
似然函数
p(w|D)值得是在给定训练集D的情况下,w的这组参数出现的概率,p(D|w)指的是假设我们已经得到w(训练好模型了),在这个模型下出现训练集的概率。
我们训练模型的目标是找到一个模型和其参数w,使得等式左边尽可能大,但这个p(w|D)不好求,
贝叶斯公式下,p(D|w)就是似然函数,p(w)是指w的先验分布。
先考虑分类问题:
以逻辑回归二分类作为例子,
似然函数
在已经得到w的情况下,每个样本独立的话,乘法法则可得,p(D|w)=p( (x1,y1) |w)p((x2,y2)|w)p((x3,y3)|w)…p( (xn,yn) |w)
然后就得到了上面的式子,然后最大似然估计,就是最大化似然函数。
再考虑回归问题:
回归问题的概率就没法表示了,因为回归预测的是数值,分类的话因为二分类预测的本来就是概率,通过概率大小来分类,所以很方便。
那怎么办,预测值y1,真实值y2,误差t,N(t1),套个高斯分布不就把距离转化为概率了。
开头的链接也推导了,回归问题下最小化平方误差就是在假定误差是高斯分布的前提下,最大化似然函数。分类也说了,但没有假设,因为我们预测分类本来就是用的概率,不需要去假定概率分布。