极大似然估计与损失函数是如何分别求参数的
极大似然估计与损失函数是如何分别求参数的
极大似然估计
参数估计，即估计模型的参数：给定模型p(x|Ɵ)和数据D，选择与数据最匹配的参数Ɵ。
极大似然估计用大白话来说是找出一个合适的参数使得似然函数最大
似然函数是什么：
似然（likelihood，可能性的意思），描述的是事件发生可能性的大小。
似然函数的定义：
设数据D=X1,…,XN为独立同分布（IID），其概率密度函数（pdf）为p(x|Ɵ)，则似然函数定义为：
即为在给定数据D的情况下，参数为Ɵ的函数。
求极大似然估计的一般步骤
（1）选择模型
（2）得到密度函数p(x)
（3）求似然函数L = Ʃ log.p(x)
（4）对似然函数求极值（求导），得到参数估计
还想了解更多极大似然估计的方法可以去看我的另外一篇文章
https://blog.****.net/LuYi_WeiLin/article/details/88395923
损失函数
看模型输出值与真实值差了多少，反过去调整权重及参数
以神经网络为例子：
构建神经网络，估计模型参数要借助损失函数，看输出值与真实值差了多少，反过去调整权重及参数（反向传播法【传播的是误差】基于链式法则），使用的是梯度下降法调整参数
损失函数是关于w1、w2、w3...b1、b2的函数，参数调整通过梯度下降法来调整，里面涉及损失函数，求导过程知识用到链式法则，就是上图的这个步骤