线性模型(二)广义线性模型
在线性回归中,我们是假设目标Y是符合正态分布的。
那么如果Y不符合正态分布呢?
那我们假设Y符合一个更加通用的指数族分布。
借助指数族分布,对响应变量Y的描述将不再局限于正态分布,称观测
来自指数族分布,如果其概率密度函数可以表达为如下形式:
建立指数分布族:
- 伯努利分布(逻辑回归)
- 高斯分布(正态分布)
- 泊松分布
用广义线性模型进行建模:
第一步明确假设:
- y是指数分布族
- 由上面的例子中,我们可以看出T(Y)我们是尽可能化为y,所以到最到我们把T(y)|x的目标,转化为y|x的目标。
-
自然数
与x是线性关系,
- 伯努利分布(逻辑回归)
- 高斯分布(正态分布)
....
求解w,b(逻辑回归):
跟我们刚刚假设的
因为每一个样本是相互独立的,所以他的似然函数:
我们的目的是求解这个似然函数的最大值,我们可以根据同增同减,把损失函数建立为:
。
然后用梯度下降法,更新函数。