广义线性模型

前面我们学习了线性回归和分类问题，他们其实都属于广义线性模型中的小类，今天我们将要介绍广义线性模型中的其他小类并且分享他们在其他回归和分类问题中的应用。

指数族

为了说明广义线性模型，我们先需要知道指数族的概念，因为广义线性模型是指数族的延伸，首先我们给出指数族的一般形式：

这里的????被称为分布的特性参数（也被称为标准参数或范参数），其中的T(y)被称为充分统计量，这里的a(????)被称为对数配分函数，e^-a(????)扮演了归一化常数的作用，从而使分布可以在y和1之间sums/integrates。

T，a和b的固定选择定义了由η参数化的分布族(或集合)；随着η的变化，我们在该族内得到的分布也不同。

现在我们证明伯努利分布和高斯分布是指数族分布的例子。平均值为φ的伯努利分布记为Bernoulli（φ），它指定了y∈{0，1}上的分布，因此p（y = 1;φ）=φ； p（y ＝ 0；φ）＝1-φ。随着φ的变化，我们用不同的均值获得伯努利分布。现在我们证明，通过改变φ获得的这类伯努利分布属于指数族。即，可以选择T，a和b，以使等式:

​ p(y; η) = b(y) exp(ηT T (y) − a(η))

恰好成为伯努利分布的类别。

这个过程实际上是将已知分布的方程变形成上面的标准格式，在通过特定位置上的式子确定T，a和b：

从中我们知道:

​ η = log(φ/(1 − φ))

​ T(y) =y

​ b(y)=1

​ a(η) =y −log(1−φ)

但是a(η)是关于η的函数，所以我们需要将a(η) =y −log(1−φ)中的φ替换成关于η的表达式，通过对η = log(φ/(1 − φ))去逆我们知道φ = 1/(1 + e−η )，故a(η)的最终式可以写为：

​ a(η) =log(1+e^η)

这说明我们在改写伯努利分布格式时确定了函数T，a和b从而确定了参数η 。

接下来我们来分析高斯分布，我们在学习线性回归时，高斯分布的方差σ²对我们的最终结果没有影响，所以我们可以选择任意的方差来证明，我们假设方差σ²= 1,我们就会有：

所以，我们最终会得到：

还有很多其他的分布属于指数族例如多项式分布，柏松分布，伽马分布，指数分布，beta分布和狄利克雷分布等。

​

构建广义线性模型：

在构建广义线性模型前，我们先定义三个假设：

​ y | x; θ～ExponentialFamily(????),这是说在给定的x和参数θ下，y所服从的分布应该是指数族的成员。

​ h(x) = E[y|x]

​ η = θ^T x

在满足了上述三个假设后我们开始构建模型。