考虑到整理的方便，后面每一个章节都放在一个文件中，然后想到哪写到哪

线性模型和最小二乘法

Input vector: XT=(X1,X2,…,Xp)$X^T=(X_1,X_2,\dots ,X_p)$

Predict Output: Y$Y$

By the linear regression model:

Assumes regression function E(Y|X)$E(Y|X)$ is linear or reasonable approximation.

Xj$X_j$ can come from difference sources.

Least squares estimation, the residual sum of squares:

把RSS写成矩阵形式就是

很容易计算其最小值点：β^=(XTX)−1XTy$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$
下图可以看出，计算最小二乘的几何意义就是相当于在黄色低维超平面上找一个向量y^$\hat{y}$来近似原来的向量y$y$，很显然在y−y^$y-\hat{y}$与黄色低维超平面垂直的时候y^$\hat{y}$与y$y$最近。

因此，我们又可以得出预测值与真实之的关系：

The matrix H$H$ sometimes called the “hat” matrix OR projection matrix, because it puts the hat on y$y$.
如果这里y$y$是独立的，并且方差(或者协方差)为常值σ2${\sigma }^2$，我们很容易就能计算出β^$\hat{\beta }$的方差。

为了表示方便，这里仅仅用 ² 表示乘以自身转置。

可以由下面的式子来估计σ2${\sigma }^2$:

这里分母去N−p−1$N-p-1$而不是N$N$可以参考下面以为形式的证明：


这里如果σ^2${\hat{\sigma }}^2$是σ2${\sigma }^2$的一个无偏估计就有E(σ^2)=σ2$E({\hat{\sigma }}^2)={\sigma }^2$，证明参考这里的方差偏差分解公式的推导。

如果我们假设f(X)=β0+∑pj=1Xjβj$f(X)={\beta }_0+\sum _{j=1}^p{X}_j{\beta }_j$是对Y$Y$的均值的正确估计，再假设Y$Y$的离散在其期望周围是可加和高斯的。也就是说：

其中ε∼N(0,σ2)$\epsilon \sim N(0,{\sigma }^2)$
结合上面的结论，我们就可以得到