课程简介

本节课主要是使用【Pokemon精灵攻击力预测】的例子来讲述回归算法的应用

回归定义和应用例子

回归定义

Regression 就是找到一个函数 $function$ ，通过输入特征 $x$ ，输出一个数值 $Scalar$ 。

应用举例

股市预测（Stock market forecast）
- 输入：过去10年股票的变动、新闻咨询、公司并购咨询等
- 输出：预测股市明天的平均值
自动驾驶（Self-driving Car）
- 输入：无人车上的各个sensor的数据，例如路况、测出的车距等
- 输出：方向盘的角度
商品推荐（Recommendation）
- 输入：商品A的特性，商品B的特性
- 输出：购买商品B的可能性
Pokemon精灵攻击力预测（Combat Power of a pokemon）：
- 输入：进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）
- 输出：进化后的CP值

模型建立的3个基本步骤

step1：模型假设，选择模型框架（线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）

Pokemon精灵攻击力预测建模详细步骤

Step 1：模型假设 - 线性模型

一元线性模型（单个特征）

以一个特征 $x_{cp}$ 为例，线性模型假设 $y = b + w·x_{cp}$ ，所以 $w$ 和 $b$ 可以猜测很多模型：
$f_1: y = 10.0 + 9.0·x_{cp} \\ f_2: y = 9.8 + 9.2·x_{cp} \\ f_3: y = - 0.8 - 1.2·x_{cp} \\ ···$

虽然可以做出很多假设，但在这个例子中，显然 $f_3: y = - 0.8 - 1.2·x_{cp}$ 的假设是不合理的，不能进化后CP值是个负值吧~~

多元线性模型（多个特征）

在实际应用中，输入特征肯定不止 $x_{cp}$ 这一个。例如，进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）等，特征会有很多。

图1：

所以我们假设 线性模型 Linear model： $y = b + \sum w_ix_i$

$x_i$ ：就是各种特征(fetrure) $x_{cp},x_{hp},x_w,x_h,···$
$w_i$ ：各个特征的权重 $w_{cp},w_{hp},w_w,w_h,··$
$b$ ：偏移量

注意：接下来的内容需要看清楚是【单个特征】还是【多个特征】的示例

Step 2：模型评估 - 损失函数（Goodness of function）

【单个特征】: $x_{cp}$

收集和查看训练数据

这里定义 $x^1$ 是进化前的CP值， $\hat{y}^1$ 进化后的CP值， $\hat{}$ 所代表的是真实值

图2：

将10组原始数据在二维图中展示，图中的每一个点 $(x_{cp}^n,\hat{y}^n)$ 对应着 进化前的CP值 和 进化后的CP值。

图3：

如何判断众多模型的好坏

有了这些真实的数据，那我们怎么衡量模型的好坏呢？从数学的角度来讲，我们使用距离。求【进化后的CP值】与【模型预测的CP值】差，来判定模型的好坏。也就是使用 损失函数（Loss function） 来衡量模型的好坏，统计10组原始数据 $\left ( \hat{y}^n - f(x_{cp}^n) \right )^2$ 的和，和越小模型越好。如下图所示：

图4：

如果觉得看着这个图会晕，忽略图4，直接看公式推导的过程：

$\begin{aligned} L(f) & = \sum_{n=1}^{10}\left ( \hat{y}^n - f(x_{cp}^n) \right )^2，将【f(x) = y】, 【y= b + w·x_{cp}】代入 \\ & = \sum_{n=1}^{10}\left ( \hat{y}^n - (b + w·x_{cp}) \right )^2\\ \end{aligned}$