向量的基本运算

向量是什么

向量就是给定一个点A，连接原点到点A，并具有由O到A方向的连线，表示为 $\vec{O A}$ . 书本的定义：向量就是具有大小和方向东西。

大小(magnitude)

向量的大小(magnitude)写作 $‖ x ‖$ ,称为模(norm).
通过（Pythagoras’ theorem）毕达哥拉斯定理求模如下图，
${O A}^{2} = {O B}^{2} + {A B}^{2}$
${O A}^{2} = 3^{2} + 4^{2}$
$‖ x ‖ = 5$

方向（direction）

定义向量 $u (u_{1}, u_{2})$ 的方向为向量 $w (\frac{u_{1}}{‖ u ‖}, \frac{u_{2}}{‖ u ‖})$ 。如下图：

可以看到：

c o s (θ) = \frac{u_{1}}{‖ u ‖}

c o s (α) = \frac{u_{2}}{‖ u ‖}

所以向量

u (3, 4)

方向向量是

w (0.6, 0.8)

。方向向量的模为1.如下图

两个向量的加法

任意给给两个向量 $u (u_{1}, u_{2})$ ， $v (v_{1}, v_{2})$ 两个向量相加： $u + v = (u_{1} + v_{1}, u_{2} + v_{2})$

两个向量的减法

任意给给两个向量 $u (u_{1}, u_{2})$ ， $v (v_{1}, v_{2})$ 两个向量相减： $u - v = (u_{1} - v_{1}, u_{2} - v_{2})$ 。方向指向被减数的方向。

向量的点积（dot product）

$x \cdot y = ‖ x ‖ ‖ y ‖ c o s (θ)$ , $θ$ 为两个向量的夹角。
推导过程如下：

根据前面的分析我们知道，

c o s (β) = \frac{a d j a c e n t}{h y p o t e n u s e} = \frac{x_{1}}{‖ x ‖}

s i n (β) = \frac{o p p o s i t e}{h y p o t e n u s e} = \frac{x_{2}}{‖ x ‖}

c o s (α) = \frac{a d j a c e n t}{h y p o t e n u s e} = \frac{y_{1}}{‖ y ‖}

s i n (α) = \frac{o p p o s i t e}{h y p o t e n u s e} = \frac{y_{2}}{‖ y ‖}

从图片中得到

θ = β - α

, 那么

c o s (θ) = c o s (β - α)

c o s (β - α) = c o s (β) c o s (α) + s i n (β) s i n (α)

于是，

c o s (θ) = c o s (β - α) = c o s (β) c o s (α) + s i n (β) s i n (α)

c o s (θ) = \frac{x_{1}}{‖ x ‖} \frac{y_{1}}{‖ y ‖} + \frac{x_{2}}{‖ x ‖} \frac{y_{2}}{‖ y ‖}

c o s (θ) = \frac{x_{1} y_{1} + x_{2} y_{2}}{‖ x ‖ ‖ y ‖}

‖ x ‖ ‖ y ‖ c o s (θ) = x_{1} y_{1} + x_{2} y_{2}

点积的算术定义就出来，

x \cdot y = x_{1} y_{1} + x_{2} y_{2} = \sum_{i = 1}^{2} (x_{i} y_{i})

从上面的集合定义也能知道，两个向量的点积是一个数。

向量的正交投影

如图给定两个向量x，y，那么向量x在y上的投影为z。

通过上面的学习我们知道，

c o s (θ) = \frac{‖ z ‖}{‖ x ‖}

‖ z ‖ = ‖ x ‖ c o s (θ)

点积

c o s (θ) = \frac{x \cdot y}{‖ x ‖ ‖ y ‖}

于是可以推导得

‖ z ‖ = \frac{x \cdot y}{‖ y ‖}

另外我们知道方向向量的，如果u表示向量y的方向向量，

u = \frac{y}{‖ y ‖}

, 那么向量x在向量y上面的投影可以由下式计算：

‖ z ‖ = u \cdot x

我们还注意到，向量x在向量y上的投影得到的向量z，它的方向向量和向量y的方向向量是一致的，所以向量z可表示为 $z = ‖ z ‖ u$ 。

知道了向量x在向量y上面的投影z后，我们就能够计算向量x-z的距离:

‖ x - z ‖ = \sqrt{(3 - 4)^{2} + (5 - 1)^{2}} = \sqrt{17}

详见原文地址：https://www.svm-tutorial.com/2014/11/svm-understanding-math-part-2/