机器学习数学基础 - 线性代数

向量空间

定义

集和   - 具备某种特定性质的事物的总体,可有限,可无限, 可以理解为某种相似数据的集成 (  如, 整数集, 实数集 )

空间   - 满足一定条件的集和 

向量   - 具备大小和方向的量

向量空间   - 满足了加乘运算的集和

机器学习数学基础 - 线性代数

例子

较为常见的是 n 维空间 机器学习数学基础 - 线性代数, n 表示空间的维度, 当 n = 3 的时候, 可以理解为一个被取定了坐标系的三维空间

空间内的每一个组都可以被一组实数列表来进行表示, 列表中的每个点为该坐标轴上的投影

机器学习数学基础 - 线性代数

向量的定义与运算

定义

向量   - 向量空间的元素为向量

机器学习数学基础 - 线性代数

运算 

加法

代数角度  -  同位置相加, 

几何角度  -  按照某一个向量平移后首位相连,  计算新向量

 

机器学习数学基础 - 线性代数机器学习数学基础 - 线性代数

乘法

代数角度  -  变量于实数相乘, 变量中的所有数字于实数相乘即可

几何角度  -  变量在空间中的伸缩

机器学习数学基础 - 线性代数机器学习数学基础 - 线性代数

向量组的线性组合

定义

向量组   若干个 同维度 的列向量( 或 行向量 ) 所组成的 集和

线性组合   -  ↓

 机器学习数学基础 - 线性代数

意义

帮助理解 基 的概念

向量空间中的任何一个变量. 都可以看做是对基向量的缩放和相加操作

都可以写成两个向量的线性组合, 如图的 机器学习数学基础 - 线性代数

机器学习数学基础 - 线性代数

帮助理解 span(张成空间) 的概念

机器学习数学基础 - 线性代数

不断的调整 机器学习数学基础 - 线性代数 和 机器学习数学基础 - 线性代数 可以得到无数的新向量, 而这些新向量的组成的集和, 就叫做张成空间

 机器学习数学基础 - 线性代数

向量组的线性相关性

定义

机器学习数学基础 - 线性代数

 机器学习数学基础 - 线性代数

内积和范数

定义

内积

从代数的角度来说 , 内积是两个向量之间的一种运算, 结果为一个实数

机器学习数学基础 - 线性代数

范数

范数定义了向量空间里面的距离, 最终结果依旧是个实数, 它的出现使得向量之间的比较成为了可能

一维空间中, 4, 5 两个实数的比较很容易, 但是多维度空间中的 [2,2] 和 [2,1] 如何比较? 

转化为范数后即可, 范数本质上是个 函数,

常用的范数有

  L1 曼哈顿距离 , 函数运算为 绝对值计算

  L2 欧几里得范式, 函数的运算为 平方再开方 

机器学习数学基础 - 线性代数

 机器学习数学基础 - 线性代数

内积的几何解释

在了解了范数的原理之后, 就可以在几何角度上解释内积

内积定义了向量空间里的角度

u 和 v 的内积结果就是他们的 长度 * 角度

机器学习数学基础 - 线性代数

矩阵和线性变换

矩阵定义

机器学习数学基础 - 线性代数

特殊矩阵

机器学习数学基础 - 线性代数

线性变换定义

线性空间中的运动, 被称为线性变换

线性空间中的一个向量变成两一个向量, 都可以通过一个线性变换完成

向量的的线性变换必须保证原点不变 ( 基于原点旋转 ),  以及形状不变 ( 箭头不能弯曲等 )

机器学习数学基础 - 线性代数

线性变换也可以对空间中的所有变量进行,比如把二维空间中的所有向量想象成充满空间的点

机器学习数学基础 - 线性代数

 那么空间里面的线性变换, 其实相当于对空间这个平面的啦拉扯

机器学习数学基础 - 线性代数

 如图原始空间如下

机器学习数学基础 - 线性代数

 下面4个中只有 第四个满足空间的线性变换, 1 发送了扭曲, 2 移动了原点, 3发生了扭曲

机器学习数学基础 - 线性代数

线性变换数值描述 - 矩阵

机器学习数学基础 - 线性代数

在一个线性空间中, 选定一组基向量, 将变换后的基向量的数值列表放在一个矩阵里

这个矩阵就代表了这个线性变换

机器学习数学基础 - 线性代数

原始的空间向量 

机器学习数学基础 - 线性代数

拉伸后

 机器学习数学基础 - 线性代数

 计算结果

机器学习数学基础 - 线性代数

对向量施加变换的过程, 也可以用 Ax=y 来表示

机器学习数学基础 - 线性代数

矩阵运算

加法

两个行数、列数分别相等的矩阵(同型矩阵),加法运算才有意义。

机器学习数学基础 - 线性代数

交换律:机器学习数学基础 - 线性代数

结合律:机器学习数学基础 - 线性代数

乘法

于数的乘法

  数与矩阵中的每一个元素分别相乘所得的矩阵

机器学习数学基础 - 线性代数

 与矩阵的乘法

A为 机器学习数学基础 - 线性代数 的矩阵,B为 机器学习数学基础 - 线性代数 的矩阵,那么称 机器学习数学基础 - 线性代数 的矩阵C为矩阵AB的乘积

记作 机器学习数学基础 - 线性代数 ,其中矩阵C中的第 机器学习数学基础 - 线性代数 行第 机器学习数学基础 - 线性代数  列元素可以表示为 

 机器学习数学基础 - 线性代数

如下所示, 其实就是 A 的行向量 每个 乘上 B 的列向量 

A 有两个行向量, B 有两个列向量. 最后结果为一个 4x4 的新矩阵

机器学习数学基础 - 线性代数

 

 

 多个的也是一样的推导

 机器学习数学基础 - 线性代数     机器学习数学基础 - 线性代数

 机器学习数学基础 - 线性代数

注意事项

1、当矩阵A的列数(column)等于矩阵B的行数(row)时,A与B可以相乘。
2、矩阵C的行数等于矩阵A的行数,C的列数等于B的列数。
3、乘积C的第m行第n列的元素等于矩阵A的第m行的元素与矩阵B的第n列对应元素乘积之和。

几何意义的矩阵运算

矩阵和和向量的乘法, 本质上是向量在空间上进行线性变换

矩阵的相乘是空间上的两种线性变换的叠加

机器学习数学基础 - 线性代数

 

 

矩阵的转置

机器学习数学基础 - 线性代数

矩阵的行列式

定义

行列式是数学中的一个函数, 将一个 n * n 的矩阵 A 映射到一个纯量

记作 det(A) 或者 |A|

注意

矩阵的行列式只针对方阵 (行数和列数相等) 有效 

计算

对角线上的元素相乘后减法累积

机器学习数学基础 - 线性代数

 

 

几何意义

在二维空间中, 行列式表示矩阵对应的线性变化前后的面积比

在高维空间