笔记：宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第四节

3.4 线性独立，子空间

表示向量空间的主要方法是使用一组基（base）的线性组合表示对应向量空间中的所有向量，即对于一个向量空间 $E$E ，其中的每一个向量 $v \in E$v∈E 都可以写为以下形式：
$v = \lambda_1e_1+...+\lambda_ne_n$v=λ1​e1​+...+λn​en​
其中 $\{e_1,..e_n\}${e1​,..en​} 为一组基，其中的系数 $(\lambda_1,…,\lambda_n)$(λ1​,…,λn​) 两两之间相互独立。

向量空间中所有的基都具有相同数量的元素（基数），我们将其称为空间的维度。

不过当向量为无穷维度的时候，对应的基（base）该如何定义呢，是使用有限的基定义还是无限的定义呢？如果我们在无穷的非零系数下定义线性组合，那么我们需要定义一些拓扑关系，例如通过范数（norm）、度量标准（metric）或者其他的机制。这种定义是可实现的，巴拿赫空间（Banach spaces）和希尔伯特空间（Hilbert spaces）的意义，但这需要大量的工作去证明。

另外一种避免极限的解决方案是，我们可以有无穷的向量，但是我们仅仅形成有限多的非零系数的线性组合。简单来说，可以通过引入有限支持的集合（families of finite support）来实现。其可以形成按某个固定的无限索引的标量簇，并且把这些标量簇当作是有限的。

Note：除非有其他的定义，我们不能假设索引集中的数据为有序的，在本章节中，除非有另外的说明，我们假设多有的标量簇都有有限支撑（finite support）。

定义 假设向量空间 $E$E , 向量 $v \in E$v∈E 是 $(u_i)_{i \in I}$(ui​)i∈I​ 下的线性组合当且仅当在 $K$K 中存在一个标量集 $(\lambda_i)_{i \in I}$(λi​)i∈I​ ，其可以表示为
$v = \sum_{i \in I} \lambda_iu_i$v=i∈I∑​λi​ui​
当 $I = \emptyset$I=∅ 时，我们规定 $v=0$v=0 。我们定义 $(u_i)_{i \in I}$(ui​)i∈I​ 线性独立linearly independent 当且仅当对于每一个标量集 $(\lambda_i)_{i \in I}$(λi​)i∈I​ ，可以从
$\sum_{i \in I} \lambda_iu_i=0 \quad 得到结论对于所有的 i\in I,\quad \lambda_i=0$i∈I∑​λi​ui​=0得到结论对于所有的i∈I,λi​=0
同样的，我们定义 $(u_i)_{i \in I}$(ui​)i∈I​ 非线性独立linearly dependent 当且仅当对于某些标量集 $(\lambda_i)_{i \in I}$(λi​)i∈I​ ，可以从
$\sum_{i \in I} \lambda_iu_i=0 \quad 对于某些 i\in I,\quad \lambda_i \ne 0$i∈I∑​λi​ui​=0对于某些i∈I,λi​​=0
特殊地，当$I = \emptyset$I=∅ 时，我们规定 $\empty$∅ 是线性独立的。

Note：定义向量簇（families of vector）而不是向量集（sets of vector）的线性相关的原因之一是我们的定义允许向量的多次出现。这是因为一个矩阵可能包含相同的列，我们可以说这些列是线性相关的。集合线性相关的定义不允许我们这样做。

当 $I$I 是非空时，如果 $(u_i)_{i \in I}$(ui​)i∈I​ 线性独立同时对于所有的 $i \in I$i∈I，都存在 $u_i \ne 0$ui​​=0 。否则，当存在某些 $i \in I$i∈I 使得 $u_i=0$ui​=0 ，我们可以通过任意的非零 $\lambda_i$λi​ 以及 $\lambda_k=0（i\ne k）$λk​=0（i​=k） 来得到一个非平凡线性依赖 $\Sigma_{i \in I} \lambda_iu_i=0$Σi∈I​λi​ui​=0 。当 $|I| \ge 2$∣I∣≥2 ，必须对于所有的 $i,j(i \ne j)$i,j(i​=j) 有 $u_i \ne u_j$ui​​=uj​ 条件，因为否则就可以通过选择 $\lambda_i = \lambda $ 以及 $\lambda_j = -\lambda（\lambda \ne0）$λj​=−λ（λ​=0） 还有让对于 所有的 $k \in I (k \ne i,j)\quad\lambda_k = 0$k∈I(k​=i,j)λk​=0，来得到一个非平凡线性依赖。

因此，线性无关的定义意味着一个非平凡的线性无关簇实际上是一个集合。这解释了为什么某些作者选择定义向量集合的线性无关。这种方法的问题在于线性相关（即线性无关的逻辑否定）只能定义为向量的集合。然而，正如我们之前指出的，定义线性依赖关系对于允许同一向量多次出现的集合来说是可行的。

下面是几个有关线性独立的实例：

• 任何两个在向量空间 $K$K 中不同的标量 $\lambda,\mu \ne 0$λ,μ​=0 是线性相关的

• 在空间 $\R^3$R3 中，向量 $(1,0,0),(0,1,0),(0,0,1)$(1,0,0),(0,1,0),(0,0,1) 是线性独立的 ，见下图
  

• 在空间 $\R^4$R4 中，向量 $(1,1,1,1),(0,1,1,1),(0,0,1,1),(0,0,0,1)$(1,1,1,1),(0,1,1,1),(0,0,1,1),(0,0,0,1) 是线性独立的

• 在空间 $\R^2$R2 中，向量 $u=(1,1),v=(0,1),w=(2,3)$u=(1,1),v=(0,1),w=(2,3) 是线性相关的，因为
  $w=2u+v$w=2u+v
  

Note：当 $I$I 有限时，我们规定集合 $I = \{1,2,…,n\}$I={1,2,…,n} ，同时我们也将 $(u_i)_{i \in I}$(ui​)i∈I​ 记作 $(u_1,…,u_n)$(u1​,…,un​)

下面我们给出向量空间的子空间 subspace的定义：

给定一个向量空间 $E$E 时，它的子集 $F$F 是一个线性子空间（或是子空间）当且仅当 $F$F 是非空的且对于所有的 $u,v \in F \quad \lambda ,\mu \in K$u,v∈Fλ,μ∈K 存在$\quad \lambda u+\mu v \in F$λu+μv∈F 。

我们可以从子空间的定义中可以得到以下的结论：

• 向量空间 $E$E 的子空间 $F$F 也是一个向量空间，即对于向量空间的限制 $F \times F \rarr F$F×F→F 以及 $K \times F \rarr F$K×F→F 均满足。
• 每一个子空间都包含零向量，因为对于任何向量 $u \in F$u∈F 且我们令 $\lambda = \mu =0$λ=μ=0 ，那么 $\lambda u+\mu u =0u+0u=0$λu+μu=0u+0u=0 。我们通常将子空间$\{0\}${0} 写为（0）或者0。
• 一个向量空间的任意簇(甚至无限簇)的子空间的交集还是子空间。
• 对于任何的非空有限索引集 $I$I ，如果 $(u_i)_{i \in I}$(ui​)i∈I​ 中所有的 $u_i \in F$ui​∈F 并且 $(\lambda_i)_{i \in I}$(λi​)i∈I​ 都为标量，那么 $\Sigma_{i \in I} \lambda_iu_i \in F$Σi∈I​λi​ui​∈F 。

下面是一些实例：

1. 在 $\R^2$R2 空间中，一组向量的集合 $u=(x,y)$u=(x,y) 例如

$x+y=0$x+y=0

​ 是 $\R^2$R2 的子空间。

2. 在 $\R^3$R3 空间中，一组向量的集合 $u=(x,y,z)$u=(x,y,z) 例如

$x+y+z=0$x+y+z=0

​ 是 $\R^3$R3 的子空间。

3. 对于任何的 $n \ge 0$n≥0 ，对于最高次数为 $n$n 的多项式集合 $f(X) \in \R[X]$f(X)∈R[X] 是 $\R[X]$R[X] 的子空间。

4. 上三角矩阵的集合是大小为 $n \times n$n×n 矩阵空间的一个子空间。

5. 对于任意给定的向量空间 $E$E ，如果 $S$S 是 $E$E 的任意非空子集，则 $E$E 的最小的子集 $<S>$<S> (Span($S$S)) ，可以确定为 $S$S 中元素的所有（有限）线性组合构成的集合。

当然，线性组合时的系数也需要有额外的约束，下面是三个很重要的限制 (通常，我们假设我们的索引集是有限的):

1. 仿射组合（affine combination）：对于线性组合 $\Sigma_{i \in I} \lambda_iu_i$Σi∈I​λi​ui​ ，需存在
   $\sum_{i \in I} \lambda_i = 1$i∈I∑​λi​=1

即我们可以将每一个线性组合都堪称一个仿射组合。

2. 正(圆锥)集合（positive（conic） combinations）：对于线性组合 $\Sigma_{i \in I} \lambda_iu_i$Σi∈I​λi​ui​ ，需存在

$\lambda_i \ge 0 \quad 对于所有的 i\in I$λi​≥0对于所有的i∈I

即在凸优化（convex optimization）中所有向量簇的正组合是锥（cones）。

3. 凸组合（convex combinations）：对于线性组合 $\Sigma_{i \in I} \lambda_iu_i$Σi∈I​λi​ui​ ，如果存在上面两个条件，即

$\sum_{i \in I} \lambda_i = 1 \quad\quad\lambda_i \ge 0 \quad 对于所有的 i\in I$i∈I∑​λi​=1λi​≥0对于所有的i∈I

那么对于任意有限的向量簇，这些向量的所有凸组合的集合是一个凸多面体。凸多面体在凸优化中起着非常重要的作用。

Note：在无限索引集中，我们也可以如上的定义线性组合的相关概念。

定义 对于任何的向量空间 $K$K ，如果对于所有的 $i \in I-J$i∈I−J ，即某些 $I$I 中的有限子集 $J$J ，一个标量的集合 $(\lambda_i)_{i \in I}$(λi​)i∈I​ 是有限支撑的（finite support）

所以一般情况下，有限集合中的结论都可以应用于有限支撑（finite support）中（拥有索引集的集合中）。

预告

3.5 向量空间的基（bases）