Paper notes（3）:Tensor-Train Decomposition

1.文章的主要内容
2.TTD模型
3.TTD的算法

1.文章的主要内容

给出了一种简单的非递归的张量分解形式，避免了“维度诅咒”的影响，该分解形式得到的参数数量与正则分解（canonical decomposition）的参数数量相同，但更稳定，因为该种分解是基于辅助展开矩阵的低秩近似。

2.TTD模型

给定一个 $d$ 维张量 $B$ ,如果想用张量 $A$ 近似张量 $B$ ，则 $A$ 的每一个元素可以表示为：
$\tag{1.2} A(i_1,i_2,...,i_d)=G_1(i_1)G_2(i_2)...G_d(i_d)$

其中 $G_k(i_k)$ 是一个 $r_{k-1}\times r_k$ 矩阵，因为 $A(i_1,i_2,...,i_d)$ 代表的是一个元素，所以 $r_0=r_d=1$ 。公式(1.2)可以改写为索引的形式：实际上 $G_k(i_k)$ 是一个大小为 $r_{k-1}\times n_k\times r_k$ 的三维数组，它的某个元素 $G_k(\alpha_{k-1},n_k,\alpha_k)=G_k(i_k)_{\alpha_{k-1}\alpha_k}$ 。因此TTD的索引形式可以表示为：
$\tag{1.3} A(i_1,i_2,...,i_d)=\sum_{\alpha_0...,\alpha_d} G_1(\alpha_0,i_1,\alpha_1)G_2(\alpha_1,i_2,\alpha_2)...G_d(\alpha_{d-1},i_d,\alpha_d)$

注：以上内容来自于原文的翻译，以下为个人的简单理解

Paper notes（3）:Tensor-Train Decomposition
上图是TTD的一个图解，虽然图解给出的 $r_{k-1},r_k,n_k$ 的方向与上文中的不同，但解释的道理是相同的。图中的 $p_k$ 即为上文中的 $n_k$ ，代表着被分解张量第 $k$ 维的大小。结合上图和公式(1.2)，我们可以看出 $G_k(i_k)$ 是三维张量 $G_k$ 的一个 $lateral \ slice$ ，即一个大小为 $r_{k-1}\times r_k$ 矩阵，总的来说矩阵 $A$ 的某个元素 $A(i_1,i_2,...,i_d)$ 就是其每一个下标对应的 $G_k$ 张量的第 $i_k$ 个 $slice$ 的乘积的和。

3.TTD的算法

Paper notes（3）:Tensor-Train Decomposition

参考文章：
1. Tensor-Train Decomposition
2. 张量分解（四）：Tensor-train Decomposition

Paper notes（3）:Tensor-Train Decomposition