论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

 

一、本文创新点

二、符号和定义

1、TR-decomposition

2、常见的张量分解算法(Completion by TR decomposition)

3、基于秩最小的张量填充算法(rank minimization-based tensor completion)

三、新模型横空出世

四、优化算法ADMM


一、本文创新点

之前的张量补全算法大致分为两类:一是基于低秩结构(添加各种范数进行约束),一种是基于张量分解的方法。而这篇文章完美结合了这两种算法,在张量分解的因子上添加核范数,这一招果然妙呀,作者想到了分解后的因子应该也具有低秩结构,这使得SVD操作在更小的范围中进行,将大大减少计算量。这项工作完成地非常不错。

1、建立了多线性张量秩与TR因子秩之间的理论关系,使得低秩约束可以隐式地在TR潜空间上进行。

2、进一步利用核范数对矩阵进行正则化,使我们的算法总能得到一个稳定的解

3、提出了一种基于ADMM的优化算法

二、符号和定义

1、TR-decomposition

                                 论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

2、常见的张量分解算法(Completion by TR decomposition)

weighted CP (Acar et al. 2011)、weighted Tucker (Filipovic and Juki´c 2015)
TRWOPT (Yuan et al. 2018)、TRALS (Wang, Aggarwal, and Aeron 2017)

 

其中TRWORT和TRALS使用相同的优化模型;

                                      论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

这两种方法都使用梯度下降的方法进行优化,速度较快,但缺点就是必须对秩进行估计,这限制了算法的高效性。

3、基于秩最小的张量填充算法(rank minimization-based tensor completion)

                                     论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

其中,基于核范数的张量填充算法最为成功:

                            论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

这种算法能够快速收敛,性能较好;缺点就是要进行多个SVD操作,计算成本高。

三、新模型横空出世

                               论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

这模型是提出了,但必须能够推导出张量秩与张量因子秩的关系,要不然不会有理论的保证

刚好理论一从严格的证明上给予了保证

理论一:

                    论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

故可以更新模型为:

                                  论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

同时考虑将低秩约束在张量环因子的模1和模3上,即进一步更新模型为:

                           论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

四、优化算法ADMM

利用ADMM思想,添加辅助变量,把方程(11)转换为如下:

                       论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

利用拉格朗日乘子法,将方程(12)转换为如下:

                        论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

 

下面分别更新论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

1、论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

             论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

            论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

2、论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

                论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

                   论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

3、论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

                         论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space

 

4具体算法框架

论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space