论文笔记:Tensor Ring Decomposition with Rank Minimization on Latent Space
2、常见的张量分解算法(Completion by TR decomposition)
3、基于秩最小的张量填充算法(rank minimization-based tensor completion)
一、本文创新点
之前的张量补全算法大致分为两类:一是基于低秩结构(添加各种范数进行约束),一种是基于张量分解的方法。而这篇文章完美结合了这两种算法,在张量分解的因子上添加核范数,这一招果然妙呀,作者想到了分解后的因子应该也具有低秩结构,这使得SVD操作在更小的范围中进行,将大大减少计算量。这项工作完成地非常不错。
1、建立了多线性张量秩与TR因子秩之间的理论关系,使得低秩约束可以隐式地在TR潜空间上进行。
2、进一步利用核范数对矩阵进行正则化,使我们的算法总能得到一个稳定的解
3、提出了一种基于ADMM的优化算法
二、符号和定义
1、TR-decomposition
2、常见的张量分解算法(Completion by TR decomposition)
其中TRWORT和TRALS使用相同的优化模型;
这两种方法都使用梯度下降的方法进行优化,速度较快,但缺点就是必须对秩进行估计,这限制了算法的高效性。
3、基于秩最小的张量填充算法(rank minimization-based tensor completion)
其中,基于核范数的张量填充算法最为成功:
这种算法能够快速收敛,性能较好;缺点就是要进行多个SVD操作,计算成本高。
三、新模型横空出世
这模型是提出了,但必须能够推导出张量秩与张量因子秩的关系,要不然不会有理论的保证
刚好理论一从严格的证明上给予了保证
理论一:
故可以更新模型为:
同时考虑将低秩约束在张量环因子的模1和模3上,即进一步更新模型为:
四、优化算法ADMM
利用ADMM思想,添加辅助变量,把方程(11)转换为如下:
利用拉格朗日乘子法,将方程(12)转换为如下:
下面分别更新,
,
,
1、
2、
3、
4具体算法框架