【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

前言

      从现在开始记录一下看的每篇论文,也算是给研究生三年一个交代,不然三年过去了啥也没干不太好。虽然以后可能不会从事这个行业,但是把当下的事做好,不管什么行业,自律是很重要的,从去年进实验室到现在,一年都快过去了,自己也是这么浑浑噩噩的过了下来,论文没看几篇,也没学到什么,考研那时候的我哪去了?压力还是应该适当要有的,这样才有动力,我懒散了大半年了,再这样下去跟一起进来的同学差距只会越来越大,不想让自己后悔,So,保持学习的态度!



MRM-Lasso: A Sparse Multiview Feature SelectionMethod via Low-Rank Analysis

IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 26, NO. 11, NOVEMBER 2015 280

Wanqi Yang, Yang Gao, Member, IEEE, Yinghuan Shi, and Longbing Cao, Senior Member, IEEE

一、摘要

    作者首先提出了一个观点:当数据维度增加时,去除多视图中的冗余特征非常重要,但目前的多视图学习算法并不能有效的处理高维多视图数据,所以作者提出了一种新的多视图特征选择算法,即Multiview rank minimization-based Lasso (MRM-Lasso)。这篇文章新主要新在提出了为每个样本设置权重的概念,利用样本权重来衡量每个样本对当前视图中标签的贡献。

二、相关工作介绍

1.pattern-specific
【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

    多视图中的不同样本具有相异的鉴别能力。如Fig.1.所示,在前两幅图中,View 4比View 1能更好地识别动作‘kick’,这是因为在View 4中有明显的腿部延伸动作特征;但View 1更能识别动作‘wave’。所以在当前视图中最能描述‘kick’和‘wave’动作特征的样本的权重应该最高,其余样本权重应该设置为低。这里作者提出了pattern的概念:

Here, a sample in a particular view is, namely,a pattern. The weights are, namely, pattern-specific weights(or pattern weights).

   所有的权重组成一个权重矩阵:

 Basically, all pattern-specific weights can be grouped into a pattern weight matrix, where each column represents the pattern weights of a certain view.

    并且矩阵满足两个条件:

1) Sparsity: The pattern weight matrix is expected to be sparse in order to weaken the role of less discriminative patterns and enhance the importance of more discriminative patterns.

2) Cross-View Correlation: The pattern weight matrix is expected to be relevant across different columns, since similar patterns have similar pattern-specific weights, and the cross-view correlation can be addressed by analyzing the corresponding relevant patterns across views.

        基于以上两个条件,作者提出了在权重矩阵上设置‘低秩’的限制,不仅反映了样本的鉴别能力即稀疏性,又捕获了跨视图间的相关信息。

2.Natations

    下面是这篇文章所使用到的一些符号表示:比较基础,略过。

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

3.Lasso

    Lasso是单视角特征选择的常用方法,简单来说就是定义了一个特征选择系数向量,衡量了对应特征的重要性,具体目标函数如下:

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

        本文只涉及到基础的Lasso算法并不涉及其扩展Lasso,例如Group Lasso这些,如果想要了解Lasso算法及其扩展算法的请看这位博主写的文章:https://blog.****.net/asd136912/article/details/78401915

三、PROBLEM FPRMULATION:MRM-Lasso

        从单视图的Lasso引入到多视图能使用Lasso方法,如何把这些视图组合在一起,就成了问题的关键。作者用了它们各自线性组合的方法来表示类别标签。所以(1)中的拟合项重写为:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis其中ε R 是误差项。但是这个方程是有问题的,它没有衡量视图内及视图间的各个pattern的差异,所以我们在这里引入pattern-specific weights,不然前面的铺垫显得毫无意义【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis,重写之后的拟合项如下所示:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis权重wiv表示xvi对label的贡献所有的权重 {wiv} 组成权重矩阵W Rm×s ,并且它的每个列向量为【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis,下面的工作就是通过最优化方法求解最优的W and {βv}

  •     基于以上的考虑,于是作者提出了MRM-Lasso的目标函数:跟之前的单视角Lasso相比,多了低秩约束。
【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

四、Optimization Procedures for MRM-Lasso
        求解这个目标函数有些复杂,要用到ADMM(交替方向乘子法)算法。为了将(6)的最优化问题转变为ADMM形式,作者引入了一些变量:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis和非负矩阵:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis下面就可以将不等式问题转换成等式问题:

     【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

(7)这个优化问题和(6)是一致的,只不过形式上稍微变了一下,为了使用ADMM算法,不等式约束转化为了等式约束,并且作者把最后一个约束变成了矩阵的形式:

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

接下来对(7)的最优化问题用增广拉格朗日乘子法:其中呢,P、Q、R是拉格朗日乘子,再简化一下,去掉多余的变量,即(8)式就是最终的增广拉格朗日形式。

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

最后呢,根据ADMM算法的流程走,迭代步骤如下:

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

这样求解就变成了4个独立的最优化问题了,可以分别求解得到:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

  • 【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis


以上就是分别求解4个最优化问题的具体步骤,具体的求解过程我就不细讲了,简单来说就是化简然后用梯度下降法求解或者SVD分解。

  • 本论文的具体算法步骤:
  • 【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

五、分类方法

     在经过MRM-Lasso算法之后,获得了每个视图的βv,然后选取具有正值的特征,每个视图用新选择的特征学习一个分类器,然后将这些分类器在测试数据上的预测结果按一下两种方式进行融合:

1)多数投票:统计所有分类器的预测标签,并将占多数投票的标签视为整体预测结果。

2)权重融合:在算法1中得到的权重矩阵W也要用起来对不对【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis,所以为每个视角计算权重:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

那么测试样本的标签为:【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

六、实验

将在4个数据集上与5个算法进行比较。分类器:SVM和RBF_SVM;评分标准:分类准确率和F1 Score。随机划分数据集,75%用来训练,25%用来测试。

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

【第一篇】MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis

七、总结:

      具体而言,本文提出了用于稀疏多视图特征选择的MRM-Lasso方法。 我们的方法涉及三个亮点:1)引入特定于模式的权重来评估模式在特定视图中的重要性; 2)由特定于模式的权重组成的矩阵上的低秩结构被限制为有效地捕捉视图间的相关模式; 3)将套索扩展到多视图场景,以便同时从多视图中选择最具有区别性的特征。 上述特征选择系数和低秩矩阵由ADMM联合学习。