Learning from Semi-Supervised Weak-Label Data理解

Hao-chen Dong, Yu-Feng Li, Zhi-Hua Zhou. 2018 AAAI.

前言

前一阵子读了几篇关于深度学习应用在智慧教育上的论文，对“可解释性”又有了些疑问。于是，这次读了篇使用机器学习方法研究半监督弱标签的论文，换个思路去思考问题。

首先，来看看什么是半监督弱标签问题（semi-supervised weak-label, 以下简称为SSWL）？SSWL是多标签学习（每个样本可能有多个标签）的一种，即样本中部分样本没有标签，且有标签的样本标签不全。其它多标签学习方法有监督多标签学习（supervised multi-label learning）、半监督多标签学习（semi-supervised multi-label learning）和弱标签学习（weak-label learning）。本文给出了这些方法的对比，如下图1所示。

图1：多标签学习

问题定义与求解

本文使用的符号如下图2所示。研究问题是基于实例特征矩阵$X$X和标签出现矩阵$C$C学习一个预测标签矩阵$\hat{Y}$Y^去近似真实标签矩阵$Y$Y。注意：这个真实标签是图1中的第一幅图。

图2：符号对应表

传统方法是将SSWL问题分解成$n$n个相互独立的二值分类问题，使用半监督的SVM技术解决。本文同时使用实例相似度和标签相似度，对缺失的相关标签补全，并提出了正则化项。

基于上述正则化项，本文得到新的损失函数。

最后，使用块坐标下降算法（block coordinate descend algorithm）去求解损失函数（共有X，C，S三个参数，固定其中两个参数，求解另一个参数是一个凸问题）。完整的算法如下所示。

后记

上面只是简短地介绍了本篇论文的核心。其实本篇论文最关键的部分应当是损失函数的构建思路和对损失函数的坐标下降理论求解上。