zero-shot learning(ZSL)语义对齐方法总结

zero-shot learning(ZSL)语义对齐方法总结

最近在研究ZSL问题，姑且读了几篇文章，想做一个简单的总结。
主要将ZSL问题分为：

• 经典的方法（17年之前，简常规数学方法，机器学习方法），诸如线性对齐、非线性对齐、贝叶斯概率模型、中间空间映射（通过直方图将视觉特征映射和语义空间做对齐）；
• 现代方法：GAN、VAE方法，常用encoder-decoder模型，加强对齐效果。GAN中还常用attention机制，以及增强GAN做图像和文本数据集增强。其次，分为视觉空间工程和语义空间工程。视觉空间工程中例如用交并补的方法，将没有笼子的老虎和有笼子的老虎，用补集把笼子提取出来，用于有笼子的鸟识别。语义空间工程：一方面对语义空间进行增强划分，譬如下图：
  将whale，killer_whale、dolphin、sea_lion水下动物划分为一类，增强对齐效果。另外，近两年GCN（Graph Convolutional Network）盛行，也有非凡效果。
  就目前paper，我视觉空间对齐到语义空间效果提升不明显，有的特征很难对过去。之前的方法都存在属性或类别没有关联的问题。比如一个鸟有头、羽毛、尾巴、颜色等特征，一般采用直接的浅表示方法，并没有用到之间的图特征。鸟和马有共通的头，但这两怎么能区分、怎么又算是有共性，值得思考。
  目前常用数据集：COCO，ImageNet、AWA2（AWA1不开源授权）、CUB等。

Github资源：

• paper:
  Learning to Compare: Relation Network for Few-Shot Learning
  code: https://github.com/lzrobots/LearningToCompare_ZSL
• ZSL精选论文、数据集、代码

综述类文章：

• Zero-Shot Learning - A Comprehensive
  Evaluation of the Good, the Bad and the Ugly
• Recent Advances in Zero-shot Recognition

上图PDF文件请关注公众号：大数据视角 ，回复：语义对齐方法 获取

喜欢我的请毫不犹豫的打赏我吧，1分1毛也是爱~么么哒(づ￣ 3￣)づ