Cross-media Retrieval
Reference：
An Overview of Cross-media Retrieval: Concepts,Methodologies, Benchmarks and Challenges
（关于跨模态检索的概念、方法、主要挑战和开放性问题，包括数据集和实验结果的基准）
主要挑战：media gap
不同模态的表示特征不一致并且位于不同的特征空间中，主要挑战是度量它们之间的相似性。
当前的主流方法：common space learning methods
在共同空间中计算不同模态之间的相似性。同时，提出了跨模态相似性度量方法，通过分析已知数据关系直接计算跨模态相似度，而无需具体的共同空间。
大多数现有方法仅用于检索两种媒体类型（主要是图像和文本），但跨模态检索强调媒体类型的多样性。
共同空间学习and跨模态相似度度量
一、Definition of Cross-media Retrieval
两种模态类型： X
Y
训练数据集：
n为训练集实例数量
测试数据集：
n为训练集实例数量
语义标签：
目标：计算跨模态的相似性
无监督方法：所有训练数据未标记
半监督方法：仅标记训练数据的一部分子集
全监督方法：所有训练数据标记
跨模态检索的代表性工作：
U：无监督方法 S：半监督方法 F：完全监督方法，R：涉及相关性反馈的方法
跨模态检索：
输入：image（sentence）+dataset 输出：sentence（image）rank list
跨模态检索是跨文本，图像，视频，音频和3D模型等所有媒体类型的检索，其主要挑战和焦点是“media gap”问题。
二、Common Space Learning
跨模态检索的主流方法是Common Space Learning，因为表达相同语义的数据有潜在的关联，因此它们在共同高级语义空间（common high-level semantic space）中相近。
学习一个共同空间，并将不同媒体类型的数据投影到该空间以进行相似度测量。
七类现有方法：
(A) traditional statistical correlation analysis methods （传统的统计相关分析方法）
On basic model：
(B) DNN-based methods（以深度神经网络为基本模型）
On correlation modeling：
(C) cross-media graph regularization methods（采用图模型来表示复杂的跨模态相关性）
(D)metric learning methods (将跨模态相关性视为一组相似/不相似的约束)
(E) learning to rank methods（跨模态排名信息作为优化目标）
On property of common space：
(F) dictionary learning methods
（字典学习方法生成字典，学习的公共空间用于跨模态数据的稀疏系数）
(G) cross-media hashing methods（学习一个a common Hamming space 来加速检索）
A. Traditional Statistical Correlation Analysis Methods
通过优化统计值来学习线性投影矩阵
常用的基线方法：CCA DCCA：DNN与CCA结合，CCA的非线性扩展。
缺陷：1.仅通过线性投影很难完全模拟现实世界中跨模态数据的复杂相关性
2.大多数方法只能模拟两种媒体类型，但跨模态检索通常涉及两种以上的媒体类型
B. DNN-based Methods(深度神经网络)
跨模态检索中的深层体系结构主要包括两种方式。
1.第一种方式可以看作一个网络，不同媒体类型的输入通过相同的共享层
2.第二种方式包括在代码层中通过相关性约束耦合的子网
可考虑方法：GAN
C. Cross-media Graph Regularization Methods
图正则化可以描述跨模态数据的各种相关性，例如语义相关性，模态内相似性和模态间相似性。
缺陷：图构建过程通常导致高时间和空间复杂性
D. Metric Learning Methods
E. Learning to Rank Methods
F. Dictionary Learning Methods
G. Cross-media Hashing Methods