迁移学习

​​​​​​​迁移学习旨在从源域抽取知识，并将其运用于目标域的学习。

迁移学习根据源域和目标域特征属性的不同分为同构迁移学习和异构迁移学习。

现在大多的情况都假设源域和目标域满足同分布的条件，实际上，源域和目标域可能来自不同的域，这样的两域数据不仅不满足同分布的条件，甚至它们的特征空间都是不同的。我们将重点介绍异构迁移学习。

异构迁移学习

在异构迁移学习（Heterogeneous Transfer Learing，HTL）中，源域和目标域的特征空间不一致，或是特征表示不同，例如源域是颜色而目标域是大小，或是特征空间维度不同（$d_S\neq d_T$dS​​=dT​）。

在异构迁移学习中，源域具有丰富的标记信息，目标域无标记或是带有少量标记。

目前大多研究都是目标域数据带有少量标记，这里的少量并没有和具体的定义，有的文献里会假设每一类别都至少有一个标记数据，但至少来说，我们可以理解为，这个少量就是少到仅仅利用这些标记信息无法训练出一个分类效果非常好的分类器。

分类

按照训练过程中，训练数据中目标域数据的有无可以有如下的分类：

分类	训练数据
无监督异构迁移学习	源域标记数据
有监督异构迁移学习	源域标记数据、目标域少量标记数据
半监督异构迁移学习	源域标记数据、目标域少量标记数据和目标域无标记实例

两种迁移策略

在很多情况下，异构迁移学习中源域和目标域特征空间的不同，首先就是要解决这一问题，然后在处理两域数据分布差异问题。一般说来，这两部分的差异都是同时完成的。

对于特征空间的差异，一般的解决办法是把两域数据投影至一个公共特征空间，这就有两种处理方法：

1. 对称特征变换
   对于源域和目标域，我们各利用一个变换矩阵$T_S$TS​和$T_T$TT​将他们分别投影至一个公共的特征空间$X_C$XC​，在这个空间中，投影后的源域和目标域他们不仅特征空间相似，它们的数据分布也是相似的，所以就可以在这个公共空间进行知识的迁移。
   
2. 非对称特征变换
   非对称变换就是只有一个域的数据进行了变换，要么把目标域数据通过一个变换矩阵$T_T$TT​投影至源域，使得它们的特征空间和分布相似，要么就把源域投影至目标域。基本来说就这两个策略。
   
   大多的异构迁移学习都分为这两类方法。

因为我之前做毕业设计的时候发现对于异构迁移学习的相关博文比较少，所以想尽我的微弱的力量写一点东西吧。刚接触真的很菜，见谅！

我做了一些异构迁移学习的算法，有时间会把他们都总结一下，最近在看这方面的综述，要做一个报告，弄完应该也是可以放上来的。不过前提是，我要不很忙，还有就是我不很懒。