迁移学习基础知识整理
基本概念
-
迁移学习研究如何把源域的知识迁移到目标域上。
相似性是核心，度量准则是重要手段。
-
领域（Domain， D D D）：学习的主体，分为
源域和目标域-
源域（source domain）：已有的知识
-
目标域（target domain）：要学习的新知识
-
-
任务（Task）：学习目标，
标签和标签对应的函数组成 -
邻域自适应（Domain Adaptation）：利用有标记的数据 D s D_s Ds 去学习一个分类器 f : x T ↦ y t f:x_T\mapsto y_t f:xT↦yt 来预测目标域 D t D_t Dt 的标签 $y\in Y_t $
-
负迁移：如果源域和目标域之间相似度不够，迁移结果并不会理想
-
常用符号
迁移学习的价值
- 复用现有知识域数据，已有的大量工作不至于完全丢弃；
- 不需要再去花费巨大代价去重新采集和标定庞大的新数据集，也有可能数据根本无法获取；
- 对于快速出现的新领域，能够快速迁移和应用，体现时效性优势。
与传统机器学习的对比
- 传统机器学习：
- 在应对数据的分布、维度，以及模型的输出变化等任务时，模型不够灵活、结果不够好
- 传统机器学习对不同的学习任务建立不同的模型
- 迁移学习：放松了这些假设。
- 在数据分布、特征维度以及模型输出变化条件下，有机地利用源域中的知识来对目标域更好地建模。
- 在有标定数据缺乏的情况下，迁移学习可以很好地利用相关领域有标定的数据完成数据的标定。
- 迁移学习利用源域中的数据将知识迁移到目标域，完成模型建立
迁移学习分类
分类准则：有无标签、学习方法、特征、离线 or 在线
-
按目标域
- 监督
- 半监督
- 无监督
-
按照学习方式分类：
- 基于**样本（实例）**的迁移：直接对不同的样本赋予不同权重
- 基于特征的迁移：通过将源域和目标域映射到相同的空间，或者将其中之一映射到另一个的空间中，并最小化源域和目标域的距离来完成知识迁移
- 基于关系的迁移：通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。神经网络中用的多（比如 fine tune）。
- 基于模型的迁移：将源域和目标域的模型与样本结合起来调整模型的参数
- 按照特征分：
- 同构：特征语义和维度相同是同构（图片到图片）
- 异构：完全不同（图片到文本）
迁移学习解决的方法
-
大数据与少标注：迁移数据标注
利用迁移学习的思想，寻找一些与目标数据相近的有标注的数据，从而利用这 些数据来构建模型，增加我们目标数据的标注。
-
大数据与弱计算：模型迁移
将那些大公司在大数据上训练好的模型，迁移到我们的任务中。针对于我们的任务进行微调，从而我们也可以拥有在大数据上训练好的模型。
将这些模型针对我们的任务进行自适应更新，从而取得更好的效果。
-
普适化模型与个性化需求：自适应学习
进行自适应的学习。考虑到不同用户之间的相似性和差异性，对普适化模型进行灵活的调整。
-
特定应用的需求：
相似领域知识迁移 为了满足特定领域应用的需求，我们可以利用上述介绍过的手段，从数据和模型方法上 进行迁移学习。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YjW1foHt-1600093880694)(C:\Users\YZJ\AppData\Roaming\Typora\typora-user-images\image-20200914181126470.png)]
应用
计算机视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等
-
不同视角、背景、光照的图像识别
-
不同语言之间的翻译
-
不同领域和背景的文本翻译、舆情分析
-
不同用户、设备、位置的行为识别
-
不同用户、接口、情境的人机交互
-
不同场景、设备、时间的室内定位
未完待续