吐槽：**** 的博客标签竟然有长度限制，图片的插入方式不够友好，比简书差太远。:(

Ref

Modelling Domain Relationships for Transfer Learning on Retrieval-based Qestion Answering Systems in E-commerce.Jianfei Yu, Minghui Qiu, Jing Jiang, Jun Huang, Shuangyong Song, Wei Chu, Haiqing Chen. 2017

Introduction

基于信息检索的问答系统(Q-A system), AliMe
通过迁移学习，将resource-rich source domain 的知识应用到 resource-poor target domain
使用了KB
迁移学习中，采用CNN-based methods ，且组合了sentence encoding (SE)-based methods and sentence interaction (SI)-based methods，因为这两种方式高度互补（highly complement ）
数据集：source domain data >> target domain data, Quora as source domain data, ali E-commerce dataset as the target domain

sentence representation
- 考虑响应时间的需求，作者放弃了精度更好的lstm-based method,而采用了cnn-based method
- 采用 cnn-based methods 表示句子
- 采用 SE-based methods 和 SI-based methods 相结合的方式，因为两者互补。对SE做了些更改，并将最后的embedding 进行 concatenate
Transfer Learning Framework
- key issue:如何将源域和目标域的公共信息从源域迁移到目标域，同时将源域的领域知识排除在外
- intuition:(1) 共享特征是领域独立的，那么共享特征与source domain的关系和与 target domain的关系应该是正相关的;(2)对于source domain 来说，共享特征和source domain内部的特征分别是领域独立和领域相关的，因此两者应该是无关的
- 措施：在学习域间和域内特征表示的同时，学习域间和域内特征相结合的权重关系；具体地就是采用协方差矩阵来学习权重关系
- 为了使共享特征空间更为稳定(more invariant)，实际上通过以上的学习，共享空间仍然包含了来自领域的noisy,因此进一步加入了对抗网络和对抗损失函数，具体地，用学习到的share representation zc 预测其来自于source domain 还是target domain,概率为p(d|zc),使基于此概率的熵最大即可(熵越大，说明zc越不能区分source-domain 和target-domain，也就越 domian-independent)