A Persona-Based Neural Conversation Model论文学习零散记录

A Persona-Based Neural Conversation Model

这篇文章用来解决conversation model中的speaker consistency的问题。比方说，问chatbot“where does jone live?”& “where does sam live?”chatbot可能因为u.s.出现频率最高，而对所有这类问题的回答都是U.S. 而不去考虑人物的身份。
作者提出了两种模型,Speaker Model 和 Speaker-Addressee Model。

Speaker Model比较简单。
选取LSTM为Seq2Seq模型的基本单元，LSTM主要的公式如下：
[it ft ot lt]=⎡⎣⎢⎢⎢δδδtanh⎤⎦⎥⎥⎥W⋅[ht−1est]$\left[\begin{array}{c}{i}_t{f}_t{o}_t{l}_t\end{array}\right]=\left[\begin{array}{c}\delta \\ \delta \\ \delta \\ tanh\end{array}\right]W\cdot \left[\begin{array}{c}{h}_{t-1}\\ e_t^s\end{array}\right]$
作者给增加了一个向量，可以看做是把est$e_t^s$变成了[est,vi]$[e_t^s,v_i]$,如下所示：
[it ft ot lt]=⎡⎣⎢⎢⎢δδδtanh⎤⎦⎥⎥⎥W⋅⎡⎣⎢ht−1estvi⎤⎦⎥$\left[\begin{array}{c}{i}_t{f}_t{o}_t{l}_t\end{array}\right]=\left[\begin{array}{c}\delta \\ \delta \\ \delta \\ tanh\end{array}\right]W\cdot \left[\begin{array}{c}{h}_{t-1}\\ e_t^s\\ v_i\end{array}\right]$
其中，vi$v_i$是user-level的representation，狭义上可当做是Speaker的向量，作者在Encoder的每一步都引入这样一个代表说话者身份的向量，来达到speaker consistency。

Speaker-Addressee Model
这个模型不单单考虑当前说话者的身份，考虑到了说话的双方的身份即Speaker和Addressee。
[it ft ot lt]=⎡⎣⎢⎢⎢δδδtanh⎤⎦⎥⎥⎥W⋅⎡⎣⎢ht−1estVi,j⎤⎦⎥$\left[\begin{array}{c}{i}_t{f}_t{o}_t{l}_t\end{array}\right]=\left[\begin{array}{c}\delta \\ \delta \\ \delta \\ tanh\end{array}\right]W\cdot \left[\begin{array}{c}{h}_{t-1}\\ e_t^s\\ V_{i,j}\end{array}\right]$
其中
Vi,j=tanh(W1⋅vi+W2⋅v2)$V_{i,j}=tanh(W_1\cdot v_i+W_2\cdot v_2)$
vi,v2$v_i,v_2$代表说话的双方。

文章的Decoding and Reranking这一部分其实描述的就是作者另一篇文章中提到的MMI-bidi方法（我的另一篇博客写了作者这一篇文章的学习笔记）。

作者使用的数据集是
Twitter Persona Dataset
Twitter Sordoni Dataset
Television Series Transcripts
三个

实验部分，我不太感兴趣。就不写了。
本文完