[nlp] BertSum
LSTM : 序列模型。
BertSum : self attention 自注意力向量表征句子（q,k,v），实现并行 。(RNN ,LSTM 灰常慢)
双向transformer 基于encoder单元双向预训练模型
基于维基，语言模型训练。
transformer : 以自注意力单元做了很多encoder decoder结构 。
bert分类器： 1. 经典神经网络
2. transformer
3. lstm,rnn
\
LSTM : 序列模型。
BertSum : self attention 自注意力向量表征句子（q,k,v），实现并行 。(RNN ,LSTM 灰常慢)
双向transformer 基于encoder单元双向预训练模型
基于维基，语言模型训练。
transformer : 以自注意力单元做了很多encoder decoder结构 。
bert分类器： 1. 经典神经网络
2. transformer
3. lstm,rnn
\