NLP面试准备

摘要：总结一些经典的NLP面试题 ，会陆续更新。
：）笔者明天就有一个面试，然而觉得自己还是一个NLP小白，所以今天加急整理一下知识点。

LSTM

RNN公式（摘自https://zhuanlan.zhihu.com/p/30844905）：

LSTM公式：

Q：LSTM结构
A: 输入门，输出门，遗忘门

Q： RNN有什么优缺点？LSTM会梯度消失和爆炸吗？
A: RNN，循环神经网络。
优点：适用于时间序列预测问题。（因为这一时刻的状态和输出，除了受输入影响外，还受到上一时刻状态的影响。）
缺点：会发生梯度消失/梯度爆炸问题；无法解决长时间依赖问题
LSTM可以缓解RNN的缺点。

Q: RNN为什么会出现梯度消失/梯度爆炸问题？LSTM怎么缓解梯度消失，梯度爆炸问题？
A: 简单来说，由于链式法则，RNN的损失函数求导式中出现很多tanh’和W连乘。由于tanh’=1-tanh^2 < 1, 当 W < 1时， 损失函数求导式会趋向于0； 而W > 1时，损失函数求导式很大。

LSTM缓解梯度消失：cell state两部分加和更新；门控机制
LSTM缓解梯度爆炸: 设定阈值；使用正则化减少权重；梯度裁剪

（具体可参考：https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html； https://zhuanlan.zhihu.com/p/28687529;https://blog.****.net/zhangbaoanhadoop/article/details/81807538）