循环神经网络RNN

RNN是一类用于处理序列数据的神经网络，在深度学习方面，图像识别、语音识别主要运用卷积神经网络（CNN），而文字语言处理主要运用循环神经网络（RNN）。

语言模型

语言模型（language model）是自然语言处理的重要技术，可用于提升语音识别和机器翻译的性能。自然语言处理中最常见的数据是文本数据。

例如，在语音识别中，给定一段“厨房里食油用完了”的语音，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率，我们就可以根据相同读音的语音输出“厨房里食油用完了”的文本序列。

假设一段长度为TT的文本中的词依次为$w_1,w_2,…,w_T$w1​,w2​,…,wT​那么在离散的时间序列中，$w_t$wt​可看作在时间步(time step)的输出或标签。给定一个长度为T的词的序列$w_1,w_2,…,w_T$w1​,w2​,…,wT​
语言模型将计算该序列的概率：

亦即词$w_1,w_2,…,w_T$w1​,w2​,…,wT​组合输出一个文本的概率

语言模型的计算

例如，假设序列$w_1,w_2,…,w_T$w1​,w2​,…,wT​中的每个次是一次生成的，则一段含有4个词的文本序列的概率为：

$n$n元语法

当序列长度增加时，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。$n$n元语法通过马尔可夫假设（虽然并不一定成立）简化了语言模型的计算。这里的马尔可夫假设是指一个词的出现只与前面nn个词相关，即$n$n阶马尔可夫链（Markov chain of order $n$n）。
如果基于$n−1$n−1阶马尔可夫链，我们可以将语言模型改写为

RNN