不搞语音识别得人开这个论文确实有点费劲，结合上图，思考一下语音识别的场景，输入是一段录音，输出是识别的音素， 输入的语音文件的长度和输出的音素个数之间没有一一对应关系，通常将语音文件「分片」之后，会出现多对一的关系。这个场景在「翻译问题」和「OCR问题」中也普遍存在。

本文的特点是，提出来一种end-to-end的方法，直接将语音转问音素。不需要添加规则/后处理等过程。

几个定义

损失函数定义为平均编辑距离：

一种路径的概率为：

其中  表示的是选择的Label，  有也称为「路径」，可以发现路径的种数是指数级的 。

在现实之中，多个路径会对应一个正确的序列，并且这个序列长度往往小于路径长度，那么序列最终的概率可以使用路径的概率之和表示：

构造分类器

让我们再确定一下我们的目标，我们的目标是通过输入序列  得到输出序列  ，如果我们可以获得输出序列的分布  ，选择其中概率最大的那一个作为「输出序列」即可。这个逻辑可以通过下面公式表示：

按照上面思路，需要找到序列  的所有路径的概率，一种简化的方式是：找到路径中概率最大的，然后其对应的序列  就是最优序列，这个方法被称为「Best path decoding」。

这个方法相当于是假设，最优序列的最优路径也是全局最优的（最优表示概率最大），形式化表示为：

这个方法是一种比较好的启发式搜索的方法。

网络训练

上面两种方式都是在模型已经训练出来，得到path概率分布之后的解码过程，那么如何训练一个网络，可以更好的预测path分布（即进行编码）呢？

首先这是一个有监督的过程，我们的输入是分片之后的语音文件， 输出是长度没有限制的音素序列。

前向后向算法

既然要训练，就要有「损失」，损失是定义预估的Label和正确的Label之间的「距离」，所以我们是希望每一条样本得到的path都可以有较高的概率生成其对应的Label。

对一条样本来说，如果给定了path如何确定生成当前样本的label（最终序列）的概率呢？根据定义，需要穷举所有可以生成正确label的path的概率，最后加到一起，这个计算量最差情况是「指数」级别的，这里可以使用类似HMM中的动态规划的方法，将时间复杂度变为  ;其中  表示输入序列长度，  表示输出Label长度。接下来就是如何巧妙地定义状态和寻找动态转移方程。

状态定义为：

其中  表示输入前  个片段，输出为Label中前  个音素的概率。

为了实现end-to-end的训练，空格可能出现在任何两个音素之间，所以需要将原始的Label中每一个音素之间添加一个「元素」，这个「元素」可以为NULL和空格（blank）。仔细体会这个修改，对理解后面过程很重要。

理解动态转移方程之前，需要强调几个点：

• 我们的目标是根据所有的路径（path）计算出来一个长度为  的Label，即  生成（解码）的概率
• path中每一个片段的内容为：音素、NULL、空格，其中每一个都可以连续出现多个
• 序列  中，也是包含三种内容：「音素、NULL、空格」，但是有一些约束，例如下面模式不能出现：「...，音素x，NULL，音素x，...」，因为相同的音素如果是紧挨着肯定是需要合并的。

状态转移方程：

大概解释一下，如果当前元素为「空格」，  不可能转移过来，又因为相同音素不可能挨着，所以前一个音素和当前音素相等的情况下，不能转移。

其中虚线的转移，需要满足条件，具体为：如果当前状态label为空格或相邻两个音素一样（中间必有空格），就不能转移。

到这里「前向算法」已经介绍完了，下面介绍「后向算法」，后向算法原理和前向算法一模一样，只是定义上有一些差别，后向概率  定义为满足  的概率，具体为：

似然函数

序列的似然

让我们回忆一下似然函数的定义，简单来说就是「观测到的样本生成的概率」。在我们现在的场景， 对一条样本来说，观测到的是一个序列，如果认为序列中的元素是相互独立，似然函数可以表示为：

路径的似然

路径的似然假设路径的每一个输出都是相互「独立的」，结合似然的定义，似然这里要表达的就是路径是「合法」的概率（设立合法表示可以推导到标注序列的中间状态），可以表示为：

其中  表示的是  可以生成合法序列的概率。

极大似然训练

这里介绍一种快速计算，如果保证t时刻生成  ，那么整个label生成的概率是多少？首先理解一下下面式子的物理意义：

用一个图形象表示一下，可以表示为：

这个计算过程，将  计算了两次，所以除以  表示的就是t时刻生成  的约束下，整条label生成的概率：

这里就容易推导出来，表示整个样本生成的概率公式了，穷举所有可切割位置，将他们加和到一起即可：

我们的目标是希望得到路径上面每一个点的梯度，损失函数是极大似然的前提下，如何将梯度简化的表示（求解）是需要考虑的问题。具体计算的时候，梯度需要沿着每一个时刻的每一个分类往后传，所以需要对  求偏导数，  的  表示的是第k个分类，具体偏导为：

需要好好理解一下  ，表达的意思是所有  的  的集合，因为满足条件的地方都是潜在的  的概率贡献方。

整个似然函数对softmax未归一化之前的变量求偏导数得到（下面有链接详细介绍这个推导过程）：

梯度反向传播的过程如下图：

详细的推导：CTC最后一个公式推导

实现

tensorflow 中的ctc层：https://www.tensorflow.org/versions/r0.11/api_docs/python/nn/conectionist_temporal_classification__ctc_

参考资料

https://zhuanlan.zhihu.com/p/21775142 第一次下的论文是错误的，这里有说明。

论文：Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks

url：http://x-algo.cn/index.php/2017/05/31/2345/