谷歌推Tacotron 2，搞定绕口令，效果优于WaveNet
安妮 编译整理
量子位 出品 | 公众号 QbitAI
让电脑会讲话没什么，但让电脑说得666就不是一件容易事了。
今天，谷歌推出一种直接从文本中合成语音的神经网络结构，即新型TTS（Text-to-Speech,TTS）系统Tacotron 2。Tacotron 2结合了WaveNet和Tacotron的优势，不需要任何语法知识即可直接输出文本对应的语音。
下面是一个Tacotron 2生成的音频案例，效果确实很赞，并且还能区分出单词“read”在过去分词形式下的读音变化。
△ “He has read the whole thing”
超越WaveNet和Tacotron
作为Tacotron 2的基础，WaveNet和Tacotron都是怎样的架构？
去年9月，谷歌DeepMind曾公布了一种用神经网络对原始波形建模的技术，生成的音频效果优于当时的TTS系统。
WaveNet抛弃传统的简单将语音片段机械拼接的TTS方法，从零开始创造整个音频波形输出。不过，WaveNet需要调节来自现有TTS前端的语言特征，相当于它只取代了声码器和声学模型，不是端对端的语音合成系统。
△ WaveNet架构
今年3月，谷歌的王雨轩等人提出了一种新型端对端语音合成系统Tacotron。它可将接收的输入字符，输出成相应的原始频谱图，然后提供给Griffin-Lim重建算法生成语音。
△ Tacotron模型架构
Tacotron 2
Tacotron 2由一个循环的序列到序列特征预测网络构成，先将字符嵌入到梅尔刻度（Mel-scale）谱系图中，然后由修正过的WaveNet模型作为vocoder，从这些声谱图中合成时域的波形。
在谷歌的Jonathan Shen,、Ruoming Pang等人和加州大学伯克利分校的Zongheng Yang共同发表的论文Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions中，研究人员介绍了Tacotron 2的工作原理。
他们用序列到序列的模型优化了TTS，将字母序列映射到编码音频的特征序列中。这些特征是一个每12.5毫秒计算一次的80维声谱图，里面不仅有单词的发音，还包括音量、速度和语调等语言的细微差别。
然后，研究人员用一个类似WaveNet的架构，将这些特征转换为24kHz的波形。
△ Tacotron 2的模型架构/图中下半部分为序列到序列模型，该模型将一系列字母映射到一个声谱图上。
测评结果和局限
最后，研究人员抽取了100个音频样例，要求人类听众对不同TTS系统生成语言的自然度评分。测试结果显示，Tacotron 2的平均意见得分约为4.53，明显优于其他模型，仅比专业的录音人员分数（ground truth）低一点。
△ 不同模型测试音频的平均意见得分（MOS）
在音频结果展示页中可以看到，研究人员对Tacotron 2的生成结果进行了多维度的测评，包括：
专有名词及复杂词语
同一单词在不同时态及含义上的发音变化
拼写错误对发音的影响
标点符号位置的影响
重点突出部分及语调的把控
绕口令
虽然Tacotron 2生成的样品听起来不错，但仍有一些难题有待解决。例如系统在“decorum”和“merlot”等复杂单词的发音方面有困难，可能会随机产生奇怪的声音。
目前，Tacotron 2还不能实时生成音频，也不能将人类的情绪加到生成的声音中。
“每个问题都是一个有趣的研究方向。”谷歌研究人员在博客结尾说。
音频示例及相关资料
如果对上述测评结果感兴趣，可以移步谷歌Github项目页面获取更多信息：
https://google.github.io/tacotron/publications/tacotron2/
论文地址：
https://arxiv.org/abs/1712.05884
谷歌博客介绍：
https://research.googleblog.com/2017/12/tacotron-2-generating-human-like-speech.html
— 完 —
活动报名
加入社群
量子位AI社群12群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot4入群；
此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot4，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态