业界 | 谷歌发布TTS新系统Tacotron 2：直接从文本生成类人语音

2017年12月20日 14:04:17
来源：机器之心

原标题:业界 | 谷歌发布TTS新系统Tacotron 2：直接从文本生成类人语音选自Google

原标题:业界 | 谷歌发布TTS新系统Tacotron 2：直接从文本生成类人语音

选自Google Blog

作者：Jonathan Shen、Ruoming Pang

机器之心编译

参与：黄小天、刘晓坤

近日，谷歌在其官方博客上推出了新的语音合成系统 Tacotron 2，包括一个循环序列到序列特征预测网络和一个改良的 WaveNet 模型。Tacotron 2 是在过去研究成果 Tacotron 和 WaveNet 上的进一步提升，可直接从文本中生成类人语音，相较于专业录音水准的 MOS 值 4.58，Tacotron 2 取得了 4.53 的 MOS 值。虽然结果不错，但仍有一些问题，比如无法实时生成语音。机器之心对博客内容和论文摘要进行了编译，原文链接请见文中。

几十年来人们一直希望可以从文本生成听感自然的语音系统（text-to-speech，TTS）。过去几年来，TTS 研究取得了重大进展，完整 TTS 系统的各个独立部分得到了很大的性能提升。通过结合过去的研究成果如 Tacotron 和 WaveNet，我们获得了更大的性能提升，最终构建出了新系统 Tacotron2。我们的方法并没有使用复杂的语言学或声学特征作为输入，而是使用神经网络从文本生成类人的语音，其中输入数据仅使用了语音样本和相关的文本记录。

可以在论文「Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions」中查看新系统的完整描述。简单来说，该系统的工作方式是：优化一个序列到序列模型以将字母序列映射到编码了录音的特征序列。这些拥有 80 个维度的声谱（每 12.5 毫秒计算一个帧）不仅捕捉了单词的发音，还有人类语音的微妙变化，包括音量、语速和语调。最后，这些特征被一个类似 WaveNet 的架构转换成 24kHz 的波形。

Tacotron2 模型架构的详细结构。图中的下半部分描述了将字母序列映射到声谱的序列到序列模型的结构。更多技术细节请参见论文。

TTS 新系统取得了当前最佳的结果，可以在这里试听 Tacotron2 生成的语音样本：https://google.github.io/tacotron/publications/tacotron2/index.html。我们让人类听者试听生成的语音以评估其自然性（类人性），并取得了和专业录音相当的分数。

虽然结果很不错，但还存在一些困难需要解决。例如，新系统很难对复杂单词做出正确的发音（例如，decorum 和 merlot），在极端情况下它甚至会随机生成奇怪的噪音。并且，我们的系统目前还不能实时生成语音。此外，我们还无法控制生成的语音，例如使声音听起来开心或悲伤。这些都是很有趣的研究方向。

论文：Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions

论文链接：https://arxiv.org/abs/1712.05884

摘要：本论文介绍了 Tacotron 2，一个用于直接从文本合成语音的神经网络架构。该系统包括一个循环序列到序列特征预测网络（把字符嵌入映射到梅尔标度谱图）以及一个改良的 WaveNet 模型（作为声码器以从这些谱图中合成时域波形）。相较于专业录音水准的 MOS 值 4.58，我们的模型取得了 4.53 的 MOS 值。为了验证我们的设计选择，我们展示了系统关键组件的消融研究，并评估了使用梅尔谱图取代语言学、持续时间、F_0 特征作为 WaveNet 输入的影响。我们进一步证明使用一个紧凑的声学中间表征能够明显简化 WaveNet 的架构。