语音到语音翻译 (S2ST) 是打破世界各地人们之间语言障碍的关键。自动 S2ST 系统通常由一系列语音识别、机器翻译和语音合成子系统组成。然而，这种级联系统可能会遭受更长的延迟、信息丢失（尤其是副语言和非语言信息）以及子系统之间的复合错误。
2019 年，Google推出了Translatotron，这是有史以来第一个能够直接在两种语言之间翻译语音的模型。这种直接的 S2ST 模型能够有效地进行端到端的训练，并且还具有在翻译语音中保留源说话者的声音（非语言信息）的独特能力。然而，尽管它能够以高保真度生成听起来自然的翻译语音，但与强大的基线级联 S2ST 系统（例如，由直接语音到文本翻译模型 [ 1 , 2 ] 和Tacotron 2组成）相比，它的表现仍然不佳。TTS 模型）。
在“ Translatotron 2: Robust direct Speech-to-speech translation ”中，Google描述了 Translatotron 的改进版本，该版本显着提高了性能，同时还应用了一种将源说话者的声音转换为翻译语音的新方法。即使输入语音包含多个说话者轮流说话，修改后的语音转移方法也是成功的，同时也减少了误用的可能性并更好地符合Google的AI 原则。在三个不同语料库上的实验一致表明，Translatotron 2 在翻译质量、语音自然度和语音鲁棒性方面大大优于原始 Translatotron。
Translatotron 2
Translatotron 2 由四个主要组件组成：语音编码器、目标音素解码器、目标语音合成器和将它们连接在一起的注意力模块。编码器、注意力模块和解码器的组合类似于典型的直接语音到文本翻译 (ST) 模型。合成器以解码器和注意力的输出为条件。
Translatotron 2 的模型架构（用于将西班牙语语音翻译成英语语音）
Translatotron 和 Translatotron 2 之间的三个新变化是提高性能的关键因素：
虽然目标音素解码器的输出在原始 Translatotron 中仅用作辅助损失，但它是 Translatotron 2 中频谱图合成器的输入之一。这种强大的条件使 Translatotron 2 更容易训练并产生更好的性能。
原始 Translatotron 中的频谱图合成器是基于注意力的，类似于 Tacotron 2 TTS 模型，因此，它也存在 Tacotron 2 表现出的稳健性问题。相比之下，Translatotron 2 中使用的频谱图合成器是持续时间-基于，类似于Non-Attentive Tacotron 使用的，它大大提高了合成语音的鲁棒性。
Translatotron 和 Translatotron 2 都使用基于注意力的连接到编码的源语音。然而，在 Translatotron 2 中，这种注意力是由音素解码器而不是频谱图合成器驱动的。这确保了频谱图合成器看到的声学信息与其正在合成的翻译内容保持一致，这有助于在说话者轮流中保留每个说话者的声音。
更强大的语音保留
最初的 Translatotron 能够在翻译后的语音中保留源说话者的声音，方法是将其解码器调节到由单独训练的说话人编码器生成的说话人嵌入。但是，如果目标说话者的录音片段被用作说话者编码器的参考音频，或者如果目标说话者的嵌入直接可用，则这种方法还使其能够以不同说话者的声音生成翻译后的语音。虽然此功能很强大，但它有可能被滥用来欺骗包含任意内容的音频，这给生产部署带来了担忧。
为了解决这个问题，Google将 Translatotron 2 设计为仅使用单个语音编码器，该编码器负责语言理解和语音捕获。这样，训练好的模型就不能被引导去再现非源语音。这种方法也可以应用于原始的 Translatotron。
为了在整个翻译过程中保留说话者的声音，研究人员通常更喜欢在两侧具有相同说话者声音的平行话语上训练 S2ST 模型。这样一个两边都有人类录音的数据集极难收集，因为它需要大量流利的双语使用者。为了避免这种困难，Google使用了PnG NAT的修改版本，这是一种能够跨语言语音传输的 TTS 模型来合成此类训练目标。Google修改后的 PnG NAT 模型已与Google之前的 TTS 工作相同的方式（与原始 Translatotron 使用的策略相同）结合了一个单独训练的扬声器编码器，因此它能够进行零次语音传输。
当输入语音包含多个说话者轮流说话时，为了使 S2ST 模型能够在翻译后的语音中保留每个说话者的声音，Google提出了一种简单的基于串联的数据增强技术，称为ConcatAug。该方法通过随机采样成对的训练示例并将源语音、目标语音和目标音素序列连接到新的训练示例中来动态增加训练数据。生成的样本在源语音和目标语音中都包含两个说话人的声音，这使模型能够学习说话人轮流的示例。以下是来自 Translatotron 2 的音频样本，带有扬声器转动：
性能
Translatotron 2 在Google衡量的各个方面都大大优于原始 Translatotron：更高的翻译质量（由BLEU衡量，越高越好）、语音自然度（由MOS衡量，越高越好）和语音鲁棒性（由UDR衡量，越低越好）。它在更难的Fisher 语料库中表现尤为出色。Translatotron 2 在翻译质量和语音质量方面的性能接近强基线级联系统的性能，并且在语音鲁棒性方面优于级联基线。
翻译质量（由 BLEU 衡量，越高越好）在两个西班牙语-英语语料库上进行评估。
语音自然度（由 MOS 测量，越高越好）在两个西班牙语-英语语料库上进行评估。
语音稳健性（由 UDR 测量，越低越好）在两个西班牙语-英语语料库上进行评估。
多语言语音到语音翻译
除了西班牙语到英语 S2ST，Google还评估了 Translatotron 2 在多语言设置上的性能，其中模型从四种不同语言输入语音并将它们翻译成英语。没有提供输入语音的语言，这迫使模型自行检测语言。
在这项任务上，Translatotron 2 再次大幅超越了原来的 Translatotron。虽然 S2ST 和 ST 之间的结果不能直接比较，但接近的数字表明 Translatotron 2 的翻译质量与基线语音到文本翻译模型相当，这些结果表明 Translatotron 2 在多语言 S2ST 上也非常有效。