IT之家 2 月 3 日新闻辽宁金帆船舶制造有限公司,,,,,,科技媒体 9to5Mac 今天(2 月 3 日)宣布博文,,,,,,报道称苹果公司携手特拉维夫大学,,,,,,团结揭晓论文,,,,,,提着名为“原则性粗粒度”(PCG)的语音天生新要领,,,,,,从而解决 AI 文本转语音(TTS)手艺的速率瓶颈。。。。。
IT之家援引博文先容,,,,,,在天生语音方面,,,,,,现在行业主流接纳“自回归模子”,,,,,,接纳“逐个展望”的方法,,,,,,即基于已有的 tokens 来展望下一个。。。。。
然而,,,,,,这种机制要求展望效果必需“准确匹配”预设的 tokens,,,,,,导致模子经常拒绝现实上听感差别极小、完全可用的展望效果。。。。。这种过于严苛的验证标准,,,,,,直接拖慢了整体的天生速率。。。。。
研究团队为相识决上述问题,,,,,,提出了“原则性粗粒度”(Principled Coarse-Graining,,,,,,简称 PCG)手艺。。。。。该手艺的焦点逻辑在于“求同存异”:研究职员以为,,,,,,差别的声学 token 往往能爆发险些相同的听觉效果。。。。。
因此,,,,,,PCG 不再将每个声音视为完全自力的个体,,,,,,而是建设了“声学相似组”。。。。。只要模子天生的展望 token 落在准确的“相似组”规模内,,,,,,系统就会予以接纳。。。。。这种无邪的验证机制,,,,,,实质上是将严苛的“单点验证”升级为了容错率更高的“规模验证”。。。。。

在详细运行中,,,,,,PCG 引入了“投契解码”战略,,,,,,构建了一套双模子协作架构。。。。。首先,,,,,,由一个轻量级的小模子快速“推测”并提出候选语音 token;;;;;;随后,,,,,,由一个参数更大的“裁判模子”举行审核。。。。。
只要候选 token 属于准确的声学组,,,,,,大模子便会“放行”。。。。。这种分工不但保存了小模子的高速率,,,,,,也使用大模子包管了输出质量,,,,,,有用平衡了效率与准确性。。。。。
试验数据显示,,,,,,应用 PCG 手艺后,,,,,,语音天生速率提升了约 40%,,,,,,且并未牺牲音频质量。。。。。在自然度评分(满分 5 分)中,,,,,,该模子取得了 4.09 的高分。。。。。


在一项极限压力测试中,,,,,,研究职员将 91.4% 的语音 token 替换为同组的其他 token,,,,,,效果显示词错率仅增添了 0.007,,,,,,语言人相似度仅下降 0.027,,,,,,人耳险些无法察觉差别。。。。。
PCG 属于“推理阶段”的优化计划,,,,,,意味着无需对现有模子举行耗时耗力的重新训练即可直接应用。。。。。别的,,,,,,存储声学相似组仅需约 37MB 的特殊内存。。。。。
IT之家附上参考地点
辽宁金帆船舶制造有限公司