突破零样本TTS音色克隆上限：LongCat-AudioDiT 的声音克隆艺术
音频生成技术正在经历一场全新的范式迁移——从传统级联架构，逐步向端到端生成范式演进。长期以来，主流的做法是"曲线救国"：合成系统先将音频压缩成梅尔频谱图等中间表征，再依赖神经声码器"翻译"回波形。每一次转换都带来信息损失与误差累积，最终丢失了最需要保留的细腻音色与个性化细节。 能不能让 AI 直接学会声音本身的规律，跳过中间环节？ 为破解这一技术瓶颈，美团 LongCat 团队正式发布 LongCat-AudioDiT。在该模型中，我们彻底抛弃梅尔谱等中间表示，直接在波形潜空间进行基于扩散模型的文本转语音（Text-to-Speech, TTS），从根源阻断数据转换的级联误差。 另外，我们做了两个关键改进：首先，我们识别并纠正了一个长期存在的"训练-推理不匹配"问题；其次，我们用自适应投影引导（APG）取代了传统的无分类器引导（CFG），从而大幅提升了最终的语音生成质量。 结果表明，LongCat-AudioDiT 在 Seed 基准测试中取得当前最优（SOTA）的零样本语音克隆性能，同时保持了具有竞争力的可懂度。 其中 LongCat-AudioDiT-3.5B 模型，在 Seed-ZH 测试集的说话人相似度（SIM）指标提升至 0.818，Seed-Hard 测试集达到 0.797，超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型，验证了波形空间直接生成范式的有效性。 今天，我们将 LongCat-AudioDiT（1B/3.5B）完整开源： 接下来，我们将为您拆解 LongCat-AudioDiT 的核心技术创新。 业界主流 TTS 系统长期受困于"多阶段"的复杂流程：先预测中间声学特征（如梅尔频谱），再依赖一个独立的神经声码器将特征"翻译"成最终波形。这种"预测+翻译"的范式，本质上是在两个不同空间里"传话"，必然会累积误差，导致最终合成的声音丢失了高保真、个性化的细节——而这恰恰是零样本语音克隆最需要保留的部分。 为此，我们构建了全新的 LongCat-AudioDiT 架构。其核心逻辑非常简单： Wav-VAE 作为一个全卷积音频自编码器，它将原始波形压缩为紧凑的连续隐向量。其设计蕴含了多项关键创新： 有了高质量的隐空间，我们的 DiT 模型便在这个空间里学习条件流匹配（CFM）。 文本编码方面，我们选择了支持 107 种语言的 UMT5 作为文本编码器。一个关键的发现是：仅使用最后一层隐藏状态模型无法生成可懂的语音。我们推测这是因为高层语义抽象丢失了关键的词法、音素线索。因此，我们创新性地将原始词嵌入（第一层）与最后一层隐藏状态相加，经过 LayerNorm 平衡 scale 后送入后续模块。这种"高低结合"的策略大幅提升了生成语音的可懂度。此外，我们还引入了轻量的 ConvNeXt V2 序列模块对文本表征进行细化处理，加速了文本-语音对齐的收敛。 DiT 的骨干网络基于 Transformer，并集成了多项结构优化： 如果说波形潜在空间架构解决了声学建模的"空间选择"问题，那么我们对推理过程的两项关键改进，则从根本上优化了生成过程的"路径精度"与"质量纯度"。 我们首次发现并解决了流匹配 TTS 中长期存在的训练-推理不匹配问题。在标准 CFM 训练框架中，模型仅在掩码区域计算损失，而音频提示区域（prompt）并不参与优化；然而在推理阶段，这些同样提供音色条件的提示区域却会不受约束地通过扩散 ODE 自由演化，导致其分布轨迹偏离训练时的约束条件，最终造成生成语音的说话人音色漂移与稳定性下降。 为此，我们提出双重约束机制： 传统的扩散模型普遍使用无分类器引导（CFG），通过放大条件预测与无条件预测的差异来提升生成质量。但这种方法有一个副作用：引导强度越大，越容易导致频谱"过饱和"，从而使得音质劣化、语音听起来不够自然。 我们提出的自适应投影引导（APG）则换了一个思路：引导信号中真正有益的部分，和引发劣化的部分，在几何上是正交的。APG 将引导信号分解为平行与正交两个分量，保留正交分量（有益部分），同时抑制平行分量（劣化部分），从而在提升自然度的同时避免音质损失。 简单来说，CFG 是"无差别放大"，APG 是"精准筛选"。两项推理优化协同作用，在保持高说话人相似度的同时，显著提升了生成语音的自然度与声学质量。 在 Wav-VAE 的实验中，我们观察到了一个非常有意思的现象：VAE 重建质量越好 ≠ 语音生成效果越好 单纯追求高重建分数，会导致潜空间维度膨胀。这使得下游的扩散模型难以学习，导致综合表现下降。 为了深入探究这个问题，我们系统性地对比了不同潜空间维度与帧率配置下的建模表现，最终确定了最优配置：64 维潜在维度 + 11.7Hz 帧率。这一配置既为生成模型留出足够的学习空间，又保留了足够的声学细节，实现了重建保真度与生成质量的最佳平衡。 我们在 Seed 基准上测试了 LongCat-AudioDiT 的表现，并与业界知名模型，比如 SeedTTS、CosyVoice3.5、MiniMax-Speech 等进行对比。 结果表明，LongCat-AudioDiT 在说话人相似度（SIM）方面取得了 SOTA 的表现，同时具有极具竞争力的可懂度。 模型在准确率指标上保持了第一梯队的水平，没有为了追求相似度而牺牲可懂度。 值得一提的是，LongCat-AudioDiT 并没有使用高质量人工标注数据和多阶段的训练，仅仅通过 ASR 转写的预训练数据和单阶段预训练就取得了比多阶段训练的模型，如 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型更好的表现。 总结来说，LongCat-AudioDiT 模型凭借其优秀的说话人相似度（SIM）和稳定的准确率（WER/CER），在零样本语音克隆任务中展现出强大的竞争力。 LongCat-AudioDiT 以极简的架构、纯粹的波形潜空间建模，证明了绕开中间表征的扩散 TTS 路线不仅能走通，更能达到业界最佳水平。我们相信，这套"波形隐空间直通"的设计范式将为高保真语音合成与多模态音频生成提供新的思路。 今天，我们将 LongCat-AudioDiT 模型（1B / 3.5B）全部开源，期待与社区同仁共同推动语音生成技术的边界。 🚀 开源平台链接 我们也期待，这套技术能帮助更多开发者和研究者，构建出更自然、更富表现力的语音交互体验。 | 关注「美团技术团队」微信公众号（meituantech），阅读更多技术干货！ | 本文系美团技术团队出品，著作权归属美团。欢迎出于分享和交流等非商业目的转载或使用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者使用。任何商用行为，请发送邮件至 tech@meituan.com 申请授权。一、波形潜在空间直接生成架构：规避中间表征的信息衰减瓶颈
只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT），在波形隐空间里完成声音的压缩、建模与重建。
1.1 Wav-VAE：为波形量身定制的压缩器
1.2 扩散 Transformer：在隐空间中学习从文本到声音的映射
二、推理机制的双重关键突破：从精准对齐到生成净化
2.1 修复流匹配 TTS 的「训练-推理」不匹配问题
2.2 自适应投影引导（APG）：缓解 CFG「过饱和」问题
三、核心洞察：VAE 重建越好，TTS 生成反而越差？
四、模型性能：定义「零样本」下的声音复刻极限
说话人相似度（SIM）
文本准确率（WER/CER）
开源开放
