llama.cpp 支持在语音合成模型 Drama 3 中利用参考语音克隆声音。实现语音合成的开发者可通过参考片段及其转录文本指定声音,并重新转换现有的语音处理辅助模型文件以使用此功能。
1. 根据参考片段指定声音
b12590 于 2026年11月20日以预发布版,即正式发布前的测试版本公开。此前的 Drama 3 实现会发出警告并忽略用于语音克隆的参考文件,此次变更则将片段的声音信息加入生成输入,以体现参考声音的特征。
转录文本应填写参考片段中的讲话内容。若转录文本没有说话人标记,则按 0 号说话人处理;若待生成的句子没有说话人标记,则沿用参考转录文本的说话人标记。
2. 为输出用编解码器增加输入路径
此次接入的核心,是将原本用于输出语音的编解码器也用于输入端。Drama 3 的多模态文件是容纳语音生成部分和编解码器的辅助模型文件,可共同处理多种信息。此前其中仅含输出声音的解码器,如今还包含将参考语音转换成模型可读编码的编码器。
编码器转换代码与 Fish S2 共享。据 PR 作者介绍,Fish S2 的转换结果与此前相同,仍保留 511 个张量,即按多轴排列的数值数据,以及 20 项描述文件结构和属性的元数据。这相当于在为 Drama 3 增加输入路径的同时,保持了现有 Fish S2 的转换结果。
3. 命令行使用方法
以下是 PR 作者提供的运行示例。同时指定模型、多模态文件、参考语音及其转录文本,以及要重新朗读的句子。
llama-tts -m drama3.gguf -mm mmproj-drama3.gguf \
--tts-speaker-file reference.wav \
--tts-speaker-text "<|speaker:0|> transcript of the clip" \
-p "text to speak" -o out.wav每次请求只能使用一个参考语音,且最多使用开头 30 秒。若使用不含编码器的旧辅助文件,系统会发出警告并忽略参考语音,因此使用语音克隆前必须重新转换多模态文件。
4. 提交者公布的测试结果
PR 作者披露的测试对象是 Drama 3 检查点,即保存训练状态的模型文件 78e5ab79。核心生成模型采用每个权重 2 位、192 个专家,多模态文件则采用 Q8_0 量化,即降低数值精度后存储的技术。
作者表示,测试在 CUDA 环境中进行,与基准片段相比,有参考语音时的 WavLM 说话人相似度为 0.883,无参考语音时为 0.563。以同一基准片段进行比较,加入参考语音的一方表现出更高的相似度。
在单独留出的验证数据中,91 个单参考语音提示词,即输入模型的指令,有 88 个通过了作者的说话人验证测试,平均相似度为 0.956。
内容通过语音识别进行核验。作者表示,138 个提示词中有 136 个达到了按类别词错误率,即按类别衡量的识别结果中单词错误比例的标准。这意味着除声音相似度外,也检查了说话内容。
5. 不增加模型,而是增加文件内容与输入处理
支持参考语音的代价是多模态文件增加了编解码器的编码器,且每个输入音频帧,即按短时间单位划分的音频数据,都会增加提示词行。因此,使用新功能需要重新生成文件,模型要处理的输入也会增多。另一方面,无需额外增加生成模型,仅用一个参考语音即可指定说话人特征。
此次发布的实际变化在于复用 Fish S2 编解码器,经过辅助文件重新转换后,即可将参考声音引入现有的 Drama 3 生成流程。
