开源音频模型如今已覆盖语音识别、文本转语音、实时语音对话和音乐生成,其中数款可在单块消费级 GPU 上运行。Qwen3-ASR 支持 30 种语言和 22 种中文方言,Kokoro 仅用 8200 万参数即可生成语音,ACE-Step 则在不到 4 GB 显存(VRAM)上就能写出完整歌曲。
本指南基于三项指标精选出 10 个最佳开源和开权(open-weight)AI 音频模型:GitHub 高星仓库、Hugging Face 高下载模型,以及 Artificial Analysis 榜单的顶尖模型。覆盖 4 大类别:语音识别、文本转语音、实时对话和音乐生成。
每个模型均配有基于其官方文档的快速上手示例。部分示例需要特定硬件、依赖或额外配置,运行前请先查看各模型的要求。
快速说明: 这是一份精选清单,而非严格的基准排名。开权表示可下载训练权重,但许可证仍可能限制使用方式,因此我在各节及文末对比表中标注了许可证。示例源自官方文档,但我未亲测代码,您的环境可能需要额外依赖或配置。
要点速览
语音识别: Qwen3-ASR 适合多语种高准确率;Nemotron 3.5 ASR Streaming 适合低延迟实时转写;当您还需要对音频进行摘要与问答时,选择 Voxtral Small。
文本转语音: Kokoro 82M 适合轻量本地化使用;Fish Audio Drama 3 适合多角色、富表现力对话;Breeze TTS 2 适合声音设计(仅限非商业)。
实时对话: NVIDIA PersonaPlex 适合纯音频语音助手;当您还需要视频输入时,选择 MiniCPM-o 4.5。
音乐生成: ACE-Step 1.5 适合包含人声的完整歌曲;MusicGen Large 适合器乐伴奏(仅限非商业)。
最佳开源语音识别模型
语音识别(ASR)模型将口语音频转换为文本,适用于会议转写、字幕、播客、语音助手和音频分析。现代模型可识别多种语言、处理实时对话,部分还能对谈话内容进行推理。
1. Voxtral Small
Voxtral Small 24B 是 Mistral AI 发布的开权语音理解模型,采用 Apache 2.0 许可证。支持 8 种语言(英语、西班牙语、法语、葡萄牙语、印地语、德语、荷兰语、意大利语),可转写录音、总结对话、回答有关音频的问题,并遵循口头指令。
来源:Voxtral Small 24B
其最大优势在于单一模型即可同时处理语音识别与语言推理,无需独立的转写与摘要流水线,非常适合会议分析、访谈与语音助手。局限在于体量:该 240 亿参数模型在 BF16 或 FP16 下约需 55 GB 显存,意味着需要高显存或多 GPU 硬件。
若您只需转写,Mistral 更新的 Voxtral Mini 4B Realtime 要轻量得多。Mistral 已于 2026 年 2 月发布 ,同为 Apache 2.0,流式延迟可配置到 200 ms 以内。
快速上手: 安装 vLLM 与所需 Python 包。
pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hub技术支持
启动 vLLM 服务。以下配置使用两块 GPU。
vllm serve mistralai/Voxtral-Small-24B-2507 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2 \
--tool-call-parser mistral \
--enable-auto-tool-choice技术支持
再开一个终端,运行 Python 示例以转写示例音频。
from mistral_common. protocol. transcription. request import TranscriptionRequest
from mistral_common. protocol. instruct. messages import RawAudio
from mistral_common. audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key= "EMPTY" ,
base_url= "http://localhost:8000/v1" ,
)
model = client. models. list ( ) . data[ 0 ] . id
audio_file = hf_hub_download(
"patrickvonplaten/audio_samples" ,
"obama.mp3" ,
repo_type= "dataset" ,
)
audio = RawAudio. from_audio(
Audio. from_file( audio_file, strict= False )
)
req = TranscriptionRequest(
model= model,
audio= audio,
language= "en" ,
temperature= 0.0 ,
) . to_openai( exclude= ( "top_p" , "seed" ) )
response = client. audio. transcriptions. create( ** req)
print ( response. text) 技术支持
脚本会下载示例录音,将其发送至本地 Voxtral 服务,并打印转写结果。
2. Qwen3-ASR
Qwen3-ASR 是阿里巴巴 Qwen 团队开源的语音识别模型家族,提供 0.6B 与 1.7B 两个参数规模,许可证为 Apache 2.0。它支持 30 种语言与 22 种中文方言,可自动检测语种,并能在有背景音乐的情况下转写语音(含演唱)。非常适合多语种转写、字幕、播客和访谈。
来源:Qwen3-ASR
Qwen3-ASR 在准确率、速度与灵活性之间取得平衡。1.7B 模型在 Hugging Face 的 Open ASR Leaderboard 上的平均词错误率(WER)为 5.76,而 Voxtral Small 为 6.62(数值越低越好)。0.6B 版本以部分精度换取更高效率。
两种规模均支持离线与流式推理,但流式目前需要 vLLM 后端(pip install -U qwen-asr[vllm])。可选的 Qwen3-ForcedAligner-0.6B 模型可为 11 种支持语言生成逐词时间戳,用于字幕。
快速上手: 安装官方 Python 包。
pip install -U qwen-asr技术支持
加载 1.7B 模型并转写官方示例音频。
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel. from_pretrained(
"Qwen/Qwen3-ASR-1.7B" ,
dtype= torch. bfloat16,
device_map= "cuda:0" ,
)
results = model. transcribe(
audio= "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav" ,
language= None ,
)
print ( results[ 0 ] . language)
print ( results[ 0 ] . text) 技术支持
模型会在首次使用时自动下载。它会自动检测语种并打印转写结果。
您可将示例 URL 替换为自己的音频文件。本示例使用 NVIDIA GPU。
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B 是为实时转写打造的轻量级语音识别模型,拥有 6 亿参数,支持 40 个语言地区(locale),包括英语、阿拉伯语、印地语、西班牙语和日语。其中 32 个可直接转写,8 个需先微调。
来源:NVIDIA Nemotron 3.5 ASR Streaming 0.6B
其速度源于面向缓存的流式架构。它按 80 毫秒这样的小块处理新音频,同时复用缓存的编码器上下文,而不是反复处理整段录音。NVIDIA 报告称,在单卡 H100 上,80 ms 设置下的并发流数量约为其缓冲式 Parakeet RNNT 1.1B 模型的 17 倍(240 vs 14)。
这使其非常适合实时字幕、会议与低延迟语音助手。权重使用 OpenMDW-1.1 许可证,NVIDIA 在模型卡中说明可用于商业用途,模型可通过 NeMo-Speech.cpp 本地运行。
快速上手: 在 Linux 或 macOS 上安装 NeMo-Speech.cpp。
curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | sh 技术支持
转写一个 WAV 文件。CLI 会在首次使用时下载默认的 Nemotron 3.5 模型。
nemo-speech transcribe audio.wav技术支持
若要测试流式转写(以 160 ms 分块将文件送入流式识别器),运行:
nemo-speech transcribe audio.wav --stream 技术支持
在支持的构建上进行实时麦克风转写:
nemo-speech transcribe --live 技术支持
将 audio.wav 替换为您的录音。该运行时支持 CPU 与兼容的 GPU 后端,因此无需大型 GPU 即可开始。
最佳开源文本转语音模型
文本转语音(TTS)模型将书面文本转换为自然语音。现代模型可克隆声音、表达情感、生成多角色对话,并能说多种语言。以下是 3 个值得探索的开权模型。
4. Fish Audio Drama 3
Fish Audio Drama 3 是面向多角色场景与长内容的富表现力 TTS 模型。其采用专家混合(Mixture-of-Experts)架构,共 350 亿参数,但每个 token 仅激活约 30 亿。支持声音克隆、自然语言的声音控制,并可进行最多 16 位说话者的对话,适用于有声书和角色驱动内容。
来源:Fish Audio Drama 3 技术报告
其亮点在于情感表现力。您可以在文本中直接使用如 [sighs]、[laughs] 的行内标签,在同一脚本中分配最多 16 个说话者标签,并以流式方式分段生成长篇。Fish Audio 报告称,在 H200 GPU 上,单流首帧音频延迟约 89 ms,模型可通过 SGLang-Omni 与 vLLM-Omni 运行。
局限在于体量与许可。FP8 checkpoint 单权重就需 37 GB,4-bit GPTQ 版本可降至 20.8 GB。权重为 Fish Audio Community License,商业使用前请阅读条款。
快速上手: 在支持的 Linux(配 NVIDIA GPU)系统上安装 SGLang-Omni 及其 Fish Audio 依赖。
pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease = allow -v -e ".[fishaudio]" 技术支持
下载模型并启动服务:
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port 8000 技术支持
打开新终端并生成语音:
curl -X POST http://localhost:8000/v1/audio/speech \
-H "Content-Type: application/json" \
-d '{
"input": "Hello, how are you?"
}' \
--output output.wav技术支持
模型将生成语音并保存为 output.wav。您可更改输入文本,或参考 官方 Drama 3 使用手册 探索声音克隆与多说话者生成。
5. Breeze TTS 2
Breeze TTS 2 是一款 30 亿参数、面向中英双语的文本转语音模型。支持基于参考录音的声音克隆、基于自然语言描述的声音设计,以及使用自然语言控制语气、情感与表达方式。
来源:Breeze TTS 2
据 BreezeBlue 模型卡称,它在 Artificial Analysis TTS 榜单的开权模型中排名第一,在 H100 上使用快速路径首帧音频延迟低于 40 ms。亦支持如 (laugh)、(sigh)、(cough) 的行内发声事件。
这使其适合交互式语音应用,但自部署的权重与输出仅限研究与非商业用途。仅源码为 Apache 2.0。
快速上手: 在 Linux 上(Python 3.10+、CUDA 兼容 NVIDIA GPU),克隆官方仓库并安装依赖。
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install -r requirements.txt
python -m pip install -U huggingface_hub技术支持
下载模型 checkpoint:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir .. /breeze-tts-2技术支持
使用官方“声音设计”示例生成语音。该示例不需要参考音频。
python infer.py .. /breeze-tts-2 \
--text "(sigh) Welcome aboard. Your journey begins now." \
--instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
--cfg-scale 4 \
--output outputs/voice_design_en.wav技术支持
模型将根据声音描述生成语音并保存为 outputs/voice_design_en.wav。默认推理模式约需 7.7 GiB 显存(--fast-all 选项下为 14.4 GiB),建议至少 12 GB 显存。您也可通过 官方文档 尝试声音克隆与流式生成。
6. Kokoro 82M
Kokoro 82M 是一款仅 8200 万参数的轻量级 TTS 模型。v1.0 版本覆盖 8 种语言的 54 种声音。对于想在无高端 GPU 的情况下试验语音生成的开发者来说,它是较易上手的选择。
来源:Kokoro 82M
Kokoro 的主要优势是高效。它适合离线旁白、无障碍工具与语音助手,且权重为 Apache 2.0,可用于商业项目。
快速上手: 您可以直接在 Google Colab 中运行 Kokoro。首先安装所需包:
! pip install -q "kokoro>=0.9.2" soundfile
! apt-get -qq -y install espeak-ng > /dev/null 2 >&1 技术支持
使用官方 Python 接口生成语音:
from kokoro import KPipeline
from IPython. display import display, Audio
import soundfile as sf
pipeline = KPipeline( lang_code= 'a' )
text = "Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline( text, voice= 'af_heart' )
for i, ( gs, ps, audio) in enumerate ( generator) :
display( Audio( data= audio, rate= 24000 ) )
sf. write( f' { i} .wav' , audio, 24000 ) 技术支持
模型将使用 af_heart 美式英语音色生成语音,在 Colab 中播放并保存为 WAV 文件。您可通过 Kokoro 官方模型卡 更改文本、音色或语言。
最佳开源实时音频 LLM
实时音频大语言模型(LLM)可倾听口头提问并生成自然语音回答。相较于串联独立的语音识别与文本转语音系统,它们可在单个模型中处理连续对话、打断以及边听边说。
7. MiniCPM-o 4.5
MiniCPM-o 4.5 是 OpenBMB 的 90 亿参数多模态模型,能理解图像、视频、音频与文本,并以语音作答。支持中英文的实时语音对话、声音克隆与全双工交互。全双工意味着模型可同时聆听、观看与说话,而非等待每回合结束。
来源:MiniCPM-o 4.5
其特色在于视觉理解与语音交互的结合。您可以构建能就实时摄像头画面回答口头问题的助手,描述周围环境,或在处理视频的同时参与对话。权重采用 Apache 2.0 许可,开发者提供了开箱即用的 Web 演示,但全双工流式仍属实验性。
快速上手: 官方 MiniCPM-o 4.5 Web 演示支持实时音视频对话。需要 Linux、Docker Compose、NVIDIA Container Toolkit,以及显存超过 28 GB 的 NVIDIA GPU。
首先克隆官方演示仓库:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demo技术支持
下载模型 checkpoint:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5技术支持
生成本地 HTTPS 证书:
mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
-keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o" 技术支持
使用 Docker Compose 启动 Web 演示:
MODEL_HOST_PATH = /path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0技术支持
将 /path/to/MiniCPM-o-4_5 替换为下载 checkpoint 的绝对路径,并编辑 docker-compose.yml 以匹配您的 GPU 数量。打开 8006 端口上的 HTTPS 网页,并允许麦克风与摄像头访问。
选择 Audio Full-Duplex 进行实时语音对话,或选择 Omnimodal Full-Duplex 以视频+音频交互。您可以提问、打断模型,并体验连续对话。
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex 是一款 70 亿参数的语音到语音模型,专为自然、实时对话而设计。基于 Moshi 架构,支持全双工通信,可同时倾听与说话。无需独立的转写与语音生成系统,即可处理打断与重叠语音。
来源:NVIDIA PersonaPlex
PersonaPlex 允许您控制助手的声音与人设,便于为客服助手、虚拟导师等语音代理定制对话角色与说话风格。它专注于音频对话,不支持视觉输入;若需视频请选 MiniCPM-o。权重采用 NVIDIA Open Model License。
快速上手: 在支持的 Linux(配 NVIDIA GPU)系统上克隆官方仓库并安装依赖。
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudo apt install libopus-dev
pip install moshi/.技术支持
在 Hugging Face 接受模型许可并配置访问令牌:
export HF_TOKEN = "YOUR_HUGGINGFACE_TOKEN" 技术支持
启动官方 PersonaPlex 服务:
SSL_DIR = $( mktemp -d ) ; python -m moshi.server --ssl "$SSL_DIR " 技术支持
若 GPU 显存有限,可添加 --cpu-offload 参数(需要 accelerate 包)。
在浏览器中打开 https://localhost:8998 并允许麦克风访问。现在您可直接与 PersonaPlex 对话、提问、打断其回答,并测试不同的语音人设。
最佳开源音频与音乐生成模型
音频生成模型能根据文本提示创作原创音乐、器乐与旋律。有些还能生成包含人声的完整歌曲、编辑现有录音,或基于参考旋律生成音乐。
9. ACE-Step 1.5
ACE-Step 1.5 是一款开源音乐生成模型,可根据文本描述创作完整歌曲。支持人声、自定义歌词、多种音乐风格,以及最长 10 分钟的歌曲。您还可以控制速度(tempo)、调式和时长,或用现有录音做翻唱并编辑歌曲片段。
来源:ACE-Step 1.5
与更大型的音乐生成模型相比,ACE-Step 的可用性更强。它可在 NVIDIA、AMD、Intel 与 Apple Silicon 硬件上运行,其技术报告 称其可在显存不足 4 GB 的 GPU 上运行。项目 README 声称在 A100 上生成完整歌曲耗时不足 2 秒,在 RTX 3090 上不足 10 秒。
它提供 Gradio Web 界面与 REST API。XL 变体使用 40 亿参数的 DiT 解码器,以更高显存换取更高音质,需至少 12 GB 显存(含卸载)或 20 GB(不含卸载)。项目采用 MIT 许可证。
快速上手: 在 Linux 或 macOS 上安装 uv 包管理器:
curl -LsSf https://astral.sh/uv/install.sh | sh 技术支持
克隆官方仓库并安装依赖:
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv sync 技术支持
启动音乐生成界面:
uv run acestep技术支持
在浏览器中打开 http://localhost:7860。应用将在首次启动时下载所需模型文件,并根据您的硬件自动选择配置。
要生成音乐,请输入您想要的歌曲描述,例如“节奏轻快的电子曲风,鼓点与合成器富有能量”。您也可以提供自定义歌词、调整时长,或选择仅器乐。点击生成按钮以创建音乐、收听结果并下载音频文件。
MusicGen Large 是 Meta 在 AudioCraft 项目中发布的 33 亿参数文本转音乐模型。它可根据描述(体裁、情绪、乐器与风格)生成器乐音乐,是最初 MusicGen 发布中最大的文本转音乐 checkpoint。
来源:MusicGen Large
MusicGen Large 可用寥寥数语生成细腻的背景音乐、配乐与器乐片段,并可配合 Hugging Face Transformers 与 AudioCraft 使用。它也是本文中最早的模型。Meta 于 2023 年 4—5 月基于 20,000 小时的授权音乐进行训练,且无法生成逼真的人声。
建议使用 GPU。预训练权重使用 CC BY-NC 4.0 许可证,限制商业用途;代码则为 MIT 许可。
快速上手: 安装 Transformers 与 SciPy。
pip install --upgrade transformers scipy技术支持
使用 Hugging Face 官方示例根据文本提示生成音乐:
from transformers import pipeline
import scipy
synthesiser = pipeline( "text-to-audio" , "facebook/musicgen-large" )
music = synthesiser(
"lo-fi music with a soothing melody" ,
forward_params= { "do_sample" : True }
)
scipy. io. wavfile. write(
"musicgen_out.wav" ,
rate= music[ "sampling_rate" ] ,
data= music[ "audio" ]
) 技术支持
模型会在首次使用时自动下载,根据提示生成器乐并保存为 musicgen_out.wav。您可修改文本以尝试不同的音乐风格、乐器与情绪。
如何选择开源 AI 音频模型?
最佳选择取决于您的目标是转写语音、生成逼真声音、构建实时助手,还是创作音乐。下表按使用场景对各模型的能力、规模与许可证进行对比。
Model Best for Key advantage Model size License (weights) Voxtral Small Advanced speech recognition Transcription, summarization, and audio reasoning 24B Apache 2.0 Qwen3-ASR Multilingual transcription 30 languages and 22 Chinese dialects 0.6B / 1.7B Apache 2.0 NVIDIA Nemotron 3.5 ASR Real-time transcription Low-latency streaming and efficient inference 0.6B OpenMDW-1.1 Fish Audio Drama 3 Expressive speech and storytelling Voice cloning and dialogue with up to 16 speakers 35B total / 3B active Fish Audio Community License Breeze TTS 2 Natural text-to-speech Voice design, emotion control, and low latency 3B Research and non-commercial Kokoro 82M Lightweight and local TTS Efficient speech generation on modest hardware 82M Apache 2.0 MiniCPM-o 4.5 Multimodal voice assistants Real-time audio, video, and speech interaction 9B Apache 2.0 NVIDIA PersonaPlex Real-time voice conversations Full-duplex speech with natural interruptions 7B NVIDIA Open Model License ACE-Step 1.5 Complete song generation Vocals, custom lyrics, covers, and music editing 2B / 4B (XL) MIT Meta MusicGen Large Instrumental music generation Text-to-music generation from short prompts 3.3B CC BY-NC 4.0
结语
开源音频模型在语音识别、文本转语音、实时对话与音乐生成方面都在快速进步。它们更准确、更快速、更易于部署,开发者无需完全依赖昂贵的商业服务即可构建音频应用。
我个人几乎所有转写工作都通过 Spokenly 使用 Voxtral,体验很好。其准确率令人印象深刻,尽管开权模型非常庞大,但我调用的是 Mistral 的托管 API,就我的用量而言一直免费。这正说明这些模型已逐步走向日常可用。
更让我兴奋的是对话式 AI 的进展。我们已经知道与 ChatGPT 的语音对话有多自然,而开源模型如 NVIDIA PersonaPlex 和 MiniCPM-o 4.5 为希望自建助手的开发者带来了类似能力。与此同时,ACE-Step 让完整歌曲生成成为可能,Kokoro 等轻量方案也让语音生成更易触达。
没有“一刀切”的最佳模型,这正是该领域的迷人之处。无论您需要高准确率转写、逼真声音、自然对话,还是生成音乐,可能都有值得一试的开源模型。
开源音频模型如今已覆盖语音识别、文本转语音、实时语音对话和音乐生成,其中数款可在单块消费级 GPU 上运行。Qwen3-ASR 支持 30 种语言和 22 种中文方言,Kokoro 仅用 8200 万参数即可生成语音,ACE-Step 则在不到 4 GB 显存(VRAM)上就能写出完整歌曲。
本指南基于三项指标精选出 10 个最佳开源和开权(open-weight)AI 音频模型:GitHub 高星仓库、Hugging Face 高下载模型,以及 Artificial Analysis 榜单的顶尖模型。覆盖 4 大类别:语音识别、文本转语音、实时对话和音乐生成。
每个模型均配有基于其官方文档的快速上手示例。部分示例需要特定硬件、依赖或额外配置,运行前请先查看各模型的要求。
快速说明:这是一份精选清单,而非严格的基准排名。开权表示可下载训练权重,但许可证仍可能限制使用方式,因此我在各节及文末对比表中标注了许可证。示例源自官方文档,但我未亲测代码,您的环境可能需要额外依赖或配置。
要点速览
最佳开源语音识别模型
语音识别(ASR)模型将口语音频转换为文本,适用于会议转写、字幕、播客、语音助手和音频分析。现代模型可识别多种语言、处理实时对话,部分还能对谈话内容进行推理。
1. Voxtral Small
Voxtral Small 24B 是 Mistral AI 发布的开权语音理解模型,采用 Apache 2.0 许可证。支持 8 种语言(英语、西班牙语、法语、葡萄牙语、印地语、德语、荷兰语、意大利语),可转写录音、总结对话、回答有关音频的问题,并遵循口头指令。
来源:Voxtral Small 24B
其最大优势在于单一模型即可同时处理语音识别与语言推理,无需独立的转写与摘要流水线,非常适合会议分析、访谈与语音助手。局限在于体量:该 240 亿参数模型在 BF16 或 FP16 下约需 55 GB 显存,意味着需要高显存或多 GPU 硬件。
若您只需转写,Mistral 更新的 Voxtral Mini 4B Realtime 要轻量得多。Mistral 已于 2026 年 2 月发布,同为 Apache 2.0,流式延迟可配置到 200 ms 以内。
快速上手:安装 vLLM 与所需 Python 包。
启动 vLLM 服务。以下配置使用两块 GPU。
再开一个终端,运行 Python 示例以转写示例音频。
脚本会下载示例录音,将其发送至本地 Voxtral 服务,并打印转写结果。
2. Qwen3-ASR
Qwen3-ASR 是阿里巴巴 Qwen 团队开源的语音识别模型家族,提供 0.6B 与 1.7B 两个参数规模,许可证为 Apache 2.0。它支持 30 种语言与 22 种中文方言,可自动检测语种,并能在有背景音乐的情况下转写语音(含演唱)。非常适合多语种转写、字幕、播客和访谈。
来源:Qwen3-ASR
Qwen3-ASR 在准确率、速度与灵活性之间取得平衡。1.7B 模型在 Hugging Face 的 Open ASR Leaderboard 上的平均词错误率(WER)为 5.76,而 Voxtral Small 为 6.62(数值越低越好)。0.6B 版本以部分精度换取更高效率。
两种规模均支持离线与流式推理,但流式目前需要 vLLM 后端(
pip install -U qwen-asr[vllm])。可选的 Qwen3-ForcedAligner-0.6B 模型可为 11 种支持语言生成逐词时间戳,用于字幕。快速上手:安装官方 Python 包。
加载 1.7B 模型并转写官方示例音频。
模型会在首次使用时自动下载。它会自动检测语种并打印转写结果。
您可将示例 URL 替换为自己的音频文件。本示例使用 NVIDIA GPU。
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B 是为实时转写打造的轻量级语音识别模型,拥有 6 亿参数,支持 40 个语言地区(locale),包括英语、阿拉伯语、印地语、西班牙语和日语。其中 32 个可直接转写,8 个需先微调。
来源:NVIDIA Nemotron 3.5 ASR Streaming 0.6B
其速度源于面向缓存的流式架构。它按 80 毫秒这样的小块处理新音频,同时复用缓存的编码器上下文,而不是反复处理整段录音。NVIDIA 报告称,在单卡 H100 上,80 ms 设置下的并发流数量约为其缓冲式 Parakeet RNNT 1.1B 模型的 17 倍(240 vs 14)。
这使其非常适合实时字幕、会议与低延迟语音助手。权重使用 OpenMDW-1.1 许可证,NVIDIA 在模型卡中说明可用于商业用途,模型可通过 NeMo-Speech.cpp 本地运行。
快速上手:在 Linux 或 macOS 上安装 NeMo-Speech.cpp。
转写一个 WAV 文件。CLI 会在首次使用时下载默认的 Nemotron 3.5 模型。
若要测试流式转写(以 160 ms 分块将文件送入流式识别器),运行:
在支持的构建上进行实时麦克风转写:
将
audio.wav替换为您的录音。该运行时支持 CPU 与兼容的 GPU 后端,因此无需大型 GPU 即可开始。最佳开源文本转语音模型
文本转语音(TTS)模型将书面文本转换为自然语音。现代模型可克隆声音、表达情感、生成多角色对话,并能说多种语言。以下是 3 个值得探索的开权模型。
4. Fish Audio Drama 3
Fish Audio Drama 3 是面向多角色场景与长内容的富表现力 TTS 模型。其采用专家混合(Mixture-of-Experts)架构,共 350 亿参数,但每个 token 仅激活约 30 亿。支持声音克隆、自然语言的声音控制,并可进行最多 16 位说话者的对话,适用于有声书和角色驱动内容。
来源:Fish Audio Drama 3 技术报告
其亮点在于情感表现力。您可以在文本中直接使用如
[sighs]、[laughs]的行内标签,在同一脚本中分配最多 16 个说话者标签,并以流式方式分段生成长篇。Fish Audio 报告称,在 H200 GPU 上,单流首帧音频延迟约 89 ms,模型可通过 SGLang-Omni 与 vLLM-Omni 运行。局限在于体量与许可。FP8 checkpoint 单权重就需 37 GB,4-bit GPTQ 版本可降至 20.8 GB。权重为 Fish Audio Community License,商业使用前请阅读条款。
快速上手:在支持的 Linux(配 NVIDIA GPU)系统上安装 SGLang-Omni 及其 Fish Audio 依赖。
下载模型并启动服务:
打开新终端并生成语音:
模型将生成语音并保存为
output.wav。您可更改输入文本,或参考 官方 Drama 3 使用手册探索声音克隆与多说话者生成。5. Breeze TTS 2
Breeze TTS 2 是一款 30 亿参数、面向中英双语的文本转语音模型。支持基于参考录音的声音克隆、基于自然语言描述的声音设计,以及使用自然语言控制语气、情感与表达方式。
来源:Breeze TTS 2
据 BreezeBlue 模型卡称,它在 Artificial Analysis TTS 榜单的开权模型中排名第一,在 H100 上使用快速路径首帧音频延迟低于 40 ms。亦支持如
(laugh)、(sigh)、(cough)的行内发声事件。这使其适合交互式语音应用,但自部署的权重与输出仅限研究与非商业用途。仅源码为 Apache 2.0。
快速上手:在 Linux 上(Python 3.10+、CUDA 兼容 NVIDIA GPU),克隆官方仓库并安装依赖。
下载模型 checkpoint:
使用官方“声音设计”示例生成语音。该示例不需要参考音频。
模型将根据声音描述生成语音并保存为
outputs/voice_design_en.wav。默认推理模式约需 7.7 GiB 显存(--fast-all选项下为 14.4 GiB),建议至少 12 GB 显存。您也可通过 官方文档尝试声音克隆与流式生成。6. Kokoro 82M
Kokoro 82M 是一款仅 8200 万参数的轻量级 TTS 模型。v1.0 版本覆盖 8 种语言的 54 种声音。对于想在无高端 GPU 的情况下试验语音生成的开发者来说,它是较易上手的选择。
来源:Kokoro 82M
Kokoro 的主要优势是高效。它适合离线旁白、无障碍工具与语音助手,且权重为 Apache 2.0,可用于商业项目。
快速上手:您可以直接在 Google Colab 中运行 Kokoro。首先安装所需包:
使用官方 Python 接口生成语音:
模型将使用
af_heart美式英语音色生成语音,在 Colab 中播放并保存为 WAV 文件。您可通过 Kokoro 官方模型卡更改文本、音色或语言。最佳开源实时音频 LLM
实时音频大语言模型(LLM)可倾听口头提问并生成自然语音回答。相较于串联独立的语音识别与文本转语音系统,它们可在单个模型中处理连续对话、打断以及边听边说。
7. MiniCPM-o 4.5
MiniCPM-o 4.5 是 OpenBMB 的 90 亿参数多模态模型,能理解图像、视频、音频与文本,并以语音作答。支持中英文的实时语音对话、声音克隆与全双工交互。全双工意味着模型可同时聆听、观看与说话,而非等待每回合结束。
来源:MiniCPM-o 4.5
其特色在于视觉理解与语音交互的结合。您可以构建能就实时摄像头画面回答口头问题的助手,描述周围环境,或在处理视频的同时参与对话。权重采用 Apache 2.0 许可,开发者提供了开箱即用的 Web 演示,但全双工流式仍属实验性。
快速上手:官方 MiniCPM-o 4.5 Web 演示支持实时音视频对话。需要 Linux、Docker Compose、NVIDIA Container Toolkit,以及显存超过 28 GB 的 NVIDIA GPU。
首先克隆官方演示仓库:
下载模型 checkpoint:
生成本地 HTTPS 证书:
使用 Docker Compose 启动 Web 演示:
将
/path/to/MiniCPM-o-4_5替换为下载 checkpoint 的绝对路径,并编辑docker-compose.yml以匹配您的 GPU 数量。打开8006端口上的 HTTPS 网页,并允许麦克风与摄像头访问。选择 Audio Full-Duplex 进行实时语音对话,或选择 Omnimodal Full-Duplex 以视频+音频交互。您可以提问、打断模型,并体验连续对话。
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex 是一款 70 亿参数的语音到语音模型,专为自然、实时对话而设计。基于 Moshi 架构,支持全双工通信,可同时倾听与说话。无需独立的转写与语音生成系统,即可处理打断与重叠语音。
来源:NVIDIA PersonaPlex
PersonaPlex 允许您控制助手的声音与人设,便于为客服助手、虚拟导师等语音代理定制对话角色与说话风格。它专注于音频对话,不支持视觉输入;若需视频请选 MiniCPM-o。权重采用 NVIDIA Open Model License。
快速上手:在支持的 Linux(配 NVIDIA GPU)系统上克隆官方仓库并安装依赖。
在 Hugging Face 接受模型许可并配置访问令牌:
启动官方 PersonaPlex 服务:
若 GPU 显存有限,可添加
--cpu-offload参数(需要accelerate包)。在浏览器中打开
https://localhost:8998并允许麦克风访问。现在您可直接与 PersonaPlex 对话、提问、打断其回答,并测试不同的语音人设。最佳开源音频与音乐生成模型
音频生成模型能根据文本提示创作原创音乐、器乐与旋律。有些还能生成包含人声的完整歌曲、编辑现有录音,或基于参考旋律生成音乐。
9. ACE-Step 1.5
ACE-Step 1.5 是一款开源音乐生成模型,可根据文本描述创作完整歌曲。支持人声、自定义歌词、多种音乐风格,以及最长 10 分钟的歌曲。您还可以控制速度(tempo)、调式和时长,或用现有录音做翻唱并编辑歌曲片段。
来源:ACE-Step 1.5
与更大型的音乐生成模型相比,ACE-Step 的可用性更强。它可在 NVIDIA、AMD、Intel 与 Apple Silicon 硬件上运行,其技术报告称其可在显存不足 4 GB 的 GPU 上运行。项目 README 声称在 A100 上生成完整歌曲耗时不足 2 秒,在 RTX 3090 上不足 10 秒。
它提供 Gradio Web 界面与 REST API。XL 变体使用 40 亿参数的 DiT 解码器,以更高显存换取更高音质,需至少 12 GB 显存(含卸载)或 20 GB(不含卸载)。项目采用 MIT 许可证。
快速上手:在 Linux 或 macOS 上安装
uv包管理器:克隆官方仓库并安装依赖:
启动音乐生成界面:
在浏览器中打开
http://localhost:7860。应用将在首次启动时下载所需模型文件,并根据您的硬件自动选择配置。要生成音乐,请输入您想要的歌曲描述,例如“节奏轻快的电子曲风,鼓点与合成器富有能量”。您也可以提供自定义歌词、调整时长,或选择仅器乐。点击生成按钮以创建音乐、收听结果并下载音频文件。
10. Meta MusicGen Large
MusicGen Large 是 Meta 在 AudioCraft 项目中发布的 33 亿参数文本转音乐模型。它可根据描述(体裁、情绪、乐器与风格)生成器乐音乐,是最初 MusicGen 发布中最大的文本转音乐 checkpoint。
来源:MusicGen Large
MusicGen Large 可用寥寥数语生成细腻的背景音乐、配乐与器乐片段,并可配合 Hugging Face Transformers 与 AudioCraft 使用。它也是本文中最早的模型。Meta 于 2023 年 4—5 月基于 20,000 小时的授权音乐进行训练,且无法生成逼真的人声。
建议使用 GPU。预训练权重使用 CC BY-NC 4.0 许可证,限制商业用途;代码则为 MIT 许可。
快速上手:安装 Transformers 与 SciPy。
使用 Hugging Face 官方示例根据文本提示生成音乐:
模型会在首次使用时自动下载,根据提示生成器乐并保存为
musicgen_out.wav。您可修改文本以尝试不同的音乐风格、乐器与情绪。如何选择开源 AI 音频模型?
最佳选择取决于您的目标是转写语音、生成逼真声音、构建实时助手,还是创作音乐。下表按使用场景对各模型的能力、规模与许可证进行对比。
结语
开源音频模型在语音识别、文本转语音、实时对话与音乐生成方面都在快速进步。它们更准确、更快速、更易于部署,开发者无需完全依赖昂贵的商业服务即可构建音频应用。
我个人几乎所有转写工作都通过 Spokenly 使用 Voxtral,体验很好。其准确率令人印象深刻,尽管开权模型非常庞大,但我调用的是 Mistral 的托管 API,就我的用量而言一直免费。这正说明这些模型已逐步走向日常可用。
更让我兴奋的是对话式 AI 的进展。我们已经知道与 ChatGPT 的语音对话有多自然,而开源模型如 NVIDIA PersonaPlex 和 MiniCPM-o 4.5 为希望自建助手的开发者带来了类似能力。与此同时,ACE-Step 让完整歌曲生成成为可能,Kokoro 等轻量方案也让语音生成更易触达。
没有“一刀切”的最佳模型,这正是该领域的迷人之处。无论您需要高准确率转写、逼真声音、自然对话,还是生成音乐,可能都有值得一试的开源模型。