Top 10 modelos de áudio de IA open source em 2026

Modelos de áudio open source hoje cobrem reconhecimento de fala, texto para fala, conversas por voz em tempo real e geração de música — e vários já rodam em uma única GPU de consumidor. O Qwen3-ASR transcreve 30 idiomas e 22 dialetos chineses, o Kokoro gera fala com apenas 82 milhões de parâmetros, e o ACE-Step cria músicas completas usando menos de 4 GB de memória de vídeo (VRAM).

Neste guia, selecionei 10 dos melhores modelos de áudio de IA open source e open-weight combinando 3 fatores: repositórios no GitHub com muitos stars, modelos amplamente baixados no Hugging Face e líderes em benchmarks do Artificial Analysis. Eu cobri 4 categorias: reconhecimento de fala, texto para fala, conversas em tempo real e geração de música.

Cada modelo vem com um exemplo de quick start baseado na documentação oficial. Alguns exemplos exigem hardware específico, dependências ou configuração extra, então verifique os requisitos de cada modelo antes de executar.

Observação rápida: esta é uma lista curada, não um ranking de benchmark rigoroso. Open-weight significa que os pesos treinados são baixáveis, mas a licença ainda pode restringir o uso, então sinalizo as licenças em cada seção e na tabela comparativa ao final. Os exemplos vêm da documentação oficial, mas eu não testei o código pessoalmente — sua configuração pode precisar de dependências ou ajustes adicionais.

Em poucas palavras

• Reconhecimento de fala: Qwen3-ASR para precisão multilíngue, Nemotron 3.5 ASR Streaming para transcrição ao vivo com baixa latência e Voxtral Small quando você também quer resumos e respostas sobre o áudio.
• Texto para fala: Kokoro 82M para uso local leve, Fish Audio Drama 3 para diálogos expressivos com vários personagens e Breeze TTS 2 para design de voz (apenas uso não comercial).
• Conversas em tempo real: NVIDIA PersonaPlex para agentes de voz só com áudio, e MiniCPM-o 4.5 quando você também precisa de entrada de vídeo.
• Geração de música: ACE-Step 1.5 para músicas completas com vocais, e MusicGen Large para instrumentais (apenas uso não comercial).

Melhores modelos open source de reconhecimento de fala

Modelos de reconhecimento de fala, também chamados de ASR (automatic speech recognition), convertem áudio falado em texto. Eles são úteis para transcrição de reuniões, legendas, podcasts, assistentes de voz e análise de áudio. Modelos modernos também reconhecem vários idiomas, processam conversas ao vivo e alguns conseguem raciocinar sobre o tema discutido.

1. Voxtral Small

Voxtral Small 24B é um modelo open-weight de compreensão de fala da Mistral AI, lançado sob a licença Apache 2.0. Ele suporta 8 idiomas (inglês, espanhol, francês, português, hindi, alemão, holandês e italiano) e consegue transcrever gravações, resumir conversas, responder perguntas sobre o áudio e seguir instruções faladas.

Fonte: Voxtral Small 24B

Seu maior diferencial é que um único modelo faz reconhecimento de fala e raciocínio em linguagem, sem precisar de pipelines separados para transcrição e sumarização. Isso é ideal para análise de reuniões, entrevistas e assistentes de voz. A desvantagem é o tamanho: o modelo de 24 bilhões de parâmetros precisa de aproximadamente 55 GB de memória de GPU em BF16 ou FP16, exigindo hardware com muita memória ou múltiplas GPUs.

Se você só precisa de transcrição, o Voxtral Mini 4B Realtime, mais novo, é bem mais leve. A Mistral lançou em fevereiro de 2026 sob Apache 2.0, com latência de streaming configurável para menos de 200 ms.

Quick start: instale o vLLM e os pacotes Python necessários.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubTecnologia

Inicie o servidor vLLM. Esta configuração usa duas GPUs.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceTecnologia

Abra outro terminal e rode o exemplo em Python para transcrever um áudio de demonstração.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)Tecnologia

O script baixa uma gravação de exemplo, envia para o seu servidor local do Voxtral e imprime a transcrição.

2. Qwen3-ASR

Qwen3-ASR é uma família de modelos open source de reconhecimento de fala da equipe Qwen, da Alibaba, disponível nas versões com 0,6B e 1,7B de parâmetros sob a licença Apache 2.0. Ele suporta 30 idiomas e 22 dialetos chineses, detecta automaticamente o idioma falado e consegue transcrever fala com música de fundo, inclusive canto. Funciona bem para transcrição multilíngue, legendas, podcasts e entrevistas.

Fonte: Qwen3-ASR

O Qwen3-ASR equilibra precisão, velocidade e flexibilidade. O modelo de 1,7B registra WER médio de 5,76 no Open ASR Leaderboard do Hugging Face, contra 6,62 do Voxtral Small (quanto menor, melhor). A versão de 0,6B troca um pouco de precisão por eficiência.

Ambos os tamanhos suportam inferência offline e por streaming, embora o streaming atualmente exija o backend vLLM (pip install -U qwen-asr[vllm]). O modelo opcional Qwen3-ForcedAligner-0.6B gera timestamps por palavra para legendas em 11 idiomas suportados.

Quick start: instale o pacote Python oficial.

pip install -U qwen-asrTecnologia

Carregue o modelo de 1,7B e transcreva o áudio de exemplo oficial.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)Tecnologia

O modelo é baixado automaticamente no primeiro uso. Ele detecta o idioma falado e imprime a transcrição.

Você pode trocar a URL de exemplo por um arquivo seu. Este exemplo usa uma GPU NVIDIA.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B é um modelo leve de reconhecimento de fala voltado para transcrição em tempo real. Ele tem 600 milhões de parâmetros e suporta 40 localidades de idioma, incluindo inglês, árabe, hindi, espanhol e japonês. Destas, 32 funcionam direto e 8 precisam de fine-tuning antes.

Fonte: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

A velocidade vem de uma arquitetura de streaming ciente de cache. Em vez de reprocessar a gravação inteira, ele processa novos blocos de áudio reaproveitando o contexto do codificador em cache, com blocos de até 80 milissegundos. Em uma única H100, a NVIDIA relata cerca de 17x mais streams simultâneos do que seu modelo buffered Parakeet RNNT 1.1B na configuração de 80 ms (240 contra 14).

Isso o torna uma ótima opção para legendas ao vivo, reuniões e assistentes de voz de baixa latência. Os pesos usam a licença OpenMDW-1.1, que, segundo o model card, está pronta para uso comercial, e o modelo roda localmente via runtime NeMo-Speech.cpp da NVIDIA.

Quick start: instale o NeMo-Speech.cpp no Linux ou macOS.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shTecnologia

Transcreva um arquivo WAV. O CLI baixa o modelo Nemotron 3.5 padrão no primeiro uso.

nemo-speech transcribe audio.wavTecnologia

Para testar a transcrição por streaming, que envia o arquivo em blocos de 160 ms pelo reconhecedor de streaming, rode:

nemo-speech transcribe audio.wav --streamTecnologia

Para transcrição em tempo real pelo microfone em builds compatíveis:

nemo-speech transcribe --liveTecnologia

Substitua audio.wav pela sua gravação. O runtime suporta CPU e GPUs compatíveis, então você não precisa de uma GPU grande para começar.

Melhores modelos open source de texto para fala

Modelos de texto para fala (TTS) transformam texto escrito em áudio natural. Os modelos atuais clonam vozes, expressam emoção, geram diálogos com vários falantes e falam múltiplos idiomas. Aqui vão 3 modelos open-weight que valem a exploração.

4. Fish Audio Drama 3

Fish Audio Drama 3 é um modelo expressivo de texto para fala criado para cenas com vários personagens e conteúdo de longa duração. Ele usa uma arquitetura mixture-of-experts com 35 bilhões de parâmetros, mas ativa cerca de 3 bilhões por token. Suporta clonagem de voz, controle de voz em linguagem natural e diálogo com até 16 falantes — ideal para audiolivros e conteúdos centrados em personagens.

Fonte: Relatório técnico do Fish Audio Drama 3

O que chama atenção é a faixa emocional. Você pode inserir tags inline como [sighs] e [laughs] diretamente no texto, atribuir até 16 tags de falantes em um único script e transmitir trechos longos em blocos. A Fish Audio relata time to first audio de cerca de 89 ms para um único stream em uma H200, e o modelo roda via SGLang-Omni e vLLM-Omni.

O porém é o tamanho e a licença. O checkpoint em FP8 precisa de 37 GB só para os pesos, e a versão GPTQ 4-bit reduz para 20,8 GB. Os pesos usam a Fish Audio Community License — leia os termos antes de uso comercial.

Quick start: instale o SGLang-Omni e as dependências do Fish Audio em um Linux suportado com GPU NVIDIA.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"Tecnologia

Baixe o modelo e inicie o servidor:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000Tecnologia

Abra outro terminal e gere fala:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavTecnologia

O modelo gera a fala e salva em output.wav. Você pode alterar o texto de entrada ou explorar clonagem de voz e geração com múltiplos falantes no cookbook oficial do Drama 3.

5. Breeze TTS 2

Breeze TTS 2 é um modelo de texto para fala com 3 bilhões de parâmetros para inglês e chinês. Ele suporta clonagem de voz a partir de uma gravação de referência, design de voz com descrição em linguagem natural e instruções de tom, emoção e entrega também em linguagem natural.

Fonte: Breeze TTS 2

O model card da BreezeBlue diz que ele ocupa o primeiro lugar entre os modelos open-weight no leaderboard de TTS do Artificial Analysis, com time to first audio abaixo de 40 ms em uma H100 usando o modo rápido. Também suporta eventos vocais inline como (laugh), (sigh) e (cough).

Isso o torna uma boa opção para aplicações de voz interativas, mas os pesos e saídas em self-hosting ficam restritos a pesquisa e uso não comercial. Apenas o código-fonte é Apache 2.0.

Quick start: no Linux, com Python 3.10+ e uma GPU NVIDIA compatível com CUDA, clone o repositório oficial e instale as dependências.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubTecnologia

Baixe o checkpoint do modelo:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2Tecnologia

Gere fala usando o exemplo oficial de design de voz. Isso não requer áudio de referência.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavTecnologia

O modelo gera a fala usando a descrição de voz e salva em outputs/voice_design_en.wav. O modo padrão de inferência precisa de ~7,7 GiB de memória de GPU (14,4 GiB com a opção --fast-all), e uma GPU de 12 GB é o mínimo recomendado. Você também pode testar clonagem de voz e streaming pela documentação oficial do Breeze TTS 2.

6. Kokoro 82M

Kokoro 82M é um modelo leve de texto para fala com apenas 82 milhões de parâmetros. A versão v1.0 oferece 54 vozes em 8 idiomas. É uma das opções mais acessíveis para desenvolvedores que querem experimentar geração de fala sem precisar de uma GPU topo de linha.

Fonte: Kokoro 82M

O principal trunfo do Kokoro é a eficiência. Ele é ideal para narração offline, ferramentas de acessibilidade e assistentes de voz — e, por ter pesos sob Apache 2.0, pode ser usado em projetos comerciais.

Quick start: você pode rodar o Kokoro diretamente no Google Colab. Primeiro, instale os pacotes necessários:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1Tecnologia

Gere fala usando a interface oficial em Python:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)Tecnologia

O modelo gera fala usando a voz americana af_heart, reproduz o áudio no Colab e salva como arquivo WAV. Você pode alterar o texto, a voz ou o idioma seguindo o model card oficial do Kokoro.

Melhores LLMs de áudio em tempo real open source

LLMs de áudio em tempo real escutam perguntas faladas e respondem com voz natural. Em vez de encadear sistemas separados de reconhecimento de fala e texto para fala, eles conduzem conversas contínuas, lidam com interrupções e conseguem ouvir e falar ao mesmo tempo em um único modelo.

7. MiniCPM-o 4.5

MiniCPM-o 4.5 é um modelo multimodal com 9 bilhões de parâmetros da OpenBMB que entende imagens, vídeo, áudio e texto e responde com fala. Ele suporta conversas por voz em tempo real em inglês e chinês, clonagem de voz e interação full-duplex. Full-duplex significa que o modelo pode ouvir, ver e falar ao mesmo tempo, sem esperar cada turno terminar.

Fonte: MiniCPM-o 4.5

Seu diferencial é a combinação de compreensão visual com interação por voz. Você pode criar assistentes que respondem perguntas faladas sobre um feed de câmera ao vivo, descrevem o ambiente ou interagem durante conversas enquanto processam vídeo. Os pesos têm licença Apache 2.0 e os desenvolvedores oferecem um demo web pronto para uso, embora o streaming full-duplex ainda seja experimental.

Quick start: o demo web oficial do MiniCPM-o 4.5 suporta conversas ao vivo por áudio e vídeo. Você precisa de Linux, Docker Compose, NVIDIA Container Toolkit e uma GPU NVIDIA com mais de 28 GB de VRAM.

Primeiro, clone o repositório oficial do demo:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoTecnologia

Baixe o checkpoint do modelo:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5Tecnologia

Gere o certificado HTTPS local:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"Tecnologia

Inicie o demo web usando Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0Tecnologia

Substitua /path/to/MiniCPM-o-4_5 pelo caminho absoluto do checkpoint baixado e edite o docker-compose.yml conforme a sua quantidade de GPUs. Abra a interface web HTTPS na porta 8006 e permita acesso ao microfone e à câmera.

Selecione Audio Full-Duplex para conversar por voz ao vivo ou Omnimodal Full-Duplex para interagir com vídeo e áudio. Você pode fazer perguntas, interromper o modelo e experimentar conversas contínuas.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex é um modelo speech-to-speech com 7 bilhões de parâmetros projetado para conversas naturais em tempo real. Baseado na arquitetura Moshi, ele oferece comunicação full-duplex, ouvindo e falando simultaneamente. Lida com interrupções e sobreposição de fala sem precisar de sistemas separados de transcrição e síntese.

Fonte: NVIDIA PersonaPlex

O PersonaPlex permite controlar a voz e a personalidade do assistente, para que desenvolvedores personalizem o papel conversacional e o estilo de fala para atendimento ao cliente, tutores virtuais e outros agentes de voz. Ele foca em conversas por áudio e não tem entrada visual — escolha o MiniCPM-o se você precisar de vídeo. Os pesos são lançados sob a NVIDIA Open Model License.

Quick start: clone o repositório oficial e instale as dependências em um Linux suportado com GPU NVIDIA.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.Tecnologia

Aceite a licença do modelo no Hugging Face e configure seu token de acesso:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"Tecnologia

Inicie o servidor oficial do PersonaPlex:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"Tecnologia

Se sua GPU tiver pouca memória, adicione a flag --cpu-offload, que requer o pacote accelerate.

Abra https://localhost:8998 no navegador e permita acesso ao microfone. Agora você pode falar diretamente com o PersonaPlex, fazer perguntas, interromper as respostas e testar diferentes personalidades de voz.

Melhores modelos open source de áudio e geração musical

Modelos de geração de áudio criam músicas originais, instrumentais e melodias a partir de prompts de texto. Alguns também geram canções completas com vocais, editam gravações existentes ou produzem música com base em uma melodia de referência.

9. ACE-Step 1.5

ACE-Step 1.5 é um modelo open source de geração musical que cria canções completas a partir de descrições em texto. Ele suporta vocais, letras personalizadas, vários estilos musicais e músicas de até 10 minutos. Você também pode controlar o tempo, a tonalidade e a duração, ou usar gravações existentes para criar covers e editar trechos de uma música.

Fonte: ACE-Step 1.5

O ACE-Step se destaca pela acessibilidade em comparação com modelos maiores de geração musical. Ele roda em hardware NVIDIA, AMD, Intel e Apple Silicon, e seu relatório técnico indica que pode rodar em GPUs com menos de 4 GB de VRAM. O README do projeto informa menos de 2 segundos por música completa em uma A100 e menos de 10 segundos em uma RTX 3090.

Ele inclui interface web em Gradio e uma API REST. As variantes XL, que usam um decodificador DiT de 4B parâmetros, trocam memória por qualidade de áudio e precisam de pelo menos 12 GB de VRAM com offloading ou 20 GB sem. O projeto tem licença MIT.

Quick start: instale o gerenciador de pacotes uv no Linux ou macOS:

curl -LsSf https://astral.sh/uv/install.sh | shTecnologia

Clone o repositório oficial e instale as dependências:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncTecnologia

Inicie a interface de geração musical:

uv run acestepTecnologia

Abra http://localhost:7860 no navegador. O app baixa os arquivos de modelo necessários no primeiro uso e seleciona automaticamente a configuração ideal para seu hardware.

Para gerar música, digite a descrição da sua faixa desejada, como uma música eletrônica animada com bateria e sintetizadores energéticos. Você também pode fornecer letras personalizadas, ajustar a duração ou selecionar uma faixa instrumental. Clique no botão de geração para criar sua música, ouvir o resultado e baixar o arquivo de áudio.

10. Meta MusicGen Large

MusicGen Large é um modelo texto-para-música com 3,3 bilhões de parâmetros desenvolvido pela Meta como parte do projeto AudioCraft. Ele gera música instrumental a partir de descrições de texto cobrindo gêneros, climas, instrumentos e estilos musicais. É o maior checkpoint texto-para-música do lançamento original do MusicGen.

Fonte: MusicGen Large

O MusicGen Large cria trilhas de fundo detalhadas, soundtracks e clipes instrumentais a partir de poucas palavras e funciona com Hugging Face Transformers e AudioCraft. Também é o modelo mais antigo desta lista. A Meta o treinou em abril e maio de 2023 com 20.000 horas de música licenciada, e ele não gera vocais realistas.

Recomenda-se usar GPU. Os pesos pretrained usam a licença CC BY-NC 4.0, que restringe uso comercial, enquanto o código é licenciado sob MIT.

Quick start: instale Transformers e SciPy.

pip install --upgrade transformers scipyTecnologia

Use o exemplo oficial do Hugging Face para gerar música a partir de um prompt de texto:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)Tecnologia

O modelo é baixado automaticamente no primeiro uso, gera uma faixa instrumental com base no prompt e salva em musicgen_out.wav. Você pode alterar o texto para experimentar diferentes gêneros, instrumentos e climas musicais.

Qual modelo de áudio de IA open source escolher?

O melhor modelo depende se você quer transcrever fala, gerar vozes realistas, construir um assistente em tempo real ou criar música. Esta comparação cobre capacidades, tamanho e licença para cada caso de uso.

Considerações finais

Modelos de áudio open source estão evoluindo rápido em reconhecimento de fala, texto para fala, conversas em tempo real e geração musical. Eles estão ficando mais precisos, rápidos e fáceis de rodar, permitindo que desenvolvedores criem aplicativos de áudio sem depender totalmente de serviços comerciais caros.

Pessoalmente, uso o Voxtral via Spokenly na maior parte do meu trabalho de transcrição — e adoro. A precisão é impressionante e, embora o modelo open-weight seja enorme, eu uso a API hospedada da Mistral, que tem sido gratuita no meu caso. É um bom exemplo de como esses modelos estão se tornando práticos para o dia a dia.

O que me empolga ainda mais é o avanço em IA conversacional. Já sabemos como conversas por voz com o ChatGPT podem soar naturais — e modelos open source como NVIDIA PersonaPlex e MiniCPM-o 4.5 trazem capacidades semelhantes para desenvolvedores que querem construir seus próprios assistentes. Enquanto isso, o ACE-Step viabiliza músicas completas e opções leves como o Kokoro tornam a síntese de voz mais acessível.

Não existe um único melhor modelo para tudo — e é isso que torna esse espaço tão interessante. Seja para transcrever com precisão, gerar vozes realistas, conduzir conversas naturais ou criar música, provavelmente há um modelo open source que vale testar.