Los 10 mejores modelos de audio de IA open source en 2026
Descubre 10 de los mejores modelos de audio de IA open source para transcripción, generación de voz, conversaciones en tiempo real y creación musical, con inicios rápidos basados en la documentación oficial.
Los modelos de audio open source ya cubren reconocimiento de voz, texto a voz, conversaciones por voz en tiempo real y generación musical, y varios funcionan en una sola GPU de consumo. Qwen3-ASR transcribe 30 idiomas y 22 dialectos chinos, Kokoro genera voz con solo 82 millones de parámetros y ACE-Step compone canciones completas con menos de 4 GB de memoria de vídeo (VRAM).
Para esta guía, he seleccionado 10 de los mejores modelos de audio de IA open source y open-weight combinando 3 factores: repositorios de GitHub con muchos stars, modelos con gran número de descargas en Hugging Face y modelos destacados en los benchmarks de Artificial Analysis. He cubierto 4 categorías: reconocimiento de voz, texto a voz, conversaciones en tiempo real y generación musical.
Cada modelo incluye un ejemplo de inicio rápido basado en su documentación oficial. Algunos ejemplos requieren hardware específico, dependencias o configuración adicional, así que revisa los requisitos de cada modelo antes de ejecutarlos.
Nota rápida: Es una lista curada, no un ranking de benchmarks estricto. Open-weight significa que los pesos entrenados se pueden descargar, pero la licencia puede seguir limitando su uso; por eso indico la licencia en cada sección y en la tabla comparativa del final. Los ejemplos proceden de la documentación oficial, pero no he probado personalmente el código, así que tu entorno podría necesitar dependencias o configuración extra.
En pocas palabras
Reconocimiento de voz: Qwen3-ASR por su precisión multilingüe, Nemotron 3.5 ASR Streaming para transcripción en vivo con baja latencia y Voxtral Small cuando también quieres resúmenes y respuestas sobre el audio.
Texto a voz: Kokoro 82M para uso local ligero, Fish Audio Drama 3 para diálogos expresivos con múltiples voces y Breeze TTS 2 para diseño de voz (solo uso no comercial).
Conversaciones en tiempo real: NVIDIA PersonaPlex para agentes de voz solo audio y MiniCPM-o 4.5 cuando también quieras entrada de vídeo.
Generación musical: ACE-Step 1.5 para canciones completas con voces y MusicGen Large para instrumentales (solo uso no comercial).
Los mejores modelos open source de reconocimiento de voz
Los modelos de reconocimiento de voz, también llamados ASR (automatic speech recognition), convierten audio hablado en texto. Son útiles para transcribir reuniones, subtítulos, pódcasts, asistentes de voz y análisis de audio. Los modelos modernos reconocen varios idiomas, procesan conversaciones en vivo y algunos incluso pueden razonar sobre lo que se está tratando.
1. Voxtral Small
Voxtral Small 24B es un modelo open-weight de comprensión de voz de Mistral AI, publicado bajo licencia Apache 2.0. Soporta 8 idiomas (inglés, español, francés, portugués, hindi, alemán, neerlandés e italiano) y puede transcribir grabaciones, resumir conversaciones, responder preguntas sobre el audio y seguir instrucciones habladas.
Su mayor ventaja es que un único modelo resuelve tanto el reconocimiento de voz como el razonamiento lingüístico, por lo que no necesitas una canalización separada de transcripción y resumen. Es ideal para análisis de reuniones, entrevistas y asistentes de voz. La pega es el tamaño: el modelo de 24.000 millones de parámetros necesita aproximadamente 55 GB de memoria de GPU en BF16 o FP16, es decir, hardware con mucha memoria o varias GPUs.
Si solo necesitas transcribir, el Voxtral Mini 4B Realtime más nuevo de Mistral es mucho más ligero. Mistral lo lanzó en febrero de 2026 bajo Apache 2.0, con latencia en streaming configurable por debajo de 200 ms.
Inicio rápido: Instala vLLM y los paquetes de Python requeridos.
pip install-U"vllm[audio]""mistral-common[audio]" openai huggingface_hubCon la tecnología de
Inicia el servidor de vLLM. Esta configuración usa dos GPUs.
vllm serve mistralai/Voxtral-Small-24B-2507 \--tokenizer_mode mistral \--config_format mistral \--load_format mistral \
--tensor-parallel-size 2\
--tool-call-parser mistral \
--enable-auto-tool-choiceCon la tecnología de
Abre otra terminal y ejecuta el ejemplo en Python para transcribir una grabación de audio de muestra.
from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",)
model = client.models.list().data[0].id
audio_file = hf_hub_download("patrickvonplaten/audio_samples","obama.mp3",
repo_type="dataset",)
audio = RawAudio.from_audio(
Audio.from_file(audio_file, strict=False))
req = TranscriptionRequest(
model=model,
audio=audio,
language="en",
temperature=0.0,).to_openai(exclude=("top_p","seed"))
response = client.audio.transcriptions.create(**req)print(response.text)Con la tecnología de
El script descarga una grabación de muestra, la envía a tu servidor local de Voxtral y muestra la transcripción.
2. Qwen3-ASR
Qwen3-ASR es una familia open source de modelos de reconocimiento de voz del equipo Qwen de Alibaba, disponible en versiones de 0,6B y 1,7B parámetros bajo licencia Apache 2.0. Soporta 30 idiomas y 22 dialectos chinos, detecta automáticamente el idioma hablado y puede transcribir voz con música de fondo, incluido canto. Funciona muy bien para transcripción multilingüe, subtítulos, pódcasts y entrevistas.
Qwen3-ASR equilibra precisión, velocidad y flexibilidad. El modelo de 1,7B publica una tasa media de error de palabra (WER) de 5,76 en el Open ASR Leaderboard de Hugging Face, frente a 6,62 para Voxtral Small (cuanto menor, mejor). La versión de 0,6B sacrifica algo de precisión a cambio de eficiencia.
Ambos tamaños soportan inferencia offline y en streaming, aunque el streaming requiere por ahora el backend vLLM (pip install -U qwen-asr[vllm]). El modelo opcional Qwen3-ForcedAligner-0.6B genera marcas de tiempo por palabra para subtítulos en 11 idiomas compatibles.
Inicio rápido: Instala el paquete oficial de Python.
Carga el modelo de 1,7B y transcribe el audio de muestra oficial.
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained("Qwen/Qwen3-ASR-1.7B",
dtype=torch.bfloat16,
device_map="cuda:0",)
results = model.transcribe(
audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
language=None,)print(results[0].language)print(results[0].text)Con la tecnología de
El modelo se descarga automáticamente al primer uso. Detecta el idioma hablado y muestra la transcripción.
Puedes reemplazar la URL de ejemplo por tu propio archivo de audio. Este ejemplo usa una GPU de NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B es un modelo ligero de reconocimiento de voz diseñado para transcripción en tiempo real. Tiene 600 millones de parámetros y soporta 40 variantes de idioma, incluidos inglés, árabe, hindi, español y japonés. De estos, 32 transcriben de forma nativa y 8 requieren ajuste fino previo.
Su velocidad proviene de una arquitectura de streaming sensible a la caché. En lugar de reprocesar toda la grabación, procesa nuevos fragmentos de audio reutilizando el contexto del codificador en caché, con tamaños de bloque tan pequeños como 80 milisegundos. En una sola H100, NVIDIA informa de aproximadamente 17 veces más flujos concurrentes que su modelo Parakeet RNNT 1.1B con búfer en el ajuste de 80 ms (240 frente a 14).
Esto lo convierte en una opción potente para subtítulos en vivo, reuniones y asistentes de voz con baja latencia. Los pesos usan la licencia OpenMDW-1.1, que según la tarjeta del modelo de NVIDIA está lista para uso comercial, y el modelo se ejecuta localmente mediante el runtime NeMo-Speech.cpp.
Inicio rápido: Instala NeMo-Speech.cpp en Linux o macOS.
curl-fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh |shCon la tecnología de
Transcribe un archivo WAV. La CLI descarga el modelo Nemotron 3.5 por defecto al primer uso.
Sustituye audio.wav por tu propia grabación. El runtime soporta CPU y GPUs compatibles, así que no necesitas una GPU grande para empezar.
Los mejores modelos open source de texto a voz
Los modelos de texto a voz (TTS) convierten texto escrito en audio natural. Los modelos modernos pueden clonar voces, expresar emoción, generar diálogos multivoz y hablar varios idiomas. Aquí tienes 3 modelos open-weight que merece la pena probar.
4. Fish Audio Drama 3
Fish Audio Drama 3 es un modelo expresivo de texto a voz pensado para escenas multicliente y contenido de larga duración. Usa una arquitectura mixture-of-experts con 35.000 millones de parámetros, pero activa solo unos 3.000 millones por token. Soporta clonación de voz, control de voz por lenguaje natural y diálogo con hasta 16 interlocutores, ideal para audiolibros y contenido con personajes.
Destaca por su rango emocional. Puedes incluir etiquetas inline como [sighs] y [laughs] directamente en el texto, asignar hasta 16 voces en un mismo guion y hacer streaming de pasajes largos por bloques. Fish Audio informa de un tiempo hasta el primer audio de unos 89 ms para una sola secuencia en una GPU H200, y el modelo se ejecuta con SGLang-Omni y vLLM-Omni.
La pega es el tamaño y la licencia. El checkpoint en FP8 necesita 37 GB solo para los pesos, y una versión GPTQ a 4 bits lo reduce a 20,8 GB. Los pesos usan la Fish Audio Community License, así que revisa sus términos antes de un uso comercial.
Inicio rápido: Instala SGLang-Omni y sus dependencias de Fish Audio en un Linux compatible con una GPU de NVIDIA.
pip install-U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install--prerelease=allow -v-e".[fishaudio]"Con la tecnología de
Descarga el modelo e inicia el servidor:
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port8000Con la tecnología de
Abre otra terminal y genera voz:
curl-X POST http://localhost:8000/v1/audio/speech \-H"Content-Type: application/json"\-d'{
"input": "Hello, how are you?"
}'\--output output.wavCon la tecnología de
El modelo genera voz y la guarda como output.wav. Puedes cambiar el texto de entrada o explorar clonación de voz y multivoz en el cookbook oficial de Drama 3.
5. Breeze TTS 2
Breeze TTS 2 es un modelo de texto a voz de 3.000 millones de parámetros para inglés y chino. Permite clonar voces a partir de una grabación de referencia, diseñar voces desde una descripción en lenguaje natural e introducir instrucciones de tono, emoción y entrega.
Según la model card de BreezeBlue, ocupa el primer puesto entre los modelos open-weight en el leaderboard de TTS de Artificial Analysis, con menos de 40 ms hasta el primer audio en una H100 usando la ruta rápida. También soporta eventos vocales inline como (laugh), (sigh) y (cough).
Es idóneo para aplicaciones de voz interactivas, pero sus pesos autoalojados y salidas están restringidos a investigación y uso no comercial. Solo el código fuente es Apache 2.0.
Inicio rápido: En Linux con Python 3.10 o superior y una GPU de NVIDIA compatible con CUDA, clona el repositorio oficial e instala las dependencias.
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install-r requirements.txt
python -m pip install-U huggingface_hubCon la tecnología de
Descarga el checkpoint del modelo:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir ../breeze-tts-2Con la tecnología de
Genera voz usando el ejemplo oficial de diseño de voz. No requiere audio de referencia.
python infer.py ../breeze-tts-2 \--text"(sigh) Welcome aboard. Your journey begins now."\--instruction"A warm, thoughtful young woman with a clear voice and a calm, reflective delivery."\
--cfg-scale 4\--output outputs/voice_design_en.wavCon la tecnología de
El modelo genera la voz según la descripción y la guarda como outputs/voice_design_en.wav. El modo de inferencia por defecto necesita aproximadamente 7,7 GiB de memoria de GPU (14,4 GiB con la opción --fast-all), y se recomienda mínimo una GPU de 12 GB. También puedes probar clonación de voz y streaming en la documentación oficial de Breeze TTS 2.
6. Kokoro 82M
Kokoro 82M es un modelo ligero de texto a voz con solo 82 millones de parámetros. Su versión v1.0 ofrece 54 voces en 8 idiomas. Es una de las opciones más accesibles para desarrolladores que quieran experimentar con generación de voz sin una GPU de gama alta.
La principal ventaja de Kokoro es la eficiencia. Es ideal para narración offline, herramientas de accesibilidad y asistentes de voz, y sus pesos Apache 2.0 permiten usarlo en proyectos comerciales.
Inicio rápido: Puedes ejecutar Kokoro directamente en Google Colab. Primero, instala los paquetes necesarios:
!pip install-q"kokoro>=0.9.2" soundfile
!apt-get -qq-yinstall espeak-ng > /dev/null 2>&1Con la tecnología de
Genera voz con la interfaz oficial en Python:
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
pipeline = KPipeline(lang_code='a')
text ="Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline(text, voice='af_heart')for i,(gs, ps, audio)inenumerate(generator):
display(Audio(data=audio, rate=24000))
sf.write(f'{i}.wav', audio,24000)Con la tecnología de
El modelo genera voz con la voz inglesa estadounidense af_heart, reproduce el audio en Colab y lo guarda como archivo WAV. Puedes cambiar el texto, la voz o el idioma siguiendo la model card oficial de Kokoro.
Los mejores LLM de audio en tiempo real open source
Los LLM de audio en tiempo real escuchan preguntas habladas y generan respuestas naturales por voz. En lugar de encadenar sistemas separados de reconocimiento y síntesis, gestionan conversaciones continuas, interrupciones y escucha y habla simultáneas en un solo modelo.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 es un modelo multimodal de 9.000 millones de parámetros de OpenBMB que entiende imágenes, vídeo, audio y texto y responde con voz. Soporta conversaciones por voz en tiempo real en inglés y chino, clonación de voz e interacción full-dúplex. Full-dúplex significa que el modelo puede escuchar, ver y hablar a la vez en lugar de esperar a que termine cada turno.
Su rasgo distintivo es la combinación de comprensión visual e interacción por voz. Puedes crear asistentes que respondan preguntas habladas sobre una cámara en vivo, describan su entorno o contesten mientras procesan vídeo. Los pesos tienen licencia Apache 2.0 y los desarrolladores proporcionan una demo web lista para usar, aunque el streaming full-dúplex aún es experimental.
Inicio rápido: La demo web oficial de MiniCPM-o 4.5 admite conversaciones en vivo de audio y vídeo. Necesitas Linux, Docker Compose, NVIDIA Container Toolkit y una GPU de NVIDIA con más de 28 GB de VRAM.
Primero, clona el repositorio oficial de la demo:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoCon la tecnología de
Descarga el checkpoint del modelo:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5Con la tecnología de
Genera el certificado HTTPS local:
mkdir-p certs data
openssl req -x509-newkey rsa:2048 -nodes-days365\-keyout certs/key.pem -out certs/cert.pem -subj"/CN=minicpm-o"Con la tecnología de
Inicia la demo web con Docker Compose:
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d--builddocker compose logs -f gateway
docker compose logs -f worker-backend-0Con la tecnología de
Sustituye /path/to/MiniCPM-o-4_5 por la ruta absoluta al checkpoint descargado y edita docker-compose.yml según el número de GPUs. Abre la interfaz web HTTPS en el puerto 8006 y permite acceso a micrófono y cámara.
Selecciona Audio Full-Duplex para una conversación por voz en vivo o Omnimodal Full-Duplex para interactuar con vídeo y audio. Puedes hacer preguntas, interrumpir al modelo y experimentar con conversaciones continuas.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex es un modelo de 7.000 millones de parámetros de voz a voz diseñado para conversaciones naturales en tiempo real. Basado en la arquitectura Moshi, soporta comunicación full-dúplex, de modo que puede escuchar y hablar simultáneamente. Gestiona interrupciones y solapamientos sin sistemas separados de transcripción y síntesis.
PersonaPlex permite controlar la voz y la personalidad del asistente, de modo que los desarrolladores pueden adaptar su rol conversacional y estilo de habla para agentes de atención al cliente, tutores virtuales y otros agentes de voz. Se centra en conversaciones de audio y no tiene entrada visual; elige MiniCPM-o si necesitas vídeo. Los pesos se publican bajo la NVIDIA Open Model License.
Inicio rápido: Clona el repositorio oficial e instala las dependencias en un Linux compatible con una GPU de NVIDIA.
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudoaptinstall libopus-dev
pip install moshi/.Con la tecnología de
Acepta la licencia del modelo en Hugging Face y configura tu token de acceso:
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl"$SSL_DIR"Con la tecnología de
Si tu GPU tiene memoria limitada, añade la marca --cpu-offload, que requiere el paquete accelerate.
Abre https://localhost:8998 en tu navegador y permite el acceso al micrófono. Ya puedes hablar directamente con PersonaPlex, hacer preguntas, interrumpir sus respuestas y probar distintas personalidades de voz.
Los mejores modelos open source de audio y música generativa
Los modelos de generación de audio crean música original, instrumentales y melodías a partir de indicaciones de texto. Algunos también pueden generar canciones completas con voces, editar grabaciones existentes o producir música basada en una melodía de referencia.
9. ACE-Step 1.5
ACE-Step 1.5 es un modelo de generación musical open source que crea canciones completas a partir de descripciones en texto. Soporta voces, letras personalizadas, múltiples estilos musicales y canciones de hasta 10 minutos. También puedes controlar tempo, tonalidad y duración, o usar grabaciones existentes para crear covers y editar secciones de una canción.
ACE-Step destaca por lo accesible que es frente a modelos de generación musical más grandes. Funciona en hardware de NVIDIA, AMD, Intel y Apple Silicon, y su informe técnico indica que puede ejecutarse en GPUs con menos de 4 GB de VRAM. El README del proyecto afirma menos de 2 segundos por canción completa en una A100 y menos de 10 segundos en una RTX 3090.
Incluye una interfaz web con Gradio y una API REST. Las variantes XL, que usan un decodificador DiT de 4B parámetros, intercambian memoria por mayor calidad de audio y requieren al menos 12 GB de VRAM con offloading o 20 GB sin él. El proyecto tiene licencia MIT.
Inicio rápido: Instala el gestor de paquetes uv en Linux o macOS:
Abre http://localhost:7860 en tu navegador. La aplicación descarga los archivos del modelo en el primer inicio y selecciona automáticamente una configuración en función de tu hardware.
Para generar música, escribe una descripción de la canción que quieres, por ejemplo, una pista electrónica animada con baterías enérgicas y sintetizadores. También puedes proporcionar letras personalizadas, ajustar la duración o elegir una pista instrumental. Haz clic en el botón de generación para crear tu música, escuchar el resultado y descargar el archivo de audio.
10. Meta MusicGen Large
MusicGen Large es un modelo de texto a música de 3.300 millones de parámetros desarrollado por Meta como parte de su proyecto AudioCraft. Genera música instrumental a partir de descripciones de texto que cubren géneros, estados de ánimo, instrumentos y estilos musicales. Es el checkpoint de texto a música más grande del lanzamiento original de MusicGen.
MusicGen Large produce música de fondo detallada, bandas sonoras y clips instrumentales a partir de pocas palabras, y funciona con Hugging Face Transformers y AudioCraft. También es el modelo más veterano de esta lista. Meta lo entrenó en abril y mayo de 2023 con 20.000 horas de música con licencia, y no puede generar voces realistas.
Se recomienda GPU. Los pesos preentrenados usan la licencia CC BY-NC 4.0, que restringe el uso comercial, mientras que el código es MIT.
Usa el ejemplo oficial de Hugging Face para generar música a partir de una indicación de texto:
from transformers import pipeline
import scipy
synthesiser = pipeline("text-to-audio","facebook/musicgen-large")
music = synthesiser("lo-fi music with a soothing melody",
forward_params={"do_sample":True})
scipy.io.wavfile.write("musicgen_out.wav",
rate=music["sampling_rate"],
data=music["audio"])Con la tecnología de
El modelo se descarga automáticamente al primer uso, genera una pista instrumental basada en la indicación y la guarda como musicgen_out.wav. Puedes cambiar el texto para probar distintos géneros, instrumentos y estados de ánimo.
¿Qué modelo de audio de IA open source deberías elegir?
Depende de si quieres transcribir voz, generar voces realistas, crear un asistente en tiempo real o componer música. Esta comparativa cubre capacidades, tamaño y licencia de cada caso de uso.
Modelo
Mejor para
Ventaja clave
Tamaño
Licencia (pesos)
Voxtral Small
Reconocimiento de voz avanzado
Transcripción, resumen y razonamiento sobre audio
24B
Apache 2.0
Qwen3-ASR
Transcripción multilingüe
30 idiomas y 22 dialectos chinos
0.6B / 1.7B
Apache 2.0
NVIDIA Nemotron 3.5 ASR
Transcripción en tiempo real
Streaming de baja latencia e inferencia eficiente
0.6B
OpenMDW-1.1
Fish Audio Drama 3
Voz expresiva y storytelling
Clonación de voz y diálogo con hasta 16 voces
35B total / 3B activas
Fish Audio Community License
Breeze TTS 2
Texto a voz natural
Diseño de voz, control de emoción y baja latencia
3B
Investigación y no comercial
Kokoro 82M
TTS ligero y local
Generación eficiente en hardware modesto
82M
Apache 2.0
MiniCPM-o 4.5
Asistentes de voz multimodales
Interacción en tiempo real con audio, vídeo y voz
9B
Apache 2.0
NVIDIA PersonaPlex
Conversaciones por voz en tiempo real
Voz full-dúplex con interrupciones naturales
7B
NVIDIA Open Model License
ACE-Step 1.5
Generación de canciones completas
Voces, letras personalizadas, covers y edición musical
2B / 4B (XL)
MIT
Meta MusicGen Large
Generación de música instrumental
Texto a música a partir de indicaciones breves
3.3B
CC BY-NC 4.0
Reflexiones finales
Los modelos de audio open source están mejorando rápido en reconocimiento de voz, texto a voz, conversación en tiempo real y generación musical. Son cada vez más precisos, rápidos y fáciles de ejecutar, así que los desarrolladores pueden crear aplicaciones de audio sin depender del todo de servicios comerciales caros.
En mi caso, uso Voxtral a través de Spokenly para casi todo mi trabajo de transcripción, y me encanta. La precisión es impresionante y, aunque el modelo open-weight es enorme, llamo a la API alojada de Mistral, que ha sido gratuita para mi uso. Es un buen ejemplo de cómo estos modelos se están volviendo prácticos para el día a día.
Lo que más me entusiasma es el avance en IA conversacional. Ya sabemos lo naturales que pueden resultar las conversaciones por voz con ChatGPT, y modelos open source como NVIDIA PersonaPlex y MiniCPM-o 4.5 acercan capacidades similares a los desarrolladores que quieren crear sus propios asistentes. Mientras tanto, ACE-Step hace posible generar canciones completas, y opciones ligeras como Kokoro hacen que la generación de voz sea más accesible.
No existe un único modelo perfecto para todo, y eso es precisamente lo interesante. Tanto si buscas transcripción precisa, voces realistas, conversaciones naturales o música generada, probablemente haya un modelo open source que merece la pena probar.
FAQs
¿Cuál es el mejor modelo open source de reconocimiento de voz?⌄
Para transcripción multilingüe, Qwen3-ASR-1.7B es una gran opción por defecto: soporta 30 idiomas y 22 dialectos chinos, y el Open ASR Leaderboard de Hugging Face indica una WER media de 5,76. Para transcripción en vivo, NVIDIA Nemotron 3.5 ASR Streaming procesa audio en fragmentos de tan solo 80 ms. Voxtral Small es mejor cuando también quieres resúmenes o respuestas sobre el audio, pero necesita unos 55 GB de memoria de GPU.
¿Qué modelo de texto a voz open source necesita menos hardware?⌄
Kokoro 82M es el que menos requiere. Tiene 82 millones de parámetros, ofrece 54 voces en 8 idiomas en su versión v1.0 y se publica bajo licencia Apache 2.0. Breeze TTS 2 necesita aproximadamente 7,7 GiB de memoria de GPU y Fish Audio Drama 3 requiere 20,8 GB solo para los pesos incluso en su versión a 4 bits.
¿Qué modelos de audio open source puedo usar comercialmente?⌄
Voxtral Small, Qwen3-ASR, Kokoro 82M y MiniCPM-o 4.5 usan Apache 2.0, y ACE-Step 1.5 tiene licencia MIT. Los pesos de Breeze TTS 2 se limitan a investigación y uso no comercial, y los de MusicGen Large usan CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex y Fish Audio Drama 3 usan cada uno su propia licencia (OpenMDW-1.1, NVIDIA Open Model License y Fish Audio Community License), así que revisa los términos antes de lanzar a producción.
¿Cuál es el mejor modelo open source para conversaciones por voz en tiempo real?⌄
NVIDIA PersonaPlex es un modelo de 7B de voz a voz full-dúplex con voz y personalidad controlables que gestiona interrupciones y solapamientos. MiniCPM-o 4.5 añade entrada de vídeo en vivo, pero su demo oficial necesita una GPU de NVIDIA con más de 28 GB de VRAM.
¿Pueden los modelos open source generar canciones completas con voces?⌄
Sí. ACE-Step 1.5 genera canciones completas con voces y letras personalizadas de hasta 10 minutos, y puede ejecutarse en GPUs con menos de 4 GB de VRAM. MusicGen Large genera solo instrumentales y no puede producir voces realistas.
Soy un científico de datos certificado que disfruta creando aplicaciones de aprendizaje automático y escribiendo blogs sobre ciencia de datos. Actualmente me centro en la creación de contenidos, la edición y el trabajo con grandes modelos lingüísticos.
Descubre los mejores generadores de vídeo con IA disponibles en la actualidad, entre los que se incluyen RunwayML, Synthesia, Colossyan, Pictory, DeepBrain AI, Invideo y los muy esperados Sora y Veo de DeepMind.
Aprende a utilizar modelos de IA generativa para crear un editor de imágenes, un chatbot similar a ChatGPT con pocos recursos y una aplicación clasificadora de aprobación de préstamos y a automatizar interacciones PDF y un asistente de voz con GPT.
Libera todo el potencial de ChatGPT con nuestra guía de expertos sobre los 10 mejores plugins para 2023. Mejora la productividad, agiliza los flujos de trabajo y descubre nueva funcionalidad para elevar tu experiencia ChatGPT.
La API TTS de OpenAI es un punto final que permite a los usuarios interactuar con su modelo de inteligencia artificial TTS, que convierte el texto en lenguaje hablado con sonido natural.
Descubra las potentes funciones de la API Python de OpenAI Whisper para transcripción y traducción. Dispone de soporte multilingüe y mejora rápida para una transcripción precisa.
Los modelos de audio open source ya cubren reconocimiento de voz, texto a voz, conversaciones por voz en tiempo real y generación musical, y varios funcionan en una sola GPU de consumo. Qwen3-ASR transcribe 30 idiomas y 22 dialectos chinos, Kokoro genera voz con solo 82 millones de parámetros y ACE-Step compone canciones completas con menos de 4 GB de memoria de vídeo (VRAM).
Para esta guía, he seleccionado 10 de los mejores modelos de audio de IA open source y open-weight combinando 3 factores: repositorios de GitHub con muchos stars, modelos con gran número de descargas en Hugging Face y modelos destacados en los benchmarks de Artificial Analysis. He cubierto 4 categorías: reconocimiento de voz, texto a voz, conversaciones en tiempo real y generación musical.
Cada modelo incluye un ejemplo de inicio rápido basado en su documentación oficial. Algunos ejemplos requieren hardware específico, dependencias o configuración adicional, así que revisa los requisitos de cada modelo antes de ejecutarlos.
Nota rápida: Es una lista curada, no un ranking de benchmarks estricto. Open-weight significa que los pesos entrenados se pueden descargar, pero la licencia puede seguir limitando su uso; por eso indico la licencia en cada sección y en la tabla comparativa del final. Los ejemplos proceden de la documentación oficial, pero no he probado personalmente el código, así que tu entorno podría necesitar dependencias o configuración extra.
En pocas palabras
Los mejores modelos open source de reconocimiento de voz
Los modelos de reconocimiento de voz, también llamados ASR (automatic speech recognition), convierten audio hablado en texto. Son útiles para transcribir reuniones, subtítulos, pódcasts, asistentes de voz y análisis de audio. Los modelos modernos reconocen varios idiomas, procesan conversaciones en vivo y algunos incluso pueden razonar sobre lo que se está tratando.
1. Voxtral Small
Voxtral Small 24B es un modelo open-weight de comprensión de voz de Mistral AI, publicado bajo licencia Apache 2.0. Soporta 8 idiomas (inglés, español, francés, portugués, hindi, alemán, neerlandés e italiano) y puede transcribir grabaciones, resumir conversaciones, responder preguntas sobre el audio y seguir instrucciones habladas.
Fuente: Voxtral Small 24B
Su mayor ventaja es que un único modelo resuelve tanto el reconocimiento de voz como el razonamiento lingüístico, por lo que no necesitas una canalización separada de transcripción y resumen. Es ideal para análisis de reuniones, entrevistas y asistentes de voz. La pega es el tamaño: el modelo de 24.000 millones de parámetros necesita aproximadamente 55 GB de memoria de GPU en BF16 o FP16, es decir, hardware con mucha memoria o varias GPUs.
Si solo necesitas transcribir, el Voxtral Mini 4B Realtime más nuevo de Mistral es mucho más ligero. Mistral lo lanzó en febrero de 2026 bajo Apache 2.0, con latencia en streaming configurable por debajo de 200 ms.
Inicio rápido: Instala vLLM y los paquetes de Python requeridos.
Inicia el servidor de vLLM. Esta configuración usa dos GPUs.
Abre otra terminal y ejecuta el ejemplo en Python para transcribir una grabación de audio de muestra.
El script descarga una grabación de muestra, la envía a tu servidor local de Voxtral y muestra la transcripción.
2. Qwen3-ASR
Qwen3-ASR es una familia open source de modelos de reconocimiento de voz del equipo Qwen de Alibaba, disponible en versiones de 0,6B y 1,7B parámetros bajo licencia Apache 2.0. Soporta 30 idiomas y 22 dialectos chinos, detecta automáticamente el idioma hablado y puede transcribir voz con música de fondo, incluido canto. Funciona muy bien para transcripción multilingüe, subtítulos, pódcasts y entrevistas.
Fuente: Qwen3-ASR
Qwen3-ASR equilibra precisión, velocidad y flexibilidad. El modelo de 1,7B publica una tasa media de error de palabra (WER) de 5,76 en el Open ASR Leaderboard de Hugging Face, frente a 6,62 para Voxtral Small (cuanto menor, mejor). La versión de 0,6B sacrifica algo de precisión a cambio de eficiencia.
Ambos tamaños soportan inferencia offline y en streaming, aunque el streaming requiere por ahora el backend vLLM (
pip install -U qwen-asr[vllm]). El modelo opcional Qwen3-ForcedAligner-0.6B genera marcas de tiempo por palabra para subtítulos en 11 idiomas compatibles.Inicio rápido: Instala el paquete oficial de Python.
Carga el modelo de 1,7B y transcribe el audio de muestra oficial.
El modelo se descarga automáticamente al primer uso. Detecta el idioma hablado y muestra la transcripción.
Puedes reemplazar la URL de ejemplo por tu propio archivo de audio. Este ejemplo usa una GPU de NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B es un modelo ligero de reconocimiento de voz diseñado para transcripción en tiempo real. Tiene 600 millones de parámetros y soporta 40 variantes de idioma, incluidos inglés, árabe, hindi, español y japonés. De estos, 32 transcriben de forma nativa y 8 requieren ajuste fino previo.
Fuente: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
Su velocidad proviene de una arquitectura de streaming sensible a la caché. En lugar de reprocesar toda la grabación, procesa nuevos fragmentos de audio reutilizando el contexto del codificador en caché, con tamaños de bloque tan pequeños como 80 milisegundos. En una sola H100, NVIDIA informa de aproximadamente 17 veces más flujos concurrentes que su modelo Parakeet RNNT 1.1B con búfer en el ajuste de 80 ms (240 frente a 14).
Esto lo convierte en una opción potente para subtítulos en vivo, reuniones y asistentes de voz con baja latencia. Los pesos usan la licencia OpenMDW-1.1, que según la tarjeta del modelo de NVIDIA está lista para uso comercial, y el modelo se ejecuta localmente mediante el runtime NeMo-Speech.cpp.
Inicio rápido: Instala NeMo-Speech.cpp en Linux o macOS.
Transcribe un archivo WAV. La CLI descarga el modelo Nemotron 3.5 por defecto al primer uso.
Para probar la transcripción en streaming, que pasa el archivo por el reconocedor en fragmentos de 160 ms, ejecuta:
Para transcripción en tiempo real por micrófono en compilaciones compatibles:
Sustituye
audio.wavpor tu propia grabación. El runtime soporta CPU y GPUs compatibles, así que no necesitas una GPU grande para empezar.Los mejores modelos open source de texto a voz
Los modelos de texto a voz (TTS) convierten texto escrito en audio natural. Los modelos modernos pueden clonar voces, expresar emoción, generar diálogos multivoz y hablar varios idiomas. Aquí tienes 3 modelos open-weight que merece la pena probar.
4. Fish Audio Drama 3
Fish Audio Drama 3 es un modelo expresivo de texto a voz pensado para escenas multicliente y contenido de larga duración. Usa una arquitectura mixture-of-experts con 35.000 millones de parámetros, pero activa solo unos 3.000 millones por token. Soporta clonación de voz, control de voz por lenguaje natural y diálogo con hasta 16 interlocutores, ideal para audiolibros y contenido con personajes.
Fuente: Informe técnico de Fish Audio Drama 3
Destaca por su rango emocional. Puedes incluir etiquetas inline como
[sighs]y[laughs]directamente en el texto, asignar hasta 16 voces en un mismo guion y hacer streaming de pasajes largos por bloques. Fish Audio informa de un tiempo hasta el primer audio de unos 89 ms para una sola secuencia en una GPU H200, y el modelo se ejecuta con SGLang-Omni y vLLM-Omni.La pega es el tamaño y la licencia. El checkpoint en FP8 necesita 37 GB solo para los pesos, y una versión GPTQ a 4 bits lo reduce a 20,8 GB. Los pesos usan la Fish Audio Community License, así que revisa sus términos antes de un uso comercial.
Inicio rápido: Instala SGLang-Omni y sus dependencias de Fish Audio en un Linux compatible con una GPU de NVIDIA.
Descarga el modelo e inicia el servidor:
Abre otra terminal y genera voz:
El modelo genera voz y la guarda como
output.wav. Puedes cambiar el texto de entrada o explorar clonación de voz y multivoz en el cookbook oficial de Drama 3.5. Breeze TTS 2
Breeze TTS 2 es un modelo de texto a voz de 3.000 millones de parámetros para inglés y chino. Permite clonar voces a partir de una grabación de referencia, diseñar voces desde una descripción en lenguaje natural e introducir instrucciones de tono, emoción y entrega.
Fuente: Breeze TTS 2
Según la model card de BreezeBlue, ocupa el primer puesto entre los modelos open-weight en el leaderboard de TTS de Artificial Analysis, con menos de 40 ms hasta el primer audio en una H100 usando la ruta rápida. También soporta eventos vocales inline como
(laugh),(sigh)y(cough).Es idóneo para aplicaciones de voz interactivas, pero sus pesos autoalojados y salidas están restringidos a investigación y uso no comercial. Solo el código fuente es Apache 2.0.
Inicio rápido: En Linux con Python 3.10 o superior y una GPU de NVIDIA compatible con CUDA, clona el repositorio oficial e instala las dependencias.
Descarga el checkpoint del modelo:
Genera voz usando el ejemplo oficial de diseño de voz. No requiere audio de referencia.
El modelo genera la voz según la descripción y la guarda como
outputs/voice_design_en.wav. El modo de inferencia por defecto necesita aproximadamente 7,7 GiB de memoria de GPU (14,4 GiB con la opción--fast-all), y se recomienda mínimo una GPU de 12 GB. También puedes probar clonación de voz y streaming en la documentación oficial de Breeze TTS 2.6. Kokoro 82M
Kokoro 82M es un modelo ligero de texto a voz con solo 82 millones de parámetros. Su versión v1.0 ofrece 54 voces en 8 idiomas. Es una de las opciones más accesibles para desarrolladores que quieran experimentar con generación de voz sin una GPU de gama alta.
Fuente: Kokoro 82M
La principal ventaja de Kokoro es la eficiencia. Es ideal para narración offline, herramientas de accesibilidad y asistentes de voz, y sus pesos Apache 2.0 permiten usarlo en proyectos comerciales.
Inicio rápido: Puedes ejecutar Kokoro directamente en Google Colab. Primero, instala los paquetes necesarios:
Genera voz con la interfaz oficial en Python:
El modelo genera voz con la voz inglesa estadounidense
af_heart, reproduce el audio en Colab y lo guarda como archivo WAV. Puedes cambiar el texto, la voz o el idioma siguiendo la model card oficial de Kokoro.Los mejores LLM de audio en tiempo real open source
Los LLM de audio en tiempo real escuchan preguntas habladas y generan respuestas naturales por voz. En lugar de encadenar sistemas separados de reconocimiento y síntesis, gestionan conversaciones continuas, interrupciones y escucha y habla simultáneas en un solo modelo.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 es un modelo multimodal de 9.000 millones de parámetros de OpenBMB que entiende imágenes, vídeo, audio y texto y responde con voz. Soporta conversaciones por voz en tiempo real en inglés y chino, clonación de voz e interacción full-dúplex. Full-dúplex significa que el modelo puede escuchar, ver y hablar a la vez en lugar de esperar a que termine cada turno.
Fuente: MiniCPM-o 4.5
Su rasgo distintivo es la combinación de comprensión visual e interacción por voz. Puedes crear asistentes que respondan preguntas habladas sobre una cámara en vivo, describan su entorno o contesten mientras procesan vídeo. Los pesos tienen licencia Apache 2.0 y los desarrolladores proporcionan una demo web lista para usar, aunque el streaming full-dúplex aún es experimental.
Inicio rápido: La demo web oficial de MiniCPM-o 4.5 admite conversaciones en vivo de audio y vídeo. Necesitas Linux, Docker Compose, NVIDIA Container Toolkit y una GPU de NVIDIA con más de 28 GB de VRAM.
Primero, clona el repositorio oficial de la demo:
Descarga el checkpoint del modelo:
Genera el certificado HTTPS local:
Inicia la demo web con Docker Compose:
Sustituye
/path/to/MiniCPM-o-4_5por la ruta absoluta al checkpoint descargado y editadocker-compose.ymlsegún el número de GPUs. Abre la interfaz web HTTPS en el puerto8006y permite acceso a micrófono y cámara.Selecciona Audio Full-Duplex para una conversación por voz en vivo o Omnimodal Full-Duplex para interactuar con vídeo y audio. Puedes hacer preguntas, interrumpir al modelo y experimentar con conversaciones continuas.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex es un modelo de 7.000 millones de parámetros de voz a voz diseñado para conversaciones naturales en tiempo real. Basado en la arquitectura Moshi, soporta comunicación full-dúplex, de modo que puede escuchar y hablar simultáneamente. Gestiona interrupciones y solapamientos sin sistemas separados de transcripción y síntesis.
Fuente: NVIDIA PersonaPlex
PersonaPlex permite controlar la voz y la personalidad del asistente, de modo que los desarrolladores pueden adaptar su rol conversacional y estilo de habla para agentes de atención al cliente, tutores virtuales y otros agentes de voz. Se centra en conversaciones de audio y no tiene entrada visual; elige MiniCPM-o si necesitas vídeo. Los pesos se publican bajo la NVIDIA Open Model License.
Inicio rápido: Clona el repositorio oficial e instala las dependencias en un Linux compatible con una GPU de NVIDIA.
Acepta la licencia del modelo en Hugging Face y configura tu token de acceso:
Inicia el servidor oficial de PersonaPlex:
Si tu GPU tiene memoria limitada, añade la marca
--cpu-offload, que requiere el paqueteaccelerate.Abre
https://localhost:8998en tu navegador y permite el acceso al micrófono. Ya puedes hablar directamente con PersonaPlex, hacer preguntas, interrumpir sus respuestas y probar distintas personalidades de voz.Los mejores modelos open source de audio y música generativa
Los modelos de generación de audio crean música original, instrumentales y melodías a partir de indicaciones de texto. Algunos también pueden generar canciones completas con voces, editar grabaciones existentes o producir música basada en una melodía de referencia.
9. ACE-Step 1.5
ACE-Step 1.5 es un modelo de generación musical open source que crea canciones completas a partir de descripciones en texto. Soporta voces, letras personalizadas, múltiples estilos musicales y canciones de hasta 10 minutos. También puedes controlar tempo, tonalidad y duración, o usar grabaciones existentes para crear covers y editar secciones de una canción.
Fuente: ACE-Step 1.5
ACE-Step destaca por lo accesible que es frente a modelos de generación musical más grandes. Funciona en hardware de NVIDIA, AMD, Intel y Apple Silicon, y su informe técnico indica que puede ejecutarse en GPUs con menos de 4 GB de VRAM. El README del proyecto afirma menos de 2 segundos por canción completa en una A100 y menos de 10 segundos en una RTX 3090.
Incluye una interfaz web con Gradio y una API REST. Las variantes XL, que usan un decodificador DiT de 4B parámetros, intercambian memoria por mayor calidad de audio y requieren al menos 12 GB de VRAM con offloading o 20 GB sin él. El proyecto tiene licencia MIT.
Inicio rápido: Instala el gestor de paquetes
uven Linux o macOS:Clona el repositorio oficial e instala las dependencias:
Lanza la interfaz de generación musical:
Abre
http://localhost:7860en tu navegador. La aplicación descarga los archivos del modelo en el primer inicio y selecciona automáticamente una configuración en función de tu hardware.Para generar música, escribe una descripción de la canción que quieres, por ejemplo, una pista electrónica animada con baterías enérgicas y sintetizadores. También puedes proporcionar letras personalizadas, ajustar la duración o elegir una pista instrumental. Haz clic en el botón de generación para crear tu música, escuchar el resultado y descargar el archivo de audio.
10. Meta MusicGen Large
MusicGen Large es un modelo de texto a música de 3.300 millones de parámetros desarrollado por Meta como parte de su proyecto AudioCraft. Genera música instrumental a partir de descripciones de texto que cubren géneros, estados de ánimo, instrumentos y estilos musicales. Es el checkpoint de texto a música más grande del lanzamiento original de MusicGen.
Fuente: MusicGen Large
MusicGen Large produce música de fondo detallada, bandas sonoras y clips instrumentales a partir de pocas palabras, y funciona con Hugging Face Transformers y AudioCraft. También es el modelo más veterano de esta lista. Meta lo entrenó en abril y mayo de 2023 con 20.000 horas de música con licencia, y no puede generar voces realistas.
Se recomienda GPU. Los pesos preentrenados usan la licencia CC BY-NC 4.0, que restringe el uso comercial, mientras que el código es MIT.
Inicio rápido: Instala Transformers y SciPy.
Usa el ejemplo oficial de Hugging Face para generar música a partir de una indicación de texto:
El modelo se descarga automáticamente al primer uso, genera una pista instrumental basada en la indicación y la guarda como
musicgen_out.wav. Puedes cambiar el texto para probar distintos géneros, instrumentos y estados de ánimo.¿Qué modelo de audio de IA open source deberías elegir?
Depende de si quieres transcribir voz, generar voces realistas, crear un asistente en tiempo real o componer música. Esta comparativa cubre capacidades, tamaño y licencia de cada caso de uso.
Reflexiones finales
Los modelos de audio open source están mejorando rápido en reconocimiento de voz, texto a voz, conversación en tiempo real y generación musical. Son cada vez más precisos, rápidos y fáciles de ejecutar, así que los desarrolladores pueden crear aplicaciones de audio sin depender del todo de servicios comerciales caros.
En mi caso, uso Voxtral a través de Spokenly para casi todo mi trabajo de transcripción, y me encanta. La precisión es impresionante y, aunque el modelo open-weight es enorme, llamo a la API alojada de Mistral, que ha sido gratuita para mi uso. Es un buen ejemplo de cómo estos modelos se están volviendo prácticos para el día a día.
Lo que más me entusiasma es el avance en IA conversacional. Ya sabemos lo naturales que pueden resultar las conversaciones por voz con ChatGPT, y modelos open source como NVIDIA PersonaPlex y MiniCPM-o 4.5 acercan capacidades similares a los desarrolladores que quieren crear sus propios asistentes. Mientras tanto, ACE-Step hace posible generar canciones completas, y opciones ligeras como Kokoro hacen que la generación de voz sea más accesible.
No existe un único modelo perfecto para todo, y eso es precisamente lo interesante. Tanto si buscas transcripción precisa, voces realistas, conversaciones naturales o música generada, probablemente haya un modelo open source que merece la pena probar.