Saltar al contenido principal

Los 10 mejores modelos de audio de IA open source en 2026

Descubre 10 de los mejores modelos de audio de IA open source para transcripción, generación de voz, conversaciones en tiempo real y creación musical, con inicios rápidos basados en la documentación oficial.
Abid Ali Awan
Abid Ali Awan

Crea tu cuenta gratuita

Practica y programa tu progreso.

Continuar con GoogleAl continuar, aceptas nuestra Términos de uso, nuestros Política de privacidad y que tus datos se almacenen en EE. UU.

Los modelos de audio open source ya cubren reconocimiento de voz, texto a voz, conversaciones por voz en tiempo real y generación musical, y varios funcionan en una sola GPU de consumo. Qwen3-ASR transcribe 30 idiomas y 22 dialectos chinos, Kokoro genera voz con solo 82 millones de parámetros y ACE-Step compone canciones completas con menos de 4 GB de memoria de vídeo (VRAM).

Para esta guía, he seleccionado 10 de los mejores modelos de audio de IA open source y open-weight combinando 3 factores: repositorios de GitHub con muchos stars, modelos con gran número de descargas en Hugging Face y modelos destacados en los benchmarks de Artificial Analysis. He cubierto 4 categorías: reconocimiento de voz, texto a voz, conversaciones en tiempo real y generación musical.

Cada modelo incluye un ejemplo de inicio rápido basado en su documentación oficial. Algunos ejemplos requieren hardware específico, dependencias o configuración adicional, así que revisa los requisitos de cada modelo antes de ejecutarlos.

Nota rápida: Es una lista curada, no un ranking de benchmarks estricto. Open-weight significa que los pesos entrenados se pueden descargar, pero la licencia puede seguir limitando su uso; por eso indico la licencia en cada sección y en la tabla comparativa del final. Los ejemplos proceden de la documentación oficial, pero no he probado personalmente el código, así que tu entorno podría necesitar dependencias o configuración extra.

En pocas palabras

  • Reconocimiento de voz: Qwen3-ASR por su precisión multilingüe, Nemotron 3.5 ASR Streaming para transcripción en vivo con baja latencia y Voxtral Small cuando también quieres resúmenes y respuestas sobre el audio.
  • Texto a voz: Kokoro 82M para uso local ligero, Fish Audio Drama 3 para diálogos expresivos con múltiples voces y Breeze TTS 2 para diseño de voz (solo uso no comercial).
  • Conversaciones en tiempo real: NVIDIA PersonaPlex para agentes de voz solo audio y MiniCPM-o 4.5 cuando también quieras entrada de vídeo.
  • Generación musical: ACE-Step 1.5 para canciones completas con voces y MusicGen Large para instrumentales (solo uso no comercial).

Los mejores modelos open source de reconocimiento de voz

Los modelos de reconocimiento de voz, también llamados ASR (automatic speech recognition), convierten audio hablado en texto. Son útiles para transcribir reuniones, subtítulos, pódcasts, asistentes de voz y análisis de audio. Los modelos modernos reconocen varios idiomas, procesan conversaciones en vivo y algunos incluso pueden razonar sobre lo que se está tratando.

1. Voxtral Small

Voxtral Small 24B es un modelo open-weight de comprensión de voz de Mistral AI, publicado bajo licencia Apache 2.0. Soporta 8 idiomas (inglés, español, francés, portugués, hindi, alemán, neerlandés e italiano) y puede transcribir grabaciones, resumir conversaciones, responder preguntas sobre el audio y seguir instrucciones habladas.

Resultados de benchmark de Voxtral Small 24B

Fuente: Voxtral Small 24B

Su mayor ventaja es que un único modelo resuelve tanto el reconocimiento de voz como el razonamiento lingüístico, por lo que no necesitas una canalización separada de transcripción y resumen. Es ideal para análisis de reuniones, entrevistas y asistentes de voz. La pega es el tamaño: el modelo de 24.000 millones de parámetros necesita aproximadamente 55 GB de memoria de GPU en BF16 o FP16, es decir, hardware con mucha memoria o varias GPUs.

Si solo necesitas transcribir, el Voxtral Mini 4B Realtime más nuevo de Mistral es mucho más ligero. Mistral lo lanzó en febrero de 2026 bajo Apache 2.0, con latencia en streaming configurable por debajo de 200 ms.

Inicio rápido: Instala vLLM y los paquetes de Python requeridos.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hub

Inicia el servidor de vLLM. Esta configuración usa dos GPUs.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice

Abre otra terminal y ejecuta el ejemplo en Python para transcribir una grabación de audio de muestra.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)

El script descarga una grabación de muestra, la envía a tu servidor local de Voxtral y muestra la transcripción.

2. Qwen3-ASR

Qwen3-ASR es una familia open source de modelos de reconocimiento de voz del equipo Qwen de Alibaba, disponible en versiones de 0,6B y 1,7B parámetros bajo licencia Apache 2.0. Soporta 30 idiomas y 22 dialectos chinos, detecta automáticamente el idioma hablado y puede transcribir voz con música de fondo, incluido canto. Funciona muy bien para transcripción multilingüe, subtítulos, pódcasts y entrevistas.

Diagrama de arquitectura de Qwen3-ASR

Fuente: Qwen3-ASR

Qwen3-ASR equilibra precisión, velocidad y flexibilidad. El modelo de 1,7B publica una tasa media de error de palabra (WER) de 5,76 en el Open ASR Leaderboard de Hugging Face, frente a 6,62 para Voxtral Small (cuanto menor, mejor). La versión de 0,6B sacrifica algo de precisión a cambio de eficiencia.

Ambos tamaños soportan inferencia offline y en streaming, aunque el streaming requiere por ahora el backend vLLM (pip install -U qwen-asr[vllm]). El modelo opcional Qwen3-ForcedAligner-0.6B genera marcas de tiempo por palabra para subtítulos en 11 idiomas compatibles.

Inicio rápido: Instala el paquete oficial de Python.

pip install -U qwen-asr

Carga el modelo de 1,7B y transcribe el audio de muestra oficial.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)

El modelo se descarga automáticamente al primer uso. Detecta el idioma hablado y muestra la transcripción.

Puedes reemplazar la URL de ejemplo por tu propio archivo de audio. Este ejemplo usa una GPU de NVIDIA.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B es un modelo ligero de reconocimiento de voz diseñado para transcripción en tiempo real. Tiene 600 millones de parámetros y soporta 40 variantes de idioma, incluidos inglés, árabe, hindi, español y japonés. De estos, 32 transcriben de forma nativa y 8 requieren ajuste fino previo.

Diagrama de arquitectura de NVIDIA Nemotron 3.5 ASR Streaming

Fuente: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

Su velocidad proviene de una arquitectura de streaming sensible a la caché. En lugar de reprocesar toda la grabación, procesa nuevos fragmentos de audio reutilizando el contexto del codificador en caché, con tamaños de bloque tan pequeños como 80 milisegundos. En una sola H100, NVIDIA informa de aproximadamente 17 veces más flujos concurrentes que su modelo Parakeet RNNT 1.1B con búfer en el ajuste de 80 ms (240 frente a 14).

Esto lo convierte en una opción potente para subtítulos en vivo, reuniones y asistentes de voz con baja latencia. Los pesos usan la licencia OpenMDW-1.1, que según la tarjeta del modelo de NVIDIA está lista para uso comercial, y el modelo se ejecuta localmente mediante el runtime NeMo-Speech.cpp.

Inicio rápido: Instala NeMo-Speech.cpp en Linux o macOS.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | sh

Transcribe un archivo WAV. La CLI descarga el modelo Nemotron 3.5 por defecto al primer uso.

nemo-speech transcribe audio.wav

Para probar la transcripción en streaming, que pasa el archivo por el reconocedor en fragmentos de 160 ms, ejecuta:

nemo-speech transcribe audio.wav --stream

Para transcripción en tiempo real por micrófono en compilaciones compatibles:

nemo-speech transcribe --live

Sustituye audio.wav por tu propia grabación. El runtime soporta CPU y GPUs compatibles, así que no necesitas una GPU grande para empezar.

Los mejores modelos open source de texto a voz

Los modelos de texto a voz (TTS) convierten texto escrito en audio natural. Los modelos modernos pueden clonar voces, expresar emoción, generar diálogos multivoz y hablar varios idiomas. Aquí tienes 3 modelos open-weight que merece la pena probar.

4. Fish Audio Drama 3

Fish Audio Drama 3 es un modelo expresivo de texto a voz pensado para escenas multicliente y contenido de larga duración. Usa una arquitectura mixture-of-experts con 35.000 millones de parámetros, pero activa solo unos 3.000 millones por token. Soporta clonación de voz, control de voz por lenguaje natural y diálogo con hasta 16 interlocutores, ideal para audiolibros y contenido con personajes.

Funciones clave de Fish Audio Drama 3

Fuente: Informe técnico de Fish Audio Drama 3

Destaca por su rango emocional. Puedes incluir etiquetas inline como [sighs] y [laughs] directamente en el texto, asignar hasta 16 voces en un mismo guion y hacer streaming de pasajes largos por bloques. Fish Audio informa de un tiempo hasta el primer audio de unos 89 ms para una sola secuencia en una GPU H200, y el modelo se ejecuta con SGLang-Omni y vLLM-Omni.

La pega es el tamaño y la licencia. El checkpoint en FP8 necesita 37 GB solo para los pesos, y una versión GPTQ a 4 bits lo reduce a 20,8 GB. Los pesos usan la Fish Audio Community License, así que revisa sus términos antes de un uso comercial.

Inicio rápido: Instala SGLang-Omni y sus dependencias de Fish Audio en un Linux compatible con una GPU de NVIDIA.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"

Descarga el modelo e inicia el servidor:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000

Abre otra terminal y genera voz:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wav

El modelo genera voz y la guarda como output.wav. Puedes cambiar el texto de entrada o explorar clonación de voz y multivoz en el cookbook oficial de Drama 3.

5. Breeze TTS 2

Breeze TTS 2 es un modelo de texto a voz de 3.000 millones de parámetros para inglés y chino. Permite clonar voces a partir de una grabación de referencia, diseñar voces desde una descripción en lenguaje natural e introducir instrucciones de tono, emoción y entrega.

Puntuación Elo de Breeze TTS 2 en el leaderboard de Artificial Analysis TTS

Fuente: Breeze TTS 2

Según la model card de BreezeBlue, ocupa el primer puesto entre los modelos open-weight en el leaderboard de TTS de Artificial Analysis, con menos de 40 ms hasta el primer audio en una H100 usando la ruta rápida. También soporta eventos vocales inline como (laugh), (sigh) y (cough).

Es idóneo para aplicaciones de voz interactivas, pero sus pesos autoalojados y salidas están restringidos a investigación y uso no comercial. Solo el código fuente es Apache 2.0.

Inicio rápido: En Linux con Python 3.10 o superior y una GPU de NVIDIA compatible con CUDA, clona el repositorio oficial e instala las dependencias.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hub

Descarga el checkpoint del modelo:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2

Genera voz usando el ejemplo oficial de diseño de voz. No requiere audio de referencia.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wav

El modelo genera la voz según la descripción y la guarda como outputs/voice_design_en.wav. El modo de inferencia por defecto necesita aproximadamente 7,7 GiB de memoria de GPU (14,4 GiB con la opción --fast-all), y se recomienda mínimo una GPU de 12 GB. También puedes probar clonación de voz y streaming en la documentación oficial de Breeze TTS 2.

6. Kokoro 82M

Kokoro 82M es un modelo ligero de texto a voz con solo 82 millones de parámetros. Su versión v1.0 ofrece 54 voces en 8 idiomas. Es una de las opciones más accesibles para desarrolladores que quieran experimentar con generación de voz sin una GPU de gama alta.

Model card de Kokoro 82M en Hugging Face

Fuente: Kokoro 82M

La principal ventaja de Kokoro es la eficiencia. Es ideal para narración offline, herramientas de accesibilidad y asistentes de voz, y sus pesos Apache 2.0 permiten usarlo en proyectos comerciales.

Inicio rápido: Puedes ejecutar Kokoro directamente en Google Colab. Primero, instala los paquetes necesarios:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1

Genera voz con la interfaz oficial en Python:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)

El modelo genera voz con la voz inglesa estadounidense af_heart, reproduce el audio en Colab y lo guarda como archivo WAV. Puedes cambiar el texto, la voz o el idioma siguiendo la model card oficial de Kokoro.

Los mejores LLM de audio en tiempo real open source

Los LLM de audio en tiempo real escuchan preguntas habladas y generan respuestas naturales por voz. En lugar de encadenar sistemas separados de reconocimiento y síntesis, gestionan conversaciones continuas, interrupciones y escucha y habla simultáneas en un solo modelo.

7. MiniCPM-o 4.5

MiniCPM-o 4.5 es un modelo multimodal de 9.000 millones de parámetros de OpenBMB que entiende imágenes, vídeo, audio y texto y responde con voz. Soporta conversaciones por voz en tiempo real en inglés y chino, clonación de voz e interacción full-dúplex. Full-dúplex significa que el modelo puede escuchar, ver y hablar a la vez en lugar de esperar a que termine cada turno.

Diagrama de arquitectura de MiniCPM-o 4.5

Fuente: MiniCPM-o 4.5

Su rasgo distintivo es la combinación de comprensión visual e interacción por voz. Puedes crear asistentes que respondan preguntas habladas sobre una cámara en vivo, describan su entorno o contesten mientras procesan vídeo. Los pesos tienen licencia Apache 2.0 y los desarrolladores proporcionan una demo web lista para usar, aunque el streaming full-dúplex aún es experimental.

Inicio rápido: La demo web oficial de MiniCPM-o 4.5 admite conversaciones en vivo de audio y vídeo. Necesitas Linux, Docker Compose, NVIDIA Container Toolkit y una GPU de NVIDIA con más de 28 GB de VRAM.

Primero, clona el repositorio oficial de la demo:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demo

Descarga el checkpoint del modelo:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5

Genera el certificado HTTPS local:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"

Inicia la demo web con Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0

Sustituye /path/to/MiniCPM-o-4_5 por la ruta absoluta al checkpoint descargado y edita docker-compose.yml según el número de GPUs. Abre la interfaz web HTTPS en el puerto 8006 y permite acceso a micrófono y cámara.

Selecciona Audio Full-Duplex para una conversación por voz en vivo o Omnimodal Full-Duplex para interactuar con vídeo y audio. Puedes hacer preguntas, interrumpir al modelo y experimentar con conversaciones continuas.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex es un modelo de 7.000 millones de parámetros de voz a voz diseñado para conversaciones naturales en tiempo real. Basado en la arquitectura Moshi, soporta comunicación full-dúplex, de modo que puede escuchar y hablar simultáneamente. Gestiona interrupciones y solapamientos sin sistemas separados de transcripción y síntesis.

Diagrama de arquitectura de NVIDIA PersonaPlex

Fuente: NVIDIA PersonaPlex

PersonaPlex permite controlar la voz y la personalidad del asistente, de modo que los desarrolladores pueden adaptar su rol conversacional y estilo de habla para agentes de atención al cliente, tutores virtuales y otros agentes de voz. Se centra en conversaciones de audio y no tiene entrada visual; elige MiniCPM-o si necesitas vídeo. Los pesos se publican bajo la NVIDIA Open Model License.

Inicio rápido: Clona el repositorio oficial e instala las dependencias en un Linux compatible con una GPU de NVIDIA.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.

Acepta la licencia del modelo en Hugging Face y configura tu token de acceso:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"

Inicia el servidor oficial de PersonaPlex:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

Si tu GPU tiene memoria limitada, añade la marca --cpu-offload, que requiere el paquete accelerate.

Abre https://localhost:8998 en tu navegador y permite el acceso al micrófono. Ya puedes hablar directamente con PersonaPlex, hacer preguntas, interrumpir sus respuestas y probar distintas personalidades de voz.

Los mejores modelos open source de audio y música generativa

Los modelos de generación de audio crean música original, instrumentales y melodías a partir de indicaciones de texto. Algunos también pueden generar canciones completas con voces, editar grabaciones existentes o producir música basada en una melodía de referencia.

9. ACE-Step 1.5

ACE-Step 1.5 es un modelo de generación musical open source que crea canciones completas a partir de descripciones en texto. Soporta voces, letras personalizadas, múltiples estilos musicales y canciones de hasta 10 minutos. También puedes controlar tempo, tonalidad y duración, o usar grabaciones existentes para crear covers y editar secciones de una canción.

Diagrama de arquitectura de ACE-Step 1.5

Fuente: ACE-Step 1.5

ACE-Step destaca por lo accesible que es frente a modelos de generación musical más grandes. Funciona en hardware de NVIDIA, AMD, Intel y Apple Silicon, y su informe técnico indica que puede ejecutarse en GPUs con menos de 4 GB de VRAM. El README del proyecto afirma menos de 2 segundos por canción completa en una A100 y menos de 10 segundos en una RTX 3090.

Incluye una interfaz web con Gradio y una API REST. Las variantes XL, que usan un decodificador DiT de 4B parámetros, intercambian memoria por mayor calidad de audio y requieren al menos 12 GB de VRAM con offloading o 20 GB sin él. El proyecto tiene licencia MIT.

Inicio rápido: Instala el gestor de paquetes uv en Linux o macOS:

curl -LsSf https://astral.sh/uv/install.sh | sh

Clona el repositorio oficial e instala las dependencias:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv sync

Lanza la interfaz de generación musical:

uv run acestep

Abre http://localhost:7860 en tu navegador. La aplicación descarga los archivos del modelo en el primer inicio y selecciona automáticamente una configuración en función de tu hardware.

Para generar música, escribe una descripción de la canción que quieres, por ejemplo, una pista electrónica animada con baterías enérgicas y sintetizadores. También puedes proporcionar letras personalizadas, ajustar la duración o elegir una pista instrumental. Haz clic en el botón de generación para crear tu música, escuchar el resultado y descargar el archivo de audio.

10. Meta MusicGen Large

MusicGen Large es un modelo de texto a música de 3.300 millones de parámetros desarrollado por Meta como parte de su proyecto AudioCraft. Genera música instrumental a partir de descripciones de texto que cubren géneros, estados de ánimo, instrumentos y estilos musicales. Es el checkpoint de texto a música más grande del lanzamiento original de MusicGen.

Model card de Meta MusicGen Large en Hugging Face

Fuente: MusicGen Large

MusicGen Large produce música de fondo detallada, bandas sonoras y clips instrumentales a partir de pocas palabras, y funciona con Hugging Face Transformers y AudioCraft. También es el modelo más veterano de esta lista. Meta lo entrenó en abril y mayo de 2023 con 20.000 horas de música con licencia, y no puede generar voces realistas.

Se recomienda GPU. Los pesos preentrenados usan la licencia CC BY-NC 4.0, que restringe el uso comercial, mientras que el código es MIT.

Inicio rápido: Instala Transformers y SciPy.

pip install --upgrade transformers scipy

Usa el ejemplo oficial de Hugging Face para generar música a partir de una indicación de texto:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)

El modelo se descarga automáticamente al primer uso, genera una pista instrumental basada en la indicación y la guarda como musicgen_out.wav. Puedes cambiar el texto para probar distintos géneros, instrumentos y estados de ánimo.

¿Qué modelo de audio de IA open source deberías elegir?

Depende de si quieres transcribir voz, generar voces realistas, crear un asistente en tiempo real o componer música. Esta comparativa cubre capacidades, tamaño y licencia de cada caso de uso.

ModeloMejor paraVentaja claveTamañoLicencia (pesos)
Voxtral SmallReconocimiento de voz avanzadoTranscripción, resumen y razonamiento sobre audio24BApache 2.0
Qwen3-ASRTranscripción multilingüe30 idiomas y 22 dialectos chinos0.6B / 1.7BApache 2.0
NVIDIA Nemotron 3.5 ASRTranscripción en tiempo realStreaming de baja latencia e inferencia eficiente0.6BOpenMDW-1.1
Fish Audio Drama 3Voz expresiva y storytellingClonación de voz y diálogo con hasta 16 voces35B total / 3B activasFish Audio Community License
Breeze TTS 2Texto a voz naturalDiseño de voz, control de emoción y baja latencia3BInvestigación y no comercial
Kokoro 82MTTS ligero y localGeneración eficiente en hardware modesto82MApache 2.0
MiniCPM-o 4.5Asistentes de voz multimodalesInteracción en tiempo real con audio, vídeo y voz9BApache 2.0
NVIDIA PersonaPlexConversaciones por voz en tiempo realVoz full-dúplex con interrupciones naturales7BNVIDIA Open Model License
ACE-Step 1.5Generación de canciones completasVoces, letras personalizadas, covers y edición musical2B / 4B (XL)MIT
Meta MusicGen LargeGeneración de música instrumentalTexto a música a partir de indicaciones breves3.3BCC BY-NC 4.0

Reflexiones finales

Los modelos de audio open source están mejorando rápido en reconocimiento de voz, texto a voz, conversación en tiempo real y generación musical. Son cada vez más precisos, rápidos y fáciles de ejecutar, así que los desarrolladores pueden crear aplicaciones de audio sin depender del todo de servicios comerciales caros.

En mi caso, uso Voxtral a través de Spokenly para casi todo mi trabajo de transcripción, y me encanta. La precisión es impresionante y, aunque el modelo open-weight es enorme, llamo a la API alojada de Mistral, que ha sido gratuita para mi uso. Es un buen ejemplo de cómo estos modelos se están volviendo prácticos para el día a día.

Lo que más me entusiasma es el avance en IA conversacional. Ya sabemos lo naturales que pueden resultar las conversaciones por voz con ChatGPT, y modelos open source como NVIDIA PersonaPlex y MiniCPM-o 4.5 acercan capacidades similares a los desarrolladores que quieren crear sus propios asistentes. Mientras tanto, ACE-Step hace posible generar canciones completas, y opciones ligeras como Kokoro hacen que la generación de voz sea más accesible.

No existe un único modelo perfecto para todo, y eso es precisamente lo interesante. Tanto si buscas transcripción precisa, voces realistas, conversaciones naturales o música generada, probablemente haya un modelo open source que merece la pena probar.

FAQs

¿Cuál es el mejor modelo open source de reconocimiento de voz?

Para transcripción multilingüe, Qwen3-ASR-1.7B es una gran opción por defecto: soporta 30 idiomas y 22 dialectos chinos, y el Open ASR Leaderboard de Hugging Face indica una WER media de 5,76. Para transcripción en vivo, NVIDIA Nemotron 3.5 ASR Streaming procesa audio en fragmentos de tan solo 80 ms. Voxtral Small es mejor cuando también quieres resúmenes o respuestas sobre el audio, pero necesita unos 55 GB de memoria de GPU.

¿Qué modelo de texto a voz open source necesita menos hardware?

Kokoro 82M es el que menos requiere. Tiene 82 millones de parámetros, ofrece 54 voces en 8 idiomas en su versión v1.0 y se publica bajo licencia Apache 2.0. Breeze TTS 2 necesita aproximadamente 7,7 GiB de memoria de GPU y Fish Audio Drama 3 requiere 20,8 GB solo para los pesos incluso en su versión a 4 bits.

¿Qué modelos de audio open source puedo usar comercialmente?

Voxtral Small, Qwen3-ASR, Kokoro 82M y MiniCPM-o 4.5 usan Apache 2.0, y ACE-Step 1.5 tiene licencia MIT. Los pesos de Breeze TTS 2 se limitan a investigación y uso no comercial, y los de MusicGen Large usan CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex y Fish Audio Drama 3 usan cada uno su propia licencia (OpenMDW-1.1, NVIDIA Open Model License y Fish Audio Community License), así que revisa los términos antes de lanzar a producción.

¿Cuál es el mejor modelo open source para conversaciones por voz en tiempo real?

NVIDIA PersonaPlex es un modelo de 7B de voz a voz full-dúplex con voz y personalidad controlables que gestiona interrupciones y solapamientos. MiniCPM-o 4.5 añade entrada de vídeo en vivo, pero su demo oficial necesita una GPU de NVIDIA con más de 28 GB de VRAM.

¿Pueden los modelos open source generar canciones completas con voces?

Sí. ACE-Step 1.5 genera canciones completas con voces y letras personalizadas de hasta 10 minutos, y puede ejecutarse en GPUs con menos de 4 GB de VRAM. MusicGen Large genera solo instrumentales y no puede producir voces realistas.

Abid Ali Awan

Autor

Abid Ali Awan

Soy un científico de datos certificado que disfruta creando aplicaciones de aprendizaje automático y escribiendo blogs sobre ciencia de datos. Actualmente me centro en la creación de contenidos, la edición y el trabajo con grandes modelos lingüísticos.

Temas

Relacionado