I 10 migliori modelli audio AI open source nel 2026
Esplora 10 tra i migliori modelli audio AI open source per trascrizione, generazione vocale, conversazioni in tempo reale e creazione musicale, con quick start facili tratti dalla documentazione ufficiale.
I modelli audio open source oggi coprono il riconoscimento vocale, il text-to-speech, le conversazioni vocali in tempo reale e la generazione musicale, e diversi girano su una singola GPU consumer. Qwen3-ASR trascrive 30 lingue e 22 dialetti cinesi, Kokoro genera voce con appena 82 milioni di parametri e ACE-Step scrive canzoni complete con meno di 4 GB di memoria video (VRAM).
Per questa guida ho selezionato 10 tra i migliori modelli audio AI open source e open-weight combinando 3 fattori: repository GitHub con alto numero di stelle, modelli molto scaricati su Hugging Face e modelli top nelle benchmark di Artificial Analysis. Ho coperto 4 categorie: riconoscimento vocale, text-to-speech, conversazioni in tempo reale e generazione musicale.
Ogni modello include un esempio di quick start basato sulla documentazione ufficiale. Alcuni esempi richiedono hardware, dipendenze o configurazioni aggiuntive specifiche, quindi controlla i requisiti di ciascun modello prima di eseguirli.
Nota veloce: Questa è una lista curata, non una classifica da benchmark rigorosa. Open-weight significa che i pesi addestrati sono scaricabili, ma la licenza può comunque limitarne l'uso, quindi segnalo le licenze in ogni sezione e nella tabella comparativa alla fine. Gli esempi provengono dalla documentazione ufficiale, ma non ho testato personalmente il codice, quindi il tuo setup potrebbe richiedere dipendenze o configurazioni aggiuntive.
In breve
Riconoscimento vocale: Qwen3-ASR per l'accuratezza multilingue, Nemotron 3.5 ASR Streaming per trascrizione live a bassa latenza e Voxtral Small quando vuoi anche riassunti e risposte sull'audio.
Text-to-speech: Kokoro 82M per un uso locale leggero, Fish Audio Drama 3 per dialoghi espressivi multi-speaker e Breeze TTS 2 per il design della voce (solo uso non commerciale).
Conversazioni in tempo reale: NVIDIA PersonaPlex per agenti vocali solo audio e MiniCPM-o 4.5 quando vuoi anche input video.
Generazione musicale: ACE-Step 1.5 per canzoni complete con voce e MusicGen Large per strumentali (solo uso non commerciale).
I migliori modelli open source di riconoscimento vocale
I modelli di riconoscimento vocale, anche detti modelli ASR (automatic speech recognition), convertono l'audio parlato in testo. Sono utili per trascrizioni di meeting, sottotitoli, podcast, assistenti vocali e analisi audio. I modelli moderni riconoscono anche più lingue, gestiscono conversazioni live e alcuni sanno ragionare su ciò di cui si sta parlando.
1. Voxtral Small
Voxtral Small 24B è un modello open-weight per la comprensione del parlato di Mistral AI, rilasciato sotto licenza Apache 2.0. Supporta 8 lingue (inglese, spagnolo, francese, portoghese, hindi, tedesco, olandese e italiano) e può trascrivere registrazioni, riassumere conversazioni, rispondere a domande sull'audio e seguire istruzioni vocali.
Il suo maggiore vantaggio è che un unico modello gestisce sia il riconoscimento vocale sia il ragionamento linguistico, quindi non serve una pipeline separata per trascrizione e riassunto. È ideale per analisi di riunioni, interviste e assistenti vocali. Lo svantaggio è la dimensione: il modello da 24 miliardi di parametri richiede circa 55 GB di memoria GPU in BF16 o FP16, quindi serve hardware con molta memoria o multi-GPU.
Se ti serve solo la trascrizione, il più recente Voxtral Mini 4B Realtime di Mistral è molto più leggero. Mistral lo ha rilasciato a febbraio 2026 sotto Apache 2.0, con latenza in streaming configurabile anche sotto i 200 ms.
Quick start: Installa vLLM e i pacchetti Python richiesti.
pip install-U"vllm[audio]""mistral-common[audio]" openai huggingface_hubOfferto da
Avvia il server vLLM. Questa configurazione usa due GPU.
Apri un altro terminale ed esegui l'esempio Python per trascrivere un campione audio.
from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",)
model = client.models.list().data[0].id
audio_file = hf_hub_download("patrickvonplaten/audio_samples","obama.mp3",
repo_type="dataset",)
audio = RawAudio.from_audio(
Audio.from_file(audio_file, strict=False))
req = TranscriptionRequest(
model=model,
audio=audio,
language="en",
temperature=0.0,).to_openai(exclude=("top_p","seed"))
response = client.audio.transcriptions.create(**req)print(response.text)Offerto da
Lo script scarica una registrazione di esempio, la invia al tuo server Voxtral locale e stampa la trascrizione.
2. Qwen3-ASR
Qwen3-ASR è una famiglia di modelli open source per il riconoscimento vocale del team Qwen di Alibaba, disponibile nelle versioni da 0,6B e 1,7B parametri sotto licenza Apache 2.0. Supporta 30 lingue e 22 dialetti cinesi, rileva automaticamente la lingua parlata e può trascrivere parlato sopra musica di sottofondo, inclusi i vocalizzi. È indicato per trascrizioni multilingue, sottotitoli, podcast e interviste.
Qwen3-ASR bilancia accuratezza, velocità e flessibilità. Il modello da 1,7B registra un WER medio di 5,76 sulla Open ASR Leaderboard di Hugging Face, contro 6,62 di Voxtral Small (più basso è meglio). La versione da 0,6B sacrifica un po' di accuratezza a favore dell'efficienza.
Entrambe le taglie supportano inferenza offline e in streaming, anche se lo streaming al momento richiede il backend vLLM (pip install -U qwen-asr[vllm]). Il modello opzionale Qwen3-ForcedAligner-0.6B genera timestamp a livello di parola per sottotitoli in 11 lingue supportate.
Quick start: Installa il pacchetto Python ufficiale.
Carica il modello da 1,7B e trascrivi l'audio di esempio ufficiale.
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained("Qwen/Qwen3-ASR-1.7B",
dtype=torch.bfloat16,
device_map="cuda:0",)
results = model.transcribe(
audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
language=None,)print(results[0].language)print(results[0].text)Offerto da
Il modello viene scaricato automaticamente al primo utilizzo. Rileva la lingua parlata e stampa la trascrizione.
Puoi sostituire l'URL di esempio con un tuo file audio. Questo esempio usa una GPU NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B è un modello leggero di riconoscimento vocale progettato per la trascrizione in tempo reale. Ha 600 milioni di parametri e supporta 40 locali linguistici, tra cui inglese, arabo, hindi, spagnolo e giapponese. Di questi, 32 trascrivono out-of-the-box e 8 richiedono prima il fine-tuning.
La sua velocità deriva da un'architettura di streaming cache-aware. Invece di rielaborare un'intera registrazione, processa nuovi chunk audio riutilizzando il contesto dell'encoder in cache, con chunk piccoli fino a 80 millisecondi. Su una singola H100, NVIDIA riporta circa 17 volte più stream concorrenti rispetto al suo modello buffered Parakeet RNNT 1.1B con impostazione a 80 ms (240 contro 14).
Questo lo rende una scelta solida per sottotitoli live, riunioni e assistenti vocali a bassa latenza. I pesi usano la licenza OpenMDW-1.1, che secondo la scheda del modello NVIDIA è pronta per l'uso commerciale, e il modello gira in locale tramite il runtime NeMo-Speech.cpp di NVIDIA.
Quick start: Installa NeMo-Speech.cpp su Linux o macOS.
curl-fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh |shOfferto da
Trascrivi un file WAV. Alla prima esecuzione, la CLI scarica il modello predefinito Nemotron 3.5.
Sostituisci audio.wav con una tua registrazione. Il runtime supporta backend CPU e GPU compatibili, quindi non ti serve una grande GPU per iniziare.
I migliori modelli open source di text-to-speech
I modelli di text-to-speech (TTS) trasformano il testo scritto in audio naturale. I modelli moderni possono clonare voci, esprimere emozioni, generare dialoghi multi-speaker e parlare più lingue. Ecco 3 modelli open-weight da esplorare.
4. Fish Audio Drama 3
Fish Audio Drama 3 è un modello TTS espressivo pensato per scene multi-personaggio e contenuti long-form. Usa un'architettura mixture-of-experts con 35 miliardi di parametri, ma ne attiva solo circa 3 miliardi per token. Supporta voice cloning, controllo della voce in linguaggio naturale e dialoghi con fino a 16 speaker, ideale per audiolibri e contenuti basati sui personaggi.
Ciò che colpisce è l'ampiezza emotiva. Puoi inserire tag inline come [sighs] e [laughs] direttamente nel testo, assegnare fino a 16 tag speaker in un'unica sceneggiatura e fare streaming di passaggi lunghi a chunk. Fish Audio riporta un time to first audio di circa 89 ms per un singolo stream su GPU H200, e il modello gira tramite SGLang-Omni e vLLM-Omni.
Lo svantaggio sono dimensioni e licenza. Il checkpoint FP8 richiede 37 GB solo per i pesi, e una versione GPTQ a 4 bit li riduce a 20,8 GB. I pesi usano la Fish Audio Community License, quindi leggi i termini prima dell'uso commerciale.
Quick start: Installa SGLang-Omni e le sue dipendenze Fish Audio su un sistema Linux supportato con GPU NVIDIA.
pip install-U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install--prerelease=allow -v-e".[fishaudio]"Offerto da
Scarica il modello e avvia il server:
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port8000Offerto da
Apri un altro terminale e genera parlato:
curl-X POST http://localhost:8000/v1/audio/speech \-H"Content-Type: application/json"\-d'{
"input": "Hello, how are you?"
}'\--output output.wavOfferto da
Il modello genera parlato e lo salva come output.wav. Puoi cambiare il testo in input o esplorare voice cloning e generazione multi-speaker usando il cookbook ufficiale di Drama 3.
5. Breeze TTS 2
Breeze TTS 2 è un modello TTS da 3 miliardi di parametri per inglese e cinese. Supporta voice cloning da una registrazione di riferimento, design della voce da una descrizione in linguaggio naturale e istruzioni in linguaggio naturale per tono, emozione e dizione.
La scheda modello di BreezeBlue indica che è al primo posto tra i modelli open-weight nella leaderboard TTS di Artificial Analysis, con un time to first audio inferiore a 40 ms su H100 usando la fast path. Supporta anche eventi vocali inline come (laugh), (sigh) e (cough).
È quindi adatto ad applicazioni vocali interattive, ma i pesi self-hosted e gli output sono limitati a ricerca e uso non commerciale. Solo il codice sorgente è sotto Apache 2.0.
Quick start: Su Linux con Python 3.10 o successivo e una GPU NVIDIA compatibile con CUDA, clona il repository ufficiale e installa le dipendenze.
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install-r requirements.txt
python -m pip install-U huggingface_hubOfferto da
Scarica il checkpoint del modello:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir ../breeze-tts-2Offerto da
Genera parlato usando l'esempio ufficiale di voice design. Non richiede audio di riferimento.
python infer.py ../breeze-tts-2 \--text"(sigh) Welcome aboard. Your journey begins now."\--instruction"A warm, thoughtful young woman with a clear voice and a calm, reflective delivery."\
--cfg-scale 4\--output outputs/voice_design_en.wavOfferto da
Il modello genera parlato usando la descrizione della voce e lo salva come outputs/voice_design_en.wav. La modalità di inferenza predefinita richiede circa 7,7 GiB di memoria GPU (14,4 GiB con l'opzione --fast-all), e una GPU da 12 GB è il minimo consigliato. Puoi provare anche il voice cloning e lo streaming tramite la documentazione ufficiale di Breeze TTS 2.
6. Kokoro 82M
Kokoro 82M è un modello TTS leggero con soli 82 milioni di parametri. La release v1.0 offre 54 voci in 8 lingue. È una delle opzioni più accessibili per sviluppatori che vogliono sperimentare la generazione vocale senza una GPU di fascia alta.
Il principale vantaggio di Kokoro è l'efficienza. È adatto a narrazione offline, strumenti di accessibilità e assistenti vocali, e i pesi Apache 2.0 significano che puoi usarlo in progetti commerciali.
Quick start: Puoi eseguire Kokoro direttamente su Google Colab. Per prima cosa, installa i pacchetti richiesti:
!pip install-q"kokoro>=0.9.2" soundfile
!apt-get -qq-yinstall espeak-ng > /dev/null 2>&1Offerto da
Genera parlato usando l'interfaccia Python ufficiale:
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
pipeline = KPipeline(lang_code='a')
text ="Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline(text, voice='af_heart')for i,(gs, ps, audio)inenumerate(generator):
display(Audio(data=audio, rate=24000))
sf.write(f'{i}.wav', audio,24000)Offerto da
Il modello genera parlato usando la voce inglese americana af_heart, riproduce l'audio in Colab e lo salva come file WAV. Puoi cambiare testo, voce o lingua usando la scheda modello ufficiale di Kokoro.
I migliori LLM audio open source in tempo reale
Gli LLM audio in tempo reale ascoltano domande parlate e generano risposte vocali naturali. Invece di concatenare sistemi separati di riconoscimento vocale e text-to-speech, gestiscono conversazioni continue, interruzioni e ascolto e parlato simultanei in un unico modello.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 è un modello multimodale da 9 miliardi di parametri di OpenBMB che comprende immagini, video, audio e testo e risponde con la voce. Supporta conversazioni vocali in tempo reale in inglese e cinese, voice cloning e interazione full-duplex. Full-duplex significa che il modello può ascoltare, osservare e parlare contemporaneamente invece di attendere la fine di ogni turno.
La sua caratteristica distintiva è la combinazione di comprensione visiva e interazione vocale. Puoi creare assistenti che rispondono a domande parlate su un feed della fotocamera live, descrivono l'ambiente circostante o intervengono in conversazioni mentre processano video. I pesi sono sotto licenza Apache 2.0 e gli sviluppatori forniscono una demo web pronta all'uso, anche se lo streaming full-duplex è ancora sperimentale.
Quick start: La demo web ufficiale di MiniCPM-o 4.5 supporta conversazioni live audio e video. Ti servono Linux, Docker Compose, NVIDIA Container Toolkit e una GPU NVIDIA con più di 28 GB di VRAM.
Per prima cosa, clona il repository della demo ufficiale:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoOfferto da
Scarica il checkpoint del modello:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5Offerto da
Genera il certificato HTTPS locale:
mkdir-p certs data
openssl req -x509-newkey rsa:2048 -nodes-days365\-keyout certs/key.pem -out certs/cert.pem -subj"/CN=minicpm-o"Offerto da
Avvia la demo web con Docker Compose:
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d--builddocker compose logs -f gateway
docker compose logs -f worker-backend-0Offerto da
Sostituisci /path/to/MiniCPM-o-4_5 con il percorso assoluto del checkpoint scaricato e modifica docker-compose.yml in base al numero di GPU. Apri l'interfaccia web HTTPS sulla porta 8006 e consenti l'accesso a microfono e fotocamera.
Seleziona Audio Full-Duplex per una conversazione vocale live oppure Omnimodal Full-Duplex per interagire usando sia video sia audio. Puoi fare domande, interrompere il modello ed esperimentare conversazioni continue.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex è un modello speech-to-speech da 7 miliardi di parametri progettato per conversazioni naturali in tempo reale. Basato sull'architettura Moshi, supporta la comunicazione full-duplex, quindi può ascoltare e parlare simultaneamente. Gestisce interruzioni e parlato sovrapposto senza sistemi separati di trascrizione e generazione vocale.
PersonaPlex ti permette di controllare la voce e la personalità dell'assistente, così gli sviluppatori possono personalizzare il ruolo conversazionale e lo stile di parlato per assistenti al servizio clienti, tutor virtuali e altri agenti vocali. Si concentra sulle conversazioni audio e non ha input visivi, quindi scegli MiniCPM-o se ti serve il video. I pesi sono rilasciati sotto la NVIDIA Open Model License.
Quick start: Clona il repository ufficiale e installa le dipendenze su un sistema Linux supportato con GPU NVIDIA.
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudoaptinstall libopus-dev
pip install moshi/.Offerto da
Accetta la licenza del modello su Hugging Face e configura il tuo token di accesso:
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl"$SSL_DIR"Offerto da
Se la tua GPU ha memoria limitata, aggiungi il flag --cpu-offload, che richiede il pacchetto accelerate.
Apri https://localhost:8998 nel browser e consenti l'accesso al microfono. Ora puoi parlare direttamente con PersonaPlex, fare domande, interrompere le sue risposte e testare personalità vocali diverse.
I migliori modelli open source per audio e generazione musicale
I modelli di generazione audio creano musica originale, strumentali e melodie a partire da prompt testuali. Alcuni possono anche generare canzoni complete con voce, modificare registrazioni esistenti o produrre musica basata su una melodia di riferimento.
9. ACE-Step 1.5
ACE-Step 1.5 è un modello open source di generazione musicale che crea canzoni complete da descrizioni testuali. Supporta voce, testi personalizzati, stili musicali multipli e canzoni fino a 10 minuti. Puoi anche controllare tempo, tonalità e durata, o usare registrazioni esistenti per creare cover e modificare sezioni di una canzone.
ACE-Step si distingue per l'accessibilità rispetto a modelli di generazione musicale più grandi. Funziona su hardware NVIDIA, AMD, Intel e Apple Silicon, e il suo technical report afferma che può girare su GPU con meno di 4 GB di VRAM. Il README del progetto dichiara meno di 2 secondi per una canzone completa su A100 e meno di 10 secondi su RTX 3090.
Include un'interfaccia web Gradio e una REST API. Le varianti XL, che usano un decoder DiT da 4B parametri, scambiano memoria con qualità audio e richiedono almeno 12 GB di VRAM con offloading o 20 GB senza. Il progetto è sotto licenza MIT.
Quick start: Installa il gestore pacchetti uv su Linux o macOS:
curl-LsSf https://astral.sh/uv/install.sh |shOfferto da
Clona il repository ufficiale e installa le dipendenze:
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv syncOfferto da
Apri http://localhost:7860 nel browser. All'avvio l'app scarica i file modello necessari e seleziona automaticamente una configurazione adatta al tuo hardware.
Per generare musica, inserisci una descrizione della canzone desiderata, ad esempio una traccia elettronica vivace con batteria ed energici sintetizzatori. Puoi anche fornire testi personalizzati, regolare la durata o selezionare una traccia strumentale. Clicca il pulsante di generazione per creare la tua musica, ascoltare il risultato e scaricare il file audio.
10. Meta MusicGen Large
MusicGen Large è un modello text-to-music da 3,3 miliardi di parametri sviluppato da Meta come parte del progetto AudioCraft. Genera musica strumentale a partire da descrizioni testuali che coprono generi, mood, strumenti e stili musicali. È il checkpoint text-to-music più grande nella release originale di MusicGen.
MusicGen Large produce musica di sottofondo dettagliata, colonne sonore e clip strumentali a partire da poche parole, e funziona con Hugging Face Transformers e AudioCraft. È anche il modello più datato in questa lista. Meta lo ha addestrato nell'aprile e maggio 2023 su 20.000 ore di musica con licenza, e non può generare voci realistiche.
È consigliata una GPU. I pesi pretrained usano la licenza CC BY-NC 4.0, che limita l'uso commerciale, mentre il codice è sotto MIT.
Usa l'esempio ufficiale Hugging Face per generare musica da un prompt testuale:
from transformers import pipeline
import scipy
synthesiser = pipeline("text-to-audio","facebook/musicgen-large")
music = synthesiser("lo-fi music with a soothing melody",
forward_params={"do_sample":True})
scipy.io.wavfile.write("musicgen_out.wav",
rate=music["sampling_rate"],
data=music["audio"])Offerto da
Il modello viene scaricato automaticamente al primo utilizzo, genera una traccia strumentale basata sul prompt e la salva come musicgen_out.wav. Puoi cambiare il testo per sperimentare diversi generi musicali, strumenti e mood.
Quale modello audio AI open source dovresti scegliere?
Il modello migliore dipende se vuoi trascrivere parlato, generare voci realistiche, creare un assistente in tempo reale o comporre musica. Questo confronto copre capacità, dimensione del modello e licenza per ciascun caso d'uso.
Model
Best for
Key advantage
Model size
License (weights)
Voxtral Small
Riconoscimento vocale avanzato
Trascrizione, riassunto e ragionamento sull'audio
24B
Apache 2.0
Qwen3-ASR
Trascrizione multilingue
30 lingue e 22 dialetti cinesi
0.6B / 1.7B
Apache 2.0
NVIDIA Nemotron 3.5 ASR
Trascrizione in tempo reale
Streaming a bassa latenza e inferenza efficiente
0.6B
OpenMDW-1.1
Fish Audio Drama 3
Voce espressiva e storytelling
Voice cloning e dialoghi con fino a 16 speaker
35B totali / 3B attivi
Fish Audio Community License
Breeze TTS 2
Text-to-speech naturale
Design della voce, controllo dell'emozione e bassa latenza
3B
Ricerca e non commerciale
Kokoro 82M
TTS leggero e locale
Generazione vocale efficiente su hardware modesto
82M
Apache 2.0
MiniCPM-o 4.5
Assistenti vocali multimodali
Interazione in tempo reale con audio, video e voce
9B
Apache 2.0
NVIDIA PersonaPlex
Conversazioni vocali in tempo reale
Parlato full-duplex con interruzioni naturali
7B
NVIDIA Open Model License
ACE-Step 1.5
Generazione di canzoni complete
Voce, testi personalizzati, cover ed editing musicale
2B / 4B (XL)
MIT
Meta MusicGen Large
Generazione di musica strumentale
Text-to-music da prompt brevi
3.3B
CC BY-NC 4.0
Considerazioni finali
I modelli audio open source stanno migliorando rapidamente in riconoscimento vocale, text-to-speech, conversazione in tempo reale e generazione musicale. Sono sempre più accurati, veloci e facili da eseguire, così gli sviluppatori possono creare applicazioni audio senza dipendere del tutto da servizi commerciali costosi.
Personalmente, uso Voxtral tramite Spokenly per quasi tutto il lavoro di trascrizione, e lo adoro. L'accuratezza è notevole e, sebbene il modello open-weight sia enorme, chiamo l'API hosted di Mistral, che è stata gratuita per il mio uso. È un buon esempio di come questi modelli stiano diventando pratici per i compiti di tutti i giorni.
Quello che mi entusiasma ancora di più è il progresso nell'AI conversazionale. Sappiamo già quanto possano sembrare naturali le conversazioni vocali con ChatGPT, e modelli open source come NVIDIA PersonaPlex e MiniCPM-o 4.5 portano capacità simili agli sviluppatori che vogliono costruire i propri assistenti. Nel frattempo, ACE-Step rende possibile generare canzoni complete, e opzioni leggere come Kokoro rendono la generazione vocale più accessibile.
Non esiste un modello migliore in assoluto per tutto, ed è proprio questo a rendere interessante questo spazio. Che tu voglia una trascrizione accurata, voci realistiche, conversazioni naturali o musica generata, probabilmente c'è un modello open source da provare.
FAQ
Qual è il miglior modello open source di riconoscimento vocale?⌄
Per la trascrizione multilingue, Qwen3-ASR-1.7B è un'ottima scelta predefinita: supporta 30 lingue e 22 dialetti cinesi, e l'Open ASR Leaderboard di Hugging Face riporta per esso un WER medio di 5,76. Per la trascrizione live, NVIDIA Nemotron 3.5 ASR Streaming elabora audio in chunk piccoli fino a 80 ms. Voxtral Small è la scelta migliore quando vuoi anche riassunti o risposte sull'audio, ma richiede circa 55 GB di memoria GPU.
Quale modello open source di text-to-speech richiede meno hardware?⌄
Kokoro 82M richiede meno risorse. Ha 82 milioni di parametri, offre 54 voci in 8 lingue nella release v1.0 ed è rilasciato sotto licenza Apache 2.0. Breeze TTS 2 richiede circa 7,7 GiB di memoria GPU e Fish Audio Drama 3 necessita di 20,8 GB per i pesi anche nella versione a 4 bit.
Quali modelli audio open source posso usare commercialmente?⌄
Voxtral Small, Qwen3-ASR, Kokoro 82M e MiniCPM-o 4.5 usano Apache 2.0, e ACE-Step 1.5 è sotto licenza MIT. I pesi di Breeze TTS 2 sono limitati a ricerca e uso non commerciale, e i pesi di MusicGen Large usano CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex e Fish Audio Drama 3 usano ciascuno una propria licenza (OpenMDW-1.1, NVIDIA Open Model License e Fish Audio Community License), quindi leggi i termini prima del rilascio in produzione.
Qual è il miglior modello open source per conversazioni vocali in tempo reale?⌄
NVIDIA PersonaPlex è un modello speech-to-speech full-duplex da 7B con voce e persona controllabili che gestisce interruzioni e parlato sovrapposto. MiniCPM-o 4.5 aggiunge input video live, ma la sua demo ufficiale richiede una GPU NVIDIA con più di 28 GB di VRAM.
I modelli open source possono generare canzoni complete con voce?⌄
Sì. ACE-Step 1.5 genera canzoni complete con voce e testi personalizzati fino a 10 minuti, e può girare su GPU con meno di 4 GB di VRAM. MusicGen Large genera solo strumentali e non può produrre voci realistiche.
In quanto data scientist certificato, sono appassionato di sfruttare tecnologie all’avanguardia per creare applicazioni di machine learning innovative. Con una solida esperienza in riconoscimento vocale, analisi e reportistica dei dati, MLOps, AI conversazionale e NLP, ho affinato le mie competenze nello sviluppo di sistemi intelligenti in grado di avere un impatto concreto. Oltre alla mia expertise tecnica, sono anche un comunicatore efficace, con il talento di rendere chiari e sintetici concetti complessi. Di conseguenza, sono diventato un blogger molto seguito in ambito data science, condividendo idee ed esperienze con una community in crescita di professionisti dei dati. Attualmente mi concentro sulla creazione e sull’editing di contenuti, lavorando con large language model per sviluppare contenuti potenti e coinvolgenti che possano aiutare aziende e singoli a valorizzare al meglio i propri dati.
Scopri i 15 migliori server MCP remoti che stanno trasformando lo sviluppo AI nel 2026. Scopri come migliorano automazione, ragionamento, sicurezza e velocità dei workflow.
Scopri come integrare l'intelligenza artificiale nelle applicazioni software utilizzando API e librerie open-source. Inizia oggi il tuo percorso per diventare un ingegnere AI!
I modelli audio open source oggi coprono il riconoscimento vocale, il text-to-speech, le conversazioni vocali in tempo reale e la generazione musicale, e diversi girano su una singola GPU consumer. Qwen3-ASR trascrive 30 lingue e 22 dialetti cinesi, Kokoro genera voce con appena 82 milioni di parametri e ACE-Step scrive canzoni complete con meno di 4 GB di memoria video (VRAM).
Per questa guida ho selezionato 10 tra i migliori modelli audio AI open source e open-weight combinando 3 fattori: repository GitHub con alto numero di stelle, modelli molto scaricati su Hugging Face e modelli top nelle benchmark di Artificial Analysis. Ho coperto 4 categorie: riconoscimento vocale, text-to-speech, conversazioni in tempo reale e generazione musicale.
Ogni modello include un esempio di quick start basato sulla documentazione ufficiale. Alcuni esempi richiedono hardware, dipendenze o configurazioni aggiuntive specifiche, quindi controlla i requisiti di ciascun modello prima di eseguirli.
Nota veloce: Questa è una lista curata, non una classifica da benchmark rigorosa. Open-weight significa che i pesi addestrati sono scaricabili, ma la licenza può comunque limitarne l'uso, quindi segnalo le licenze in ogni sezione e nella tabella comparativa alla fine. Gli esempi provengono dalla documentazione ufficiale, ma non ho testato personalmente il codice, quindi il tuo setup potrebbe richiedere dipendenze o configurazioni aggiuntive.
In breve
I migliori modelli open source di riconoscimento vocale
I modelli di riconoscimento vocale, anche detti modelli ASR (automatic speech recognition), convertono l'audio parlato in testo. Sono utili per trascrizioni di meeting, sottotitoli, podcast, assistenti vocali e analisi audio. I modelli moderni riconoscono anche più lingue, gestiscono conversazioni live e alcuni sanno ragionare su ciò di cui si sta parlando.
1. Voxtral Small
Voxtral Small 24B è un modello open-weight per la comprensione del parlato di Mistral AI, rilasciato sotto licenza Apache 2.0. Supporta 8 lingue (inglese, spagnolo, francese, portoghese, hindi, tedesco, olandese e italiano) e può trascrivere registrazioni, riassumere conversazioni, rispondere a domande sull'audio e seguire istruzioni vocali.
Fonte: Voxtral Small 24B
Il suo maggiore vantaggio è che un unico modello gestisce sia il riconoscimento vocale sia il ragionamento linguistico, quindi non serve una pipeline separata per trascrizione e riassunto. È ideale per analisi di riunioni, interviste e assistenti vocali. Lo svantaggio è la dimensione: il modello da 24 miliardi di parametri richiede circa 55 GB di memoria GPU in BF16 o FP16, quindi serve hardware con molta memoria o multi-GPU.
Se ti serve solo la trascrizione, il più recente Voxtral Mini 4B Realtime di Mistral è molto più leggero. Mistral lo ha rilasciato a febbraio 2026 sotto Apache 2.0, con latenza in streaming configurabile anche sotto i 200 ms.
Quick start: Installa vLLM e i pacchetti Python richiesti.
Avvia il server vLLM. Questa configurazione usa due GPU.
Apri un altro terminale ed esegui l'esempio Python per trascrivere un campione audio.
Lo script scarica una registrazione di esempio, la invia al tuo server Voxtral locale e stampa la trascrizione.
2. Qwen3-ASR
Qwen3-ASR è una famiglia di modelli open source per il riconoscimento vocale del team Qwen di Alibaba, disponibile nelle versioni da 0,6B e 1,7B parametri sotto licenza Apache 2.0. Supporta 30 lingue e 22 dialetti cinesi, rileva automaticamente la lingua parlata e può trascrivere parlato sopra musica di sottofondo, inclusi i vocalizzi. È indicato per trascrizioni multilingue, sottotitoli, podcast e interviste.
Fonte: Qwen3-ASR
Qwen3-ASR bilancia accuratezza, velocità e flessibilità. Il modello da 1,7B registra un WER medio di 5,76 sulla Open ASR Leaderboard di Hugging Face, contro 6,62 di Voxtral Small (più basso è meglio). La versione da 0,6B sacrifica un po' di accuratezza a favore dell'efficienza.
Entrambe le taglie supportano inferenza offline e in streaming, anche se lo streaming al momento richiede il backend vLLM (
pip install -U qwen-asr[vllm]). Il modello opzionale Qwen3-ForcedAligner-0.6B genera timestamp a livello di parola per sottotitoli in 11 lingue supportate.Quick start: Installa il pacchetto Python ufficiale.
Carica il modello da 1,7B e trascrivi l'audio di esempio ufficiale.
Il modello viene scaricato automaticamente al primo utilizzo. Rileva la lingua parlata e stampa la trascrizione.
Puoi sostituire l'URL di esempio con un tuo file audio. Questo esempio usa una GPU NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B è un modello leggero di riconoscimento vocale progettato per la trascrizione in tempo reale. Ha 600 milioni di parametri e supporta 40 locali linguistici, tra cui inglese, arabo, hindi, spagnolo e giapponese. Di questi, 32 trascrivono out-of-the-box e 8 richiedono prima il fine-tuning.
Fonte: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
La sua velocità deriva da un'architettura di streaming cache-aware. Invece di rielaborare un'intera registrazione, processa nuovi chunk audio riutilizzando il contesto dell'encoder in cache, con chunk piccoli fino a 80 millisecondi. Su una singola H100, NVIDIA riporta circa 17 volte più stream concorrenti rispetto al suo modello buffered Parakeet RNNT 1.1B con impostazione a 80 ms (240 contro 14).
Questo lo rende una scelta solida per sottotitoli live, riunioni e assistenti vocali a bassa latenza. I pesi usano la licenza OpenMDW-1.1, che secondo la scheda del modello NVIDIA è pronta per l'uso commerciale, e il modello gira in locale tramite il runtime NeMo-Speech.cpp di NVIDIA.
Quick start: Installa NeMo-Speech.cpp su Linux o macOS.
Trascrivi un file WAV. Alla prima esecuzione, la CLI scarica il modello predefinito Nemotron 3.5.
Per testare la trascrizione in streaming, che invia il file al riconoscitore in chunk da 160 ms, esegui:
Per la trascrizione in tempo reale da microfono su build supportate:
Sostituisci
audio.wavcon una tua registrazione. Il runtime supporta backend CPU e GPU compatibili, quindi non ti serve una grande GPU per iniziare.I migliori modelli open source di text-to-speech
I modelli di text-to-speech (TTS) trasformano il testo scritto in audio naturale. I modelli moderni possono clonare voci, esprimere emozioni, generare dialoghi multi-speaker e parlare più lingue. Ecco 3 modelli open-weight da esplorare.
4. Fish Audio Drama 3
Fish Audio Drama 3 è un modello TTS espressivo pensato per scene multi-personaggio e contenuti long-form. Usa un'architettura mixture-of-experts con 35 miliardi di parametri, ma ne attiva solo circa 3 miliardi per token. Supporta voice cloning, controllo della voce in linguaggio naturale e dialoghi con fino a 16 speaker, ideale per audiolibri e contenuti basati sui personaggi.
Fonte: Fish Audio Drama 3 Technical Report
Ciò che colpisce è l'ampiezza emotiva. Puoi inserire tag inline come
[sighs]e[laughs]direttamente nel testo, assegnare fino a 16 tag speaker in un'unica sceneggiatura e fare streaming di passaggi lunghi a chunk. Fish Audio riporta un time to first audio di circa 89 ms per un singolo stream su GPU H200, e il modello gira tramite SGLang-Omni e vLLM-Omni.Lo svantaggio sono dimensioni e licenza. Il checkpoint FP8 richiede 37 GB solo per i pesi, e una versione GPTQ a 4 bit li riduce a 20,8 GB. I pesi usano la Fish Audio Community License, quindi leggi i termini prima dell'uso commerciale.
Quick start: Installa SGLang-Omni e le sue dipendenze Fish Audio su un sistema Linux supportato con GPU NVIDIA.
Scarica il modello e avvia il server:
Apri un altro terminale e genera parlato:
Il modello genera parlato e lo salva come
output.wav. Puoi cambiare il testo in input o esplorare voice cloning e generazione multi-speaker usando il cookbook ufficiale di Drama 3.5. Breeze TTS 2
Breeze TTS 2 è un modello TTS da 3 miliardi di parametri per inglese e cinese. Supporta voice cloning da una registrazione di riferimento, design della voce da una descrizione in linguaggio naturale e istruzioni in linguaggio naturale per tono, emozione e dizione.
Fonte: Breeze TTS 2
La scheda modello di BreezeBlue indica che è al primo posto tra i modelli open-weight nella leaderboard TTS di Artificial Analysis, con un time to first audio inferiore a 40 ms su H100 usando la fast path. Supporta anche eventi vocali inline come
(laugh),(sigh)e(cough).È quindi adatto ad applicazioni vocali interattive, ma i pesi self-hosted e gli output sono limitati a ricerca e uso non commerciale. Solo il codice sorgente è sotto Apache 2.0.
Quick start: Su Linux con Python 3.10 o successivo e una GPU NVIDIA compatibile con CUDA, clona il repository ufficiale e installa le dipendenze.
Scarica il checkpoint del modello:
Genera parlato usando l'esempio ufficiale di voice design. Non richiede audio di riferimento.
Il modello genera parlato usando la descrizione della voce e lo salva come
outputs/voice_design_en.wav. La modalità di inferenza predefinita richiede circa 7,7 GiB di memoria GPU (14,4 GiB con l'opzione--fast-all), e una GPU da 12 GB è il minimo consigliato. Puoi provare anche il voice cloning e lo streaming tramite la documentazione ufficiale di Breeze TTS 2.6. Kokoro 82M
Kokoro 82M è un modello TTS leggero con soli 82 milioni di parametri. La release v1.0 offre 54 voci in 8 lingue. È una delle opzioni più accessibili per sviluppatori che vogliono sperimentare la generazione vocale senza una GPU di fascia alta.
Fonte: Kokoro 82M
Il principale vantaggio di Kokoro è l'efficienza. È adatto a narrazione offline, strumenti di accessibilità e assistenti vocali, e i pesi Apache 2.0 significano che puoi usarlo in progetti commerciali.
Quick start: Puoi eseguire Kokoro direttamente su Google Colab. Per prima cosa, installa i pacchetti richiesti:
Genera parlato usando l'interfaccia Python ufficiale:
Il modello genera parlato usando la voce inglese americana
af_heart, riproduce l'audio in Colab e lo salva come file WAV. Puoi cambiare testo, voce o lingua usando la scheda modello ufficiale di Kokoro.I migliori LLM audio open source in tempo reale
Gli LLM audio in tempo reale ascoltano domande parlate e generano risposte vocali naturali. Invece di concatenare sistemi separati di riconoscimento vocale e text-to-speech, gestiscono conversazioni continue, interruzioni e ascolto e parlato simultanei in un unico modello.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 è un modello multimodale da 9 miliardi di parametri di OpenBMB che comprende immagini, video, audio e testo e risponde con la voce. Supporta conversazioni vocali in tempo reale in inglese e cinese, voice cloning e interazione full-duplex. Full-duplex significa che il modello può ascoltare, osservare e parlare contemporaneamente invece di attendere la fine di ogni turno.
Fonte: MiniCPM-o 4.5
La sua caratteristica distintiva è la combinazione di comprensione visiva e interazione vocale. Puoi creare assistenti che rispondono a domande parlate su un feed della fotocamera live, descrivono l'ambiente circostante o intervengono in conversazioni mentre processano video. I pesi sono sotto licenza Apache 2.0 e gli sviluppatori forniscono una demo web pronta all'uso, anche se lo streaming full-duplex è ancora sperimentale.
Quick start: La demo web ufficiale di MiniCPM-o 4.5 supporta conversazioni live audio e video. Ti servono Linux, Docker Compose, NVIDIA Container Toolkit e una GPU NVIDIA con più di 28 GB di VRAM.
Per prima cosa, clona il repository della demo ufficiale:
Scarica il checkpoint del modello:
Genera il certificato HTTPS locale:
Avvia la demo web con Docker Compose:
Sostituisci
/path/to/MiniCPM-o-4_5con il percorso assoluto del checkpoint scaricato e modificadocker-compose.ymlin base al numero di GPU. Apri l'interfaccia web HTTPS sulla porta8006e consenti l'accesso a microfono e fotocamera.Seleziona Audio Full-Duplex per una conversazione vocale live oppure Omnimodal Full-Duplex per interagire usando sia video sia audio. Puoi fare domande, interrompere il modello ed esperimentare conversazioni continue.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex è un modello speech-to-speech da 7 miliardi di parametri progettato per conversazioni naturali in tempo reale. Basato sull'architettura Moshi, supporta la comunicazione full-duplex, quindi può ascoltare e parlare simultaneamente. Gestisce interruzioni e parlato sovrapposto senza sistemi separati di trascrizione e generazione vocale.
Fonte: NVIDIA PersonaPlex
PersonaPlex ti permette di controllare la voce e la personalità dell'assistente, così gli sviluppatori possono personalizzare il ruolo conversazionale e lo stile di parlato per assistenti al servizio clienti, tutor virtuali e altri agenti vocali. Si concentra sulle conversazioni audio e non ha input visivi, quindi scegli MiniCPM-o se ti serve il video. I pesi sono rilasciati sotto la NVIDIA Open Model License.
Quick start: Clona il repository ufficiale e installa le dipendenze su un sistema Linux supportato con GPU NVIDIA.
Accetta la licenza del modello su Hugging Face e configura il tuo token di accesso:
Avvia il server ufficiale PersonaPlex:
Se la tua GPU ha memoria limitata, aggiungi il flag
--cpu-offload, che richiede il pacchettoaccelerate.Apri
https://localhost:8998nel browser e consenti l'accesso al microfono. Ora puoi parlare direttamente con PersonaPlex, fare domande, interrompere le sue risposte e testare personalità vocali diverse.I migliori modelli open source per audio e generazione musicale
I modelli di generazione audio creano musica originale, strumentali e melodie a partire da prompt testuali. Alcuni possono anche generare canzoni complete con voce, modificare registrazioni esistenti o produrre musica basata su una melodia di riferimento.
9. ACE-Step 1.5
ACE-Step 1.5 è un modello open source di generazione musicale che crea canzoni complete da descrizioni testuali. Supporta voce, testi personalizzati, stili musicali multipli e canzoni fino a 10 minuti. Puoi anche controllare tempo, tonalità e durata, o usare registrazioni esistenti per creare cover e modificare sezioni di una canzone.
Fonte: ACE-Step 1.5
ACE-Step si distingue per l'accessibilità rispetto a modelli di generazione musicale più grandi. Funziona su hardware NVIDIA, AMD, Intel e Apple Silicon, e il suo technical report afferma che può girare su GPU con meno di 4 GB di VRAM. Il README del progetto dichiara meno di 2 secondi per una canzone completa su A100 e meno di 10 secondi su RTX 3090.
Include un'interfaccia web Gradio e una REST API. Le varianti XL, che usano un decoder DiT da 4B parametri, scambiano memoria con qualità audio e richiedono almeno 12 GB di VRAM con offloading o 20 GB senza. Il progetto è sotto licenza MIT.
Quick start: Installa il gestore pacchetti
uvsu Linux o macOS:Clona il repository ufficiale e installa le dipendenze:
Avvia l'interfaccia per la generazione musicale:
Apri
http://localhost:7860nel browser. All'avvio l'app scarica i file modello necessari e seleziona automaticamente una configurazione adatta al tuo hardware.Per generare musica, inserisci una descrizione della canzone desiderata, ad esempio una traccia elettronica vivace con batteria ed energici sintetizzatori. Puoi anche fornire testi personalizzati, regolare la durata o selezionare una traccia strumentale. Clicca il pulsante di generazione per creare la tua musica, ascoltare il risultato e scaricare il file audio.
10. Meta MusicGen Large
MusicGen Large è un modello text-to-music da 3,3 miliardi di parametri sviluppato da Meta come parte del progetto AudioCraft. Genera musica strumentale a partire da descrizioni testuali che coprono generi, mood, strumenti e stili musicali. È il checkpoint text-to-music più grande nella release originale di MusicGen.
Fonte: MusicGen Large
MusicGen Large produce musica di sottofondo dettagliata, colonne sonore e clip strumentali a partire da poche parole, e funziona con Hugging Face Transformers e AudioCraft. È anche il modello più datato in questa lista. Meta lo ha addestrato nell'aprile e maggio 2023 su 20.000 ore di musica con licenza, e non può generare voci realistiche.
È consigliata una GPU. I pesi pretrained usano la licenza CC BY-NC 4.0, che limita l'uso commerciale, mentre il codice è sotto MIT.
Quick start: Installa Transformers e SciPy.
Usa l'esempio ufficiale Hugging Face per generare musica da un prompt testuale:
Il modello viene scaricato automaticamente al primo utilizzo, genera una traccia strumentale basata sul prompt e la salva come
musicgen_out.wav. Puoi cambiare il testo per sperimentare diversi generi musicali, strumenti e mood.Quale modello audio AI open source dovresti scegliere?
Il modello migliore dipende se vuoi trascrivere parlato, generare voci realistiche, creare un assistente in tempo reale o comporre musica. Questo confronto copre capacità, dimensione del modello e licenza per ciascun caso d'uso.
Considerazioni finali
I modelli audio open source stanno migliorando rapidamente in riconoscimento vocale, text-to-speech, conversazione in tempo reale e generazione musicale. Sono sempre più accurati, veloci e facili da eseguire, così gli sviluppatori possono creare applicazioni audio senza dipendere del tutto da servizi commerciali costosi.
Personalmente, uso Voxtral tramite Spokenly per quasi tutto il lavoro di trascrizione, e lo adoro. L'accuratezza è notevole e, sebbene il modello open-weight sia enorme, chiamo l'API hosted di Mistral, che è stata gratuita per il mio uso. È un buon esempio di come questi modelli stiano diventando pratici per i compiti di tutti i giorni.
Quello che mi entusiasma ancora di più è il progresso nell'AI conversazionale. Sappiamo già quanto possano sembrare naturali le conversazioni vocali con ChatGPT, e modelli open source come NVIDIA PersonaPlex e MiniCPM-o 4.5 portano capacità simili agli sviluppatori che vogliono costruire i propri assistenti. Nel frattempo, ACE-Step rende possibile generare canzoni complete, e opzioni leggere come Kokoro rendono la generazione vocale più accessibile.
Non esiste un modello migliore in assoluto per tutto, ed è proprio questo a rendere interessante questo spazio. Che tu voglia una trascrizione accurata, voci realistiche, conversazioni naturali o musica generata, probabilmente c'è un modello open source da provare.