Ontdek 10 van de beste open-source AI-audiomodellen voor transcriptie, stemgeneratie, realtime gesprekken en het maken van muziek, met eenvoudige quickstarts uit de officiële documentatie.
Open-source audiomodellen dekken inmiddels spraakherkenning, tekst-naar-spraak, realtime stemgesprekken en muziekgeneratie, en meerdere daarvan draaien op een enkele consumenten-GPU. Qwen3-ASR transcribeert 30 talen en 22 Chinese dialecten, Kokoro genereert spraak met slechts 82 miljoen parameters, en ACE-Step schrijft complete songs met minder dan 4 GB videogeheugen (VRAM).
Voor deze gids selecteerde ik 10 van de beste open-source en open-weight AI-audiomodellen op basis van 3 factoren: GitHub-repositories met veel sterren, veelgedownloade modellen op Hugging Face en toppresteerders in de benchmarks van Artificial Analysis. Ik behandel 4 categorieën: spraakherkenning, tekst-naar-spraak, realtime gesprekken en muziekgeneratie.
Elk model bevat een quickstart-voorbeeld gebaseerd op de officiële documentatie. Sommige voorbeelden vereisen specifieke hardware, afhankelijkheden of extra configuratie, dus controleer de vereisten per model voordat je ze uitvoert.
Kleine kanttekening: Dit is een zorgvuldig samengestelde lijst, geen strikte benchmarkranglijst. Open-weight betekent dat de getrainde gewichten te downloaden zijn, maar de licentie kan nog steeds beperken hoe je ze gebruikt. Daarom noem ik de licenties per sectie en in de vergelijkingstabel aan het eind. De voorbeelden komen uit de officiële documentatie, maar ik heb de code niet persoonlijk getest, dus jouw setup kan extra afhankelijkheden of configuratie nodig hebben.
In een notendop
Spraakherkenning: Qwen3-ASR voor meertalige nauwkeurigheid, Nemotron 3.5 ASR Streaming voor live transcriptie met lage latentie, en Voxtral Small als je ook samenvattingen en antwoorden over de audio wilt.
Tekst-naar-spraak: Kokoro 82M voor lichtgewicht lokaal gebruik, Fish Audio Drama 3 voor expressieve meerstemmige dialogen, en Breeze TTS 2 voor voice design (alleen niet-commercieel gebruik).
Realtime gesprekken: NVIDIA PersonaPlex voor audio-only voice-agents, en MiniCPM-o 4.5 als je ook video-invoer wilt.
Muziekgeneratie: ACE-Step 1.5 voor volledige songs met zang, en MusicGen Large voor instrumentals (alleen niet-commercieel gebruik).
Beste open-source spraakherkenningsmodellen
Spraakherkenningsmodellen, ook wel automatic speech recognition (ASR) genoemd, zetten gesproken audio om in tekst. Ze zijn handig voor vergadertranscripties, ondertitels, podcasts, voice-assistants en audio-analyse. Moderne modellen herkennen meerdere talen, verwerken live gesprekken en sommige kunnen redeneren over wat er wordt besproken.
1. Voxtral Small
Voxtral Small 24B is een open-weight spraakbegripsmodel van Mistral AI, uitgebracht onder de Apache 2.0-licentie. Het ondersteunt 8 talen (Engels, Spaans, Frans, Portugees, Hindi, Duits, Nederlands en Italiaans) en kan opnames transcriberen, gesprekken samenvatten, vragen over audio beantwoorden en gesproken instructies opvolgen.
Het grootste voordeel is dat één model zowel spraakherkenning als taalredenering afhandelt, waardoor je geen aparte pipeline voor transcriptie en samenvatting nodig hebt. Dat past goed bij vergaderanalyse, interviews en voice-assistants. De keerzijde is de omvang: het model met 24 miljard parameters heeft ongeveer 55 GB GPU-geheugen nodig in BF16 of FP16, dus hardware met veel geheugen of meerdere GPU’s.
Quickstart: Installeer vLLM en de vereiste Python-pakketten.
pip install-U"vllm[audio]""mistral-common[audio]" openai huggingface_hubMogelijk gemaakt door
Start de vLLM-server. Deze configuratie gebruikt twee GPU’s.
vllm serve mistralai/Voxtral-Small-24B-2507 \--tokenizer_mode mistral \--config_format mistral \--load_format mistral \
--tensor-parallel-size 2\
--tool-call-parser mistral \
--enable-auto-tool-choiceMogelijk gemaakt door
Open een andere terminal en voer het Python-voorbeeld uit om een voorbeeldopname te transcriberen.
from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",)
model = client.models.list().data[0].id
audio_file = hf_hub_download("patrickvonplaten/audio_samples","obama.mp3",
repo_type="dataset",)
audio = RawAudio.from_audio(
Audio.from_file(audio_file, strict=False))
req = TranscriptionRequest(
model=model,
audio=audio,
language="en",
temperature=0.0,).to_openai(exclude=("top_p","seed"))
response = client.audio.transcriptions.create(**req)print(response.text)Mogelijk gemaakt door
Het script downloadt een voorbeeldopname, stuurt die naar je lokale Voxtral-server en print de transcriptie.
2. Qwen3-ASR
Qwen3-ASR is een open-source spraakherkenningsfamilie van Alibaba’s Qwen-team, beschikbaar in varianten met 0,6B en 1,7B parameters onder de Apache 2.0-licentie. Het ondersteunt 30 talen en 22 Chinese dialecten, detecteert automatisch de gesproken taal en kan spraak over achtergrondmuziek transcriberen, inclusief zang. Het werkt goed voor meertalige transcriptie, ondertitels, podcasts en interviews.
Qwen3-ASR biedt een goede balans tussen nauwkeurigheid, snelheid en flexibiliteit. Het 1,7B-model behaalt een gemiddelde word error rate (WER) van 5,76 op de Open ASR Leaderboard van Hugging Face, vergeleken met 6,62 voor Voxtral Small (lager is beter). De 0,6B-versie ruilt wat nauwkeurigheid in voor efficiëntie.
Beide groottes ondersteunen offline en streaminginference, al vereist streaming momenteel de vLLM-backend (pip install -U qwen-asr[vllm]). Het optionele Qwen3-ForcedAligner-0.6B-model genereert woordniveautijdstempels voor ondertitels in 11 ondersteunde talen.
Quickstart: Installeer het officiële Python-pakket.
Laad het 1,7B-model en transcribeer de officiële voorbeeldaudio.
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained("Qwen/Qwen3-ASR-1.7B",
dtype=torch.bfloat16,
device_map="cuda:0",)
results = model.transcribe(
audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
language=None,)print(results[0].language)print(results[0].text)Mogelijk gemaakt door
Het model wordt bij eerste gebruik automatisch gedownload. Het detecteert de gesproken taal en print de transcriptie.
Je kunt de voorbeeld-URL vervangen door je eigen audiobestand. Dit voorbeeld gebruikt een NVIDIA-GPU.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B is een lichtgewicht spraakherkenningsmodel voor realtime transcriptie. Het heeft 600 miljoen parameters en ondersteunt 40 taalregio’s, waaronder Engels, Arabisch, Hindi, Spaans en Japans. Daarvan werken er 32 direct en 8 vereisen eerst fine-tuning.
De snelheid komt voort uit een cache-bewuste streamingarchitectuur. In plaats van een hele opname te herverwerken, verwerkt het nieuwe audiochunks terwijl gecachte encodercontext wordt hergebruikt, met chunks zo klein als 80 milliseconden. Op een enkele H100 meldt NVIDIA ongeveer 17x meer gelijktijdige streams dan het gebufferde Parakeet RNNT 1.1B-model bij de 80 ms-instelling (240 versus 14).
Dat maakt het een sterke keuze voor live-ondertitels, vergaderingen en voice-assistants met lage latentie. De gewichten gebruiken de OpenMDW-1.1-licentie, die volgens NVIDIA’s modelkaart geschikt is voor commercieel gebruik, en het model draait lokaal via NVIDIA’s NeMo-Speech.cpp-runtime.
Quickstart: Installeer NeMo-Speech.cpp op Linux of macOS.
curl-fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh |shMogelijk gemaakt door
Transcribeer een WAV-bestand. De CLI downloadt het standaard Nemotron 3.5-model bij eerste gebruik.
Vervang audio.wav door je eigen opname. De runtime ondersteunt CPU- en compatibele GPU-backends, dus je hebt geen grote GPU nodig om te beginnen.
Beste open-source tekst-naar-spraakmodellen
Tekst-naar-spraak (TTS)-modellen zetten geschreven tekst om in natuurlijk klinkende audio. Moderne modellen kunnen stemmen klonen, emotie uitdrukken, meersprekersdialogen genereren en meerdere talen spreken. Hier zijn 3 open-weight modellen die het verkennen waard zijn.
4. Fish Audio Drama 3
Fish Audio Drama 3 is een expressief tekst-naar-spraakmodel voor scènes met meerdere personages en langlopende content. Het gebruikt een mixture-of-experts-architectuur met 35 miljard parameters, maar activeert slechts ongeveer 3 miljard per token. Het ondersteunt voice cloning, natuurlijke taalbesturing van de stem en dialogen met maximaal 16 sprekers, ideaal voor audioboeken en karaktergedreven content.
Wat opvalt is het emotionele bereik. Je kunt inline-tags zoals [sighs] en [laughs] direct in de tekst plaatsen, tot 16 sprekerstags in één script toewijzen en lange passages stuk voor stuk streamen. Fish Audio meldt een time to first audio van ongeveer 89 ms voor één stream op een H200-GPU, en het model draait via SGLang-Omni en vLLM-Omni.
De keerzijde is omvang en licentie. De FP8-checkpoint heeft 37 GB nodig voor alleen de gewichten, en een 4-bit GPTQ-versie brengt dat terug tot 20,8 GB. De gewichten gebruiken de Fish Audio Community License, lees de voorwaarden dus goed door voor commercieel gebruik.
Quickstart: Installeer SGLang-Omni en de Fish Audio-afhankelijkheden op een ondersteund Linux-systeem met een NVIDIA-GPU.
pip install-U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install--prerelease=allow -v-e".[fishaudio]"Mogelijk gemaakt door
Download het model en start de server:
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port8000Mogelijk gemaakt door
Open een andere terminal en genereer spraak:
curl-X POST http://localhost:8000/v1/audio/speech \-H"Content-Type: application/json"\-d'{
"input": "Hello, how are you?"
}'\--output output.wavMogelijk gemaakt door
Het model genereert spraak en slaat dit op als output.wav. Je kunt de invoertekst wijzigen of voice cloning en meerstemmige generatie verkennen met het officiële Drama 3-cookbook.
5. Breeze TTS 2
Breeze TTS 2 is een tekst-naar-spraakmodel met 3 miljard parameters voor Engels en Chinees. Het ondersteunt stemklonen op basis van een referentieopname, voice design vanuit een beschrijving in gewone taal en instructies in natuurlijke taal voor toon, emotie en voordracht.
Volgens de modelkaart van BreezeBlue staat het model op de eerste plaats onder open-weight modellen op het Artificial Analysis TTS-leaderboard, met een time to first audio van onder de 40 ms op een H100 via het snelle pad. Het ondersteunt ook inline vocale events zoals (laugh), (sigh) en (cough).
Dat maakt het geschikt voor interactieve spraaktoepassingen, maar de zelfgehoste gewichten en outputs zijn beperkt tot onderzoek en niet-commercieel gebruik. Alleen de broncode is Apache 2.0.
Quickstart: Op Linux met Python 3.10 of nieuwer en een CUDA-compatibele NVIDIA-GPU, kloon je de officiële repository en installeer je de afhankelijkheden.
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install-r requirements.txt
python -m pip install-U huggingface_hubMogelijk gemaakt door
Download de modelcheckpoint:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir ../breeze-tts-2Mogelijk gemaakt door
Genereer spraak met het officiële voice-design-voorbeeld. Dit vereist geen referentieaudio.
python infer.py ../breeze-tts-2 \--text"(sigh) Welcome aboard. Your journey begins now."\--instruction"A warm, thoughtful young woman with a clear voice and a calm, reflective delivery."\
--cfg-scale 4\--output outputs/voice_design_en.wavMogelijk gemaakt door
Het model genereert spraak op basis van de stemomschrijving en slaat dit op als outputs/voice_design_en.wav. De standaard inferentiemodus heeft ongeveer 7,7 GiB GPU-geheugen nodig (14,4 GiB met de optie --fast-all), en een GPU met 12 GB is het minimale advies. Je kunt ook voice cloning en streaming proberen via de officiële Breeze TTS 2-documentatie.
6. Kokoro 82M
Kokoro 82M is een lichtgewicht tekst-naar-spraakmodel met slechts 82 miljoen parameters. De v1.0-release biedt 54 stemmen in 8 talen. Het is een van de toegankelijkere opties voor ontwikkelaars die met spraakgeneratie willen experimenteren zonder high-end GPU.
Het grote voordeel van Kokoro is efficiëntie. Het is geschikt voor offline voice-over, toegankelijkheidstools en voice-assistants, en dankzij de Apache 2.0-gewichten kun je het in commerciële projecten gebruiken.
Quickstart: Je kunt Kokoro direct in Google Colab draaien. Installeer eerst de vereiste pakketten:
!pip install-q"kokoro>=0.9.2" soundfile
!apt-get -qq-yinstall espeak-ng > /dev/null 2>&1Mogelijk gemaakt door
Genereer spraak via de officiële Python-interface:
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
pipeline = KPipeline(lang_code='a')
text ="Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline(text, voice='af_heart')for i,(gs, ps, audio)inenumerate(generator):
display(Audio(data=audio, rate=24000))
sf.write(f'{i}.wav', audio,24000)Mogelijk gemaakt door
Het model genereert spraak met de af_heart Amerikaanse Engelse stem, speelt de audio af in Colab en slaat die op als een WAV-bestand. Je kunt de tekst, stem of taal aanpassen via de officiële Kokoro-modelkaart.
Beste open-source realtime audio-LLM’s
Realtime audio-LLM’s (large language models) luisteren naar gesproken vragen en genereren natuurlijke stemantwoorden. In plaats van aparte systemen voor spraakherkenning en tekst-naar-spraak te koppelen, behandelen ze doorlopende gesprekken, onderbrekingen en gelijktijdig luisteren en spreken in één model.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 is een multimodaal model met 9 miljard parameters van OpenBMB dat afbeeldingen, video, audio en tekst begrijpt en met spraak reageert. Het ondersteunt realtime stemgesprekken in het Engels en Chinees, stemklonen en full-duplex interactie. Full-duplex betekent dat het model tegelijk kan luisteren, kijken en spreken, in plaats van te wachten tot elke beurt is afgerond.
Het onderscheidende kenmerk is de combinatie van visueel begrip en steminteractie. Je kunt assistants bouwen die gesproken vragen over een live camerafeed beantwoorden, hun omgeving beschrijven of op gesprekken reageren terwijl ze video verwerken. De gewichten zijn gelicenseerd onder Apache 2.0 en de ontwikkelaars leveren een kant-en-klare webdemo, al is full-duplex streaming nog experimenteel.
Quickstart: De officiële webdemo van MiniCPM-o 4.5 ondersteunt live audio- en videogesprekken. Je hebt Linux, Docker Compose, NVIDIA Container Toolkit en een NVIDIA-GPU met meer dan 28 GB VRAM nodig.
Kloon eerst de officiële demo-repository:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoMogelijk gemaakt door
Download de modelcheckpoint:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5Mogelijk gemaakt door
Genereer het lokale HTTPS-certificaat:
mkdir-p certs data
openssl req -x509-newkey rsa:2048 -nodes-days365\-keyout certs/key.pem -out certs/cert.pem -subj"/CN=minicpm-o"Mogelijk gemaakt door
Start de webdemo met Docker Compose:
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d--builddocker compose logs -f gateway
docker compose logs -f worker-backend-0Mogelijk gemaakt door
Vervang /path/to/MiniCPM-o-4_5 door het absolute pad naar de gedownloade checkpoint, en pas docker-compose.yml aan op het aantal GPU’s. Open de HTTPS-webinterface op poort 8006 en sta microfoon- en cameratoegang toe.
Selecteer Audio Full-Duplex voor een live stemgesprek, of Omnimodal Full-Duplex om met zowel video als audio te interacteren. Je kunt vragen stellen, het model onderbreken en experimenteren met doorlopende gesprekken.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex is een spraak-naar-spraakmodel met 7 miljard parameters, ontworpen voor natuurlijke, realtime gesprekken. Gebouwd op de Moshi-architectuur ondersteunt het full-duplex communicatie, zodat het tegelijkertijd kan luisteren en spreken. Het gaat goed om met onderbrekingen en overlappende spraak, zonder aparte systemen voor transcriptie en spraakgeneratie.
Met PersonaPlex kun je de stem en persoonlijkheid van de assistant aansturen, zodat ontwikkelaars de rol en spreekstijl kunnen aanpassen voor klantenservice-assistants, virtuele tutors en andere voice-agents. De focus ligt op audiogesprekken en er is geen visuele input; kies dus MiniCPM-o als je video nodig hebt. De gewichten zijn uitgebracht onder de NVIDIA Open Model License.
Quickstart: Kloon de officiële repository en installeer de afhankelijkheden op een ondersteund Linux-systeem met een NVIDIA-GPU.
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudoaptinstall libopus-dev
pip install moshi/.Mogelijk gemaakt door
Accepteer de modelllicentie op Hugging Face en stel je toegangstoken in:
Als je GPU beperkt geheugen heeft, voeg dan de vlag --cpu-offload toe; hiervoor is het pakket accelerate nodig.
Open https://localhost:8998 in je browser en sta microfoontoegang toe. Je kunt nu direct met PersonaPlex praten, vragen stellen, reacties onderbreken en verschillende stemprofielen testen.
Beste open-source audio- en muziekgeneratiemodellen
Audiogeneratiemodellen maken originele muziek, instrumentals en melodieën vanuit tekstprompts. Sommige kunnen ook complete songs met zang genereren, bestaande opnames bewerken of muziek produceren op basis van een referentiemelodie.
9. ACE-Step 1.5
ACE-Step 1.5 is een open-source muziekgeneratiemodel dat complete songs maakt op basis van tekstbeschrijvingen. Het ondersteunt zang, aangepaste songteksten, meerdere muziekstijlen en songs tot 10 minuten. Je kunt ook tempo, toonsoort en duur instellen, of bestaande opnames gebruiken om covers te maken en secties van een song te bewerken.
ACE-Step valt op door de toegankelijkheid vergeleken met grotere muziekmodellen. Het draait op hardware van NVIDIA, AMD, Intel en Apple Silicon, en het technisch rapport zegt dat het werkt op GPU’s met minder dan 4 GB VRAM. De README van het project claimt minder dan 2 seconden per volledige song op een A100 en minder dan 10 seconden op een RTX 3090.
Het bevat een Gradio-webinterface en een REST API. De XL-varianten, met een DiT-decoder van 4B parameters, ruilen geheugen in voor audiokwaliteit en hebben minstens 12 GB VRAM nodig met offloading of 20 GB zonder. Het project is MIT-gelicentieerd.
Quickstart: Installeer de pakketmanager uv op Linux of macOS:
Open http://localhost:7860 in je browser. De applicatie downloadt bij de eerste start de benodigde modelbestanden en kiest automatisch een configuratie voor jouw hardware.
Om muziek te genereren, voer je een beschrijving in van je gewenste song, zoals een upbeat elektronische track met energieke drums en synthesizers. Je kunt ook eigen songteksten opgeven, de duur aanpassen of een instrumentale track kiezen. Klik op de genereerknop om je muziek te maken, luister naar het resultaat en download het audiobestand.
10. Meta MusicGen Large
MusicGen Large is een tekst-naar-muziekmodel met 3,3 miljard parameters, ontwikkeld door Meta als onderdeel van het AudioCraft-project. Het genereert instrumentale muziek op basis van tekstbeschrijvingen van genres, sferen, instrumenten en muziekstijlen. Het is het grootste tekst-naar-muziekcheckpoint uit de oorspronkelijke MusicGen-release.
MusicGen Large produceert gedetailleerde achtergrondmuziek, soundtracks en instrumentale clips uit enkele woorden, en werkt met Hugging Face Transformers en AudioCraft. Het is ook het oudste model in deze lijst. Meta trainde het in april en mei 2023 op 20.000 uur gelicenseerde muziek en het kan geen realistische zang genereren.
Een GPU wordt aanbevolen. De voorgetrainde gewichten gebruiken de CC BY-NC 4.0-licentie, die commercieel gebruik beperkt, terwijl de code MIT-gelicentieerd is.
Gebruik het officiële Hugging Face-voorbeeld om muziek te genereren vanuit een tekstprompt:
from transformers import pipeline
import scipy
synthesiser = pipeline("text-to-audio","facebook/musicgen-large")
music = synthesiser("lo-fi music with a soothing melody",
forward_params={"do_sample":True})
scipy.io.wavfile.write("musicgen_out.wav",
rate=music["sampling_rate"],
data=music["audio"])Mogelijk gemaakt door
Het model wordt bij eerste gebruik automatisch gedownload, genereert een instrumentale track op basis van de prompt en slaat die op als musicgen_out.wav. Je kunt de tekst wijzigen om te experimenteren met verschillende muziekgenres, instrumenten en sferen.
Welk open-source AI-audiomodel moet je kiezen?
Het beste model hangt af van of je spraak wilt transcriberen, realistische stemmen wilt genereren, een realtime assistant wilt bouwen of muziek wilt maken. Deze vergelijking behandelt mogelijkheden, modelgrootte en licentie per usecase.
Model
Beste voor
Belangrijkste voordeel
Modelgrootte
Licentie (gewichten)
Voxtral Small
Geavanceerde spraakherkenning
Transcriptie, samenvatting en audioredenering
24B
Apache 2.0
Qwen3-ASR
Meertalige transcriptie
30 talen en 22 Chinese dialecten
0.6B / 1.7B
Apache 2.0
NVIDIA Nemotron 3.5 ASR
Realtime transcriptie
Lage-latentie streaming en efficiënte inference
0.6B
OpenMDW-1.1
Fish Audio Drama 3
Expressieve spraak en storytelling
Stemklonen en dialogen met tot 16 sprekers
35B totaal / 3B actief
Fish Audio Community License
Breeze TTS 2
Natuurlijke tekst-naar-spraak
Voice design, emotieregeling en lage latentie
3B
Onderzoek en niet-commercieel
Kokoro 82M
Lichtgewicht en lokale TTS
Efficiënte spraakgeneratie op bescheiden hardware
82M
Apache 2.0
MiniCPM-o 4.5
Multimodale voice-assistants
Realtime audio-, video- en spraakinteractie
9B
Apache 2.0
NVIDIA PersonaPlex
Realtime stemgesprekken
Full-duplex spraak met natuurlijke onderbrekingen
7B
NVIDIA Open Model License
ACE-Step 1.5
Complete songgeneratie
Zang, aangepaste lyrics, covers en muziekbewerking
2B / 4B (XL)
MIT
Meta MusicGen Large
Instrumentale muziekgeneratie
Tekst-naar-muziek vanuit korte prompts
3.3B
CC BY-NC 4.0
Tot slot
Open-source audiomodellen gaan snel vooruit op het gebied van spraakherkenning, tekst-naar-spraak, realtime conversatie en muziekgeneratie. Ze worden nauwkeuriger, sneller en makkelijker te draaien, zodat ontwikkelaars audiotoepassingen kunnen bouwen zonder volledig te vertrouwen op dure commerciële diensten.
Ik gebruik persoonlijk Voxtral via Spokenly voor bijna al mijn transcriptiewerk, en ik ben erg fan. De nauwkeurigheid is indrukwekkend, en hoewel het open-weight model enorm is, maak ik gebruik van Mistrals gehoste API, die voor mijn gebruik gratis is geweest. Het is een goed voorbeeld van hoe deze modellen praktisch worden voor alledaagse taken.
Wat me nog meer enthousiasmeert, is de vooruitgang in conversationele AI. We weten al hoe natuurlijk stemgesprekken met ChatGPT kunnen aanvoelen, en open-source modellen zoals NVIDIA PersonaPlex en MiniCPM-o 4.5 brengen vergelijkbare mogelijkheden naar ontwikkelaars die hun eigen assistants willen bouwen. Ondertussen maakt ACE-Step het mogelijk om complete songs te genereren, en lichtgewicht opties zoals Kokoro maken spraakgeneratie toegankelijker.
Er is geen enkel beste model voor alles, en juist dat maakt dit domein interessant. Of je nu nauwkeurige transcriptie, realistische stemmen, natuurlijke gesprekken of gegenereerde muziek wilt: er is waarschijnlijk een open-source model dat het proberen waard is.
FAQs
Wat is het beste open-source spraakherkenningsmodel?⌄
Voor meertalige transcriptie is Qwen3-ASR-1.7B een sterke standaardkeuze: het ondersteunt 30 talen en 22 Chinese dialecten, en Hugging Face’s Open ASR Leaderboard vermeldt een gemiddelde word error rate van 5,76. Voor live transcriptie verwerkt NVIDIA Nemotron 3.5 ASR Streaming audio in chunks van slechts 80 ms. Voxtral Small is de betere keuze als je ook samenvattingen of antwoorden over de audio wilt, maar het heeft ongeveer 55 GB GPU-geheugen nodig.
Welk open-source tekst-naar-spraakmodel heeft de minste hardware nodig?⌄
Kokoro 82M heeft het minst nodig. Het heeft 82 miljoen parameters, biedt 54 stemmen in 8 talen in de v1.0-release en is uitgegeven onder de Apache 2.0-licentie. Breeze TTS 2 heeft ongeveer 7,7 GiB GPU-geheugen nodig, en Fish Audio Drama 3 heeft 20,8 GB nodig voor de gewichten, zelfs in de 4-bitversie.
Welke open-source audiomodellen kan ik commercieel gebruiken?⌄
Voxtral Small, Qwen3-ASR, Kokoro 82M en MiniCPM-o 4.5 gebruiken Apache 2.0, en ACE-Step 1.5 is MIT-gelicentieerd. De gewichten van Breeze TTS 2 zijn beperkt tot onderzoek en niet-commercieel gebruik, en MusicGen Large gebruikt CC BY-NC 4.0 voor de gewichten. Nemotron 3.5 ASR, PersonaPlex en Fish Audio Drama 3 hebben elk hun eigen licentie (OpenMDW-1.1, de NVIDIA Open Model License en de Fish Audio Community License), lees de voorwaarden dus goed door voordat je uitbrengt.
Wat is het beste open-source model voor realtime stemgesprekken?⌄
NVIDIA PersonaPlex is een 7B full-duplex spraak-naar-spraakmodel met aanpasbare stem en persona dat om kan gaan met onderbrekingen en overlappende spraak. MiniCPM-o 4.5 voegt live videoinvoer toe, maar de officiële demo vereist een NVIDIA-GPU met meer dan 28 GB VRAM.
Kunnen open-source modellen volledige songs met zang genereren?⌄
Ja. ACE-Step 1.5 genereert volledige songs met zang en aangepaste songteksten tot 10 minuten, en kan draaien op GPU’s met minder dan 4 GB VRAM. MusicGen Large genereert alleen instrumentals en kan geen realistische zang produceren.
Als gecertificeerd data scientist haal ik met passie het maximale uit de nieuwste technologie om innovatieve machinelearning-toepassingen te bouwen. Met een sterke achtergrond in spraakherkenning, data-analyse en -rapportage, MLOps, conversationele AI en NLP heb ik mijn vaardigheden aangescherpt in het ontwikkelen van intelligente systemen die echt impact maken. Naast mijn technische expertise ben ik ook een sterke communicator met een talent om complexe concepten terug te brengen tot heldere, beknopte taal. Daardoor ben ik uitgegroeid tot een veelgelezen blogger over data science, waar ik mijn inzichten en ervaringen deel met een groeiende community van data-professionals. Op dit moment richt ik me op contentcreatie en redactie, waarbij ik met large language models werk aan krachtige en aansprekende content die zowel bedrijven als individuen helpt het beste uit hun data te halen.
Leer hoe je AI in softwareapplicaties kunt integreren met behulp van API's en open-sourcebibliotheken. Begin vandaag nog aan je reis om AI-ingenieur te worden!
Open-source audiomodellen dekken inmiddels spraakherkenning, tekst-naar-spraak, realtime stemgesprekken en muziekgeneratie, en meerdere daarvan draaien op een enkele consumenten-GPU. Qwen3-ASR transcribeert 30 talen en 22 Chinese dialecten, Kokoro genereert spraak met slechts 82 miljoen parameters, en ACE-Step schrijft complete songs met minder dan 4 GB videogeheugen (VRAM).
Voor deze gids selecteerde ik 10 van de beste open-source en open-weight AI-audiomodellen op basis van 3 factoren: GitHub-repositories met veel sterren, veelgedownloade modellen op Hugging Face en toppresteerders in de benchmarks van Artificial Analysis. Ik behandel 4 categorieën: spraakherkenning, tekst-naar-spraak, realtime gesprekken en muziekgeneratie.
Elk model bevat een quickstart-voorbeeld gebaseerd op de officiële documentatie. Sommige voorbeelden vereisen specifieke hardware, afhankelijkheden of extra configuratie, dus controleer de vereisten per model voordat je ze uitvoert.
Kleine kanttekening: Dit is een zorgvuldig samengestelde lijst, geen strikte benchmarkranglijst. Open-weight betekent dat de getrainde gewichten te downloaden zijn, maar de licentie kan nog steeds beperken hoe je ze gebruikt. Daarom noem ik de licenties per sectie en in de vergelijkingstabel aan het eind. De voorbeelden komen uit de officiële documentatie, maar ik heb de code niet persoonlijk getest, dus jouw setup kan extra afhankelijkheden of configuratie nodig hebben.
In een notendop
Beste open-source spraakherkenningsmodellen
Spraakherkenningsmodellen, ook wel automatic speech recognition (ASR) genoemd, zetten gesproken audio om in tekst. Ze zijn handig voor vergadertranscripties, ondertitels, podcasts, voice-assistants en audio-analyse. Moderne modellen herkennen meerdere talen, verwerken live gesprekken en sommige kunnen redeneren over wat er wordt besproken.
1. Voxtral Small
Voxtral Small 24B is een open-weight spraakbegripsmodel van Mistral AI, uitgebracht onder de Apache 2.0-licentie. Het ondersteunt 8 talen (Engels, Spaans, Frans, Portugees, Hindi, Duits, Nederlands en Italiaans) en kan opnames transcriberen, gesprekken samenvatten, vragen over audio beantwoorden en gesproken instructies opvolgen.
Bron: Voxtral Small 24B
Het grootste voordeel is dat één model zowel spraakherkenning als taalredenering afhandelt, waardoor je geen aparte pipeline voor transcriptie en samenvatting nodig hebt. Dat past goed bij vergaderanalyse, interviews en voice-assistants. De keerzijde is de omvang: het model met 24 miljard parameters heeft ongeveer 55 GB GPU-geheugen nodig in BF16 of FP16, dus hardware met veel geheugen of meerdere GPU’s.
Als je alleen transcriptie nodig hebt, is Mistrals nieuwere Voxtral Mini 4B Realtime een stuk lichter. Mistral bracht dit in februari 2026 uit onder Apache 2.0, met streaminglatentie instelbaar tot onder de 200 ms.
Quickstart: Installeer vLLM en de vereiste Python-pakketten.
Start de vLLM-server. Deze configuratie gebruikt twee GPU’s.
Open een andere terminal en voer het Python-voorbeeld uit om een voorbeeldopname te transcriberen.
Het script downloadt een voorbeeldopname, stuurt die naar je lokale Voxtral-server en print de transcriptie.
2. Qwen3-ASR
Qwen3-ASR is een open-source spraakherkenningsfamilie van Alibaba’s Qwen-team, beschikbaar in varianten met 0,6B en 1,7B parameters onder de Apache 2.0-licentie. Het ondersteunt 30 talen en 22 Chinese dialecten, detecteert automatisch de gesproken taal en kan spraak over achtergrondmuziek transcriberen, inclusief zang. Het werkt goed voor meertalige transcriptie, ondertitels, podcasts en interviews.
Bron: Qwen3-ASR
Qwen3-ASR biedt een goede balans tussen nauwkeurigheid, snelheid en flexibiliteit. Het 1,7B-model behaalt een gemiddelde word error rate (WER) van 5,76 op de Open ASR Leaderboard van Hugging Face, vergeleken met 6,62 voor Voxtral Small (lager is beter). De 0,6B-versie ruilt wat nauwkeurigheid in voor efficiëntie.
Beide groottes ondersteunen offline en streaminginference, al vereist streaming momenteel de vLLM-backend (
pip install -U qwen-asr[vllm]). Het optionele Qwen3-ForcedAligner-0.6B-model genereert woordniveautijdstempels voor ondertitels in 11 ondersteunde talen.Quickstart: Installeer het officiële Python-pakket.
Laad het 1,7B-model en transcribeer de officiële voorbeeldaudio.
Het model wordt bij eerste gebruik automatisch gedownload. Het detecteert de gesproken taal en print de transcriptie.
Je kunt de voorbeeld-URL vervangen door je eigen audiobestand. Dit voorbeeld gebruikt een NVIDIA-GPU.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B is een lichtgewicht spraakherkenningsmodel voor realtime transcriptie. Het heeft 600 miljoen parameters en ondersteunt 40 taalregio’s, waaronder Engels, Arabisch, Hindi, Spaans en Japans. Daarvan werken er 32 direct en 8 vereisen eerst fine-tuning.
Bron: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
De snelheid komt voort uit een cache-bewuste streamingarchitectuur. In plaats van een hele opname te herverwerken, verwerkt het nieuwe audiochunks terwijl gecachte encodercontext wordt hergebruikt, met chunks zo klein als 80 milliseconden. Op een enkele H100 meldt NVIDIA ongeveer 17x meer gelijktijdige streams dan het gebufferde Parakeet RNNT 1.1B-model bij de 80 ms-instelling (240 versus 14).
Dat maakt het een sterke keuze voor live-ondertitels, vergaderingen en voice-assistants met lage latentie. De gewichten gebruiken de OpenMDW-1.1-licentie, die volgens NVIDIA’s modelkaart geschikt is voor commercieel gebruik, en het model draait lokaal via NVIDIA’s NeMo-Speech.cpp-runtime.
Quickstart: Installeer NeMo-Speech.cpp op Linux of macOS.
Transcribeer een WAV-bestand. De CLI downloadt het standaard Nemotron 3.5-model bij eerste gebruik.
Om streamingtranscriptie te testen, waarbij het bestand in chunks van 160 ms door de streamingherkenner gaat, voer je uit:
Voor realtime microfoontranscriptie op ondersteunde builds:
Vervang
audio.wavdoor je eigen opname. De runtime ondersteunt CPU- en compatibele GPU-backends, dus je hebt geen grote GPU nodig om te beginnen.Beste open-source tekst-naar-spraakmodellen
Tekst-naar-spraak (TTS)-modellen zetten geschreven tekst om in natuurlijk klinkende audio. Moderne modellen kunnen stemmen klonen, emotie uitdrukken, meersprekersdialogen genereren en meerdere talen spreken. Hier zijn 3 open-weight modellen die het verkennen waard zijn.
4. Fish Audio Drama 3
Fish Audio Drama 3 is een expressief tekst-naar-spraakmodel voor scènes met meerdere personages en langlopende content. Het gebruikt een mixture-of-experts-architectuur met 35 miljard parameters, maar activeert slechts ongeveer 3 miljard per token. Het ondersteunt voice cloning, natuurlijke taalbesturing van de stem en dialogen met maximaal 16 sprekers, ideaal voor audioboeken en karaktergedreven content.
Bron: Fish Audio Drama 3 Technical Report
Wat opvalt is het emotionele bereik. Je kunt inline-tags zoals
[sighs]en[laughs]direct in de tekst plaatsen, tot 16 sprekerstags in één script toewijzen en lange passages stuk voor stuk streamen. Fish Audio meldt een time to first audio van ongeveer 89 ms voor één stream op een H200-GPU, en het model draait via SGLang-Omni en vLLM-Omni.De keerzijde is omvang en licentie. De FP8-checkpoint heeft 37 GB nodig voor alleen de gewichten, en een 4-bit GPTQ-versie brengt dat terug tot 20,8 GB. De gewichten gebruiken de Fish Audio Community License, lees de voorwaarden dus goed door voor commercieel gebruik.
Quickstart: Installeer SGLang-Omni en de Fish Audio-afhankelijkheden op een ondersteund Linux-systeem met een NVIDIA-GPU.
Download het model en start de server:
Open een andere terminal en genereer spraak:
Het model genereert spraak en slaat dit op als
output.wav. Je kunt de invoertekst wijzigen of voice cloning en meerstemmige generatie verkennen met het officiële Drama 3-cookbook.5. Breeze TTS 2
Breeze TTS 2 is een tekst-naar-spraakmodel met 3 miljard parameters voor Engels en Chinees. Het ondersteunt stemklonen op basis van een referentieopname, voice design vanuit een beschrijving in gewone taal en instructies in natuurlijke taal voor toon, emotie en voordracht.
Bron: Breeze TTS 2
Volgens de modelkaart van BreezeBlue staat het model op de eerste plaats onder open-weight modellen op het Artificial Analysis TTS-leaderboard, met een time to first audio van onder de 40 ms op een H100 via het snelle pad. Het ondersteunt ook inline vocale events zoals
(laugh),(sigh)en(cough).Dat maakt het geschikt voor interactieve spraaktoepassingen, maar de zelfgehoste gewichten en outputs zijn beperkt tot onderzoek en niet-commercieel gebruik. Alleen de broncode is Apache 2.0.
Quickstart: Op Linux met Python 3.10 of nieuwer en een CUDA-compatibele NVIDIA-GPU, kloon je de officiële repository en installeer je de afhankelijkheden.
Download de modelcheckpoint:
Genereer spraak met het officiële voice-design-voorbeeld. Dit vereist geen referentieaudio.
Het model genereert spraak op basis van de stemomschrijving en slaat dit op als
outputs/voice_design_en.wav. De standaard inferentiemodus heeft ongeveer 7,7 GiB GPU-geheugen nodig (14,4 GiB met de optie--fast-all), en een GPU met 12 GB is het minimale advies. Je kunt ook voice cloning en streaming proberen via de officiële Breeze TTS 2-documentatie.6. Kokoro 82M
Kokoro 82M is een lichtgewicht tekst-naar-spraakmodel met slechts 82 miljoen parameters. De v1.0-release biedt 54 stemmen in 8 talen. Het is een van de toegankelijkere opties voor ontwikkelaars die met spraakgeneratie willen experimenteren zonder high-end GPU.
Bron: Kokoro 82M
Het grote voordeel van Kokoro is efficiëntie. Het is geschikt voor offline voice-over, toegankelijkheidstools en voice-assistants, en dankzij de Apache 2.0-gewichten kun je het in commerciële projecten gebruiken.
Quickstart: Je kunt Kokoro direct in Google Colab draaien. Installeer eerst de vereiste pakketten:
Genereer spraak via de officiële Python-interface:
Het model genereert spraak met de
af_heartAmerikaanse Engelse stem, speelt de audio af in Colab en slaat die op als een WAV-bestand. Je kunt de tekst, stem of taal aanpassen via de officiële Kokoro-modelkaart.Beste open-source realtime audio-LLM’s
Realtime audio-LLM’s (large language models) luisteren naar gesproken vragen en genereren natuurlijke stemantwoorden. In plaats van aparte systemen voor spraakherkenning en tekst-naar-spraak te koppelen, behandelen ze doorlopende gesprekken, onderbrekingen en gelijktijdig luisteren en spreken in één model.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 is een multimodaal model met 9 miljard parameters van OpenBMB dat afbeeldingen, video, audio en tekst begrijpt en met spraak reageert. Het ondersteunt realtime stemgesprekken in het Engels en Chinees, stemklonen en full-duplex interactie. Full-duplex betekent dat het model tegelijk kan luisteren, kijken en spreken, in plaats van te wachten tot elke beurt is afgerond.
Bron: MiniCPM-o 4.5
Het onderscheidende kenmerk is de combinatie van visueel begrip en steminteractie. Je kunt assistants bouwen die gesproken vragen over een live camerafeed beantwoorden, hun omgeving beschrijven of op gesprekken reageren terwijl ze video verwerken. De gewichten zijn gelicenseerd onder Apache 2.0 en de ontwikkelaars leveren een kant-en-klare webdemo, al is full-duplex streaming nog experimenteel.
Quickstart: De officiële webdemo van MiniCPM-o 4.5 ondersteunt live audio- en videogesprekken. Je hebt Linux, Docker Compose, NVIDIA Container Toolkit en een NVIDIA-GPU met meer dan 28 GB VRAM nodig.
Kloon eerst de officiële demo-repository:
Download de modelcheckpoint:
Genereer het lokale HTTPS-certificaat:
Start de webdemo met Docker Compose:
Vervang
/path/to/MiniCPM-o-4_5door het absolute pad naar de gedownloade checkpoint, en pasdocker-compose.ymlaan op het aantal GPU’s. Open de HTTPS-webinterface op poort8006en sta microfoon- en cameratoegang toe.Selecteer Audio Full-Duplex voor een live stemgesprek, of Omnimodal Full-Duplex om met zowel video als audio te interacteren. Je kunt vragen stellen, het model onderbreken en experimenteren met doorlopende gesprekken.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex is een spraak-naar-spraakmodel met 7 miljard parameters, ontworpen voor natuurlijke, realtime gesprekken. Gebouwd op de Moshi-architectuur ondersteunt het full-duplex communicatie, zodat het tegelijkertijd kan luisteren en spreken. Het gaat goed om met onderbrekingen en overlappende spraak, zonder aparte systemen voor transcriptie en spraakgeneratie.
Bron: NVIDIA PersonaPlex
Met PersonaPlex kun je de stem en persoonlijkheid van de assistant aansturen, zodat ontwikkelaars de rol en spreekstijl kunnen aanpassen voor klantenservice-assistants, virtuele tutors en andere voice-agents. De focus ligt op audiogesprekken en er is geen visuele input; kies dus MiniCPM-o als je video nodig hebt. De gewichten zijn uitgebracht onder de NVIDIA Open Model License.
Quickstart: Kloon de officiële repository en installeer de afhankelijkheden op een ondersteund Linux-systeem met een NVIDIA-GPU.
Accepteer de modelllicentie op Hugging Face en stel je toegangstoken in:
Start de officiële PersonaPlex-server:
Als je GPU beperkt geheugen heeft, voeg dan de vlag
--cpu-offloadtoe; hiervoor is het pakketacceleratenodig.Open
https://localhost:8998in je browser en sta microfoontoegang toe. Je kunt nu direct met PersonaPlex praten, vragen stellen, reacties onderbreken en verschillende stemprofielen testen.Beste open-source audio- en muziekgeneratiemodellen
Audiogeneratiemodellen maken originele muziek, instrumentals en melodieën vanuit tekstprompts. Sommige kunnen ook complete songs met zang genereren, bestaande opnames bewerken of muziek produceren op basis van een referentiemelodie.
9. ACE-Step 1.5
ACE-Step 1.5 is een open-source muziekgeneratiemodel dat complete songs maakt op basis van tekstbeschrijvingen. Het ondersteunt zang, aangepaste songteksten, meerdere muziekstijlen en songs tot 10 minuten. Je kunt ook tempo, toonsoort en duur instellen, of bestaande opnames gebruiken om covers te maken en secties van een song te bewerken.
Bron: ACE-Step 1.5
ACE-Step valt op door de toegankelijkheid vergeleken met grotere muziekmodellen. Het draait op hardware van NVIDIA, AMD, Intel en Apple Silicon, en het technisch rapport zegt dat het werkt op GPU’s met minder dan 4 GB VRAM. De README van het project claimt minder dan 2 seconden per volledige song op een A100 en minder dan 10 seconden op een RTX 3090.
Het bevat een Gradio-webinterface en een REST API. De XL-varianten, met een DiT-decoder van 4B parameters, ruilen geheugen in voor audiokwaliteit en hebben minstens 12 GB VRAM nodig met offloading of 20 GB zonder. Het project is MIT-gelicentieerd.
Quickstart: Installeer de pakketmanager
uvop Linux of macOS:Kloon de officiële repository en installeer de afhankelijkheden:
Start de interface voor muziekgeneratie:
Open
http://localhost:7860in je browser. De applicatie downloadt bij de eerste start de benodigde modelbestanden en kiest automatisch een configuratie voor jouw hardware.Om muziek te genereren, voer je een beschrijving in van je gewenste song, zoals een upbeat elektronische track met energieke drums en synthesizers. Je kunt ook eigen songteksten opgeven, de duur aanpassen of een instrumentale track kiezen. Klik op de genereerknop om je muziek te maken, luister naar het resultaat en download het audiobestand.
10. Meta MusicGen Large
MusicGen Large is een tekst-naar-muziekmodel met 3,3 miljard parameters, ontwikkeld door Meta als onderdeel van het AudioCraft-project. Het genereert instrumentale muziek op basis van tekstbeschrijvingen van genres, sferen, instrumenten en muziekstijlen. Het is het grootste tekst-naar-muziekcheckpoint uit de oorspronkelijke MusicGen-release.
Bron: MusicGen Large
MusicGen Large produceert gedetailleerde achtergrondmuziek, soundtracks en instrumentale clips uit enkele woorden, en werkt met Hugging Face Transformers en AudioCraft. Het is ook het oudste model in deze lijst. Meta trainde het in april en mei 2023 op 20.000 uur gelicenseerde muziek en het kan geen realistische zang genereren.
Een GPU wordt aanbevolen. De voorgetrainde gewichten gebruiken de CC BY-NC 4.0-licentie, die commercieel gebruik beperkt, terwijl de code MIT-gelicentieerd is.
Quickstart: Installeer Transformers en SciPy.
Gebruik het officiële Hugging Face-voorbeeld om muziek te genereren vanuit een tekstprompt:
Het model wordt bij eerste gebruik automatisch gedownload, genereert een instrumentale track op basis van de prompt en slaat die op als
musicgen_out.wav. Je kunt de tekst wijzigen om te experimenteren met verschillende muziekgenres, instrumenten en sferen.Welk open-source AI-audiomodel moet je kiezen?
Het beste model hangt af van of je spraak wilt transcriberen, realistische stemmen wilt genereren, een realtime assistant wilt bouwen of muziek wilt maken. Deze vergelijking behandelt mogelijkheden, modelgrootte en licentie per usecase.
Tot slot
Open-source audiomodellen gaan snel vooruit op het gebied van spraakherkenning, tekst-naar-spraak, realtime conversatie en muziekgeneratie. Ze worden nauwkeuriger, sneller en makkelijker te draaien, zodat ontwikkelaars audiotoepassingen kunnen bouwen zonder volledig te vertrouwen op dure commerciële diensten.
Ik gebruik persoonlijk Voxtral via Spokenly voor bijna al mijn transcriptiewerk, en ik ben erg fan. De nauwkeurigheid is indrukwekkend, en hoewel het open-weight model enorm is, maak ik gebruik van Mistrals gehoste API, die voor mijn gebruik gratis is geweest. Het is een goed voorbeeld van hoe deze modellen praktisch worden voor alledaagse taken.
Wat me nog meer enthousiasmeert, is de vooruitgang in conversationele AI. We weten al hoe natuurlijk stemgesprekken met ChatGPT kunnen aanvoelen, en open-source modellen zoals NVIDIA PersonaPlex en MiniCPM-o 4.5 brengen vergelijkbare mogelijkheden naar ontwikkelaars die hun eigen assistants willen bouwen. Ondertussen maakt ACE-Step het mogelijk om complete songs te genereren, en lichtgewicht opties zoals Kokoro maken spraakgeneratie toegankelijker.
Er is geen enkel beste model voor alles, en juist dat maakt dit domein interessant. Of je nu nauwkeurige transcriptie, realistische stemmen, natuurlijke gesprekken of gegenereerde muziek wilt: er is waarschijnlijk een open-source model dat het proberen waard is.