Utforska 10 av de bästa öppna AI-ljudmodellerna för transkribering, röstgenerering, realtidskonversationer och musikskapande, med lättföljda snabbstarter från officiell dokumentation.
Öppen källkod-modeller för ljud täcker nu taligenkänning, text-till-tal, realtidsröstsamtal och musikgenerering, och flera av dem kan köras på ett enda konsument-GPU. Qwen3-ASR transkriberar 30 språk och 22 kinesiska dialekter, Kokoro genererar tal med bara 82 miljoner parametrar, och ACE-Step skriver kompletta låtar på mindre än 4 GB videominne (VRAM).
För den här guiden valde jag ut 10 av de bästa modellerna med öppen källkod och öppna vikter genom att kombinera tre faktorer: GitHub-repon med högt antal stjärnor, flitigt nedladdade modeller på Hugging Face och toppresterande modeller från Artificial Analysis benchmarktester. Jag täcker fyra kategorier: taligenkänning, text-till-tal, realtidskonversationer och musikgenerering.
Varje modell har ett snabbstartsexempel baserat på dess officiella dokumentation. Vissa exempel kräver specifik hårdvara, beroenden eller extra konfiguration, så kontrollera varje modells krav innan du kör dem.
En snabb notis: Det här är en kuraterad lista, inte en strikt benchmarkranking. Öppna vikter betyder att de tränade vikterna kan laddas ned, men licensen kan ändå begränsa hur du använder dem, så jag flaggar licenser i varje avsnitt och i jämförelsetabellen i slutet. Exemplen kommer från den officiella dokumentationen, men jag har inte personligen testat koden, så din miljö kan behöva ytterligare beroenden eller konfiguration.
Sammanfattning
Taligenkänning: Qwen3-ASR för flerspråkig noggrannhet, Nemotron 3.5 ASR Streaming för låg latens vid live-transkribering, och Voxtral Small när du även vill ha sammanfattningar och svar om ljudet.
Text-till-tal: Kokoro 82M för lättviktig lokal användning, Fish Audio Drama 3 för uttrycksfull dialog med flera röster, och Breeze TTS 2 för röstdesign (endast icke-kommersiell användning).
Realtidskonversationer: NVIDIA PersonaPlex för röstassistenter som bara använder ljud, och MiniCPM-o 4.5 när du även vill ha videoinmatning.
Musikgenerering: ACE-Step 1.5 för kompletta låtar med sång, och MusicGen Large för instrumentala spår (endast icke-kommersiell användning).
Bästa öppna modellerna för taligenkänning
Taligenkänningsmodeller, även kallade ASR (automatic speech recognition), omvandlar talat ljud till text. De är användbara för mötestranskribering, undertexter, poddar, röstassistenter och ljudanalys. Moderna modeller känner också igen flera språk, kan hantera livesamtal och vissa kan resonera om vad som diskuteras.
1. Voxtral Small
Voxtral Small 24B är en modell med öppna vikter för talförståelse från Mistral AI, släppt under Apache 2.0-licensen. Den stöder 8 språk (engelska, spanska, franska, portugisiska, hindi, tyska, nederländska och italienska) och kan transkribera inspelningar, sammanfatta samtal, svara på frågor om ljud och följa talade instruktioner.
Den största fördelen är att en och samma modell hanterar både taligenkänning och språkligt resonemang, så du behöver inte separata pipelines för transkribering och sammanfattning. Det passar mötesanalys, intervjuer och röstassistenter. Nackdelen är storleken: modellen med 24 miljarder parametrar behöver cirka 55 GB GPU-minne i BF16 eller FP16, vilket kräver hårdvara med mycket minne eller flera GPU:er.
Om du bara behöver transkribering är Mistrals nyare Voxtral Mini 4B Realtime betydligt lättare. Mistral släppte den i februari 2026 under Apache 2.0, med strömningslatens som kan ställas in ner mot under 200 ms.
Snabbstart: Installera vLLM och nödvändiga Python-paket.
pip install-U"vllm[audio]""mistral-common[audio]" openai huggingface_hubDrivs av
Starta vLLM-servern. Den här konfigurationen använder två GPU:er.
Öppna en annan terminal och kör Python-exemplet för att transkribera en exempelinspelningsfil.
from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",)
model = client.models.list().data[0].id
audio_file = hf_hub_download("patrickvonplaten/audio_samples","obama.mp3",
repo_type="dataset",)
audio = RawAudio.from_audio(
Audio.from_file(audio_file, strict=False))
req = TranscriptionRequest(
model=model,
audio=audio,
language="en",
temperature=0.0,).to_openai(exclude=("top_p","seed"))
response = client.audio.transcriptions.create(**req)print(response.text)Drivs av
Skriptet laddar ner en exempelinspelning, skickar den till din lokala Voxtral-server och skriver ut transkriberingen.
2. Qwen3-ASR
Qwen3-ASR är en öppen källkod-familj för taligenkänning från Alibabas Qwen-team, tillgänglig i versioner med 0,6B och 1,7B parametrar under Apache 2.0-licensen. Den stöder 30 språk och 22 kinesiska dialekter, känner automatiskt av talat språk och kan transkribera tal över bakgrundsmusik, inklusive sång. Den fungerar väl för flerspråkig transkribering, undertexter, poddar och intervjuer.
Qwen3-ASR balanserar noggrannhet, hastighet och flexibilitet. 1,7B-modellen uppnår en genomsnittlig word error rate (WER) på 5,76 på Hugging Faces Open ASR Leaderboard, jämfört med 6,62 för Voxtral Small (lägre är bättre). 0,6B-versionen byter bort lite noggrannhet mot effektivitet.
Båda storlekarna stöder offline- och strömningsinferens, även om strömning för närvarande kräver vLLM-backend (pip install -U qwen-asr[vllm]). Den valfria modellen Qwen3-ForcedAligner-0.6B genererar tidsstämplar på ordnivå för undertexter på 11 språk.
Snabbstart: Installera det officiella Python-paketet.
Ladda 1,7B-modellen och transkribera det officiella exempel-ljudet.
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained("Qwen/Qwen3-ASR-1.7B",
dtype=torch.bfloat16,
device_map="cuda:0",)
results = model.transcribe(
audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
language=None,)print(results[0].language)print(results[0].text)Drivs av
Modellen laddas ner automatiskt vid första användning. Den upptäcker det talade språket och skriver ut transkriberingen.
Du kan ersätta exempel-URL:en med din egen ljudfil. Det här exemplet använder ett NVIDIA-GPU.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B är en lättviktig taligenkänningsmodell byggd för realtidstranskribering. Den har 600 miljoner parametrar och stöder 40 språklokaler, inklusive engelska, arabiska, hindi, spanska och japanska. Av dessa fungerar 32 direkt och 8 kräver finjustering först.
Hastigheten kommer från en cachemedveten strömningsarkitektur. I stället för att bearbeta en hel inspelning igen hanterar den nya ljudbitar samtidigt som den återanvänder cachelagrat encoder-kontekst, med bitstorlekar ned till 80 millisekunder. På en enda H100 rapporterar NVIDIA ungefär 17x fler samtidiga strömmar än sin buffrade Parakeet RNNT 1.1B-modell vid 80 ms-inställningen (240 jämfört med 14).
Det gör den till ett starkt val för live-undertexter, möten och röstassistenter med låg latens. Vikterna använder licensen OpenMDW-1.1, som enligt NVIDIAs model card är redo för kommersiell användning, och modellen körs lokalt via NVIDIAs NeMo-Speech.cpp-runtime.
Snabbstart: Installera NeMo-Speech.cpp på Linux eller macOS.
curl-fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh |shDrivs av
Transkribera en WAV-fil. CLI:n laddar ner standardmodellen Nemotron 3.5 vid första användning.
Ersätt audio.wav med din egen inspelning. Runtime stöder CPU- och kompatibla GPU-backends, så du behöver inte ett stort GPU bara för att komma igång.
Bästa öppna modellerna för text-till-tal
Text-till-tal (TTS) omvandlar skriven text till naturligt klingande ljud. Moderna modeller kan klona röster, uttrycka känslor, skapa dialog med flera röster och tala flera språk. Här är tre modeller med öppna vikter som är värda att utforska.
4. Fish Audio Drama 3
Fish Audio Drama 3 är en uttrycksfull text-till-tal-modell byggd för scenarier med flera karaktärer och långformatinnehåll. Den använder en mixture-of-experts-arkitektur med 35 miljarder parametrar, men aktiverar bara cirka 3 miljarder per token. Den stöder röstkloning, röststyrning med naturligt språk och dialog med upp till 16 talare, vilket passar ljudböcker och karaktärsdrivet innehåll.
Det som sticker ut är det känslomässiga omfånget. Du kan placera inline-taggar som [sighs] och [laughs] direkt i texten, tilldela upp till 16 talartaggar i ett och samma manus och strömma långa stycken bit för bit. Fish Audio rapporterar en tid till första ljud på cirka 89 ms för en enskild ström på en H200-GPU, och modellen körs via SGLang-Omni och vLLM-Omni.
Nackdelen är storleken och licensen. FP8-checkpointen behöver 37 GB bara för vikter, och en 4-bitars GPTQ-version minskar det till 20,8 GB. Vikterna använder Fish Audio Community License, så läs villkoren innan kommersiell användning.
Snabbstart: Installera SGLang-Omni och dess Fish Audio-beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.
pip install-U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install--prerelease=allow -v-e".[fishaudio]"Drivs av
Ladda ner modellen och starta servern:
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port8000Drivs av
Öppna en annan terminal och generera tal:
curl-X POST http://localhost:8000/v1/audio/speech \-H"Content-Type: application/json"\-d'{
"input": "Hello, how are you?"
}'\--output output.wavDrivs av
Modellen genererar tal och sparar det som output.wav. Du kan ändra inmatningstexten eller utforska röstkloning och generering med flera talare via den officiella Drama 3-receptguiden.
5. Breeze TTS 2
Breeze TTS 2 är en text-till-tal-modell med 3 miljarder parametrar för engelska och kinesiska. Den stöder röstkloning från en referensinspelning, röstdesign från en beskrivning i klarspråk och naturliga språkinstruktioner för ton, känsla och leverans.
Enligt BreezeBlues model card rankas den först bland modeller med öppna vikter på Artificial Analysis TTS-topplistan, med under 40 ms tid till första ljud på en H100 via snabbläget. Den stöder även inbäddade rösthändelser som (laugh), (sigh) och (cough).
Det gör den lämplig för interaktiva röstapplikationer, men de självvärdade vikterna och utdata är begränsade till forskning och icke-kommersiell användning. Endast koden är licensierad under Apache 2.0.
Snabbstart: På Linux med Python 3.10 eller senare och ett CUDA-kompatibelt NVIDIA-GPU, klona det officiella repot och installera beroenden.
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install-r requirements.txt
python -m pip install-U huggingface_hubDrivs av
Ladda ner modellens checkpoint:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir ../breeze-tts-2Drivs av
Generera tal med det officiella röstdesign-exemplet. Detta kräver ingen referensaudio.
python infer.py ../breeze-tts-2 \--text"(sigh) Welcome aboard. Your journey begins now."\--instruction"A warm, thoughtful young woman with a clear voice and a calm, reflective delivery."\
--cfg-scale 4\--output outputs/voice_design_en.wavDrivs av
Modellen genererar tal enligt röstbeskrivningen och sparar det som outputs/voice_design_en.wav. Standardläget för inferens behöver cirka 7,7 GiB GPU-minne (14,4 GiB med flaggan --fast-all), och ett 12 GB-GPU är minimirekommendationen. Du kan även testa röstkloning och strömning via den officiella dokumentationen för Breeze TTS 2.
6. Kokoro 82M
Kokoro 82M är en lättviktig text-till-tal-modell med bara 82 miljoner parametrar. I version 1.0 erbjuder den 54 röster på 8 språk. Det är ett av de mer lättillgängliga alternativen för utvecklare som vill experimentera med talgenerering utan high-end GPU.
Kokoros främsta fördel är effektivitet. Den passar offline-berättarröster, hjälpmedel och röstassistenter, och dess Apache 2.0-vikter betyder att du kan använda den i kommersiella projekt.
Snabbstart: Du kan köra Kokoro direkt i Google Colab. Installera först de nödvändiga paketen:
!pip install-q"kokoro>=0.9.2" soundfile
!apt-get -qq-yinstall espeak-ng > /dev/null 2>&1Drivs av
Generera tal via det officiella Python-gränssnittet:
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
pipeline = KPipeline(lang_code='a')
text ="Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline(text, voice='af_heart')for i,(gs, ps, audio)inenumerate(generator):
display(Audio(data=audio, rate=24000))
sf.write(f'{i}.wav', audio,24000)Drivs av
Modellen genererar tal med den amerikansk-engelska rösten af_heart, spelar upp ljudet i Colab och sparar det som en WAV-fil. Du kan ändra text, röst eller språk via det officiella Kokoro model card.
Bästa öppna realtids-LLM:er för ljud
Realtids-LLM:er för ljud lyssnar på talade frågor och genererar naturliga röstsvar. I stället för att kedja ihop separata system för taligenkänning och text-till-tal hanterar de kontinuerliga samtal, avbrott och samtidig lyssning och tal i en och samma modell.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 är en multimodal modell med 9 miljarder parametrar från OpenBMB som förstår bilder, video, ljud och text och svarar med tal. Den stöder realtidsröstsamtal på engelska och kinesiska, röstkloning och full duplex-interaktion. Full duplex betyder att modellen kan lyssna, titta och tala samtidigt i stället för att vänta på att varje tur ska ta slut.
Det som utmärker den är kombinationen av visuell förståelse och röstinteraktion. Du kan bygga assistenter som svarar på talade frågor om en live-kamerafeed, beskriver omgivningen eller svarar i samtal medan de bearbetar video. Vikterna är licensierade under Apache 2.0, och utvecklarna tillhandahåller en färdig webb-demo, även om full duplex-strömning fortfarande är experimentell.
Snabbstart: Den officiella webb-demon för MiniCPM-o 4.5 stöder livekonversationer med ljud och video. Du behöver Linux, Docker Compose, NVIDIA Container Toolkit och ett NVIDIA-GPU med mer än 28 GB VRAM.
Klona först det officiella demo-repot:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoDrivs av
Ladda ner modellens checkpoint:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5Drivs av
Generera det lokala HTTPS-certifikatet:
mkdir-p certs data
openssl req -x509-newkey rsa:2048 -nodes-days365\-keyout certs/key.pem -out certs/cert.pem -subj"/CN=minicpm-o"Drivs av
Starta webb-demon med Docker Compose:
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d--builddocker compose logs -f gateway
docker compose logs -f worker-backend-0Drivs av
Ersätt /path/to/MiniCPM-o-4_5 med den absoluta sökvägen till den nedladdade checkpointen, och redigera docker-compose.yml så att den matchar antalet GPU:er. Öppna HTTPS-webbgränssnittet på port 8006 och tillåt mikrofon- och kameratillgång.
Välj Audio Full-Duplex för att föra ett live-röstsamtal eller Omnimodal Full-Duplex för att interagera med både video och ljud. Du kan ställa frågor, avbryta modellen och experimentera med kontinuerliga samtal.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex är en tal-till-tal-modell med 7 miljarder parametrar som är designad för naturliga, realtidskonversationer. Byggd på Moshi-arkitekturen stöder den full duplex-kommunikation, så den kan lyssna och tala samtidigt. Den hanterar avbrott och överlappande tal utan separata system för transkribering och talsyntes.
PersonaPlex låter dig styra assistentens röst och personlighet, så utvecklare kan anpassa dess roll och talstil för kundserviceassistenter, virtuella handledare och andra röstagenter. Den fokuserar på ljudbaserade samtal och har ingen visuell inmatning, så välj MiniCPM-o om du behöver video. Vikterna släpps under NVIDIA Open Model License.
Snabbstart: Klona det officiella repot och installera beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudoaptinstall libopus-dev
pip install moshi/.Drivs av
Acceptera modelllicensen på Hugging Face och konfigurera din åtkomsttoken:
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl"$SSL_DIR"Drivs av
Om ditt GPU har begränsat minne, lägg till flaggan --cpu-offload, vilket kräver paketet accelerate.
Öppna https://localhost:8998 i webbläsaren och tillåt mikrofonåtkomst. Du kan nu prata direkt med PersonaPlex, ställa frågor, avbryta dess svar och testa olika röstpersonligheter.
Bästa öppna modellerna för ljud- och musikgenerering
Modeller för ljudgenerering skapar originalmusik, instrumentala spår och melodier från textprompter. Vissa kan också generera kompletta låtar med sång, redigera befintliga inspelningar eller skapa musik baserat på en referensmelodi.
9. ACE-Step 1.5
ACE-Step 1.5 är en öppen källkod-modell för musikgenerering som skapar kompletta låtar från textbeskrivningar. Den stöder sång, egna texter, flera musikstilar och låtar upp till 10 minuter. Du kan också styra tempo, tonart och längd, eller använda befintliga inspelningar för att skapa covers och redigera delar av en låt.
ACE-Step utmärker sig genom hur tillgänglig den är jämfört med större musikgenereringsmodeller. Den körs på hårdvara från NVIDIA, AMD, Intel och Apple Silicon, och dess tekniska rapport säger att den kan köras på GPU:er med mindre än 4 GB VRAM. Projektets README hävdar under 2 sekunder per full låt på en A100 och under 10 sekunder på ett RTX 3090.
Den inkluderar ett Gradio-webbgränssnitt och ett REST-API. XL-varianterna, som använder en DiT-dekoder med 4B parametrar, byter minne mot ljudkvalitet och behöver minst 12 GB VRAM med offloading eller 20 GB utan. Projektet är MIT-licensierat.
Snabbstart: Installera pakethanteraren uv på Linux eller macOS:
curl-LsSf https://astral.sh/uv/install.sh |shDrivs av
Klona det officiella repot och installera beroenden:
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv syncDrivs av
Öppna http://localhost:7860 i webbläsaren. Applikationen laddar ner nödvändiga modelfiler vid första start och väljer automatiskt en konfiguration för din hårdvara.
För att generera musik, ange en beskrivning av din önskade låt, till exempel ett upplyftande elektroniskt spår med energiska trummor och syntar. Du kan också ange egna texter, justera längden eller välja ett instrumentalt spår. Klicka på knappen för att generera, lyssna på resultatet och ladda ner ljudfilen.
10. Meta MusicGen Large
MusicGen Large är en text-till-musik-modell med 3,3 miljarder parametrar utvecklad av Meta som en del av AudioCraft-projektet. Den genererar instrumentalmusik från textbeskrivningar som täcker genrer, stämningar, instrument och musikstilar. Det är den största text-till-musik-checkpointen i den ursprungliga MusicGen-utgåvan.
MusicGen Large producerar detaljerad bakgrundsmusik, soundtracks och instrumentala klipp från några få ord, och den fungerar med Hugging Face Transformers och AudioCraft. Den är också den äldsta modellen på listan. Meta tränade den i april och maj 2023 på 20 000 timmar licensierad musik, och den kan inte generera realistisk sång.
Ett GPU rekommenderas. De förtränade vikterna använder licensen CC BY-NC 4.0, som begränsar kommersiell användning, medan koden är MIT-licensierad.
Använd det officiella Hugging Face-exemplet för att generera musik från en textprompt:
from transformers import pipeline
import scipy
synthesiser = pipeline("text-to-audio","facebook/musicgen-large")
music = synthesiser("lo-fi music with a soothing melody",
forward_params={"do_sample":True})
scipy.io.wavfile.write("musicgen_out.wav",
rate=music["sampling_rate"],
data=music["audio"])Drivs av
Modellen laddas ner automatiskt vid första användning, genererar ett instrumentalt spår baserat på prompten och sparar det som musicgen_out.wav. Du kan ändra texten för att experimentera med olika musikgenrer, instrument och stämningar.
Vilken öppen AI-ljudmodell ska du välja?
Den bästa modellen beror på om du vill transkribera tal, generera realistiska röster, bygga en realtidsassistent eller skapa musik. Den här jämförelsen täcker kapabiliteter, modellstorlek och licens för varje användningsfall.
Modell
Bäst för
Viktigaste fördelen
Modellstorlek
Licens (vikter)
Voxtral Small
Avancerad taligenkänning
Transkribering, sammanfattning och ljudresonemang
24B
Apache 2.0
Qwen3-ASR
Flerspråkig transkribering
30 språk och 22 kinesiska dialekter
0.6B / 1.7B
Apache 2.0
NVIDIA Nemotron 3.5 ASR
Realtidstranskribering
Låg latens vid strömning och effektiv inferens
0.6B
OpenMDW-1.1
Fish Audio Drama 3
Uttrycksfullt tal och berättande
Röstkloning och dialog med upp till 16 talare
35B totalt / 3B aktiva
Fish Audio Community License
Breeze TTS 2
Naturligt text-till-tal
Röstdesign, känslokontroll och låg latens
3B
Forskning och icke-kommersiell
Kokoro 82M
Lättviktig och lokal TTS
Effektiv talgenerering på blygsam hårdvara
82M
Apache 2.0
MiniCPM-o 4.5
Multimodala röstassistenter
Realtidsinteraktion med ljud, video och tal
9B
Apache 2.0
NVIDIA PersonaPlex
Realtidsröstsamtal
Full duplex-tal med naturliga avbrott
7B
NVIDIA Open Model License
ACE-Step 1.5
Komplett låtgenerering
Sång, egna texter, covers och musikredigering
2B / 4B (XL)
MIT
Meta MusicGen Large
Generering av instrumentalmusik
Text-till-musik från korta prompter
3.3B
CC BY-NC 4.0
Avslutande tankar
Öppna ljudmodeller blir snabbt bättre inom taligenkänning, text-till-tal, realtidskonversation och musikgenerering. De blir mer träffsäkra, snabbare och enklare att köra, så utvecklare kan bygga ljudapplikationer utan att helt förlita sig på dyra kommersiella tjänster.
Personligen använder jag Voxtral via Spokenly för nästan all min transkribering, och jag älskar det. Noggrannheten är imponerande och även om modellen med öppna vikter är enorm ringer jag Mistrals hostade API, som har varit gratis för min användning. Det är ett bra exempel på hur de här modellerna blir praktiska för vardagliga uppgifter.
Det som gör mig ännu mer entusiastisk är framstegen inom konversations-AI. Vi vet redan hur naturliga röstsamtal med ChatGPT kan kännas, och öppna modeller som NVIDIA PersonaPlex och MiniCPM-o 4.5 ger liknande möjligheter till utvecklare som vill bygga egna assistenter. Samtidigt gör ACE-Step det möjligt att generera kompletta låtar, och lättviktiga alternativ som Kokoro gör talgenerering mer tillgänglig.
Det finns ingen enda bästa modell för allt, och det är just det som gör området intressant. Oavsett om du vill ha exakt transkribering, realistiska röster, naturliga samtal eller genererad musik finns det sannolikt en öppen modell värd att prova.
FAQs
Vilken är den bästa öppna modellen för taligenkänning?⌄
För flerspråkig transkribering är Qwen3-ASR-1.7B ett starkt förstahandsval: den stöder 30 språk och 22 kinesiska dialekter, och Hugging Faces Open ASR Leaderboard listar en genomsnittlig word error rate på 5,76 för den. För live-transkribering bearbetar NVIDIA Nemotron 3.5 ASR Streaming ljud i bitar så små som 80 ms. Voxtral Small är ett bättre val när du också vill ha sammanfattningar eller svar om ljudet, men den behöver cirka 55 GB GPU-minne.
Vilken text-till-tal-modell med öppen källkod kräver minst hårdvara?⌄
Kokoro 82M behöver minst. Den har 82 miljoner parametrar, erbjuder 54 röster på 8 språk i version 1.0 och släpps under Apache 2.0-licensen. Breeze TTS 2 behöver cirka 7,7 GiB GPU-minne, och Fish Audio Drama 3 behöver 20,8 GB för vikter även i sin 4-bitarsversion.
Vilka öppna ljudmodeller kan jag använda kommersiellt?⌄
Voxtral Small, Qwen3-ASR, Kokoro 82M och MiniCPM-o 4.5 använder Apache 2.0, och ACE-Step 1.5 är MIT-licensierad. Breeze TTS 2-vikterna är begränsade till forskning och icke-kommersiell användning, och MusicGen Large-vikterna använder CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex och Fish Audio Drama 3 använder varsin egen licens (OpenMDW-1.1, NVIDIA Open Model License och Fish Audio Community License), så läs villkoren innan du levererar.
Vilken är den bästa öppna modellen för realtidsröstsamtal?⌄
NVIDIA PersonaPlex är en 7B full duplex-tal-till-tal-modell med kontrollerbar röst och personlighet som hanterar avbrott och överlappande tal. MiniCPM-o 4.5 lägger till livevideoinmatning, men dess officiella demo kräver ett NVIDIA-GPU med mer än 28 GB VRAM.
Kan öppna modeller generera kompletta låtar med sång?⌄
Ja. ACE-Step 1.5 genererar kompletta låtar med sång och egna texter upp till 10 minuter, och kan köras på GPU:er med mindre än 4 GB VRAM. MusicGen Large genererar endast instrumentala spår och kan inte producera realistisk sång.
Från prompt engineering till agentiska system—utveckla hela kompetenspaketet för att bygga AI-applikationer som skalar, med en AI-handledare vid din sida.
Öppen källkod-modeller för ljud täcker nu taligenkänning, text-till-tal, realtidsröstsamtal och musikgenerering, och flera av dem kan köras på ett enda konsument-GPU. Qwen3-ASR transkriberar 30 språk och 22 kinesiska dialekter, Kokoro genererar tal med bara 82 miljoner parametrar, och ACE-Step skriver kompletta låtar på mindre än 4 GB videominne (VRAM).
För den här guiden valde jag ut 10 av de bästa modellerna med öppen källkod och öppna vikter genom att kombinera tre faktorer: GitHub-repon med högt antal stjärnor, flitigt nedladdade modeller på Hugging Face och toppresterande modeller från Artificial Analysis benchmarktester. Jag täcker fyra kategorier: taligenkänning, text-till-tal, realtidskonversationer och musikgenerering.
Varje modell har ett snabbstartsexempel baserat på dess officiella dokumentation. Vissa exempel kräver specifik hårdvara, beroenden eller extra konfiguration, så kontrollera varje modells krav innan du kör dem.
En snabb notis: Det här är en kuraterad lista, inte en strikt benchmarkranking. Öppna vikter betyder att de tränade vikterna kan laddas ned, men licensen kan ändå begränsa hur du använder dem, så jag flaggar licenser i varje avsnitt och i jämförelsetabellen i slutet. Exemplen kommer från den officiella dokumentationen, men jag har inte personligen testat koden, så din miljö kan behöva ytterligare beroenden eller konfiguration.
Sammanfattning
Bästa öppna modellerna för taligenkänning
Taligenkänningsmodeller, även kallade ASR (automatic speech recognition), omvandlar talat ljud till text. De är användbara för mötestranskribering, undertexter, poddar, röstassistenter och ljudanalys. Moderna modeller känner också igen flera språk, kan hantera livesamtal och vissa kan resonera om vad som diskuteras.
1. Voxtral Small
Voxtral Small 24B är en modell med öppna vikter för talförståelse från Mistral AI, släppt under Apache 2.0-licensen. Den stöder 8 språk (engelska, spanska, franska, portugisiska, hindi, tyska, nederländska och italienska) och kan transkribera inspelningar, sammanfatta samtal, svara på frågor om ljud och följa talade instruktioner.
Källa: Voxtral Small 24B
Den största fördelen är att en och samma modell hanterar både taligenkänning och språkligt resonemang, så du behöver inte separata pipelines för transkribering och sammanfattning. Det passar mötesanalys, intervjuer och röstassistenter. Nackdelen är storleken: modellen med 24 miljarder parametrar behöver cirka 55 GB GPU-minne i BF16 eller FP16, vilket kräver hårdvara med mycket minne eller flera GPU:er.
Om du bara behöver transkribering är Mistrals nyare Voxtral Mini 4B Realtime betydligt lättare. Mistral släppte den i februari 2026 under Apache 2.0, med strömningslatens som kan ställas in ner mot under 200 ms.
Snabbstart: Installera vLLM och nödvändiga Python-paket.
Starta vLLM-servern. Den här konfigurationen använder två GPU:er.
Öppna en annan terminal och kör Python-exemplet för att transkribera en exempelinspelningsfil.
Skriptet laddar ner en exempelinspelning, skickar den till din lokala Voxtral-server och skriver ut transkriberingen.
2. Qwen3-ASR
Qwen3-ASR är en öppen källkod-familj för taligenkänning från Alibabas Qwen-team, tillgänglig i versioner med 0,6B och 1,7B parametrar under Apache 2.0-licensen. Den stöder 30 språk och 22 kinesiska dialekter, känner automatiskt av talat språk och kan transkribera tal över bakgrundsmusik, inklusive sång. Den fungerar väl för flerspråkig transkribering, undertexter, poddar och intervjuer.
Källa: Qwen3-ASR
Qwen3-ASR balanserar noggrannhet, hastighet och flexibilitet. 1,7B-modellen uppnår en genomsnittlig word error rate (WER) på 5,76 på Hugging Faces Open ASR Leaderboard, jämfört med 6,62 för Voxtral Small (lägre är bättre). 0,6B-versionen byter bort lite noggrannhet mot effektivitet.
Båda storlekarna stöder offline- och strömningsinferens, även om strömning för närvarande kräver vLLM-backend (
pip install -U qwen-asr[vllm]). Den valfria modellen Qwen3-ForcedAligner-0.6B genererar tidsstämplar på ordnivå för undertexter på 11 språk.Snabbstart: Installera det officiella Python-paketet.
Ladda 1,7B-modellen och transkribera det officiella exempel-ljudet.
Modellen laddas ner automatiskt vid första användning. Den upptäcker det talade språket och skriver ut transkriberingen.
Du kan ersätta exempel-URL:en med din egen ljudfil. Det här exemplet använder ett NVIDIA-GPU.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B är en lättviktig taligenkänningsmodell byggd för realtidstranskribering. Den har 600 miljoner parametrar och stöder 40 språklokaler, inklusive engelska, arabiska, hindi, spanska och japanska. Av dessa fungerar 32 direkt och 8 kräver finjustering först.
Källa: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
Hastigheten kommer från en cachemedveten strömningsarkitektur. I stället för att bearbeta en hel inspelning igen hanterar den nya ljudbitar samtidigt som den återanvänder cachelagrat encoder-kontekst, med bitstorlekar ned till 80 millisekunder. På en enda H100 rapporterar NVIDIA ungefär 17x fler samtidiga strömmar än sin buffrade Parakeet RNNT 1.1B-modell vid 80 ms-inställningen (240 jämfört med 14).
Det gör den till ett starkt val för live-undertexter, möten och röstassistenter med låg latens. Vikterna använder licensen OpenMDW-1.1, som enligt NVIDIAs model card är redo för kommersiell användning, och modellen körs lokalt via NVIDIAs NeMo-Speech.cpp-runtime.
Snabbstart: Installera NeMo-Speech.cpp på Linux eller macOS.
Transkribera en WAV-fil. CLI:n laddar ner standardmodellen Nemotron 3.5 vid första användning.
För att testa strömmande transkribering, som matar filen genom strömningsigenkännaren i 160 ms-bitar, kör:
För realtidstranskribering via mikrofon på stödda byggen:
Ersätt
audio.wavmed din egen inspelning. Runtime stöder CPU- och kompatibla GPU-backends, så du behöver inte ett stort GPU bara för att komma igång.Bästa öppna modellerna för text-till-tal
Text-till-tal (TTS) omvandlar skriven text till naturligt klingande ljud. Moderna modeller kan klona röster, uttrycka känslor, skapa dialog med flera röster och tala flera språk. Här är tre modeller med öppna vikter som är värda att utforska.
4. Fish Audio Drama 3
Fish Audio Drama 3 är en uttrycksfull text-till-tal-modell byggd för scenarier med flera karaktärer och långformatinnehåll. Den använder en mixture-of-experts-arkitektur med 35 miljarder parametrar, men aktiverar bara cirka 3 miljarder per token. Den stöder röstkloning, röststyrning med naturligt språk och dialog med upp till 16 talare, vilket passar ljudböcker och karaktärsdrivet innehåll.
Källa: Fish Audio Drama 3 Technical Report
Det som sticker ut är det känslomässiga omfånget. Du kan placera inline-taggar som
[sighs]och[laughs]direkt i texten, tilldela upp till 16 talartaggar i ett och samma manus och strömma långa stycken bit för bit. Fish Audio rapporterar en tid till första ljud på cirka 89 ms för en enskild ström på en H200-GPU, och modellen körs via SGLang-Omni och vLLM-Omni.Nackdelen är storleken och licensen. FP8-checkpointen behöver 37 GB bara för vikter, och en 4-bitars GPTQ-version minskar det till 20,8 GB. Vikterna använder Fish Audio Community License, så läs villkoren innan kommersiell användning.
Snabbstart: Installera SGLang-Omni och dess Fish Audio-beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.
Ladda ner modellen och starta servern:
Öppna en annan terminal och generera tal:
Modellen genererar tal och sparar det som
output.wav. Du kan ändra inmatningstexten eller utforska röstkloning och generering med flera talare via den officiella Drama 3-receptguiden.5. Breeze TTS 2
Breeze TTS 2 är en text-till-tal-modell med 3 miljarder parametrar för engelska och kinesiska. Den stöder röstkloning från en referensinspelning, röstdesign från en beskrivning i klarspråk och naturliga språkinstruktioner för ton, känsla och leverans.
Källa: Breeze TTS 2
Enligt BreezeBlues model card rankas den först bland modeller med öppna vikter på Artificial Analysis TTS-topplistan, med under 40 ms tid till första ljud på en H100 via snabbläget. Den stöder även inbäddade rösthändelser som
(laugh),(sigh)och(cough).Det gör den lämplig för interaktiva röstapplikationer, men de självvärdade vikterna och utdata är begränsade till forskning och icke-kommersiell användning. Endast koden är licensierad under Apache 2.0.
Snabbstart: På Linux med Python 3.10 eller senare och ett CUDA-kompatibelt NVIDIA-GPU, klona det officiella repot och installera beroenden.
Ladda ner modellens checkpoint:
Generera tal med det officiella röstdesign-exemplet. Detta kräver ingen referensaudio.
Modellen genererar tal enligt röstbeskrivningen och sparar det som
outputs/voice_design_en.wav. Standardläget för inferens behöver cirka 7,7 GiB GPU-minne (14,4 GiB med flaggan--fast-all), och ett 12 GB-GPU är minimirekommendationen. Du kan även testa röstkloning och strömning via den officiella dokumentationen för Breeze TTS 2.6. Kokoro 82M
Kokoro 82M är en lättviktig text-till-tal-modell med bara 82 miljoner parametrar. I version 1.0 erbjuder den 54 röster på 8 språk. Det är ett av de mer lättillgängliga alternativen för utvecklare som vill experimentera med talgenerering utan high-end GPU.
Källa: Kokoro 82M
Kokoros främsta fördel är effektivitet. Den passar offline-berättarröster, hjälpmedel och röstassistenter, och dess Apache 2.0-vikter betyder att du kan använda den i kommersiella projekt.
Snabbstart: Du kan köra Kokoro direkt i Google Colab. Installera först de nödvändiga paketen:
Generera tal via det officiella Python-gränssnittet:
Modellen genererar tal med den amerikansk-engelska rösten
af_heart, spelar upp ljudet i Colab och sparar det som en WAV-fil. Du kan ändra text, röst eller språk via det officiella Kokoro model card.Bästa öppna realtids-LLM:er för ljud
Realtids-LLM:er för ljud lyssnar på talade frågor och genererar naturliga röstsvar. I stället för att kedja ihop separata system för taligenkänning och text-till-tal hanterar de kontinuerliga samtal, avbrott och samtidig lyssning och tal i en och samma modell.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 är en multimodal modell med 9 miljarder parametrar från OpenBMB som förstår bilder, video, ljud och text och svarar med tal. Den stöder realtidsröstsamtal på engelska och kinesiska, röstkloning och full duplex-interaktion. Full duplex betyder att modellen kan lyssna, titta och tala samtidigt i stället för att vänta på att varje tur ska ta slut.
Källa: MiniCPM-o 4.5
Det som utmärker den är kombinationen av visuell förståelse och röstinteraktion. Du kan bygga assistenter som svarar på talade frågor om en live-kamerafeed, beskriver omgivningen eller svarar i samtal medan de bearbetar video. Vikterna är licensierade under Apache 2.0, och utvecklarna tillhandahåller en färdig webb-demo, även om full duplex-strömning fortfarande är experimentell.
Snabbstart: Den officiella webb-demon för MiniCPM-o 4.5 stöder livekonversationer med ljud och video. Du behöver Linux, Docker Compose, NVIDIA Container Toolkit och ett NVIDIA-GPU med mer än 28 GB VRAM.
Klona först det officiella demo-repot:
Ladda ner modellens checkpoint:
Generera det lokala HTTPS-certifikatet:
Starta webb-demon med Docker Compose:
Ersätt
/path/to/MiniCPM-o-4_5med den absoluta sökvägen till den nedladdade checkpointen, och redigeradocker-compose.ymlså att den matchar antalet GPU:er. Öppna HTTPS-webbgränssnittet på port8006och tillåt mikrofon- och kameratillgång.Välj Audio Full-Duplex för att föra ett live-röstsamtal eller Omnimodal Full-Duplex för att interagera med både video och ljud. Du kan ställa frågor, avbryta modellen och experimentera med kontinuerliga samtal.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex är en tal-till-tal-modell med 7 miljarder parametrar som är designad för naturliga, realtidskonversationer. Byggd på Moshi-arkitekturen stöder den full duplex-kommunikation, så den kan lyssna och tala samtidigt. Den hanterar avbrott och överlappande tal utan separata system för transkribering och talsyntes.
Källa: NVIDIA PersonaPlex
PersonaPlex låter dig styra assistentens röst och personlighet, så utvecklare kan anpassa dess roll och talstil för kundserviceassistenter, virtuella handledare och andra röstagenter. Den fokuserar på ljudbaserade samtal och har ingen visuell inmatning, så välj MiniCPM-o om du behöver video. Vikterna släpps under NVIDIA Open Model License.
Snabbstart: Klona det officiella repot och installera beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.
Acceptera modelllicensen på Hugging Face och konfigurera din åtkomsttoken:
Starta den officiella PersonaPlex-servern:
Om ditt GPU har begränsat minne, lägg till flaggan
--cpu-offload, vilket kräver paketetaccelerate.Öppna
https://localhost:8998i webbläsaren och tillåt mikrofonåtkomst. Du kan nu prata direkt med PersonaPlex, ställa frågor, avbryta dess svar och testa olika röstpersonligheter.Bästa öppna modellerna för ljud- och musikgenerering
Modeller för ljudgenerering skapar originalmusik, instrumentala spår och melodier från textprompter. Vissa kan också generera kompletta låtar med sång, redigera befintliga inspelningar eller skapa musik baserat på en referensmelodi.
9. ACE-Step 1.5
ACE-Step 1.5 är en öppen källkod-modell för musikgenerering som skapar kompletta låtar från textbeskrivningar. Den stöder sång, egna texter, flera musikstilar och låtar upp till 10 minuter. Du kan också styra tempo, tonart och längd, eller använda befintliga inspelningar för att skapa covers och redigera delar av en låt.
Källa: ACE-Step 1.5
ACE-Step utmärker sig genom hur tillgänglig den är jämfört med större musikgenereringsmodeller. Den körs på hårdvara från NVIDIA, AMD, Intel och Apple Silicon, och dess tekniska rapport säger att den kan köras på GPU:er med mindre än 4 GB VRAM. Projektets README hävdar under 2 sekunder per full låt på en A100 och under 10 sekunder på ett RTX 3090.
Den inkluderar ett Gradio-webbgränssnitt och ett REST-API. XL-varianterna, som använder en DiT-dekoder med 4B parametrar, byter minne mot ljudkvalitet och behöver minst 12 GB VRAM med offloading eller 20 GB utan. Projektet är MIT-licensierat.
Snabbstart: Installera pakethanteraren
uvpå Linux eller macOS:Klona det officiella repot och installera beroenden:
Starta gränssnittet för musikgenerering:
Öppna
http://localhost:7860i webbläsaren. Applikationen laddar ner nödvändiga modelfiler vid första start och väljer automatiskt en konfiguration för din hårdvara.För att generera musik, ange en beskrivning av din önskade låt, till exempel ett upplyftande elektroniskt spår med energiska trummor och syntar. Du kan också ange egna texter, justera längden eller välja ett instrumentalt spår. Klicka på knappen för att generera, lyssna på resultatet och ladda ner ljudfilen.
10. Meta MusicGen Large
MusicGen Large är en text-till-musik-modell med 3,3 miljarder parametrar utvecklad av Meta som en del av AudioCraft-projektet. Den genererar instrumentalmusik från textbeskrivningar som täcker genrer, stämningar, instrument och musikstilar. Det är den största text-till-musik-checkpointen i den ursprungliga MusicGen-utgåvan.
Källa: MusicGen Large
MusicGen Large producerar detaljerad bakgrundsmusik, soundtracks och instrumentala klipp från några få ord, och den fungerar med Hugging Face Transformers och AudioCraft. Den är också den äldsta modellen på listan. Meta tränade den i april och maj 2023 på 20 000 timmar licensierad musik, och den kan inte generera realistisk sång.
Ett GPU rekommenderas. De förtränade vikterna använder licensen CC BY-NC 4.0, som begränsar kommersiell användning, medan koden är MIT-licensierad.
Snabbstart: Installera Transformers och SciPy.
Använd det officiella Hugging Face-exemplet för att generera musik från en textprompt:
Modellen laddas ner automatiskt vid första användning, genererar ett instrumentalt spår baserat på prompten och sparar det som
musicgen_out.wav. Du kan ändra texten för att experimentera med olika musikgenrer, instrument och stämningar.Vilken öppen AI-ljudmodell ska du välja?
Den bästa modellen beror på om du vill transkribera tal, generera realistiska röster, bygga en realtidsassistent eller skapa musik. Den här jämförelsen täcker kapabiliteter, modellstorlek och licens för varje användningsfall.
Avslutande tankar
Öppna ljudmodeller blir snabbt bättre inom taligenkänning, text-till-tal, realtidskonversation och musikgenerering. De blir mer träffsäkra, snabbare och enklare att köra, så utvecklare kan bygga ljudapplikationer utan att helt förlita sig på dyra kommersiella tjänster.
Personligen använder jag Voxtral via Spokenly för nästan all min transkribering, och jag älskar det. Noggrannheten är imponerande och även om modellen med öppna vikter är enorm ringer jag Mistrals hostade API, som har varit gratis för min användning. Det är ett bra exempel på hur de här modellerna blir praktiska för vardagliga uppgifter.
Det som gör mig ännu mer entusiastisk är framstegen inom konversations-AI. Vi vet redan hur naturliga röstsamtal med ChatGPT kan kännas, och öppna modeller som NVIDIA PersonaPlex och MiniCPM-o 4.5 ger liknande möjligheter till utvecklare som vill bygga egna assistenter. Samtidigt gör ACE-Step det möjligt att generera kompletta låtar, och lättviktiga alternativ som Kokoro gör talgenerering mer tillgänglig.
Det finns ingen enda bästa modell för allt, och det är just det som gör området intressant. Oavsett om du vill ha exakt transkribering, realistiska röster, naturliga samtal eller genererad musik finns det sannolikt en öppen modell värd att prova.