Hoppa till huvudinnehållet

Topp 10 öppna AI-ljudmodeller 2026

Utforska 10 av de bästa öppna AI-ljudmodellerna för transkribering, röstgenerering, realtidskonversationer och musikskapande, med lättföljda snabbstarter från officiell dokumentation.

Skapa ditt gratiskonto

Öva och håll koll på dina framsteg.

Fortsätt med GoogleGenom att fortsätta godkänner du vår användarvillkor, våra integritetspolicy och att dina uppgifter lagras i USA.

Öppen källkod-modeller för ljud täcker nu taligenkänning, text-till-tal, realtidsröstsamtal och musikgenerering, och flera av dem kan köras på ett enda konsument-GPU. Qwen3-ASR transkriberar 30 språk och 22 kinesiska dialekter, Kokoro genererar tal med bara 82 miljoner parametrar, och ACE-Step skriver kompletta låtar på mindre än 4 GB videominne (VRAM).

För den här guiden valde jag ut 10 av de bästa modellerna med öppen källkod och öppna vikter genom att kombinera tre faktorer: GitHub-repon med högt antal stjärnor, flitigt nedladdade modeller på Hugging Face och toppresterande modeller från Artificial Analysis benchmarktester. Jag täcker fyra kategorier: taligenkänning, text-till-tal, realtidskonversationer och musikgenerering.

Varje modell har ett snabbstartsexempel baserat på dess officiella dokumentation. Vissa exempel kräver specifik hårdvara, beroenden eller extra konfiguration, så kontrollera varje modells krav innan du kör dem.

En snabb notis: Det här är en kuraterad lista, inte en strikt benchmarkranking. Öppna vikter betyder att de tränade vikterna kan laddas ned, men licensen kan ändå begränsa hur du använder dem, så jag flaggar licenser i varje avsnitt och i jämförelsetabellen i slutet. Exemplen kommer från den officiella dokumentationen, men jag har inte personligen testat koden, så din miljö kan behöva ytterligare beroenden eller konfiguration.

Sammanfattning

  • Taligenkänning: Qwen3-ASR för flerspråkig noggrannhet, Nemotron 3.5 ASR Streaming för låg latens vid live-transkribering, och Voxtral Small när du även vill ha sammanfattningar och svar om ljudet.
  • Text-till-tal: Kokoro 82M för lättviktig lokal användning, Fish Audio Drama 3 för uttrycksfull dialog med flera röster, och Breeze TTS 2 för röstdesign (endast icke-kommersiell användning).
  • Realtidskonversationer: NVIDIA PersonaPlex för röstassistenter som bara använder ljud, och MiniCPM-o 4.5 när du även vill ha videoinmatning.
  • Musikgenerering: ACE-Step 1.5 för kompletta låtar med sång, och MusicGen Large för instrumentala spår (endast icke-kommersiell användning).

Bästa öppna modellerna för taligenkänning

Taligenkänningsmodeller, även kallade ASR (automatic speech recognition), omvandlar talat ljud till text. De är användbara för mötestranskribering, undertexter, poddar, röstassistenter och ljudanalys. Moderna modeller känner också igen flera språk, kan hantera livesamtal och vissa kan resonera om vad som diskuteras.

1. Voxtral Small

Voxtral Small 24B är en modell med öppna vikter för talförståelse från Mistral AI, släppt under Apache 2.0-licensen. Den stöder 8 språk (engelska, spanska, franska, portugisiska, hindi, tyska, nederländska och italienska) och kan transkribera inspelningar, sammanfatta samtal, svara på frågor om ljud och följa talade instruktioner.

Voxtral Small 24B benchmark results

Källa: Voxtral Small 24B

Den största fördelen är att en och samma modell hanterar både taligenkänning och språkligt resonemang, så du behöver inte separata pipelines för transkribering och sammanfattning. Det passar mötesanalys, intervjuer och röstassistenter. Nackdelen är storleken: modellen med 24 miljarder parametrar behöver cirka 55 GB GPU-minne i BF16 eller FP16, vilket kräver hårdvara med mycket minne eller flera GPU:er.

Om du bara behöver transkribering är Mistrals nyare Voxtral Mini 4B Realtime betydligt lättare. Mistral släppte den i februari 2026 under Apache 2.0, med strömningslatens som kan ställas in ner mot under 200 ms.

Snabbstart: Installera vLLM och nödvändiga Python-paket.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hub

Starta vLLM-servern. Den här konfigurationen använder två GPU:er.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice

Öppna en annan terminal och kör Python-exemplet för att transkribera en exempelinspelningsfil.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)

Skriptet laddar ner en exempelinspelning, skickar den till din lokala Voxtral-server och skriver ut transkriberingen.

2. Qwen3-ASR

Qwen3-ASR är en öppen källkod-familj för taligenkänning från Alibabas Qwen-team, tillgänglig i versioner med 0,6B och 1,7B parametrar under Apache 2.0-licensen. Den stöder 30 språk och 22 kinesiska dialekter, känner automatiskt av talat språk och kan transkribera tal över bakgrundsmusik, inklusive sång. Den fungerar väl för flerspråkig transkribering, undertexter, poddar och intervjuer.

Qwen3-ASR architecture diagram

Källa: Qwen3-ASR

Qwen3-ASR balanserar noggrannhet, hastighet och flexibilitet. 1,7B-modellen uppnår en genomsnittlig word error rate (WER) på 5,76 på Hugging Faces Open ASR Leaderboard, jämfört med 6,62 för Voxtral Small (lägre är bättre). 0,6B-versionen byter bort lite noggrannhet mot effektivitet.

Båda storlekarna stöder offline- och strömningsinferen­s, även om strömning för närvarande kräver vLLM-backend (pip install -U qwen-asr[vllm]). Den valfria modellen Qwen3-ForcedAligner-0.6B genererar tidsstämplar på ordnivå för undertexter på 11 språk.

Snabbstart: Installera det officiella Python-paketet.

pip install -U qwen-asr

Ladda 1,7B-modellen och transkribera det officiella exempel-ljudet.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)

Modellen laddas ner automatiskt vid första användning. Den upptäcker det talade språket och skriver ut transkriberingen.

Du kan ersätta exempel-URL:en med din egen ljudfil. Det här exemplet använder ett NVIDIA-GPU.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B är en lättviktig taligenkänningsmodell byggd för realtids­transkribering. Den har 600 miljoner parametrar och stöder 40 språklokaler, inklusive engelska, arabiska, hindi, spanska och japanska. Av dessa fungerar 32 direkt och 8 kräver finjustering först.

NVIDIA Nemotron 3.5 ASR Streaming architecture diagram

Källa: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

Hastigheten kommer från en cachemedveten strömningsarkitektur. I stället för att bearbeta en hel inspelning igen hanterar den nya ljudbitar samtidigt som den återanvänder cachelagrat encoder-kontekst, med bitstorlekar ned till 80 millisekunder. På en enda H100 rapporterar NVIDIA ungefär 17x fler samtidiga strömmar än sin buffrade Parakeet RNNT 1.1B-modell vid 80 ms-inställningen (240 jämfört med 14).

Det gör den till ett starkt val för live-undertexter, möten och röstassistenter med låg latens. Vikterna använder licensen OpenMDW-1.1, som enligt NVIDIAs model card är redo för kommersiell användning, och modellen körs lokalt via NVIDIAs NeMo-Speech.cpp-runtime.

Snabbstart: Installera NeMo-Speech.cpp på Linux eller macOS.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | sh

Transkribera en WAV-fil. CLI:n laddar ner standardmodellen Nemotron 3.5 vid första användning.

nemo-speech transcribe audio.wav

För att testa strömmande transkribering, som matar filen genom strömningsigenkännaren i 160 ms-bitar, kör:

nemo-speech transcribe audio.wav --stream

För realtids­transkribering via mikrofon på stödda byggen:

nemo-speech transcribe --live

Ersätt audio.wav med din egen inspelning. Runtime stöder CPU- och kompatibla GPU-backends, så du behöver inte ett stort GPU bara för att komma igång.

Bästa öppna modellerna för text-till-tal

Text-till-tal (TTS) omvandlar skriven text till naturligt klingande ljud. Moderna modeller kan klona röster, uttrycka känslor, skapa dialog med flera röster och tala flera språk. Här är tre modeller med öppna vikter som är värda att utforska.

4. Fish Audio Drama 3

Fish Audio Drama 3 är en uttrycksfull text-till-tal-modell byggd för scenarier med flera karaktärer och långformatinnehåll. Den använder en mixture-of-experts-arkitektur med 35 miljarder parametrar, men aktiverar bara cirka 3 miljarder per token. Den stöder röstkloning, röststyrning med naturligt språk och dialog med upp till 16 talare, vilket passar ljudböcker och karaktärsdrivet innehåll.

Fish Audio Drama 3 key features

Källa: Fish Audio Drama 3 Technical Report

Det som sticker ut är det känslomässiga omfånget. Du kan placera inline-taggar som [sighs] och [laughs] direkt i texten, tilldela upp till 16 talartaggar i ett och samma manus och strömma långa stycken bit för bit. Fish Audio rapporterar en tid till första ljud på cirka 89 ms för en enskild ström på en H200-GPU, och modellen körs via SGLang-Omni och vLLM-Omni.

Nackdelen är storleken och licensen. FP8-checkpointen behöver 37 GB bara för vikter, och en 4-bitars GPTQ-version minskar det till 20,8 GB. Vikterna använder Fish Audio Community License, så läs villkoren innan kommersiell användning.

Snabbstart: Installera SGLang-Omni och dess Fish Audio-beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"

Ladda ner modellen och starta servern:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000

Öppna en annan terminal och generera tal:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wav

Modellen genererar tal och sparar det som output.wav. Du kan ändra inmatningstexten eller utforska röstkloning och generering med flera talare via den officiella Drama 3-receptguiden.

5. Breeze TTS 2

Breeze TTS 2 är en text-till-tal-modell med 3 miljarder parametrar för engelska och kinesiska. Den stöder röstkloning från en referensinspelning, röstdesign från en beskrivning i klarspråk och naturliga språk­instruktioner för ton, känsla och leverans.

Breeze TTS 2 Elo score on the Artificial Analysis TTS leaderboard

Källa: Breeze TTS 2

Enligt BreezeBlues model card rankas den först bland modeller med öppna vikter på Artificial Analysis TTS-topplistan, med under 40 ms tid till första ljud på en H100 via snabbläget. Den stöder även inbäddade rösthändelser som (laugh), (sigh) och (cough).

Det gör den lämplig för interaktiva röstapplikationer, men de självvärdade vikterna och utdata är begränsade till forskning och icke-kommersiell användning. Endast koden är licensierad under Apache 2.0.

Snabbstart: På Linux med Python 3.10 eller senare och ett CUDA-kompatibelt NVIDIA-GPU, klona det officiella repot och installera beroenden.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hub

Ladda ner modellens checkpoint:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2

Generera tal med det officiella röstdesign-exemplet. Detta kräver ingen referensaudio.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wav

Modellen genererar tal enligt röstbeskrivningen och sparar det som outputs/voice_design_en.wav. Standardläget för inferens behöver cirka 7,7 GiB GPU-minne (14,4 GiB med flaggan --fast-all), och ett 12 GB-GPU är minimirekommendationen. Du kan även testa röstkloning och strömning via den officiella dokumentationen för Breeze TTS 2.

6. Kokoro 82M

Kokoro 82M är en lättviktig text-till-tal-modell med bara 82 miljoner parametrar. I version 1.0 erbjuder den 54 röster på 8 språk. Det är ett av de mer lättillgängliga alternativen för utvecklare som vill experimentera med talgenerering utan high-end GPU.

Kokoro 82M model card on Hugging Face

Källa: Kokoro 82M

Kokoros främsta fördel är effektivitet. Den passar offline-berättarröster, hjälpmedel och röstassistenter, och dess Apache 2.0-vikter betyder att du kan använda den i kommersiella projekt.

Snabbstart: Du kan köra Kokoro direkt i Google Colab. Installera först de nödvändiga paketen:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1

Generera tal via det officiella Python-gränssnittet:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)

Modellen genererar tal med den amerikansk-engelska rösten af_heart, spelar upp ljudet i Colab och sparar det som en WAV-fil. Du kan ändra text, röst eller språk via det officiella Kokoro model card.

Bästa öppna realtids-LLM:er för ljud

Realtids-LLM:er för ljud lyssnar på talade frågor och genererar naturliga röst­svar. I stället för att kedja ihop separata system för taligenkänning och text-till-tal hanterar de kontinuerliga samtal, avbrott och samtidig lyssning och tal i en och samma modell.

7. MiniCPM-o 4.5

MiniCPM-o 4.5 är en multimodal modell med 9 miljarder parametrar från OpenBMB som förstår bilder, video, ljud och text och svarar med tal. Den stöder realtidsröstsamtal på engelska och kinesiska, röstkloning och full duplex-interaktion. Full duplex betyder att modellen kan lyssna, titta och tala samtidigt i stället för att vänta på att varje tur ska ta slut.

MiniCPM-o 4.5 architecture diagram

Källa: MiniCPM-o 4.5

Det som utmärker den är kombinationen av visuell förståelse och röstinteraktion. Du kan bygga assistenter som svarar på talade frågor om en live-kamerafeed, beskriver omgivningen eller svarar i samtal medan de bearbetar video. Vikterna är licensierade under Apache 2.0, och utvecklarna tillhandahåller en färdig webb-demo, även om full duplex-strömning fortfarande är experimentell.

Snabbstart: Den officiella webb-demon för MiniCPM-o 4.5 stöder livekonversationer med ljud och video. Du behöver Linux, Docker Compose, NVIDIA Container Toolkit och ett NVIDIA-GPU med mer än 28 GB VRAM.

Klona först det officiella demo-repot:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demo

Ladda ner modellens checkpoint:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5

Generera det lokala HTTPS-certifikatet:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"

Starta webb-demon med Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0

Ersätt /path/to/MiniCPM-o-4_5 med den absoluta sökvägen till den nedladdade checkpointen, och redigera docker-compose.yml så att den matchar antalet GPU:er. Öppna HTTPS-webbgränssnittet på port 8006 och tillåt mikrofon- och kameratillgång.

Välj Audio Full-Duplex för att föra ett live-röstsamtal eller Omnimodal Full-Duplex för att interagera med både video och ljud. Du kan ställa frågor, avbryta modellen och experimentera med kontinuerliga samtal.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex är en tal-till-tal-modell med 7 miljarder parametrar som är designad för naturliga, realtids­konversationer. Byggd på Moshi-arkitekturen stöder den full duplex-kommunikation, så den kan lyssna och tala samtidigt. Den hanterar avbrott och överlappande tal utan separata system för transkribering och talsyntes.

NVIDIA PersonaPlex architecture diagram

Källa: NVIDIA PersonaPlex

PersonaPlex låter dig styra assistentens röst och personlighet, så utvecklare kan anpassa dess roll och talstil för kundserviceassistenter, virtuella handledare och andra röstagenter. Den fokuserar på ljudbaserade samtal och har ingen visuell inmatning, så välj MiniCPM-o om du behöver video. Vikterna släpps under NVIDIA Open Model License.

Snabbstart: Klona det officiella repot och installera beroenden på ett stödt Linuxsystem med ett NVIDIA-GPU.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.

Acceptera modelllicensen på Hugging Face och konfigurera din åtkomsttoken:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"

Starta den officiella PersonaPlex-servern:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

Om ditt GPU har begränsat minne, lägg till flaggan --cpu-offload, vilket kräver paketet accelerate.

Öppna https://localhost:8998 i webbläsaren och tillåt mikrofonåtkomst. Du kan nu prata direkt med PersonaPlex, ställa frågor, avbryta dess svar och testa olika röstpersonligheter.

Bästa öppna modellerna för ljud- och musikgenerering

Modeller för ljudgenerering skapar originalmusik, instrumentala spår och melodier från textprompter. Vissa kan också generera kompletta låtar med sång, redigera befintliga inspelningar eller skapa musik baserat på en referensmelodi.

9. ACE-Step 1.5

ACE-Step 1.5 är en öppen källkod-modell för musikgenerering som skapar kompletta låtar från textbeskrivningar. Den stöder sång, egna texter, flera musikstilar och låtar upp till 10 minuter. Du kan också styra tempo, tonart och längd, eller använda befintliga inspelningar för att skapa covers och redigera delar av en låt.

ACE-Step 1.5 architecture diagram

Källa: ACE-Step 1.5

ACE-Step utmärker sig genom hur tillgänglig den är jämfört med större musikgenereringsmodeller. Den körs på hårdvara från NVIDIA, AMD, Intel och Apple Silicon, och dess tekniska rapport säger att den kan köras på GPU:er med mindre än 4 GB VRAM. Projektets README hävdar under 2 sekunder per full låt på en A100 och under 10 sekunder på ett RTX 3090.

Den inkluderar ett Gradio-webbgränssnitt och ett REST-API. XL-varianterna, som använder en DiT-dekoder med 4B parametrar, byter minne mot ljudkvalitet och behöver minst 12 GB VRAM med offloading eller 20 GB utan. Projektet är MIT-licensierat.

Snabbstart: Installera pakethanteraren uv på Linux eller macOS:

curl -LsSf https://astral.sh/uv/install.sh | sh

Klona det officiella repot och installera beroenden:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv sync

Starta gränssnittet för musikgenerering:

uv run acestep

Öppna http://localhost:7860 i webbläsaren. Applikationen laddar ner nödvändiga modelfiler vid första start och väljer automatiskt en konfiguration för din hårdvara.

För att generera musik, ange en beskrivning av din önskade låt, till exempel ett upplyftande elektroniskt spår med energiska trummor och syntar. Du kan också ange egna texter, justera längden eller välja ett instrumentalt spår. Klicka på knappen för att generera, lyssna på resultatet och ladda ner ljudfilen.

10. Meta MusicGen Large

MusicGen Large är en text-till-musik-modell med 3,3 miljarder parametrar utvecklad av Meta som en del av AudioCraft-projektet. Den genererar instrumentalmusik från textbeskrivningar som täcker genrer, stämningar, instrument och musikstilar. Det är den största text-till-musik-checkpointen i den ursprungliga MusicGen-utgåvan.

Meta MusicGen Large model card on Hugging Face

Källa: MusicGen Large

MusicGen Large producerar detaljerad bakgrundsmusik, soundtracks och instrumentala klipp från några få ord, och den fungerar med Hugging Face Transformers och AudioCraft. Den är också den äldsta modellen på listan. Meta tränade den i april och maj 2023 på 20 000 timmar licensierad musik, och den kan inte generera realistisk sång.

Ett GPU rekommenderas. De förtränade vikterna använder licensen CC BY-NC 4.0, som begränsar kommersiell användning, medan koden är MIT-licensierad.

Snabbstart: Installera Transformers och SciPy.

pip install --upgrade transformers scipy

Använd det officiella Hugging Face-exemplet för att generera musik från en textprompt:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)

Modellen laddas ner automatiskt vid första användning, genererar ett instrumentalt spår baserat på prompten och sparar det som musicgen_out.wav. Du kan ändra texten för att experimentera med olika musikgenrer, instrument och stämningar.

Vilken öppen AI-ljudmodell ska du välja?

Den bästa modellen beror på om du vill transkribera tal, generera realistiska röster, bygga en realtidsassistent eller skapa musik. Den här jämförelsen täcker kapabiliteter, modellstorlek och licens för varje användningsfall.

ModellBäst förViktigaste fördelenModellstorlekLicens (vikter)
Voxtral SmallAvancerad taligenkänningTranskribering, sammanfattning och ljudresonemang24BApache 2.0
Qwen3-ASRFlerspråkig transkribering30 språk och 22 kinesiska dialekter0.6B / 1.7BApache 2.0
NVIDIA Nemotron 3.5 ASRRealtids­transkriberingLåg latens vid strömning och effektiv inferens0.6BOpenMDW-1.1
Fish Audio Drama 3Uttrycksfullt tal och berättandeRöstkloning och dialog med upp till 16 talare35B totalt / 3B aktivaFish Audio Community License
Breeze TTS 2Naturligt text-till-talRöstdesign, känslokontroll och låg latens3BForskning och icke-kommersiell
Kokoro 82MLättviktig och lokal TTSEffektiv talgenerering på blygsam hårdvara82MApache 2.0
MiniCPM-o 4.5Multimodala röstassistenterRealtidsinteraktion med ljud, video och tal9BApache 2.0
NVIDIA PersonaPlexRealtids­röstsamtalFull duplex-tal med naturliga avbrott7BNVIDIA Open Model License
ACE-Step 1.5Komplett låtgenereringSång, egna texter, covers och musikredigering2B / 4B (XL)MIT
Meta MusicGen LargeGenerering av instrumentalmusikText-till-musik från korta prompter3.3BCC BY-NC 4.0

Avslutande tankar

Öppna ljudmodeller blir snabbt bättre inom taligenkänning, text-till-tal, realtidskonversation och musikgenerering. De blir mer träffsäkra, snabbare och enklare att köra, så utvecklare kan bygga ljudapplikationer utan att helt förlita sig på dyra kommersiella tjänster.

Personligen använder jag Voxtral via Spokenly för nästan all min transkribering, och jag älskar det. Noggrannheten är imponerande och även om modellen med öppna vikter är enorm ringer jag Mistrals hostade API, som har varit gratis för min användning. Det är ett bra exempel på hur de här modellerna blir praktiska för vardagliga uppgifter.

Det som gör mig ännu mer entusiastisk är framstegen inom konversations-AI. Vi vet redan hur naturliga röstsamtal med ChatGPT kan kännas, och öppna modeller som NVIDIA PersonaPlex och MiniCPM-o 4.5 ger liknande möjligheter till utvecklare som vill bygga egna assistenter. Samtidigt gör ACE-Step det möjligt att generera kompletta låtar, och lättviktiga alternativ som Kokoro gör talgenerering mer tillgänglig.

Det finns ingen enda bästa modell för allt, och det är just det som gör området intressant. Oavsett om du vill ha exakt transkribering, realistiska röster, naturliga samtal eller genererad musik finns det sannolikt en öppen modell värd att prova.

FAQs

Vilken är den bästa öppna modellen för taligenkänning?

För flerspråkig transkribering är Qwen3-ASR-1.7B ett starkt förstahandsval: den stöder 30 språk och 22 kinesiska dialekter, och Hugging Faces Open ASR Leaderboard listar en genomsnittlig word error rate på 5,76 för den. För live-transkribering bearbetar NVIDIA Nemotron 3.5 ASR Streaming ljud i bitar så små som 80 ms. Voxtral Small är ett bättre val när du också vill ha sammanfattningar eller svar om ljudet, men den behöver cirka 55 GB GPU-minne.

Vilken text-till-tal-modell med öppen källkod kräver minst hårdvara?

Kokoro 82M behöver minst. Den har 82 miljoner parametrar, erbjuder 54 röster på 8 språk i version 1.0 och släpps under Apache 2.0-licensen. Breeze TTS 2 behöver cirka 7,7 GiB GPU-minne, och Fish Audio Drama 3 behöver 20,8 GB för vikter även i sin 4-bitarsversion.

Vilka öppna ljudmodeller kan jag använda kommersiellt?

Voxtral Small, Qwen3-ASR, Kokoro 82M och MiniCPM-o 4.5 använder Apache 2.0, och ACE-Step 1.5 är MIT-licensierad. Breeze TTS 2-vikterna är begränsade till forskning och icke-kommersiell användning, och MusicGen Large-vikterna använder CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex och Fish Audio Drama 3 använder varsin egen licens (OpenMDW-1.1, NVIDIA Open Model License och Fish Audio Community License), så läs villkoren innan du levererar.

Vilken är den bästa öppna modellen för realtidsröstsamtal?

NVIDIA PersonaPlex är en 7B full duplex-tal-till-tal-modell med kontrollerbar röst och personlighet som hanterar avbrott och överlappande tal. MiniCPM-o 4.5 lägger till livevideoinmatning, men dess officiella demo kräver ett NVIDIA-GPU med mer än 28 GB VRAM.

Kan öppna modeller generera kompletta låtar med sång?

Ja. ACE-Step 1.5 genererar kompletta låtar med sång och egna texter upp till 10 minuter, och kan köras på GPU:er med mindre än 4 GB VRAM. MusicGen Large genererar endast instrumentala spår och kan inte producera realistisk sång.

Ämnen