2026’nın En İyi 10 Açık Kaynak Yapay Zekâ Ses Modeli

Açık kaynak ses modelleri artık konuşma tanıma, metinden konuşmaya (TTS), gerçek zamanlı sesli sohbet ve müzik üretimini kapsıyor; üstelik bir kısmı tek bir tüketici GPU’sunda çalışabiliyor. Qwen3-ASR 30 dili ve 22 Çince lehçeyi yazıya döküyor, Kokoro yalnızca 82 milyon parametreyle konuşma üretiyor ve ACE-Step, 4 GB’tan az video belleği (VRAM) ile tam şarkılar yazabiliyor.

Bu rehber için, 3 ölçütü birleştirerek en iyi 10 açık kaynak ve açık ağırlıklı yapay zekâ ses modelini seçtim: GitHub’da yüksek yıldız alan depolar, Hugging Face’te yaygın olarak indirilen modeller ve Artificial Analysis kıyaslamalarında en iyi performans gösteren modeller. 4 kategoriye odaklandım: konuşma tanıma, metinden konuşmaya, gerçek zamanlı konuşmalar ve müzik üretimi.

Her model, resmi dokümantasyonuna dayalı bir hızlı başlangıç örneği içeriyor. Bazı örnekler belirli donanım, bağımlılıklar veya ek yapılandırmalar gerektirir; bu nedenle çalıştırmadan önce her modelin gereksinimlerini kontrol edin.

Kısa bir not: Bu liste küratörlüdür; katı bir karşılaştırma sıralaması değildir. Açık ağırlık, eğitilmiş ağırlıkların indirilebilir olduğu anlamına gelir; ancak lisans hâlâ kullanımınızı kısıtlayabilir. Bu nedenle her bölümde ve sonda yer alan karşılaştırma tablosunda lisansları belirttim. Örnekler resmi dokümantasyondan alınmıştır; ancak kodu şahsen test etmedim; dolayısıyla kurulumunuz ek bağımlılıklar veya yapılandırmalar gerektirebilir.

Kısaca

• Konuşma tanıma: Çok dilli doğruluk için Qwen3-ASR, düşük gecikmeli canlı transkripsiyon için Nemotron 3.5 ASR Streaming ve sesten özetler ile yanıtlara da ihtiyaç duyduğunuzda Voxtral Small.
• Metinden konuşmaya: Hafif yerel kullanım için Kokoro 82M, ifadeli çok konuşmacılı diyalog için Fish Audio Drama 3 ve ses tasarımı için Breeze TTS 2 (yalnızca ticari olmayan kullanım).
• Gerçek zamanlı konuşmalar: Yalnızca sesli ajanlar için NVIDIA PersonaPlex ve video girişi de istediğinizde MiniCPM-o 4.5.
• Müzik üretimi: Vokalli tam şarkılar için ACE-Step 1.5 ve enstrümantaller için MusicGen Large (yalnızca ticari olmayan kullanım).

En İyi Açık Kaynak Konuşma Tanıma Modelleri

Konuşma tanıma modelleri, otomatik konuşma tanıma (ASR) olarak da adlandırılır ve konuşulan sesi metne dönüştürür. Toplantı transkripsiyonu, altyazılar, podcast’ler, sesli asistanlar ve ses analizi için kullanışlıdır. Modern modeller birden çok dili tanır, canlı konuşmaları işler ve bazıları nelerin tartışıldığını mantıksal olarak değerlendirebilir.

1. Voxtral Small

Voxtral Small 24B, Mistral AI tarafından Apache 2.0 lisansı altında yayınlanan açık ağırlıklı bir konuşma anlama modelidir. 8 dili (İngilizce, İspanyolca, Fransızca, Portekizce, Hintçe, Almanca, Felemenkçe ve İtalyanca) destekler ve kayıtları yazıya dökebilir, konuşmaları özetleyebilir, ses hakkında soruları yanıtlayabilir ve konuşma komutlarını takip edebilir.

Kaynak: Voxtral Small 24B

En büyük avantajı, tek bir modelin hem konuşma tanıma hem de dilsel akıl yürütmeyi üstlenmesi; böylece ayrı bir transkripsiyon ve özetleme hattına ihtiyaç duymazsınız. Bu, toplantı analizi, röportajlar ve sesli asistanlar için uygundur. Dezavantajı ise boyutudur: 24 milyar parametreli model BF16 veya FP16’da yaklaşık 55 GB GPU belleği ister; bu da yüksek bellekli veya çoklu GPU donanımı anlamına gelir.

Yalnızca transkripsiyona ihtiyacınız varsa, Mistral’ın daha yeni Voxtral Mini 4B Realtime modeli çok daha hafiftir. Mistral, bunu Şubat 2026’da Apache 2.0 altında yayınladı ve akış gecikmesi 200 ms altına indirilebilecek şekilde yapılandırılabiliyor.

Hızlı başlangıç: vLLM ve gerekli Python paketlerini kurun.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubAltyapı:

vLLM sunucusunu başlatın. Bu yapılandırma iki GPU kullanır.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceAltyapı:

Başka bir terminal açın ve örnek bir ses kaydını yazıya dökmek için Python örneğini çalıştırın.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)Altyapı:

Betik, örnek bir kaydı indirir, yerel Voxtral sunucunuza gönderir ve transkripsiyonu yazdırır.

2. Qwen3-ASR

Qwen3-ASR, Alibaba’nın Qwen ekibinden açık kaynaklı bir konuşma tanıma model ailesidir; 0.6B ve 1.7B parametreli sürümler Apache 2.0 lisansı altındadır. 30 dili ve 22 Çince lehçeyi destekler, konuşulan dili otomatik algılar ve arka plan müziği üzerindeki konuşmaları, hatta şarkı söylemeyi yazıya dökebilir. Çok dilli transkripsiyon, altyazı, podcast ve röportajlar için iyi çalışır.

Kaynak: Qwen3-ASR

Qwen3-ASR doğruluk, hız ve esneklik arasında denge kurar. 1.7B model, Hugging Face’in Open ASR Leaderboard listesinde ortalama kelime hata oranı (WER) 5.76 raporlar; Voxtral Small için bu değer 6.62’dir (daha düşük daha iyidir). 0.6B sürümü, verimlilik için bir miktar doğruluk takası yapar.

Her iki boyut da çevrimdışı ve akış çıkarımını destekler; ancak akış için şu anda vLLM arka ucu gerekir (pip install -U qwen-asr[vllm]). Opsiyonel Qwen3-ForcedAligner-0.6B modeli, 11 dilde altyazılar için kelime seviyesinde zaman damgaları üretir.

Hızlı başlangıç: Resmî Python paketini kurun.

pip install -U qwen-asrAltyapı:

1.7B modeli yükleyin ve resmî örnek sesi yazıya dökün.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)Altyapı:

Model ilk kullanımda otomatik olarak indirilir. Konuşulan dili algılar ve transkripsiyonu yazdırır.

Örnek URL’yi kendi ses dosyanızla değiştirebilirsiniz. Bu örnek bir NVIDIA GPU kullanır.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B, gerçek zamanlı transkripsiyon için tasarlanmış hafif bir konuşma tanıma modelidir. 600 milyon parametreye sahiptir ve İngilizce, Arapça, Hintçe, İspanyolca ve Japonca dahil 40 dil yerelini destekler. Bunlardan 32’si kutudan çıkar çıkmaz yazıya döker, 8’i ise önce ince ayar gerektirir.

Kaynak: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

Hızı, önbellek farkındalıklı akış mimarisinden gelir. Kayıtların tamamını yeniden işlemek yerine yeni ses parçalarını işlerken, önbelleğe alınmış kodlayıcı bağlamını yeniden kullanır; parça boyutları 80 milisaniye kadar küçük olabilir. Tek bir H100 üzerinde, NVIDIA 80 ms ayarında yaklaşık 17 kata kadar daha fazla eşzamanlı akış rapor eder (240’a karşı 14, tamponlu Parakeet RNNT 1.1B modele kıyasla).

Bu da onu canlı altyazılar, toplantılar ve düşük gecikmeli sesli asistanlar için güçlü bir seçim yapar. Ağırlıklar OpenMDW-1.1 lisansını kullanır; NVIDIA’nın model kartı bunun ticari kullanıma hazır olduğunu belirtir ve model yerel olarak NVIDIA’nın NeMo-Speech.cpp çalışma zamanı üzerinden çalışır.

Hızlı başlangıç: Linux veya macOS’ta NeMo-Speech.cpp’yi kurun.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shAltyapı:

Bir WAV dosyasını yazıya dökün. CLI, ilk kullanımda varsayılan Nemotron 3.5 modelini indirir.

nemo-speech transcribe audio.wavAltyapı:

Dosyayı 160 ms’lik parçalarla akış tanıyıcıdan geçiren akışlı transkripsiyonu test etmek için:

nemo-speech transcribe audio.wav --streamAltyapı:

Desteklenen derlemelerde gerçek zamanlı mikrofon transkripsiyonu için:

nemo-speech transcribe --liveAltyapı:

audio.wav dosyasını kendi kaydınızla değiştirin. Çalışma zamanı CPU ve uyumlu GPU arka uçlarını destekler; bu nedenle başlamak için büyük bir GPU’ya ihtiyacınız yoktur.

En İyi Açık Kaynak Metinden Konuşmaya Modelleri

Metinden konuşmaya (TTS) modelleri, yazılı metni doğal sesli seslere dönüştürür. Modern modeller ses klonlayabilir, duygu ifade edebilir, çok konuşmacılı diyalog üretebilir ve birden çok dilde konuşabilir. İşte keşfetmeye değer 3 açık ağırlıklı model.

4. Fish Audio Drama 3

Fish Audio Drama 3, çok karakterli sahneler ve uzun biçimli içerik için oluşturulmuş ifadeli bir metinden konuşmaya modelidir. 35 milyar parametreli uzman karışımı (mixture-of-experts) mimarisi kullanır; ancak belirteç başına yalnızca yaklaşık 3 milyarını etkinleştirir. Ses klonlama, doğal dille ses kontrolü ve 16 konuşmacıya kadar diyalog desteği sunar; bu da sesli kitaplar ve karakter odaklı içerikler için uygundur.

Kaynak: Fish Audio Drama 3 Teknik Raporu

Dikkat çeken nokta duygusal yelpazesi. Metne doğrudan [sighs] ve [laughs] gibi satır içi etiketler koyabilir, tek bir senaryoda 16’ya kadar konuşmacı etiketi atayabilir ve uzun pasajları parça parça akıtabilirsiniz. Fish Audio, H200 GPU’da tek akış için ilk sese (time to first audio) yaklaşık 89 ms bildirmekte ve model SGLang-Omni ile vLLM-Omni üzerinden çalışmaktadır.

Dezavantajı boyutu ve lisansıdır. Yalnızca FP8 denetim noktası ağırlıklar için 37 GB ister; 4-bit GPTQ sürümü bunu 20.8 GB’a düşürür. Ağırlıklar Fish Audio Community License kullanır; ticari kullanım öncesinde şartları okuyun.

Hızlı başlangıç: NVIDIA GPU’lu desteklenen bir Linux sisteminde SGLang-Omni ve Fish Audio bağımlılıklarını kurun.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"Altyapı:

Modeli indirin ve sunucuyu başlatın:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000Altyapı:

Başka bir terminal açın ve konuşma üretin:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavAltyapı:

Model konuşma üretir ve output.wav olarak kaydeder. Girişi değiştirebilir veya ses klonlama ve çok konuşmacılı üretimi resmî Drama 3 kitabı ile keşfedebilirsiniz.

5. Breeze TTS 2

Breeze TTS 2, İngilizce ve Çince için 3 milyar parametreli bir metinden konuşmaya modelidir. Referans kayıttan ses klonlamayı, düz dil açıklamasından ses tasarımını ve ton, duygu ve aktarım için doğal dil talimatlarını destekler.

Kaynak: Breeze TTS 2

BreezeBlue’nun model kartına göre, Artificial Analysis TTS listesinde açık ağırlıklı modeller arasında birinci sıradadır ve H100 üzerinde hızlı yol ile 40 ms’nin altında ilk sese ulaşır. Ayrıca (laugh), (sigh) ve (cough) gibi satır içi vokal olaylarını destekler.

Bu, onu etkileşimli sesli uygulamalar için uygun kılar; ancak kendi barındırdığınız ağırlıklar ve çıktılar araştırma ve ticari olmayan kullanım ile sınırlıdır. Yalnızca kaynak kodu Apache 2.0’dır.

Hızlı başlangıç: Linux’ta, Python 3.10+ ve CUDA uyumlu NVIDIA GPU ile resmî depoyu klonlayın ve bağımlılıkları kurun.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubAltyapı:

Model denetim noktasını indirin:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2Altyapı:

Resmî ses tasarımı örneğiyle konuşma üretin. Bu, referans ses gerektirmez.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavAltyapı:

Model, ses tanımını kullanarak konuşma üretir ve outputs/voice_design_en.wav olarak kaydeder. Varsayılan çıkarım modu yaklaşık 7.7 GiB GPU belleği ister (--fast-all seçeneğiyle 14.4 GiB) ve en az 12 GB GPU önerilir. Ayrıca resmî Breeze TTS 2 dokümantasyonu üzerinden ses klonlama ve akışı deneyebilirsiniz.

6. Kokoro 82M

Kokoro 82M, yalnızca 82 milyon parametreye sahip hafif bir metinden konuşmaya modelidir. v1.0 sürümü 8 dilde 54 ses sunar. Üst düzey bir GPU olmadan konuşma üretimiyle denemeler yapmak isteyen geliştiriciler için daha erişilebilir seçeneklerden biridir.

Kaynak: Kokoro 82M

Kokoro’nun başlıca avantajı verimliliktir. Çevrimdışı anlatım, erişilebilirlik araçları ve sesli asistanlar için uygundur ve Apache 2.0 ağırlıkları, ticari projelerde kullanabileceğiniz anlamına gelir.

Hızlı başlangıç: Kokoro’yu doğrudan Google Colab’de çalıştırabilirsiniz. Önce gerekli paketleri kurun:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1Altyapı:

Resmî Python arayüzünü kullanarak konuşma üretin:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)Altyapı:

Model, Amerikan İngilizcesi af_heart sesini kullanarak konuşma üretir, Colab’de sesi çalar ve WAV dosyası olarak kaydeder. Metni, sesi veya dili resmî Kokoro model kartını kullanarak değiştirebilirsiniz.

En İyi Açık Kaynak Gerçek Zamanlı Ses LLM’leri

Gerçek zamanlı ses büyük dil modelleri (LLM’ler), konuşulan soruları dinler ve doğal sesli yanıtlar üretir. Ayrı konuşma tanıma ve metinden konuşmaya sistemlerini zincirlemek yerine, kesintileri ve aynı anda dinleyip konuşmayı yöneterek kesintisiz diyalogları tek bir modelde ele alırlar.

7. MiniCPM-o 4.5

MiniCPM-o 4.5, OpenBMB’den gelen, görüntü, video, ses ve metni anlayan ve konuşma ile yanıt veren 9 milyar parametreli çok modlu bir modeldir. İngilizce ve Çince’de gerçek zamanlı sesli sohbetleri, ses klonlamayı ve tam çift yönlü etkileşimi destekler. Tam çift yönlülük, modelin her turu beklemek yerine aynı anda dinleyip izleyip konuşabilmesi anlamına gelir.

Kaynak: MiniCPM-o 4.5

Ayırt edici özelliği, görsel anlama ile sesli etkileşimin birleşimidir. Canlı kamera akışı hakkında sorulan sözlü soruları yanıtlayan, çevreyi betimleyen veya video işlerken konuşmalara yanıt veren asistanlar oluşturabilirsiniz. Ağırlıklar Apache 2.0 lisanslıdır ve geliştiriciler kullanıma hazır bir web demosu sağlar; ancak tam çift yönlü akış hâlen deneyseldir.

Hızlı başlangıç: Resmî MiniCPM-o 4.5 web demosu canlı ses ve video konuşmalarını destekler. Linux, Docker Compose, NVIDIA Container Toolkit ve 28 GB’tan fazla VRAM’e sahip bir NVIDIA GPU gerekir.

Önce resmî demo deposunu klonlayın:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoAltyapı:

Model denetim noktasını indirin:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5Altyapı:

Yerel HTTPS sertifikasını oluşturun:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"Altyapı:

Docker Compose ile web demosunu başlatın:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0Altyapı:

/path/to/MiniCPM-o-4_5 yolunu indirilen denetim noktasının mutlak yolu ile değiştirin ve docker-compose.yml dosyasını GPU sayınıza göre düzenleyin. 8006 portundaki HTTPS web arayüzünü açın ve mikrofon ile kamera erişimine izin verin.

Canlı sesli sohbet için Audio Full-Duplex’i veya hem video hem sesle etkileşim için Omnimodal Full-Duplex’i seçin. Sorular sorabilir, modeli yarıda kesebilir ve kesintisiz konuşmaları deneyebilirsiniz.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex, doğal ve gerçek zamanlı konuşmalar için tasarlanmış 7 milyar parametreli bir sesten sese modelidir. Moshi mimarisi üzerine kuruludur ve tam çift yönlü iletişimi destekler; böylece aynı anda dinleyip konuşabilir. Ayrı transkripsiyon ve konuşma üretim sistemlerine ihtiyaç duymadan kesintileri ve çakışan konuşmaları yönetir.

Kaynak: NVIDIA PersonaPlex

PersonaPlex, asistanın sesini ve kişiliğini kontrol etmenize olanak tanır; böylece geliştiriciler müşteri hizmetleri asistanları, sanal eğitmenler ve diğer sesli ajanlar için konuşma rolünü ve konuşma tarzını özelleştirebilir. Sesli konuşmalara odaklanır ve görsel girdi yoktur; video gerekiyorsa MiniCPM-o’yu seçin. Ağırlıklar NVIDIA Open Model License altında yayınlanmıştır.

Hızlı başlangıç: Desteklenen bir Linux sisteminde NVIDIA GPU ile resmî depoyu klonlayın ve bağımlılıkları kurun.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.Altyapı:

Hugging Face’te model lisansını kabul edin ve erişim belirtecinizi yapılandırın:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"Altyapı:

Resmî PersonaPlex sunucusunu başlatın:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"Altyapı:

GPU belleğiniz sınırlıysa, accelerate paketini gerektiren --cpu-offload bayrağını ekleyin.

https://localhost:8998 adresini tarayıcınızda açın ve mikrofona izin verin. Artık PersonaPlex ile doğrudan konuşabilir, sorular sorabilir, yanıtlarını yarıda kesebilir ve farklı ses kişiliklerini test edebilirsiniz.

En İyi Açık Kaynak Ses ve Müzik Üretimi Modelleri

Ses üretimi modelleri, metin istemlerinden özgün müzikler, enstrümantaller ve melodiler oluşturur. Bazıları ayrıca vokalli tam şarkılar üretebilir, mevcut kayıtları düzenleyebilir veya bir referans melodiye dayalı müzik oluşturabilir.

9. ACE-Step 1.5

ACE-Step 1.5, metin açıklamalarından tam şarkılar oluşturan açık kaynaklı bir müzik üretimi modelidir. Vokalleri, özel şarkı sözlerini, birden çok müzik stilini ve 10 dakikaya kadar şarkıları destekler. Ayrıca tempo, tonalite ve süreyi kontrol edebilir veya mevcut kayıtlardan cover’lar oluşturabilir ve bir şarkının bölümlerini düzenleyebilirsiniz.

Kaynak: ACE-Step 1.5

ACE-Step, daha büyük müzik üretimi modelleriyle kıyaslandığında erişilebilirliğiyle öne çıkar. NVIDIA, AMD, Intel ve Apple Silicon donanımında çalışır ve teknik raporuna göre 4 GB’tan az VRAM’e sahip GPU’larda da çalışabilir. Projenin README’si, bir A100’de tam şarkı başına 2 saniyenin altında, RTX 3090’da ise 10 saniyenin altında olduğunu iddia eder.

Bir Gradio web arayüzü ve bir REST API içerir. 4B parametreli DiT kod çözücü kullanan XL varyantları, bellek karşılığında ses kalitesi sunar ve offload ile en az 12 GB, offload olmadan 20 GB VRAM gerektirir. Proje MIT lisanslıdır.

Hızlı başlangıç: Linux veya macOS’ta uv paket yöneticisini kurun:

curl -LsSf https://astral.sh/uv/install.sh | shAltyapı:

Resmî depoyu klonlayın ve bağımlılıkları kurun:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncAltyapı:

Müzik üretim arayüzünü başlatın:

uv run acestepAltyapı:

Tarayıcınızda http://localhost:7860 adresini açın. Uygulama, ilk başlatmada gerekli model dosyalarını indirir ve donanımınız için otomatik olarak bir yapılandırma seçer.

Müzik oluşturmak için, enerjik davullar ve sentezleyicilerle neşeli bir elektronik parça gibi istediğiniz şarkının bir açıklamasını girin. Özel şarkı sözleri verebilir, süreyi ayarlayabilir veya enstrümantal bir parça seçebilirsiniz. Üretim düğmesine tıklayarak müziğinizi oluşturun, sonucu dinleyin ve ses dosyasını indirin.

10. Meta MusicGen Large

MusicGen Large, Meta’nın AudioCraft projesinin bir parçası olarak geliştirilen 3.3 milyar parametreli bir metinden müziğe modelidir. Türler, ruh hâlleri, enstrümanlar ve müzik stillerini kapsayan metin açıklamalarından enstrümantal müzik üretir. Orijinal MusicGen yayınındaki en büyük metinden müziğe denetim noktasıdır.

Kaynak: MusicGen Large

MusicGen Large, birkaç kelimeden ayrıntılı arka plan müzikleri, film müzikleri ve enstrümantal klipler üretir ve Hugging Face Transformers ile AudioCraft ile çalışır. Bu listedeki en eski modeldir. Meta, Nisan ve Mayıs 2023’te 20.000 saatlik lisanslı müzik üzerinde eğitti ve gerçekçi vokaller üretemez.

Bir GPU önerilir. Önceden eğitilmiş ağırlıklar, ticari kullanımı kısıtlayan CC BY-NC 4.0 lisansını kullanırken, kod MIT lisanslıdır.

Hızlı başlangıç: Transformers ve SciPy’ı kurun.

pip install --upgrade transformers scipyAltyapı:

Metin isteminden müzik üretmek için resmî Hugging Face örneğini kullanın:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)Altyapı:

Model ilk kullanımda otomatik olarak indirilir, isteme dayalı bir enstrümantal parça üretir ve musicgen_out.wav olarak kaydeder. Farklı müzik türleri, enstrümanlar ve ruh hâlleriyle denemek için metni değiştirebilirsiniz.

Hangi Açık Kaynak Yapay Zekâ Ses Modelini Seçmelisiniz?

En iyi model; konuşmayı yazıya dökmek, gerçekçi sesler üretmek, gerçek zamanlı bir asistan oluşturmak veya müzik yaratmak isteyip istemediğinize bağlıdır. Bu karşılaştırma, her kullanım durumu için yetenekleri, model boyutunu ve lisansı kapsar.

Son Düşünceler

Açık kaynak ses modelleri; konuşma tanıma, metinden konuşmaya, gerçek zamanlı konuşma ve müzik üretimi alanlarında hızla gelişiyor. Daha doğru, daha hızlı ve çalıştırması daha kolay hâle geliyorlar; böylece geliştiriciler tamamen pahalı ticari hizmetlere bağımlı kalmadan ses uygulamaları oluşturabiliyor.

Ben şahsen, transkripsiyon işlerimin neredeyse tamamında Spokenly üzerinden Voxtral kullanıyorum ve çok memnunum. Doğruluğu etkileyici; açık ağırlıklı model çok büyük olmasına rağmen Mistral’ın barındırılan API’sini çağırıyorum ve benim kullanımımda ücretsiz oldu. Bu, bu modellerin günlük görevler için nasıl pratik hâle geldiğine iyi bir örnek.

Beni daha da heyecanlandıran şey, konuşmaya dayalı yapay zekâdaki ilerleme. ChatGPT ile doğal sesli konuşmaların ne kadar gerçekçi hissettirdiğini zaten biliyoruz; NVIDIA PersonaPlex ve MiniCPM-o 4.5 gibi açık kaynak modeller, kendi asistanlarını oluşturmak isteyen geliştiricilere benzer yetenekler sunuyor. Bu arada, ACE-Step tam şarkılar üretmeyi mümkün kılarken, Kokoro gibi hafif seçenekler konuşma üretimini daha erişilebilir kılıyor.

Her şey için tek bir en iyi model yok ve bu da alanı ilgi çekici kılıyor. İster doğru transkripsiyon, ister gerçekçi sesler, doğal konuşmalar veya üretilmiş müzik isteyin; muhtemelen denemeye değer bir açık kaynak model vardır.