10 Model Audio AI Open Source Teratas di 2026

Model audio open source kini mencakup pengenalan ujaran, teks-ke-ucapan, percakapan suara waktu nyata, dan pembuatan musik, dan beberapa di antaranya dapat berjalan pada satu GPU konsumen. Qwen3-ASR mentranskripsi 30 bahasa dan 22 dialek Tionghoa, Kokoro menghasilkan ucapan hanya dengan 82 juta parameter, dan ACE-Step menulis lagu lengkap dengan kurang dari 4 GB memori video (VRAM).

Untuk panduan ini, saya memilih 10 model audio AI open source dan open-weight terbaik dengan menggabungkan 3 faktor: repositori GitHub dengan jumlah bintang tinggi, model yang banyak diunduh di Hugging Face, dan model berperforma terbaik dari tolok ukur Artificial Analysis. Saya membahas 4 kategori: pengenalan ujaran, teks-ke-ucapan, percakapan waktu nyata, dan pembuatan musik.

Setiap model menyertakan contoh mulai cepat berdasarkan dokumentasi resminya. Beberapa contoh membutuhkan perangkat keras, dependensi, atau konfigurasi tambahan tertentu, jadi periksa persyaratan tiap model sebelum Anda menjalankannya.

Catatan singkat: Ini adalah daftar kurasi, bukan peringkat tolok ukur yang ketat. Open-weight berarti bobot terlatih dapat diunduh, tetapi lisensi tetap dapat membatasi cara Anda menggunakannya, jadi saya menandai lisensi di setiap bagian dan dalam tabel perbandingan di akhir. Contoh berasal dari dokumentasi resmi, tetapi saya belum menguji kodenya secara pribadi, sehingga penyiapan Anda mungkin memerlukan dependensi atau konfigurasi tambahan.

Intinya

• Pengenalan ujaran: Qwen3-ASR untuk akurasi multibahasa, Nemotron 3.5 ASR Streaming untuk transkripsi langsung berlatensi rendah, dan Voxtral Small saat Anda juga menginginkan ringkasan dan jawaban tentang audio.
• Teks-ke-ucapan: Kokoro 82M untuk penggunaan ringan secara lokal, Fish Audio Drama 3 untuk dialog multi-pembicara yang ekspresif, dan Breeze TTS 2 untuk desain suara (hanya non-komersial).
• Percakapan waktu nyata: NVIDIA PersonaPlex untuk agen suara hanya audio, dan MiniCPM-o 4.5 saat Anda juga menginginkan masukan video.
• Pembuatan musik: ACE-Step 1.5 untuk lagu lengkap dengan vokal, dan MusicGen Large untuk instrumental (hanya non-komersial).

Model Pengenalan Ujaran Open Source Terbaik

Model pengenalan ujaran, juga disebut model automatic speech recognition (ASR), mengonversi audio ucapan menjadi teks. Model ini berguna untuk transkripsi rapat, subtitle, podcast, asisten suara, dan analisis audio. Model modern juga mengenali banyak bahasa, memproses percakapan langsung, dan beberapa dapat menalar tentang apa yang dibicarakan.

1. Voxtral Small

Voxtral Small 24B adalah model pemahaman ujaran open-weight dari Mistral AI, dirilis di bawah lisensi Apache 2.0. Model ini mendukung 8 bahasa (Inggris, Spanyol, Prancis, Portugis, Hindi, Jerman, Belanda, dan Italia) dan dapat mentranskripsi rekaman, merangkum percakapan, menjawab pertanyaan tentang audio, serta mengikuti instruksi lisan.

Sumber: Voxtral Small 24B

Keunggulan terbesarnya adalah satu model menangani pengenalan ujaran dan penalaran bahasa sekaligus, sehingga Anda tidak memerlukan pipeline terpisah untuk transkripsi dan peringkasan. Ini cocok untuk analisis rapat, wawancara, dan asisten suara. Tantangannya adalah ukuran: model 24 miliar parameter memerlukan sekitar 55 GB memori GPU dalam BF16 atau FP16, yang berarti perangkat keras dengan memori besar atau multi-GPU.

Jika Anda hanya membutuhkan transkripsi, Voxtral Mini 4B Realtime yang lebih baru dari Mistral jauh lebih ringan. Mistral merilisnya pada Februari 2026 di bawah Apache 2.0, dengan latensi streaming dapat dikonfigurasi hingga di bawah 200 ms.

Mulai cepat: Instal vLLM dan paket Python yang diperlukan.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubDidukung oleh

Jalankan server vLLM. Konfigurasi ini menggunakan dua GPU.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceDidukung oleh

Buka terminal lain dan jalankan contoh Python untuk mentranskripsi rekaman audio sampel.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)Didukung oleh

Skrip ini mengunduh rekaman sampel, mengirimkannya ke server Voxtral lokal Anda, dan mencetak transkripsinya.

2. Qwen3-ASR

Qwen3-ASR adalah keluarga model pengenalan ujaran open source dari tim Qwen milik Alibaba, tersedia dalam versi 0,6B dan 1,7B parameter di bawah lisensi Apache 2.0. Model ini mendukung 30 bahasa dan 22 dialek Tionghoa, mendeteksi bahasa yang diucapkan secara otomatis, dan dapat mentranskripsi ucapan dengan latar musik, termasuk nyanyian. Cocok untuk transkripsi multibahasa, subtitle, podcast, dan wawancara.

Sumber: Qwen3-ASR

Qwen3-ASR menyeimbangkan akurasi, kecepatan, dan fleksibilitas. Model 1,7B mencatat rata-rata word error rate (WER) sebesar 5,76 pada Open ASR Leaderboard milik Hugging Face, dibandingkan 6,62 untuk Voxtral Small (semakin rendah semakin baik). Versi 0,6B menukar sebagian akurasi untuk efisiensi.

Kedua ukuran mendukung inferensi offline dan streaming, meskipun streaming saat ini memerlukan backend vLLM (pip install -U qwen-asr[vllm]). Model opsional Qwen3-ForcedAligner-0.6B menghasilkan cap waktu tingkat kata untuk subtitle dalam 11 bahasa yang didukung.

Mulai cepat: Instal paket Python resmi.

pip install -U qwen-asrDidukung oleh

Muat model 1,7B dan transkripsikan audio sampel resmi.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)Didukung oleh

Model akan diunduh secara otomatis saat pertama kali digunakan. Model mendeteksi bahasa yang diucapkan dan mencetak transkripsinya.

Anda dapat mengganti URL sampel dengan file audio Anda sendiri. Contoh ini menggunakan GPU NVIDIA.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B adalah model pengenalan ujaran ringan yang dibuat untuk transkripsi waktu nyata. Model ini memiliki 600 juta parameter dan mendukung 40 locale bahasa, termasuk Inggris, Arab, Hindi, Spanyol, dan Jepang. Dari jumlah tersebut, 32 dapat mentranskripsi langsung dan 8 perlu fine-tuning terlebih dahulu.

Sumber: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

Kecepatannya berasal dari arsitektur streaming yang sadar cache. Alih-alih memproses ulang seluruh rekaman, model memproses potongan audio baru sambil menggunakan kembali konteks encoder yang di-cache, dengan ukuran potongan sekecil 80 milidetik. Pada satu H100, NVIDIA melaporkan sekitar 17x lebih banyak stream bersamaan dibanding model buffered Parakeet RNNT 1.1B pada pengaturan 80 ms (240 versus 14).

Itu menjadikannya pilihan kuat untuk subtitle langsung, rapat, dan asisten suara berlatensi rendah. Bobotnya menggunakan lisensi OpenMDW-1.1, yang menurut kartu model NVIDIA siap untuk penggunaan komersial, dan model berjalan secara lokal melalui runtime NeMo-Speech.cpp milik NVIDIA.

Mulai cepat: Instal NeMo-Speech.cpp di Linux atau macOS.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shDidukung oleh

Transkripsikan file WAV. CLI akan mengunduh model Nemotron 3.5 default saat pertama digunakan.

nemo-speech transcribe audio.wavDidukung oleh

Untuk menguji transkripsi streaming, yang mengalirkan file melalui pengenal streaming dalam potongan 160 ms, jalankan:

nemo-speech transcribe audio.wav --streamDidukung oleh

Untuk transkripsi mikrofon waktu nyata pada build yang didukung:

nemo-speech transcribe --liveDidukung oleh

Ganti audio.wav dengan rekaman Anda sendiri. Runtime mendukung backend CPU dan GPU yang kompatibel, jadi Anda tidak memerlukan GPU besar hanya untuk mulai mencoba.

Model Teks-ke-Ucapan Open Source Terbaik

Model teks-ke-ucapan (TTS) mengubah teks tertulis menjadi audio yang terdengar alami. Model modern dapat mengkloning suara, mengekspresikan emosi, menghasilkan dialog multi-pembicara, dan berbicara dalam banyak bahasa. Berikut 3 model open-weight yang layak dieksplorasi.

4. Fish Audio Drama 3

Fish Audio Drama 3 adalah model teks-ke-ucapan ekspresif yang dibuat untuk adegan multi-karakter dan konten bentuk panjang. Model ini menggunakan arsitektur mixture-of-experts dengan 35 miliar parameter, tetapi hanya mengaktifkan sekitar 3 miliar per token. Mendukung pengklonan suara, kontrol suara dengan bahasa natural, dan dialog hingga 16 pembicara, cocok untuk buku audio dan konten berorientasi karakter.

Sumber: Laporan Teknis Fish Audio Drama 3

Yang menonjol adalah rentang emosinya. Anda dapat menempatkan tag inline seperti [sighs] dan [laughs] langsung di teks, menetapkan hingga 16 tag pembicara dalam satu naskah, dan melakukan streaming paragraf panjang per potongan. Fish Audio melaporkan waktu ke audio pertama sekitar 89 ms untuk satu stream pada GPU H200, dan model berjalan melalui SGLang-Omni dan vLLM-Omni.

Tantangannya adalah ukuran dan lisensi. Checkpoint FP8 memerlukan 37 GB hanya untuk bobot, dan versi GPTQ 4-bit memangkasnya menjadi 20,8 GB. Bobotnya menggunakan Fish Audio Community License, jadi baca ketentuannya sebelum penggunaan komersial.

Mulai cepat: Instal SGLang-Omni dan dependensi Fish Audio-nya pada sistem Linux yang didukung dengan GPU NVIDIA.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"Didukung oleh

Unduh model dan jalankan server:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000Didukung oleh

Buka terminal lain dan hasilkan ucapan:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavDidukung oleh

Model menghasilkan ucapan dan menyimpannya sebagai output.wav. Anda dapat mengubah teks masukan atau mengeksplorasi pengklonan suara dan generasi multi-pembicara menggunakan buku panduan Drama 3 resmi.

5. Breeze TTS 2

Breeze TTS 2 adalah model teks-ke-ucapan 3 miliar parameter untuk bahasa Inggris dan Tionghoa. Model ini mendukung pengklonan suara dari rekaman referensi, desain suara dari deskripsi bahasa biasa, dan instruksi natural-language untuk nada, emosi, dan gaya penyampaian.

Sumber: Breeze TTS 2

Kartu model BreezeBlue menyebutkan model ini menempati peringkat pertama di antara model open-weight pada papan peringkat TTS Artificial Analysis, dengan waktu ke audio pertama di bawah 40 ms pada H100 menggunakan jalur cepat. Model ini juga mendukung peristiwa vokal inline seperti (laugh), (sigh), dan (cough).

Itu membuatnya cocok untuk aplikasi suara interaktif, tetapi bobot dan keluarannya yang di-host sendiri dibatasi untuk penelitian dan penggunaan non-komersial. Hanya kode sumber yang berlisensi Apache 2.0.

Mulai cepat: Di Linux dengan Python 3.10 atau lebih baru dan GPU NVIDIA yang kompatibel dengan CUDA, klon repositori resmi dan instal dependensi.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubDidukung oleh

Unduh checkpoint model:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2Didukung oleh

Hasilkan ucapan menggunakan contoh desain suara resmi. Ini tidak memerlukan audio referensi.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavDidukung oleh

Model menghasilkan ucapan menggunakan deskripsi suara dan menyimpannya sebagai outputs/voice_design_en.wav. Mode inferensi default memerlukan sekitar 7,7 GiB memori GPU (14,4 GiB dengan opsi --fast-all), dan GPU 12 GB adalah rekomendasi minimum. Anda juga dapat mencoba pengklonan suara dan streaming melalui dokumentasi resmi Breeze TTS 2.

6. Kokoro 82M

Kokoro 82M adalah model teks-ke-ucapan ringan dengan hanya 82 juta parameter. Rilis v1.0 menawarkan 54 suara di 8 bahasa. Ini adalah salah satu opsi yang lebih mudah diakses bagi pengembang yang ingin bereksperimen dengan pembuatan ucapan tanpa GPU kelas atas.

Sumber: Kokoro 82M

Keunggulan utama Kokoro adalah efisiensi. Model ini cocok untuk narasi offline, alat aksesibilitas, dan asisten suara, dan bobot Apache 2.0 berarti Anda dapat menggunakannya dalam proyek komersial.

Mulai cepat: Anda dapat menjalankan Kokoro langsung di Google Colab. Pertama, instal paket yang diperlukan:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1Didukung oleh

Hasilkan ucapan menggunakan antarmuka Python resmi:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)Didukung oleh

Model menghasilkan ucapan menggunakan suara bahasa Inggris Amerika af_heart, memutar audio di Colab, dan menyimpannya sebagai file WAV. Anda dapat mengubah teks, suara, atau bahasa menggunakan kartu model Kokoro resmi.

LLM Audio Waktu Nyata Open Source Terbaik

Model bahasa besar (LLM) audio waktu nyata mendengarkan pertanyaan lisan dan menghasilkan respons suara yang alami. Alih-alih merangkai sistem pengenalan ujaran dan teks-ke-ucapan terpisah, model ini menangani percakapan berkelanjutan, interupsi, serta mendengarkan dan berbicara secara simultan dalam satu model.

7. MiniCPM-o 4.5

MiniCPM-o 4.5 adalah model multimodal 9 miliar parameter dari OpenBMB yang memahami gambar, video, audio, dan teks serta merespons dengan ucapan. Model ini mendukung percakapan suara waktu nyata dalam bahasa Inggris dan Tionghoa, pengklonan suara, dan interaksi full-duplex. Full-duplex berarti model dapat mendengarkan, melihat, dan berbicara secara bersamaan alih-alih menunggu setiap giliran selesai.

Sumber: MiniCPM-o 4.5

Fitur pembeda utamanya adalah kombinasi pemahaman visual dan interaksi suara. Anda dapat membangun asisten yang menjawab pertanyaan lisan tentang feed kamera langsung, mendeskripsikan sekelilingnya, atau merespons percakapan sambil memproses video. Bobotnya berlisensi Apache 2.0, dan pengembang menyediakan demo web siap pakai, meskipun streaming full-duplex masih eksperimental.

Mulai cepat: Demo web MiniCPM-o 4.5 resmi mendukung percakapan audio dan video langsung. Anda memerlukan Linux, Docker Compose, NVIDIA Container Toolkit, dan GPU NVIDIA dengan lebih dari 28 GB VRAM.

Pertama, klon repositori demo resmi:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoDidukung oleh

Unduh checkpoint model:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5Didukung oleh

Hasilkan sertifikat HTTPS lokal:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"Didukung oleh

Jalankan demo web menggunakan Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0Didukung oleh

Ganti /path/to/MiniCPM-o-4_5 dengan path absolut ke checkpoint yang diunduh, dan sunting docker-compose.yml agar sesuai dengan jumlah GPU Anda. Buka antarmuka web HTTPS pada port 8006 dan izinkan akses mikrofon dan kamera.

Pilih Audio Full-Duplex untuk melakukan percakapan suara langsung, atau Omnimodal Full-Duplex untuk berinteraksi menggunakan video dan audio sekaligus. Anda dapat mengajukan pertanyaan, menyela model, dan bereksperimen dengan percakapan berkelanjutan.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex adalah model ucapan-ke-ucapan 7 miliar parameter yang dirancang untuk percakapan alami dan waktu nyata. Dibangun di atas arsitektur Moshi, model ini mendukung komunikasi full-duplex, sehingga dapat mendengarkan dan berbicara secara bersamaan. Model ini menangani interupsi dan tumpang tindih ucapan tanpa sistem transkripsi dan generasi ucapan terpisah.

Sumber: NVIDIA PersonaPlex

PersonaPlex memungkinkan Anda mengendalikan suara dan kepribadian asisten, sehingga pengembang dapat menyesuaikan peran percakapan dan gaya bicaranya untuk asisten layanan pelanggan, tutor virtual, dan agen suara lainnya. Model ini berfokus pada percakapan audio dan tidak memiliki masukan visual, jadi pilih MiniCPM-o jika Anda memerlukan video. Bobotnya dirilis di bawah NVIDIA Open Model License.

Mulai cepat: Klon repositori resmi dan instal dependensi pada sistem Linux yang didukung dengan GPU NVIDIA.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.Didukung oleh

Terima lisensi model di Hugging Face dan konfigurasikan token akses Anda:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"Didukung oleh

Jalankan server PersonaPlex resmi:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"Didukung oleh

Jika memori GPU Anda terbatas, tambahkan flag --cpu-offload, yang memerlukan paket accelerate.

Buka https://localhost:8998 di browser Anda dan izinkan akses mikrofon. Kini Anda dapat berbicara langsung dengan PersonaPlex, mengajukan pertanyaan, menyela responsnya, dan menguji berbagai kepribadian suara.

Model Audio dan Pembuatan Musik Open Source Terbaik

Model pembuatan audio menciptakan musik orisinal, instrumental, dan melodi dari prompt teks. Beberapa juga dapat menghasilkan lagu lengkap dengan vokal, mengedit rekaman yang ada, atau membuat musik berdasarkan melodi referensi.

9. ACE-Step 1.5

ACE-Step 1.5 adalah model pembuatan musik open source yang menciptakan lagu lengkap dari deskripsi teks. Model ini mendukung vokal, lirik kustom, beragam gaya musik, dan lagu hingga 10 menit. Anda juga dapat mengendalikan tempo, tangga nada, dan durasi, atau menggunakan rekaman yang ada untuk membuat cover dan mengedit bagian lagu.

Sumber: ACE-Step 1.5

ACE-Step menonjol karena tingkat aksesibilitasnya dibanding model pembuatan musik yang lebih besar. Model ini berjalan di perangkat keras NVIDIA, AMD, Intel, dan Apple Silicon, dan laporan teknis menyebutkan dapat berjalan pada GPU dengan kurang dari 4 GB VRAM. README proyek mengklaim di bawah 2 detik per lagu penuh pada A100 dan di bawah 10 detik pada RTX 3090.

Model ini menyertakan antarmuka web Gradio dan REST API. Varian XL, yang menggunakan decoder DiT 4B parameter, menukar memori untuk kualitas audio dan memerlukan setidaknya 12 GB VRAM dengan offloading atau 20 GB tanpa. Proyek ini berlisensi MIT.

Mulai cepat: Instal manajer paket uv di Linux atau macOS:

curl -LsSf https://astral.sh/uv/install.sh | shDidukung oleh

Klon repositori resmi dan instal dependensi:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncDidukung oleh

Luncurkan antarmuka pembuatan musik:

uv run acestepDidukung oleh

Buka http://localhost:7860 di browser Anda. Aplikasi akan mengunduh file model yang diperlukan saat pertama kali diluncurkan dan secara otomatis memilih konfigurasi untuk perangkat keras Anda.

Untuk membuat musik, masukkan deskripsi lagu yang Anda inginkan, misalnya trek elektronik upbeat dengan drum dan synthesizer yang energik. Anda juga dapat memberikan lirik kustom, menyesuaikan durasi, atau memilih trek instrumental. Klik tombol generasi untuk membuat musik, dengarkan hasilnya, dan unduh file audio.

10. Meta MusicGen Large

MusicGen Large adalah model teks-ke-musik 3,3 miliar parameter yang dikembangkan oleh Meta sebagai bagian dari proyek AudioCraft. Model ini menghasilkan musik instrumental dari deskripsi teks yang mencakup genre, suasana, instrumen, dan gaya musik. Ini adalah checkpoint teks-ke-musik terbesar dalam rilis MusicGen asli.

Sumber: MusicGen Large

MusicGen Large menghasilkan musik latar, soundtrack, dan klip instrumental yang detail dari beberapa kata, dan bekerja dengan Hugging Face Transformers serta AudioCraft. Ini juga model tertua dalam daftar ini. Meta melatihnya pada April dan Mei 2023 pada 20.000 jam musik berlisensi, dan model ini tidak dapat menghasilkan vokal yang realistis.

GPU direkomendasikan. Bobot pralatih menggunakan lisensi CC BY-NC 4.0, yang membatasi penggunaan komersial, sementara kodenya berlisensi MIT.

Mulai cepat: Instal Transformers dan SciPy.

pip install --upgrade transformers scipyDidukung oleh

Gunakan contoh resmi Hugging Face untuk membuat musik dari prompt teks:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)Didukung oleh

Model diunduh secara otomatis saat pertama kali digunakan, menghasilkan trek instrumental berdasarkan prompt, dan menyimpannya sebagai musicgen_out.wav. Anda dapat mengubah teks untuk bereksperimen dengan genre, instrumen, dan suasana musik yang berbeda.

Model AI Audio Open Source Mana yang Harus Anda Pilih?

Model terbaik bergantung pada apakah Anda ingin mentranskripsi ucapan, menghasilkan suara realistis, membangun asisten waktu nyata, atau membuat musik. Perbandingan ini mencakup kapabilitas, ukuran model, dan lisensi untuk setiap kasus penggunaan.

Pikiran Akhir

Model audio open source berkembang pesat di bidang pengenalan ujaran, teks-ke-ucapan, percakapan waktu nyata, dan pembuatan musik. Model-model ini semakin akurat, cepat, dan mudah dijalankan, sehingga pengembang dapat membangun aplikasi audio tanpa sepenuhnya bergantung pada layanan komersial yang mahal.

Secara pribadi, saya menggunakan Voxtral melalui Spokenly untuk hampir semua pekerjaan transkripsi saya, dan saya menyukainya. Akurasinya mengesankan, dan meskipun model open-weight-nya sangat besar, saya memanggil API terkelola Mistral, yang sejauh ini gratis untuk penggunaan saya. Ini adalah contoh bagus bagaimana model-model ini menjadi praktis untuk tugas sehari-hari.

Yang lebih membuat saya antusias adalah kemajuan dalam AI percakapan. Kita sudah tahu betapa naturalnya percakapan suara dengan ChatGPT, dan model open source seperti NVIDIA PersonaPlex dan MiniCPM-o 4.5 menghadirkan kemampuan serupa kepada pengembang yang ingin membangun asisten mereka sendiri. Sementara itu, ACE-Step memungkinkan pembuatan lagu lengkap, dan opsi ringan seperti Kokoro membuat pembuatan ucapan lebih mudah diakses.

Tidak ada satu model terbaik untuk segala hal, dan itulah yang membuat bidang ini menarik. Apakah Anda menginginkan transkripsi yang akurat, suara yang realistis, percakapan alami, atau musik yang dihasilkan, kemungkinan ada model open source yang layak dicoba.