2026 के शीर्ष 10 ओपन सोर्स AI ऑडियो मॉडल

ओपन-सोर्स ऑडियो मॉडल अब स्पीच रिकग्निशन, टेक्स्ट-टू-स्पीच, रियल-टाइम वॉइस बातचीत, और म्यूज़िक जेनरेशन को कवर करते हैं, और इनमें से कई एक सामान्य कंज़्यूमर GPU पर चल जाते हैं। Qwen3-ASR 30 भाषाओं और 22 चीनी बोलियों को ट्रांसक्राइब करता है, Kokoro केवल 82 मिलियन पैरामीटर्स में स्पीच जेनरेट करता है, और ACE-Step 4 GB से कम वीडियो मेमोरी (VRAM) पर पूरे गाने लिख देता है।

इस गाइड के लिए, मैंने 3 मानदंडों को मिलाकर 10 बेहतरीन ओपन-सोर्स और ओपन-वेट AI ऑडियो मॉडल चुने: GitHub रिपॉजिटरीज़ पर उच्च स्टार काउंट, Hugging Face पर व्यापक रूप से डाउनलोड किए गए मॉडल, और Artificial Analysis बेंचमार्क्स के शीर्ष-प्रदर्शन करने वाले मॉडल। मैंने 4 श्रेणियाँ कवर कीं: स्पीच रिकग्निशन, टेक्स्ट-टू-स्पीच, रियल-टाइम बातचीत, और म्यूज़िक जेनरेशन।

हर मॉडल में इसकी आधिकारिक डॉक्यूमेंटेशन पर आधारित एक क्विक-स्टार्ट उदाहरण शामिल है। कुछ उदाहरणों के लिए विशेष हार्डवेयर, निर्भरताएँ, या अतिरिक्त कॉन्फ़िगरेशन चाहिए हो सकते हैं, इसलिए चलाने से पहले हर मॉडल की आवश्यकताएँ जाँच लें।

एक त्वरित नोट: यह एक क्यूरेटेड सूची है, सख्त बेंचमार्क रैंकिंग नहीं। ओपन-वेट का मतलब है कि प्रशिक्षित वेट्स डाउनलोडेबल हैं, लेकिन लाइसेंस फिर भी आपके उपयोग को सीमित कर सकता है, इसलिए मैं हर सेक्शन में और अंत की तुलना तालिका में लाइसेंस को फ़्लैग करता हूँ। उदाहरण आधिकारिक डॉक्यूमेंटेशन से लिए गए हैं, पर मैंने व्यक्तिगत रूप से कोड का परीक्षण नहीं किया है, इसलिए आपके सेटअप को अतिरिक्त निर्भरताएँ या कॉन्फ़िगरेशन की ज़रूरत पड़ सकती है।

संक्षेप में

• स्पीच रिकग्निशन: बहुभाषी सटीकता के लिए Qwen3-ASR, लो-लेटेंसी लाइव ट्रांसक्रिप्शन के लिए Nemotron 3.5 ASR Streaming, और जब आपको ऑडियो के बारे में सारांश व उत्तर भी चाहिए हों तो Voxtral Small।
• टेक्स्ट-टू-स्पीच: हल्के लोकल उपयोग के लिए Kokoro 82M, अभिव्यक्तिपूर्ण मल्टी-स्पीकर संवाद के लिए Fish Audio Drama 3, और वॉइस डिज़ाइन के लिए Breeze TTS 2 (केवल गैर-व्यावसायिक उपयोग)।
• रियल-टाइम बातचीत: केवल ऑडियो वॉइस एजेंट्स के लिए NVIDIA PersonaPlex, और जब आपको वीडियो इनपुट भी चाहिए तो MiniCPM-o 4.5।
• म्यूज़िक जेनरेशन: वोकल्स सहित पूरे गानों के लिए ACE-Step 1.5, और इंस्ट्रूमेंटल्स के लिए MusicGen Large (केवल गैर-व्यावसायिक उपयोग)।

सर्वश्रेष्ठ ओपन-सोर्स स्पीच रिकग्निशन मॉडल

स्पीच रिकग्निशन मॉडल, जिन्हें ऑटोमैटिक स्पीच रिकग्निशन (ASR) भी कहा जाता है, बोले गए ऑडियो को टेक्स्ट में बदलते हैं। ये मीटिंग ट्रांसक्रिप्शन, सबटाइटल्स, पॉडकास्ट्स, वॉइस असिस्टेंट्स, और ऑडियो एनालिसिस के लिए उपयोगी हैं। आधुनिक मॉडल कई भाषाएँ पहचानते हैं, लाइव बातचीत प्रोसेस करते हैं, और कुछ तो चर्चा की जा रही बात पर तर्क भी कर सकते हैं।

1. Voxtral Small

Voxtral Small 24B Mistral AI का एक ओपन-वेट स्पीच अंडरस्टैंडिंग मॉडल है, जिसे Apache 2.0 लाइसेंस के तहत जारी किया गया है। यह 8 भाषाओं (अंग्रेज़ी, स्पैनिश, फ़्रेंच, पुर्तगाली, हिंदी, जर्मन, डच, और इतालवी) को सपोर्ट करता है और रिकॉर्डिंग्स को ट्रांसक्राइब कर सकता है, बातचीत का सारांश बना सकता है, ऑडियो के बारे में प्रश्नों के उत्तर दे सकता है, और बोले गए निर्देशों का पालन कर सकता है।

स्रोत: Voxtral Small 24B

इसका सबसे बड़ा फायदा है कि एक ही मॉडल स्पीच रिकग्निशन और लैंग्वेज रीजनिंग दोनों संभालता है, इसलिए आपको अलग ट्रांसक्रिप्शन और समरी पाइपलाइन की ज़रूरत नहीं। यह मीटिंग विश्लेषण, इंटरव्यू, और वॉइस असिस्टेंट्स के लिए उपयुक्त है। कमी आकार की है: 24-बिलियन-पैरामीटर मॉडल को BF16 या FP16 में लगभग 55 GB GPU मेमोरी चाहिए, यानी हाई-मेमोरी या मल्टी-GPU हार्डवेयर।

यदि आपको केवल ट्रांसक्रिप्शन चाहिए, तो Mistral का नया Voxtral Mini 4B Realtime काफी हल्का है। Mistral ने इसे फ़रवरी 2026 में Apache 2.0 के तहत जारी किया, जिसमें स्ट्रीमिंग लेटेंसी को 200 ms से कम तक कॉन्फ़िगर किया जा सकता है।

क्विक स्टार्ट: vLLM और आवश्यक Python पैकेज इंस्टॉल करें।

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubसंचालित द्वारा

vLLM सर्वर शुरू करें। यह कॉन्फ़िगरेशन दो GPUs का उपयोग करता है।

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceसंचालित द्वारा

दूसरा टर्मिनल खोलें और सैंपल ऑडियो रिकॉर्डिंग को ट्रांसक्राइब करने के लिए Python उदाहरण चलाएँ।

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)संचालित द्वारा

यह स्क्रिप्ट सैंपल रिकॉर्डिंग डाउनलोड करती है, उसे आपके लोकल Voxtral सर्वर पर भेजती है, और ट्रांसक्रिप्शन प्रिंट करती है।

2. Qwen3-ASR

Qwen3-ASR अलीबाबा की Qwen टीम का एक ओपन-सोर्स स्पीच रिकग्निशन मॉडल परिवार है, जो 0.6B और 1.7B पैरामीटर वर्ज़न में Apache 2.0 लाइसेंस के तहत उपलब्ध है। यह 30 भाषाओं और 22 चीनी बोलियों को सपोर्ट करता है, बोली गई भाषा को स्वतः पहचानता है, और बैकग्राउंड म्यूज़िक के ऊपर की स्पीच—गायन सहित—को ट्रांसक्राइब कर सकता है। यह बहुभाषी ट्रांसक्रिप्शन, सबटाइटल्स, पॉडकास्ट्स, और इंटरव्यू के लिए अच्छा काम करता है।

स्रोत: Qwen3-ASR

Qwen3-ASR सटीकता, गति, और लचीलापन बैलेंस करता है। 1.7B मॉडल का औसत वर्ड एरर रेट (WER) Hugging Face के Open ASR Leaderboard पर 5.76 है, जबकि Voxtral Small के लिए 6.62 (कम होना बेहतर है)। 0.6B वर्ज़न दक्षता के लिए कुछ सटीकता त्यागता है।

दोनों आकार ऑफ़लाइन और स्ट्रीमिंग इन्फ़रेंस सपोर्ट करते हैं, हालाँकि स्ट्रीमिंग के लिए वर्तमान में vLLM बैकएंड चाहिए (pip install -U qwen-asr[vllm])। वैकल्पिक Qwen3-ForcedAligner-0.6B मॉडल 11 समर्थित भाषाओं में सबटाइटल्स के लिए वर्ड-लेवल टाइमस्टैम्प जेनरेट करता है।

क्विक स्टार्ट: आधिकारिक Python पैकेज इंस्टॉल करें।

pip install -U qwen-asrसंचालित द्वारा

1.7B मॉडल लोड करें और आधिकारिक सैंपल ऑडियो ट्रांसक्राइब करें।

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)संचालित द्वारा

मॉडल पहली बार उपयोग पर अपने-आप डाउनलोड हो जाता है। यह बोली गई भाषा का पता लगाता है और ट्रांसक्रिप्शन प्रिंट करता है।

आप सैंपल URL को अपने ऑडियो फ़ाइल से बदल सकते हैं। यह उदाहरण NVIDIA GPU का उपयोग करता है।

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B रियल-टाइम ट्रांसक्रिप्शन के लिए बनाया गया एक हल्का स्पीच रिकग्निशन मॉडल है। इसमें 600 मिलियन पैरामीटर्स हैं और यह 40 भाषा लोकैल्स को सपोर्ट करता है, जिनमें अंग्रेज़ी, अरबी, हिंदी, स्पैनिश, और जापानी शामिल हैं। इनमें से 32 बॉक्स से बाहर ट्रांसक्राइब करते हैं और 8 को पहले फ़ाइन-ट्यूनिंग चाहिए।

स्रोत: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

इसकी गति कैश-अवेयर स्ट्रीमिंग आर्किटेक्चर से आती है। पूरी रिकॉर्डिंग को बार-बार प्रोसेस करने के बजाय, यह नए ऑडियो चंक्स को प्रोसेस करता है और कैश्ड एन्कोडर कॉन्टेक्स्ट का पुन: उपयोग करता है, चंक का आकार 80 मिलीसेकंड जितना छोटा हो सकता है। एक अकेले H100 पर, NVIDIA लगभग 17x अधिक समवर्ती स्ट्रीम्स रिपोर्ट करता है अपने बफ़र्ड Parakeet RNNT 1.1B मॉडल की तुलना में 80 ms सेटिंग पर (240 बनाम 14)।

यह लाइव सबटाइटल्स, मीटिंग्स, और लो-लेटेंसी वॉइस असिस्टेंट्स के लिए मजबूत विकल्प बनाता है। वेट्स OpenMDW-1.1 लाइसेंस का उपयोग करते हैं, जिसे NVIDIA का मॉडल कार्ड व्यावसायिक उपयोग के लिए तैयार बताता है, और मॉडल लोकल रूप से NVIDIA के NeMo-Speech.cpp रनटाइम से चलता है।

क्विक स्टार्ट: Linux या macOS पर NeMo-Speech.cpp इंस्टॉल करें।

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shसंचालित द्वारा

एक WAV फ़ाइल ट्रांसक्राइब करें। CLI पहली बार उपयोग पर डिफ़ॉल्ट Nemotron 3.5 मॉडल डाउनलोड करता है।

nemo-speech transcribe audio.wavसंचालित द्वारा

स्ट्रीमिंग ट्रांसक्रिप्शन का परीक्षण करने के लिए, जो फ़ाइल को 160 ms चंक्स में स्ट्रीमिंग रिकग्नाइज़र से गुज़ारता है, यह चलाएँ:

nemo-speech transcribe audio.wav --streamसंचालित द्वारा

समर्थित बिल्ड्स पर रियल-टाइम माइक्रोफ़ोन ट्रांसक्रिप्शन के लिए:

nemo-speech transcribe --liveसंचालित द्वारा

audio.wav को अपनी रिकॉर्डिंग से बदलें। रनटाइम CPU और संगत GPU बैकएंड्स को सपोर्ट करता है, इसलिए शुरुआत के लिए आपको बड़ा GPU नहीं चाहिए।

सर्वश्रेष्ठ ओपन-सोर्स टेक्स्ट-टू-स्पीच मॉडल

टेक्स्ट-टू-स्पीच (TTS) मॉडल लिखित टेक्स्ट को नैचुरल-साउंडिंग ऑडियो में बदलते हैं। आधुनिक मॉडल वॉइस क्लोन कर सकते हैं, भावनाएँ व्यक्त कर सकते हैं, मल्टी-स्पीकर संवाद बना सकते हैं, और कई भाषाएँ बोल सकते हैं। यहाँ 3 ओपन-वेट मॉडल हैं जिन्हें देखना चाहिए।

4. Fish Audio Drama 3

Fish Audio Drama 3 मल्टी-कैरेक्टर सीन और लंबे फ़ॉर्मेट वाले कंटेंट के लिए बनाया गया एक अभिव्यक्तिपूर्ण टेक्स्ट-टू-स्पीच मॉडल है। यह 35 बिलियन पैरामीटर्स वाले मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर का उपयोग करता है, लेकिन प्रति टोकन केवल लगभग 3 बिलियन सक्रिय करता है। यह वॉइस क्लोनिंग, नैचुरल-लैंग्वेज वॉइस कंट्रोल, और 16 स्पीकर्स तक के संवाद को सपोर्ट करता है, जो ऑडियोबुक्स और कैरेक्टर-ड्रिवन कंटेंट के लिए उपयुक्त है।

स्रोत: Fish Audio Drama 3 टेक्निकल रिपोर्ट

जो सबसे अलग दिखता है वह है भावनात्मक रेंज। आप टेक्स्ट में सीधे [sighs] और [laughs] जैसे इनलाइन टैग रख सकते हैं, एक ही स्क्रिप्ट में 16 तक स्पीकर टैग असाइन कर सकते हैं, और लंबे पैराग्राफ़्स को चंक-बाय-चंक स्ट्रीम कर सकते हैं। Fish Audio एक H200 GPU पर एक सिंगल स्ट्रीम के लिए लगभग 89 ms का टाइम-टू-फर्स्ट-ऑडियो रिपोर्ट करता है, और मॉडल SGLang-Omni और vLLM-Omni से चलता है।

कमी आकार और लाइसेंसिंग की है। FP8 चेकपॉइंट को केवल वेट्स के लिए 37 GB चाहिए, और 4-बिट GPTQ वर्ज़न इसे 20.8 GB तक घटाता है। वेट्स Fish Audio Community License का उपयोग करते हैं, इसलिए व्यावसायिक उपयोग से पहले इसकी शर्तें पढ़ें।

क्विक स्टार्ट: समर्थित Linux सिस्टम पर NVIDIA GPU के साथ SGLang-Omni और उसके Fish Audio डिपेंडेंसीज़ इंस्टॉल करें।

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"संचालित द्वारा

मॉडल डाउनलोड करें और सर्वर शुरू करें:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000संचालित द्वारा

दूसरा टर्मिनल खोलें और स्पीच जेनरेट करें:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavसंचालित द्वारा

मॉडल स्पीच जेनरेट करता है और उसे output.wav के रूप में सेव कर देता है। आप इनपुट टेक्स्ट बदल सकते हैं या वॉइस क्लोनिंग और मल्टी-स्पीकर जेनरेशन को आधिकारिक Drama 3 कुकबुक से एक्सप्लोर कर सकते हैं।

5. Breeze TTS 2

Breeze TTS 2 अंग्रेज़ी और चीनी के लिए 3-बिलियन-पैरामीटर का टेक्स्ट-टू-स्पीच मॉडल है। यह रेफ़रेंस रिकॉर्डिंग से वॉइस क्लोनिंग, साधारण-भाषा वर्णन से वॉइस डिज़ाइन, और टोन, इमोशन, तथा डिलीवरी के लिए नैचुरल-लैंग्वेज इंस्ट्रक्शन्स सपोर्ट करता है।

स्रोत: Breeze TTS 2

BreezeBlue के मॉडल कार्ड के अनुसार यह Artificial Analysis TTS लीडरबोर्ड पर ओपन-वेट मॉडलों में प्रथम है, और H100 पर फास्ट पाथ से 40 ms से कम टाइम-टू-फर्स्ट-ऑडियो देता है। यह (laugh), (sigh), और (cough) जैसे इनलाइन वोकल इवेंट्स भी सपोर्ट करता है।

यह इंटरैक्टिव वॉइस एप्लिकेशन्स के लिए उपयुक्त है, लेकिन इसके सेल्फ-होस्टेड वेट्स और आउटपुट रिसर्च और गैर-व्यावसायिक उपयोग तक सीमित हैं। केवल सोर्स कोड Apache 2.0 है।

क्विक स्टार्ट: Linux पर Python 3.10 या नया और CUDA-संगत NVIDIA GPU के साथ आधिकारिक रिपॉज़िटरी क्लोन करें और निर्भरताएँ इंस्टॉल करें।

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubसंचालित द्वारा

मॉडल चेकपॉइंट डाउनलोड करें:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2संचालित द्वारा

आधिकारिक वॉइस-डिज़ाइन उदाहरण से स्पीच जेनरेट करें। इसके लिए रेफ़रेंस ऑडियो की आवश्यकता नहीं।

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavसंचालित द्वारा

मॉडल वॉइस विवरण का उपयोग करके स्पीच जेनरेट करता है और इसे outputs/voice_design_en.wav के रूप में सेव करता है। डिफ़ॉल्ट इन्फ़रेंस मोड को लगभग 7.7 GiB GPU मेमोरी चाहिए (और --fast-all विकल्प के साथ 14.4 GiB), तथा न्यूनतम 12 GB GPU की सिफारिश है। आप वॉइस क्लोनिंग और स्ट्रीमिंग भी आधिकारिक Breeze TTS 2 डॉक्यूमेंटेशन से आज़मा सकते हैं।

6. Kokoro 82M

Kokoro 82M केवल 82 मिलियन पैरामीटर्स वाला एक हल्का टेक्स्ट-टू-स्पीच मॉडल है। इसके v1.0 रिलीज़ में 8 भाषाओं में 54 आवाज़ें उपलब्ध हैं। यह उन डेवलपर्स के लिए अधिक सुलभ विकल्पों में से एक है जो हाई-एंड GPU के बिना स्पीच जेनरेशन के साथ प्रयोग करना चाहते हैं।

स्रोत: Kokoro 82M

Kokoro का मुख्य लाभ दक्षता है। यह ऑफ़लाइन नैरेशन, एक्सेसिबिलिटी टूल्स, और वॉइस असिस्टेंट्स के लिए उपयुक्त है, और इसके Apache 2.0 वेट्स का मतलब है कि आप इसे व्यावसायिक प्रोजेक्ट्स में उपयोग कर सकते हैं।

क्विक स्टार्ट: आप Kokoro को सीधे Google Colab में चला सकते हैं। पहले, आवश्यक पैकेज इंस्टॉल करें:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1संचालित द्वारा

आधिकारिक Python इंटरफ़ेस का उपयोग करके स्पीच जेनरेट करें:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)संचालित द्वारा

मॉडल af_heart अमेरिकी अंग्रेज़ी आवाज़ का उपयोग करके स्पीच जेनरेट करता है, Colab में ऑडियो चलाता है, और इसे WAV फ़ाइल के रूप में सेव करता है। आप टेक्स्ट, वॉइस, या भाषा को आधिकारिक Kokoro मॉडल कार्ड से बदल सकते हैं।

सर्वश्रेष्ठ ओपन-सोर्स रियल-टाइम ऑडियो LLMs

रियल-टाइम ऑडियो लार्ज लैंग्वेज मॉडल्स (LLMs) बोले गए प्रश्न सुनते हैं और नैचुरल वॉइस में उत्तर जेनरेट करते हैं। अलग-अलग स्पीच रिकग्निशन और टेक्स्ट-टू-स्पीच सिस्टम्स को चेन करने के बजाय, वे एक ही मॉडल में सतत बातचीत, व्यवधान, और एक साथ सुनने-और-बोलने को संभालते हैं।

7. MiniCPM-o 4.5

MiniCPM-o 4.5 OpenBMB का 9-बिलियन-पैरामीटर मल्टीमॉडल मॉडल है जो इमेज, वीडियो, ऑडियो, और टेक्स्ट को समझता है और स्पीच में जवाब देता है। यह अंग्रेज़ी और चीनी में रियल-टाइम वॉइस बातचीत, वॉइस क्लोनिंग, और फुल-डुप्लेक्स इंटरैक्शन सपोर्ट करता है। फुल-डुप्लेक्स का मतलब है कि मॉडल हर टर्न के ख़त्म होने का इंतज़ार करने के बजाय एक साथ सुन, देख, और बोल सकता है।

स्रोत: MiniCPM-o 4.5

इसकी विशिष्टता दृश्य समझ और वॉइस इंटरैक्शन के संयोजन में है। आप ऐसे असिस्टेंट बना सकते हैं जो लाइव कैमरा फ़ीड के बारे में बोले गए प्रश्नों के उत्तर दें, अपने आस-पास का वर्णन करें, या वीडियो प्रोसेस करते हुए बातचीत का जवाब दें। वेट्स Apache 2.0 लाइसेंस के तहत हैं, और डेवलपर्स एक रेडी-टू-यूज़ वेब डेमो प्रदान करते हैं, हालांकि फुल-डुप्लेक्स स्ट्रीमिंग अभी प्रयोगात्मक है।

क्विक स्टार्ट: आधिकारिक MiniCPM-o 4.5 वेब डेमो लाइव ऑडियो और वीडियो बातचीत सपोर्ट करता है। आपको Linux, Docker Compose, NVIDIA Container Toolkit, और 28 GB से अधिक VRAM वाला NVIDIA GPU चाहिए।

पहले, आधिकारिक डेमो रिपॉज़िटरी क्लोन करें:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demoसंचालित द्वारा

मॉडल चेकपॉइंट डाउनलोड करें:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5संचालित द्वारा

लोकल HTTPS सर्टिफिकेट जनरेट करें:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"संचालित द्वारा

Docker Compose से वेब डेमो शुरू करें:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0संचालित द्वारा

/path/to/MiniCPM-o-4_5 को डाउनलोड किए गए चेकपॉइंट के एब्सोल्यूट पाथ से बदलें, और docker-compose.yml को अपने GPU काउंट के अनुसार एडिट करें। पोर्ट 8006 पर HTTPS वेब इंटरफ़ेस खोलें और माइक्रोफ़ोन तथा कैमरा एक्सेस की अनुमति दें।

Audio Full-Duplex चुनें ताकि लाइव वॉइस बातचीत हो सके, या Omnimodal Full-Duplex चुनें ताकि वीडियो और ऑडियो दोनों से इंटरैक्ट कर सकें। आप प्रश्न पूछ सकते हैं, मॉडल को बीच में रोक सकते हैं, और सतत बातचीत के साथ प्रयोग कर सकते हैं।

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex 7-बिलियन-पैरामीटर का स्पीच-टू-स्पीच मॉडल है, जिसे नैचुरल, रियल-टाइम बातचीत के लिए डिज़ाइन किया गया है। Moshi आर्किटेक्चर पर आधारित, यह फुल-डुप्लेक्स कम्युनिकेशन सपोर्ट करता है, यानी यह एक साथ सुन और बोल सकता है। यह अलग ट्रांसक्रिप्शन और स्पीच जेनरेशन सिस्टम्स के बिना व्यवधानों और ओवरलैपिंग स्पीच को संभालता है।

स्रोत: NVIDIA PersonaPlex

PersonaPlex आपको असिस्टेंट की आवाज़ और पर्सनैलिटी को नियंत्रित करने देता है, ताकि डेवलपर्स कस्टमर सर्विस असिस्टेंट्स, वर्चुअल ट्यूटर्स, और अन्य वॉइस एजेंट्स के लिए इसके संवादात्मक रोल और बोलने की शैली को कस्टमाइज़ कर सकें। यह ऑडियो बातचीत पर केंद्रित है और कोई विज़ुअल इनपुट नहीं है, इसलिए यदि आपको वीडियो चाहिए तो MiniCPM-o चुनें। वेट्स NVIDIA Open Model License के तहत जारी हैं।

क्विक स्टार्ट: समर्थित Linux सिस्टम पर NVIDIA GPU के साथ आधिकारिक रिपॉज़िटरी क्लोन करें और निर्भरताएँ इंस्टॉल करें।

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.संचालित द्वारा

Hugging Face पर मॉडल लाइसेंस स्वीकार करें और अपना ऐक्सेस टोकन कॉन्फ़िगर करें:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"संचालित द्वारा

आधिकारिक PersonaPlex सर्वर शुरू करें:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"संचालित द्वारा

यदि आपके GPU में मेमोरी सीमित है, तो --cpu-offload फ़्लैग जोड़ें, जिसके लिए accelerate पैकेज चाहिए।

अपने ब्राउज़र में https://localhost:8998 खोलें और माइक्रोफ़ोन एक्सेस की अनुमति दें। अब आप PersonaPlex से सीधे बात कर सकते हैं, प्रश्न पूछ सकते हैं, इसके उत्तरों को बीच में रोक सकते हैं, और अलग-अलग वॉइस पर्सनैलिटीज़ का परीक्षण कर सकते हैं।

सर्वश्रेष्ठ ओपन-सोर्स ऑडियो और म्यूज़िक जेनरेशन मॉडल

ऑडियो जेनरेशन मॉडल टेक्स्ट प्रॉम्प्ट्स से मौलिक संगीत, इंस्ट्रूमेंटल्स, और मेलोडीज़ बनाते हैं। कुछ मॉडल पूरे वोकल्स के साथ गाने भी बना सकते हैं, मौजूदा रिकॉर्डिंग्स को एडिट कर सकते हैं, या किसी रेफ़रेंस मेलोडी के आधार पर संगीत तैयार कर सकते हैं।

9. ACE-Step 1.5

ACE-Step 1.5 एक ओपन-सोर्स म्यूज़िक जेनरेशन मॉडल है जो टेक्स्ट विवरण से पूरे गाने बनाता है। यह वोकल्स, कस्टम लिरिक्स, कई म्यूज़िकल स्टाइल्स, और 10 मिनट तक के गानों को सपोर्ट करता है। आप टेम्पो, म्यूज़िकल की, और अवधि को नियंत्रित कर सकते हैं, या मौजूदा रिकॉर्डिंग्स का उपयोग करके कवर बना सकते हैं और गाने के हिस्सों को एडिट कर सकते हैं।

स्रोत: ACE-Step 1.5

ACE-Step अपनी सुलभता के लिए अलग दिखता है, बड़े म्यूज़िक जेनरेशन मॉडलों की तुलना में। यह NVIDIA, AMD, Intel, और Apple Silicon हार्डवेयर पर चलता है, और इसकी टेक्निकल रिपोर्ट बताती है कि यह 4 GB से कम VRAM वाले GPUs पर चल सकता है। प्रोजेक्ट के README में A100 पर पूरे गाने के लिए 2 सेकंड से कम और RTX 3090 पर 10 सेकंड से कम का दावा है।

इसमें Gradio वेब इंटरफ़ेस और REST API शामिल है। XL वेरिएंट्स, जो 4B-पैरामीटर DiT डिकोडर का उपयोग करते हैं, ऑडियो क्वालिटी के बदले मेमोरी लेते हैं और ऑफ़लोडिंग के साथ कम-से-कम 12 GB VRAM या बिना ऑफ़लोडिंग 20 GB चाहिए। प्रोजेक्ट MIT लाइसेंस्ड है।

क्विक स्टार्ट: Linux या macOS पर uv पैकेज मैनेजर इंस्टॉल करें:

curl -LsSf https://astral.sh/uv/install.sh | shसंचालित द्वारा

आधिकारिक रिपॉज़िटरी क्लोन करें और निर्भरताएँ इंस्टॉल करें:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncसंचालित द्वारा

म्यूज़िक जेनरेशन इंटरफ़ेस लॉन्च करें:

uv run acestepसंचालित द्वारा

अपने ब्राउज़र में http://localhost:7860 खोलें। एप्लिकेशन पहली बार लॉन्च पर आवश्यक मॉडल फ़ाइलें डाउनलोड करता है और आपके हार्डवेयर के लिए स्वतः एक कॉन्फ़िगरेशन चुनता है।

संगीत जेनरेट करने के लिए, अपने इच्छित गाने का विवरण दर्ज करें, जैसे ऊर्जावान ड्रम्स और सिंथेसाइज़र्स के साथ एक अपबीट इलेक्ट्रॉनिक ट्रैक। आप कस्टम लिरिक्स दे सकते हैं, अवधि समायोजित कर सकते हैं, या एक इंस्ट्रूमेंटल ट्रैक चुन सकते हैं। जेनरेशन बटन पर क्लिक करें, परिणाम सुनें, और ऑडियो फ़ाइल डाउनलोड करें।

10. Meta MusicGen Large

MusicGen Large Meta द्वारा उसके AudioCraft प्रोजेक्ट के हिस्से के रूप में विकसित 3.3-बिलियन-पैरामीटर का टेक्स्ट-टू-म्यूज़िक मॉडल है। यह शैलियों, मूड, वाद्ययंत्रों, और संगीत शैलियों को कवर करने वाले टेक्स्ट विवरणों से इंस्ट्रूमेंटल संगीत जेनरेट करता है। यह मूल MusicGen रिलीज़ का सबसे बड़ा टेक्स्ट-टू-म्यूज़िक चेकपॉइंट है।

स्रोत: MusicGen Large

MusicGen Large कुछ शब्दों से विस्तृत बैकग्राउंड म्यूज़िक, साउंडट्रैक्स, और इंस्ट्रूमेंटल क्लिप्स बनाता है, और यह Hugging Face Transformers तथा AudioCraft के साथ काम करता है। यह इस सूची का सबसे पुराना मॉडल भी है। Meta ने इसे अप्रैल और मई 2023 में 20,000 घंटे के लाइसेंस प्राप्त संगीत पर ट्रेन किया, और यह यथार्थवादी वोकल्स जेनरेट नहीं कर सकता।

GPU की सिफारिश की जाती है। प्रीट्रेंड वेट्स CC BY-NC 4.0 लाइसेंस का उपयोग करते हैं, जो व्यावसायिक उपयोग को सीमित करता है, जबकि कोड MIT लाइसेंस्ड है।

क्विक स्टार्ट: Transformers और SciPy इंस्टॉल करें।

pip install --upgrade transformers scipyसंचालित द्वारा

टेक्स्ट प्रॉम्प्ट से संगीत बनाने के लिए आधिकारिक Hugging Face उदाहरण का उपयोग करें:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)संचालित द्वारा

मॉडल पहली बार उपयोग पर अपने-आप डाउनलोड होता है, प्रॉम्प्ट के आधार पर एक इंस्ट्रूमेंटल ट्रैक बनाता है, और उसे musicgen_out.wav के रूप में सेव करता है। आप अलग-अलग संगीत शैलियों, वाद्ययंत्रों, और मूड के साथ प्रयोग करने के लिए टेक्स्ट बदल सकते हैं।

आप किस ओपन-सोर्स AI ऑडियो मॉडल को चुनें?

सबसे अच्छा मॉडल इस पर निर्भर करता है कि आप स्पीच को ट्रांसक्राइब करना चाहते हैं, यथार्थवादी आवाज़ें जेनरेट करना चाहते हैं, रियल-टाइम असिस्टेंट बनाना चाहते हैं, या संगीत तैयार करना चाहते हैं। यह तुलना प्रत्येक उपयोग-केस के लिए क्षमताएँ, मॉडल आकार, और लाइसेंस कवर करती है।

अंतिम विचार

ओपन-सोर्स ऑडियो मॉडल स्पीच रिकग्निशन, टेक्स्ट-टू-स्पीच, रियल-टाइम बातचीत, और म्यूज़िक जेनरेशन में तेज़ी से बेहतर हो रहे हैं। वे अधिक सटीक, तेज़, और चलाने में आसान होते जा रहे हैं, जिससे डेवलपर्स बिना महंगी कमर्शियल सेवाओं पर पूरी तरह निर्भर हुए ऑडियो एप्लिकेशन्स बना सकते हैं।

व्यक्तिगत रूप से, मैं लगभग सारे ट्रांसक्रिप्शन कार्य के लिए Spokenly के ज़रिए Voxtral का उपयोग करता हूँ, और मुझे यह बहुत पसंद है। सटीकता प्रभावशाली है, और भले ही ओपन-वेट मॉडल बहुत बड़ा है, मैं Mistral के होस्टेड API को कॉल करता हूँ, जो मेरे उपयोग के लिए मुफ़्त रहा है। यह एक अच्छा उदाहरण है कि ये मॉडल रोज़मर्रा के कामों के लिए कितने व्यवहारिक होते जा रहे हैं।

मुझे जो और भी उत्साहित करता है वह है बातचीतात्मक AI में प्रगति। हम पहले से जानते हैं कि ChatGPT के साथ नैचुरल वॉइस बातचीत कितनी सहज लगती है, और ओपन-सोर्स मॉडल जैसे NVIDIA PersonaPlex और MiniCPM-o 4.5 समान क्षमताएँ उन डेवलपर्स तक लाते हैं जो अपने खुद के असिस्टेंट बनाना चाहते हैं। वहीं, ACE-Step पूरे गाने जेनरेट करना संभव बनाता है, और Kokoro जैसे हल्के विकल्प स्पीच जेनरेशन को अधिक सुलभ बनाते हैं।

हर चीज़ के लिए एक ही सर्वश्रेष्ठ मॉडल नहीं है, और यही इस क्षेत्र को रोचक बनाता है। चाहे आपको सटीक ट्रांसक्रिप्शन, यथार्थवादी आवाज़ें, नैचुरल बातचीत, या जेनरेटेड संगीत चाहिए—संभवतः कोई ओपन-सोर्स मॉडल है जिसे आज़माया जा सकता है।