NVIDIA PersonaPlex ट्यूटोरियल: एक स्वाभाविक, रियल-टाइम लोकल वॉइस असिस्टेंट चलाएँ

एनवायरनमेंट सेटअप करना 

शुरू करने से पहले, Hugging Face के मॉडल पेज पर जाएँ nvidia/personaplex-7b-v1 और मॉडल उपयोग शर्तें स्वीकार करें। 

PersonaPlex एक गेटेड मॉडल है, इसलिए आपको एक Hugging Face API टोकन की ज़रूरत होगी। अपने Hugging Face अकाउंट से टोकन जनरेट करें और संभालकर रखें; हम बाद में इसे एनवायरनमेंट वेरिएबल्स में जोड़ेंगे ताकि मॉडल तक पहुँच मिल सके।

इसके बाद, RunPod पर जाएँ और एक नया A40 GPU पॉड लॉन्च करें। नवीनतम PyTorch इमेज चुनें, फिर एनवायरनमेंट को कस्टमाइज़ करने के लिए Edit पर क्लिक करें। 

कंटेनर डिस्क साइज को 50 GB तक बढ़ाएँ, क्योंकि मॉडल स्वयं लगभग 20 GB का है, और अतिरिक्त डिपेंडेंसीज़ भी डाउनलोड होंगी। Exposed HTTP ports सेक्शन में पोर्ट 8998 जोड़ें। एनवायरनमेंट वेरिएबल्स के अंतर्गत HF_TOKEN जोड़ें और अपना Hugging Face API टोकन पेस्ट करें।

सब कुछ कॉन्फ़िगर हो जाने के बाद, ओवरराइड्स सेव करें और पॉड को डिप्लॉय करें।

पॉड शुरू होने के बाद, आपको JupyterLab इंस्टेंस का लिंक दिखाई देगा। इसे खोलें, फिर एक टर्मिनल लॉन्च करें। आप मशीन को SSH या वेब टर्मिनल से एक्सेस कर सकते हैं, लेकिन Jupyter टर्मिनल का उपयोग सबसे सरल विकल्प है।

टर्मिनल में, Opus ऑडियो कोडेक डेवलपमेंट लाइब्रेरी इंस्टॉल करें, जो ऑडियो प्रोसेसिंग के लिए आवश्यक है:

sudo apt update
sudo apt install libopus-devसंचालित द्वारा

सोर्स से PersonaPlex इंस्टॉल करना

PersonaPlex का कोडबेस NVIDIA द्वारा ओपन-सोर्स किया गया है और GitHub पर उपलब्ध है (NVIDIA/personaplex: PersonaPlex कोड), जिससे इसे लोकल रूप से खोजना, कस्टमाइज़ करना, और चलाना आसान हो जाता है। 

सोर्स से इंस्टॉल करने पर आपको सेटअप पर पूरा नियंत्रण मिलता है और रेपो में नवीनतम अपडेट्स के साथ अनुकूलता सुनिश्चित होती है।

शुरू करने के लिए, PersonaPlex रेपो को क्लोन करें:

git clone https://github.com/NVIDIA/personaplex.git
cd personaplexसंचालित द्वारा

फिर Moshi इंस्टॉल करें, जो PersonaPlex का मूल फुल-डुप्लेक्स स्पीच मॉडल है। 

Moshi रियल-टाइम सुनने और बोलने का ज़िम्मेदार है, जिससे PersonaPlex बिना पारंपरिक ASR → LLM → TTS पाइपलाइन पर निर्भर रहे इंटरप्शन, विराम, और स्वाभाविक संवादात्मक टाइमिंग को संभाल पाता है।

इसे सोर्स से इंस्टॉल करने पर यह सुनिश्चित होता है कि सभी ऑडियो, स्ट्रीमिंग, और संवादात्मक कॉम्पोनेंट्स लोकल निष्पादन के लिए सही ढंग से सेट हो जाएँ।

pip install moshi/.संचालित द्वारा

एक बार Moshi इंस्टॉल हो जाने पर, आपका एनवायरनमेंट PersonaPlex सर्वर शुरू करने और मॉडल के साथ रियल-टाइम में इंटरैक्ट करने के लिए पूरी तरह तैयार है।

PersonaPlex WebUI सर्वर शुरू करना

एनवायरनमेंट और डिपेंडेंसीज़ तैयार होने के साथ, अब आप PersonaPlex WebUI सर्वर शुरू कर सकते हैं। टर्मिनल में, PersonaPlex को शक्ति देने वाले Moshi सर्वर को लॉन्च करने के लिए निम्न कमांड चलाएँ:

python -m moshi.server --host 0.0.0.0 --port 8998संचालित द्वारा

पहली बार यह कमांड चलाने पर, सर्वर स्वचालित रूप से PersonaPlex मॉडल और अन्य आवश्यक फ़ाइलें डाउनलोड करेगा। मॉडल काफ़ी बड़ा है, इसलिए यह चरण आपके नेटवर्क की गति के अनुसार कुछ मिनट ले सकता है।

डाउनलोड पूरा होने पर, सर्वर पोर्ट 8998 पर सुनना शुरू कर देगा। 

WebUI तक पहुँचने के लिए, अपने RunPod डैशबोर्ड पर वापस जाएँ। 

Connect सेक्शन में, एक्सपोज़्ड पोर्ट 8998 ढूँढें और दिए गए लिंक पर क्लिक करें। यह आपके ब्राउज़र में PersonaPlex WebUI खोलेगा, जहाँ आप रियल-टाइम वॉइस बातचीत के माध्यम से मॉडल के साथ इंटरैक्ट करना शुरू कर सकते हैं।

WebUI का उपयोग करके PersonaPlex का परीक्षण

PersonaPlex WebUI कई उदाहरण प्रॉम्प्ट्स के साथ आता है ताकि आप शुरुआत कर सकें, और आप असिस्टेंट की भूमिका और बर्ताव तय करने के लिए अपना कस्टम प्रॉम्प्ट भी बना सकते हैं। 

कनेक्ट करने से पहले आप एक वॉइस चुन सकते हैं, जो बातचीत के दौरान पर्सोना की आवाज़ निर्धारित करती है। 

इस ट्यूटोरियल के लिए, सिस्टम का अनुभव लेने के लिए डिफ़ॉल्ट सेटिंग्स से शुरुआत करना सबसे अच्छा है।

Connect बटन पर क्लिक करने के बाद, आप इंटरैक्टिव सत्र में पहुँच जाएँगे। यहाँ, आप सीधे मॉडल से बात कर सकते हैं, उसके जवाब रियल-टाइम में सुन सकते हैं, और साथ-साथ बातचीत का लाइव ट्रांस्क्रिप्ट भी देख सकते हैं। 

अनुभव प्रवाही लगता है, स्वाभाविक टाइमिंग के साथ और जल्दी से बीच में बोलने या प्रतिक्रिया देने की क्षमता के साथ।

मेरे परीक्षण के दौरान, इंटरैक्शन उम्मीद से भी ज्यादा स्वाभाविक और आकर्षक लगा। 

कभी-कभी हल्का अटकना दिखा, जो संभवतः ब्राउज़र या सिस्टम लोड के कारण था, न कि मॉडल के कारण। इसके अलावा, बातचीत किसी वास्तविक व्यक्ति से बात करने के काफी करीब महसूस हुई।

जब आप सहज हो जाएँ, तो अलग-अलग प्रॉम्प्ट्स और आवाज़ों के साथ प्रयोग करें। PersonaPlex कई प्री-पैकेज्ड वॉइस एम्बेडिंग्स सपोर्ट करता है, जिनमें अधिक स्वाभाविक संवादात्मक आवाज़ें और अधिक अभिव्यंजक वैरिएंट शामिल हैं:

• Natural (महिला): NATF0, NATF1, NATF2, NATF3
• Natural (पुरुष): NATM0, NATM1, NATM2, NATM3
• Variety (महिला): VARF0, VARF1, VARF2, VARF3, VARF4
• Variety (पुरुष): VARM0, VARM1, VARM2, VARM3, VARM4

आवाज़ों और प्रॉम्प्ट्स के बीच स्विच करना यह खोजने का बेहतरीन तरीका है कि PersonaPlex कैसे अलग-अलग भूमिकाओं और बोलने की शैलियों में व्यक्तित्व, टोन, और संवाद प्रवाह बनाए रखता है।

Python के साथ PersonaPlex ऑफ़लाइन चलाना

WebUI रियल-टाइम बातचीत के लिए बेहतरीन है, लेकिन आप PersonaPlex को ऑफ़लाइन भी Python से चला सकते हैं। यह तब उपयोगी है जब आप पुनरुत्पाद्य (repeatable) आउटपुट चाहते हैं, अलग-अलग प्रॉम्प्ट्स को जल्दी जाँचना चाहते हैं, या डेमो और प्रयोगों में दोबारा उपयोग के लिए ऑडियो फ़ाइलें बनाना चाहते हैं। 

ऑफ़लाइन फ्लो सरल है: आप (1) एक वॉइस प्रॉम्प्ट, (2) एक टेक्स्ट प्रॉम्प्ट, और (3) एक इनपुट WAV फ़ाइल देते हैं। इसके बाद PersonaPlex एक आउटपुट ऑडियो प्रतिक्रिया और मॉडल के ट्रांस्क्रिप्ट वाला एक JSON फ़ाइल जेनरेट करता है।

Jupyter में नया नोटबुक शुरू करें और डायरेक्टरी को क्लोन किए गए रेपो पर बदलें:

%cd personaplexसंचालित द्वारा

नई सेल में निम्न चलाएँ। यह ऑफ़लाइन रनर को कॉल करता है और जेनरेटेड ऑडियो तथा ट्रांस्क्रिप्ट दोनों को डिस्क पर लिख देता है:

%%capture
!python -m moshi.offline \
  --voice-prompt "NATF2.pt" \
  --text-prompt "You are a wise and friendly teacher. Answer questions in a clear, engaging way." \
  --input-wav "assets/test/input_assistant.wav" \
  --seed 42424242 \
  --output-wav "out_teacher.wav" \
  --output-text "out_teacher.json"संचालित द्वारा

हर फ्लैग क्या करता है:

• --voice-prompt वॉइस एम्बेडिंग चुनता है (यहाँ, एक स्वाभाविक महिला आवाज़)।
• --text-prompt असिस्टेंट की भूमिका और बर्ताव परिभाषित करता है।
• --input-wav वह रिकॉर्डेड यूज़र ऑडियो है जिस पर मॉडल प्रतिक्रिया देगा।
• --seed आउटपुट को रन के बीच अधिक पुनरुत्पाद्य बनाता है।
• --output-wav जेनरेटेड बोले गए जवाब की फ़ाइल है।
• --output-text ट्रांस्क्रिप्ट आउटपुट को JSON के रूप में सेव करता है।

कमांड पूरा होने के बाद, आप सीधे प्रतिक्रिया ऑडियो चला सकते हैं:

from IPython.display import Audio

Audio("out_teacher.wav")संचालित द्वारा

आप चुनी गई आवाज़ में एक साफ़, स्वाभाविक प्रतिक्रिया सुन पाएँगे, जो आपके टेक्स्ट प्रॉम्प्ट में परिभाषित पर्सोना से मेल खाती है।

JSON ट्रांस्क्रिप्ट में कभी-कभी टोकनाइज़ेशन आर्टिफैक्ट्स हो सकते हैं, जैसे विराम चिह्नों के आसपास अतिरिक्त स्पेस या शब्दों के टुकड़े। नीचे दिया गया हेल्पर JSON लोड करता है और उसे पठनीय टेक्स्ट में साफ़ करता है।

import json
import re

with open("out_teacher.json") as f:
    data = json.load(f)

def detokenize(tokens):
    # 1) drop padding-like tokens
    drop = {"PAD", "EPAD", "<pad>", "</s>", "<s>"}
    toks = [t for t in tokens if t not in drop]

    # 2) join with spaces first
    s = " ".join(toks)

    # 3) fix spacing around punctuation
    s = re.sub(r"\s+([.,!?;:])", r"\1", s)

    # 4) fix common split contractions: "it ' s" -> "it's"
    s = s.replace(" ' s", "'s").replace(" n't", "n't").replace(" 're", "'re").replace(" 'm", "'m").replace(" 've", "'ve").replace(" 'd", "'d")

    # 5) fix stray spaces around apostrophes
    s = re.sub(r"\s+'\s+", "'", s)

    # 6) fix cases like "for k" -> "fork" and "fl uff" -> "fluff"
    # (general rule: merge single-letter fragments if they look like split wordpieces)
    s = re.sub(r"\b([A-Za-z])\s+([A-Za-z]{1,3})\b", r"\1\2", s)

    # 7) collapse multiple spaces
    s = re.sub(r"\s{2,}", " ", s).strip()

    return s

clean_text = detokenize(data)  # replace with your list variable
clean_textसंचालित द्वारा

अब आपको एक पठनीय ट्रांस्क्रिप्ट स्ट्रिंग दिखनी चाहिए जो जेनरेटेड ऑडियो से मेल खाती हो। अगर आपके आउटपुट में अभी भी अजीब से विभाजन (उदाहरण के लिए, “fl uff” या “afor k”) हों, तो यह कुछ रनों के लिए सामान्य है और अतिरिक्त नियमों से और साफ़ किया जा सकता है, लेकिन मुख्य सामग्री पहले से ही समझ में आनी चाहिए।

"Hey, let me know if you have any questions. 
Hmm, first rinse the rice a couple of times until the water runs clear, that cuts down on starch, then use apot with a tight fitting lid, bring to a boil, 
give it a quick stir, then turn the heat down low and cover, let it s immer without lifting it, and when it'done fl uff it with afor k, that usually 
You could to ss the hot rice with a nice handful of chopped fresh herbs like basil or par sley, or you could sprinkle a little g rated cheese, 
a squeeze of lemon or lime, adr izzle of olive oil, some chopped fresh herbs, or even some to ast ed nuts, that adds color and flavor."संचालित द्वारा

अंतिम विचार

PersonaPlex का परीक्षण वास्तव में मुझे चकित कर गया। पहली ही इंटरैक्शन से, यह किसी मॉडल के साथ प्रयोग करने जैसा कम और एक वास्तविक बातचीत जैसा अधिक लगा। स्वाभाविक रूप से बीच में बोल पाने, तुरंत जवाब पाने, और पूरे समय एकसमान व्यक्तित्व बनाए रखने से यह अधिकांश वॉइस सिस्टम्स से कहीं आगे महसूस हुआ जो मैंने आज़माए हैं। सब कुछ लोकल तौर पर चलने से अनुभव और भी प्रभावशाली हो गया—ना के बराबर देरी और नियंत्रण में कोई कमी नहीं।

फिर भी कुछ कमियाँ हैं। कभी-कभी अटकना देखा, और एक बार बातचीत आगे बढ़ जाने पर, यह हमेशा पहले के विषय पर सहजता से लौट नहीं पाता। 

यह अभी गैर-अंग्रेज़ी ऐक्सेंट्स को पूरी तरह नहीं समझता, जिससे नामों का गलत उच्चारण या अपूर्ण ट्रांस्क्रिप्शन हो सकता है। ये बुनियादी समस्याएँ नहीं, बल्कि किनारी (edge) मामले लगते हैं, और मुझे विश्वास है कि ये जल्दी सुधरेंगे।

मुझे यक़ीन है कि भविष्य में ये मुद्दे हल हो जाएँगे, और हमें और भी बेहतर, पूरी तरह लोकल और रियल-टाइम संवादात्मक AI मिलेगा जो GPT-5.2 की तर्क-क्षमता को ElevenLabs की वॉइस क्वालिटी से जोड़ देगा।