Tutorial NVIDIA PersonaPlex: esegui un assistente vocale locale naturale e in tempo reale

Configurazione dell’ambiente 

Prima di iniziare, visita la pagina del modello su Hugging Face per nvidia/personaplex-7b-v1 e accetta le condizioni d’uso del modello. 

PersonaPlex è un modello con accesso controllato, quindi ti servirà un token API di Hugging Face. Genera il token dal tuo account Hugging Face e tienilo a portata di mano: lo aggiungeremo alle variabili d’ambiente più avanti per consentire l’accesso al modello.

Poi vai su RunPod e avvia un nuovo pod con GPU A40. Seleziona l’ultima immagine PyTorch, quindi fai clic su Edit per personalizzare l’ambiente. 

Aumenta la dimensione del disco del container a 50 GB, poiché il modello è di circa 20 GB e saranno scaricate anche dipendenze aggiuntive. Nella sezione delle porte HTTP esposte, aggiungi la porta 8998. Nelle variabili d’ambiente, aggiungi HF_TOKEN e incolla il tuo token API di Hugging Face.

Quando tutto è configurato, salva gli override e distribuisci il pod.

Dopo l’avvio del pod, vedrai un link all’istanza JupyterLab. Aprilo, quindi avvia un terminale. Puoi accedere alla macchina via SSH o dal terminale web, ma usare il terminale di Jupyter è l’opzione più semplice.

Nel terminale, installa la libreria di sviluppo del codec audio Opus, necessaria per l’elaborazione audio:

sudo apt update
sudo apt install libopus-devOfferto da

Installare PersonaPlex dal sorgente

Il codice di PersonaPlex è open source da NVIDIA e disponibile su GitHub (NVIDIA/personaplex: PersonaPlex code), il che rende facile esplorarlo, personalizzarlo ed eseguirlo in locale. 

L’installazione dal sorgente ti dà controllo completo sulla configurazione e garantisce la compatibilità con gli ultimi aggiornamenti nel repository.

Per iniziare, clona il repository PersonaPlex:

git clone https://github.com/NVIDIA/personaplex.git
cd personaplexOfferto da

Poi installa Moshi, il modello vocale full‑duplex alla base di PersonaPlex. 

Moshi è responsabile dell’ascolto e della sintesi in tempo reale, consentendo a PersonaPlex di gestire interruzioni, pause e tempi conversazionali naturali senza affidarsi alla pipeline tradizionale ASR → LLM → TTS.

Installandolo dal sorgente garantisci che tutte le componenti audio, di streaming e conversazionali siano configurate correttamente per l’esecuzione locale.

pip install moshi/.Offerto da

Una volta installato Moshi, il tuo ambiente è pronto per avviare il server PersonaPlex e iniziare a interagire con il modello in tempo reale.

Avviare il server WebUI di PersonaPlex

Con ambiente e dipendenze al loro posto, puoi ora avviare il server WebUI di PersonaPlex. Nel terminale, esegui il seguente comando per lanciare il server Moshi che alimenta PersonaPlex:

python -m moshi.server --host 0.0.0.0 --port 8998Offerto da

La prima volta che esegui questo comando, il server scaricherà automaticamente il modello PersonaPlex e gli altri file richiesti. Questo passaggio può richiedere alcuni minuti, a seconda della velocità di rete, dato che il modello è piuttosto grande.

Una volta completato il download, il server inizierà ad ascoltare sulla porta 8998. 

Per accedere alla WebUI, torna alla dashboard di RunPod. 

Nella sezione Connect, trova la porta esposta 8998 e fai clic sul link fornito. Si aprirà la WebUI di PersonaPlex nel browser, dove potrai iniziare a interagire con il modello tramite conversazioni vocali in tempo reale.

Testare PersonaPlex tramite WebUI

La WebUI di PersonaPlex include diversi prompt di esempio per aiutarti a iniziare, e puoi anche creare il tuo prompt personalizzato per definire il ruolo e il comportamento dell’assistente. 

Puoi selezionare una voce prima di connetterti, che determinerà come suona la persona durante la conversazione. 

Per questo tutorial, è meglio iniziare con le impostazioni predefinite per farsi un’idea del sistema.

Dopo aver fatto clic sul pulsante Connect, verrai portato alla sessione interattiva. Qui puoi parlare direttamente con il modello, ascoltare le sue risposte in tempo reale e vedere una trascrizione live della conversazione mentre avviene. 

L’esperienza è fluida, con tempistiche naturali e la possibilità di interrompere o rispondere rapidamente.

Nei miei test, l’interazione è risultata sorprendentemente naturale e coinvolgente. 

Ho notato qualche esitazione occasionale, probabilmente dovuta al browser o al carico del sistema più che al modello in sé. A parte questo, la conversazione è sembrata molto vicina a parlare con una persona reale.

Quando ti senti a tuo agio, prova a sperimentare con prompt e voci diverse. PersonaPlex supporta un’ampia gamma di embedding vocali preconfezionati, incluse voci conversazionali più naturali e varianti più espressive:

• Naturale (femminile): NATF0, NATF1, NATF2, NATF3
• Naturale (maschile): NATM0, NATM1, NATM2, NATM3
• Varietà (femminile): VARF0, VARF1, VARF2, VARF3, VARF4
• Varietà (maschile): VARM0, VARM1, VARM2, VARM3, VARM4

Cambiare voci e prompt è un ottimo modo per esplorare come PersonaPlex mantenga personalità, tono e flusso conversazionale attraverso ruoli e stili di parlato diversi.

Eseguire PersonaPlex offline con Python

La WebUI è ottima per le conversazioni in tempo reale, ma puoi anche eseguire PersonaPlex offline da Python. È utile quando vuoi output ripetibili, testare velocemente prompt diversi o generare file audio da riutilizzare in demo ed esperimenti. 

Il flusso offline è semplice: fornisci (1) un voice prompt, (2) un text prompt e (3) un file WAV di input. PersonaPlex genera poi una risposta audio di output e un file JSON con la trascrizione del modello.

Avvia un nuovo notebook in Jupyter e cambia directory nel repository clonato:

%cd personaplexOfferto da

Esegui quanto segue in una nuova cella. Questo richiama il runner offline e scrive su disco sia l’audio generato sia la trascrizione:

%%capture
!python -m moshi.offline \
  --voice-prompt "NATF2.pt" \
  --text-prompt "You are a wise and friendly teacher. Answer questions in a clear, engaging way." \
  --input-wav "assets/test/input_assistant.wav" \
  --seed 42424242 \
  --output-wav "out_teacher.wav" \
  --output-text "out_teacher.json"Offerto da

Cosa fa ogni flag:

• --voice-prompt seleziona l’embedding vocale (qui, una voce femminile naturale).
• --text-prompt definisce il ruolo e il comportamento dell’assistente.
• --input-wav è l’audio registrato dell’utente a cui il modello risponderà.
• --seed rende l’output più riproducibile tra esecuzioni.
• --output-wav è la risposta parlata generata.
• --output-text salva la trascrizione in formato JSON.

Al termine del comando, puoi riprodurre direttamente l’audio di risposta:

from IPython.display import Audio

Audio("out_teacher.wav")Offerto da

Dovresti sentire una risposta chiara e naturale nella voce selezionata, coerente con la persona definita nel tuo text prompt.

La trascrizione JSON può talvolta contenere artefatti di tokenizzazione come spazi extra intorno alla punteggiatura o pezzi di parole separati. L’helper qui sotto carica il JSON e lo pulisce in testo leggibile.

import json
import re

with open("out_teacher.json") as f:
    data = json.load(f)

def detokenize(tokens):
    # 1) drop padding-like tokens
    drop = {"PAD", "EPAD", "<pad>", "</s>", "<s>"}
    toks = [t for t in tokens if t not in drop]

    # 2) join with spaces first
    s = " ".join(toks)

    # 3) fix spacing around punctuation
    s = re.sub(r"\s+([.,!?;:])", r"\1", s)

    # 4) fix common split contractions: "it ' s" -> "it's"
    s = s.replace(" ' s", "'s").replace(" n't", "n't").replace(" 're", "'re").replace(" 'm", "'m").replace(" 've", "'ve").replace(" 'd", "'d")

    # 5) fix stray spaces around apostrophes
    s = re.sub(r"\s+'\s+", "'", s)

    # 6) fix cases like "for k" -> "fork" and "fl uff" -> "fluff"
    # (general rule: merge single-letter fragments if they look like split wordpieces)
    s = re.sub(r"\b([A-Za-z])\s+([A-Za-z]{1,3})\b", r"\1\2", s)

    # 7) collapse multiple spaces
    s = re.sub(r"\s{2,}", " ", s).strip()

    return s

clean_text = detokenize(data)  # replace with your list variable
clean_textOfferto da

Ora dovresti vedere una stringa di trascrizione leggibile che corrisponde all’audio generato. Se l’output contiene ancora divisioni strane (per esempio, “fl uff” o “afor k”), è normale in alcune esecuzioni e può essere ripulito ulteriormente con regole aggiuntive, ma il contenuto principale dovrebbe essere già comprensibile.

"Hey, let me know if you have any questions. 
Hmm, first rinse the rice a couple of times until the water runs clear, that cuts down on starch, then use apot with a tight fitting lid, bring to a boil, 
give it a quick stir, then turn the heat down low and cover, let it s immer without lifting it, and when it'done fl uff it with afor k, that usually 
You could to ss the hot rice with a nice handful of chopped fresh herbs like basil or par sley, or you could sprinkle a little g rated cheese, 
a squeeze of lemon or lime, adr izzle of olive oil, some chopped fresh herbs, or even some to ast ed nuts, that adds color and flavor."Offerto da

Considerazioni finali

Testare PersonaPlex mi ha davvero sorpreso. Fin dalla prima interazione, è sembrato meno un esperimento con un modello e più una vera conversazione. Poter interrompere in modo naturale, ottenere risposte istantanee e mantenere una personalità coerente per tutta la sessione lo fa sembrare molto avanti rispetto alla maggior parte dei sistemi vocali che ho provato. Eseguire tutto in locale ha reso l’esperienza ancora più impressionante, senza ritardi percepibili né perdita di controllo.

Ci sono ancora alcuni aspetti da migliorare. Ho notato esitazioni occasionali e, una volta che la conversazione prosegue, non sempre gestisce con fluidità il ritorno a un argomento precedente. 

Inoltre, non comprende ancora pienamente accenti non inglesi, il che può portare a nomi pronunciati male o trascrizioni imperfette. Sembrano casi limite più che problemi fondamentali, e sono fiducioso che miglioreranno rapidamente.

Sono certo che in futuro questi problemi saranno risolti e avremo un’IA conversazionale ancora migliore, completamente locale e in tempo reale, che combini il ragionamento di GPT-5.2 con la qualità vocale di ElevenLabs.