Guida per principianti all'API di ElevenLabs: trasforma testo e voce in esperienze audio dinamiche

In un'epoca di innovazione tecnologica, la potenza delle applicazioni basate sulla voce sta trasformando il modo in cui interagiamo con il mondo. Dall'aumentare l’accessibilità per le persone con disabilità visive alla creazione di esperienze utente più dinamiche e coinvolgenti, la versatilità della tecnologia vocale è ampia e d’impatto.

ElevenLabs, un generatore vocale AI all’avanguardia, offre funzionalità avanzate di sintesi text-to-speech e speech-to-speech.

In questa guida esploreremo queste caratteristiche e ti mostreremo come sfruttarne il potenziale per trasformare testi scritti e registrazioni vocali in parlato realistico.

Che tu sia uno sviluppatore che vuole integrare funzionalità vocali nelle proprie applicazioni, un creator che desidera produrre doppiaggi multilingue o un’azienda che punta a migliorare le interazioni con i clienti tramite sistemi automatizzati, questo articolo ti offrirà le conoscenze essenziali per iniziare.

Cosa sono i motori Text-to-Speech?

Un motore text-to-speech (TTS) è una tecnologia sofisticata che riceve testo scritto in input e lo trasforma in audio parlato. Questo consente agli utenti di ascoltare invece di leggere il testo, rendendo i contenuti digitali più accessibili e interattivi. Se vuoi approfondire i motori TTS, trovi informazioni dettagliate in questa guida ai migliori motori text-to-speech.

Cos’è ElevenLabs?

ElevenLabs è una delle principali piattaforme che offre sia la sintesi text-to-speech (TTS) che speech-to-speech (STS). Questa tecnologia sfrutta modelli di machine learning avanzati per generare audio realistico e naturale a partire da testo scritto o persino da una voce all’altra.

La capacità di produrre audio di alta qualità la rende una scelta di punta per sviluppatori, content creator e aziende che vogliono aumentare il coinvolgimento degli utenti attraverso esperienze audio dinamiche.

In questo tutorial ci concentreremo su come usare l’API di ElevenLabs in Python. Copriremo tutto, dall’ottenimento delle chiavi API, alla configurazione dell’ambiente di sviluppo, all’inizializzazione della libreria e all’uso delle sue funzioni per generare parlato. Per farti un’idea di ciò che puoi ottenere, ascolta questo clip audio generato con queste funzionalità. Impareremo a creare qualcosa di simile, passo dopo passo.

Che tu voglia integrare voiceover in contenuti multimediali o sviluppare applicazioni accessibili per persone con disabilità visive, ElevenLabs fornisce gli strumenti necessari per dare vita al tuo audio. Alla fine di questa guida avrai una comprensione approfondita di come usare la sua API per trasformare il testo in parlato con chiarezza e realismo senza pari.

Text-to-speech con l’API di ElevenLabs in Python

1. Crea una chiave API

Il primo passo è registrarsi per un account gratuito su ElevenLabs. Una volta effettuato l’accesso, possiamo cliccare sull’icona del profilo e selezionare l’opzione “Profile + API key”. Qui, la nostra chiave API sarà già generata per noi. Assicurati di salvarla, perché ci servirà per autenticare le richieste.

2. Installa e importa il pacchetto Python di ElevenLabs

Per interagire con l’API di ElevenLabs usando Python, dobbiamo installare il pacchetto ufficiale. Possiamo farlo con pip, il gestore dei pacchetti di Python:

$ pip install elevenlabs

Ora possiamo importare i componenti necessari dal pacchetto in un nuovo file Python.

from elevenlabs.client import ElevenLabs
from elevenlabs import play, save, stream, Voice, VoiceSettings

3. Generare audio

Una volta configurato l’ambiente, possiamo generare il nostro primo clip audio creando un’istanza del client ElevenLabs usando la nostra chiave API.

client = ElevenLabs(api_key="YOUR_API_KEY")

Poi usiamo il metodo .generate per convertire il testo in audio.

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API",
   voice="Brian"
)

Possiamo riprodurre subito l’audio generato:

play(audio)

Oppure salvarlo come file:

save(audio, "output.mp3")

4. Personalizzare le voci

ElevenLabs offre numerose opzioni di personalizzazione per adattare la voce alle tue preferenze. Possiamo regolare impostazioni come stability, similarity boost e style. Per esempio:

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API.",
   voice=Voice(
       voice_id='nPczCjzI2devNBz1zQrb',
       settings=VoiceSettings(
           stability=0.8, similarity_boost=0.6, style=0.2, use_speaker_boost=True)
   )
)

Il voice_id corrisponde a specifiche voci predefinite di ElevenLabs; un elenco completo, con dettagli come caso d’uso, accento e descrizioni, è disponibile sulla pagina delle voci di ElevenLabs.

5. Generazione del parlato multilingue

ElevenLabs offre due modelli principali: eleven_multilingual_v2, capace di generare parlato in 29 lingue, e eleven_monolingual_v1, ottimizzato specificamente per l’inglese. Ecco come possiamo usare il modello multilingue per produrre audio in più lingue contemporaneamente:

audio = client.generate(
   text="Hello! Hola! Hallo 你好! नमस्ते! Bonjour! こんにちは! مرحبا! 안녕하세요! Ciao!",
   voice="Arnold",
   model="eleven_multilingual_v2"
)

Generazione del parlato in streaming

Mentre il metodo .generate di cui abbiamo parlato elabora e restituisce l’intero output vocale una volta che tutto il testo è stato convertito, l’API di ElevenLabs offre anche una potente funzione di streaming. È particolarmente utile per applicazioni che richiedono generazione audio in tempo reale, poiché consente la riproduzione quasi immediata dell’audio mentre il resto del testo è ancora in elaborazione.

NOTA: Per lo streaming audio, è necessario avere installato il lettore multimediale mpv; su Mac puoi installarlo con il comando brew install mpv. Per Linux e Windows, puoi installarlo dalla homepage di mpv.

Come funziona lo streaming

Per utilizzare la funzione di streaming, dobbiamo impostare il parametro stream su True nel metodo .generate. Questo segnala all’API di iniziare a consegnare l’audio a blocchi non appena sono pronti:

audio_stream = client.generate(
   text="Welcome... I am speaking to you in real-time. Let’s get started!.",
   stream=True
)
stream(audio_stream)

Streaming con input di testo dinamico

Lo streaming non è limitato al testo statico. Può gestire anche input dinamici, in cui i frammenti di testo vengono inviati all’API man mano che diventano disponibili. Questo è particolarmente utile per applicazioni interattive, come le dirette o la creazione di dialoghi reattivi guidati dall’AI. Ecco come possiamo eseguire lo streaming di testo dinamico:

def text_stream():
   yield "Hi! I'm Brian "
   yield "I'm an artificial voice made by ElevenLabs "


audio_stream = client.generate(
   text=text_stream(),
   voice="Brian",
   model="eleven_monolingual_v1",
   stream=True
)


stream(audio_stream)

In questa configurazione text_stream() funge da funzione generatrice che fornisce all’API porzioni di testo. Ogni porzione viene elaborata immediatamente, contribuendo a mantenere un flusso di parlato naturale senza pause o ritardi innaturali. Questa funzione rispecchia le capacità conversazionali dimostrate dagli assistenti vocali avanzati e dai dispositivi di traduzione in tempo reale.

Generazione Speech-to-Speech

Un’altra funzione potente della piattaforma ElevenLabs è la sintesi STS, che in sostanza è il cloning vocale.

Il flusso di lavoro è simile a quanto visto finora per il TTS, con la principale differenza nel tipo di input. Invece del testo, forniamo file audio della voce che vogliamo clonare.

Per il cloning vocale istantaneo, ElevenLabs suggerisce di usare 60 secondi di contenuto con dati privi di rumore di fondo ed effetti; per un cloning vocale professionale è consigliato un minimo di 30 minuti di audio pulito.

Aggiungere una descrizione non è necessario ma può essere utile per organizzare e distinguere tra più progetti o modelli vocali.

Ecco un esempio di come possiamo clonare una voce.

voice = client.clone(
   name="Emily",
   description="A young British female voice with a clear, melodic tone, ideal for storytelling or educational content", 
   files=["./sample_1.mp3", "./sample_2.mp3", "./sample_3.mp3"],
)

Applicazioni dell’API di ElevenLabs in Python

L’API di ElevenLabs offre una serie di potenti funzionalità di sintesi vocale che possono trasformare il modo in cui organizzazioni e singoli interagiscono con il proprio pubblico. Convertendo il testo in parlato o clonando voci tramite speech-to-speech, questa tecnologia fornisce soluzioni innovative in diversi ambiti.

Ecco tre applicazioni chiave che mostrano il potenziale di questo strumento:

Sistemi di risposta vocale interattiva (IVR)

• Supporto multilingue: Le organizzazioni che operano in mercati multilingue possono usare il sistema per offrire assistenza clienti in varie lingue senza bisogno di personale multilingue.
• Assistenza clienti: Le aziende possono implementare l’API nelle operazioni di customer service per offrire interazioni più naturali nei sistemi telefonici automatizzati, migliorando l’esperienza con risposte vocali personalizzate.

Funzionalità di accessibilità nei contenuti digitali

• Strumenti di lettura avanzati: L’API può essere utilizzata per creare audiolibri da materiale scritto, rendendo la letteratura più accessibile a persone con disabilità visive o difficoltà di lettura
• Navigazione vocale: L’integrazione in siti web e app per la navigazione guidata dalla voce può aiutare gli utenti che necessitano di assistenza uditiva, migliorando l’usabilità delle piattaforme digitali.

Creazione di contenuti

• Doppiaggi automatici per video: I produttori di contenuti digitali, come creator YouTube e filmmaker, possono sfruttare la tecnologia per generare doppiaggi naturali in più lingue, riducendo significativamente costi e tempi di produzione.
• Tutorial educativi e moduli di e-learning: Con TTS e STS possiamo dare voce ai contenuti educativi, rendendo l’apprendimento più interattivo e accessibile, soprattutto negli ambienti di apprendimento a distanza.

Conclusione

L’API di ElevenLabs è uno strumento robusto e versatile per chiunque voglia integrare una sintesi vocale avanzata nelle proprie applicazioni.

Che si tratti di accessibilità, creazione di contenuti o miglioramento delle interazioni con i clienti, questa API offre una gamma di soluzioni per esigenze diverse.

Con l’opzione sia di sintesi text-to-speech che speech-to-speech, facilita la creazione di esperienze utente più inclusive e coinvolgenti.

Se sei entusiasta delle possibilità della tecnologia vocale e vuoi approfondire le tue competenze, valuta di seguire il corso Spoken Language Processing in Python su DataCamp. Questo corso completo copre tutto, dalle basi del preprocessing e della manipolazione dell’audio alla conversione speech-to-text e all’analisi dei dati trascritti. Iscrivendoti, acquisirai esperienza pratica con applicazioni reali, dotandoti delle competenze necessarie per creare sistemi avanzati abilitati alla voce e soluzioni innovative in questo campo dinamico.