Een beginnersgids voor de ElevenLabs API: verander tekst en stem in dynamische audio-ervaringen

In een tijdperk van technologische innovatie verandert de kracht van spraakgestuurde toepassingen de manier waarop we met de wereld omgaan. Van het vergroten van de toegankelijkheid voor mensen met een visuele beperking tot het creëren van dynamischere en aantrekkelijkere gebruikerservaringen: de veelzijdigheid van spraaktechnologie is breed en impactvol.

ElevenLabs, een toonaangevende AI-stemgenerator, biedt geavanceerde mogelijkheden voor zowel tekst-naar-spraak als spraak-naar-spraak-synthese.

In deze gids verkennen we deze functies en laten we zien hoe je hun potentieel kunt benutten om geschreven tekst en stemopnames om te zetten in levensechte spraak.

Of je nu een ontwikkelaar bent die spraakfunctionaliteit in je applicaties wil integreren, een contentmaker die meertalige voice-overs wil produceren, of een bedrijf dat klantinteracties via geautomatiseerde systemen wil verbeteren: dit artikel geeft je de essentiële kennis om te beginnen.

Wat zijn tekst-naar-spraak-engines?

Een tekst-naar-spraak- (TTS) engine is een geavanceerde technologie die geschreven tekst als invoer ontvangt en deze omzet in gesproken audio. Hierdoor kunnen gebruikers de tekst horen in plaats van lezen, wat digitale content toegankelijker en interactiever maakt. Als je TTS-engines verder wilt verkennen, vind je gedetailleerde informatie in deze gids over de beste tekst-naar-spraak-engines.

Wat is ElevenLabs?

ElevenLabs is een van de toonaangevende platforms die zowel tekst-naar-spraak (TTS) als spraak-naar-spraak (STS) synthese aanbieden. Deze technologie maakt gebruik van geavanceerde machinelearningmodellen om realistische en natuurlijk klinkende audio te genereren uit geschreven tekst of zelfs van de ene stem naar de andere.

De mogelijkheid om audio van hoge kwaliteit te leveren maakt het een topkeuze voor ontwikkelaars, contentmakers en bedrijven die de betrokkenheid van gebruikers willen vergroten met dynamische audio-ervaringen.

In deze tutorial focussen we op het gebruik van de ElevenLabs API in Python. We behandelen alles: van het verkrijgen van je API-sleutels, het inrichten van je ontwikkelomgeving, het initialiseren van de bibliotheek tot het gebruiken van functies om spraak te produceren. Om een idee te krijgen van wat je kunt bereiken, luister naar deze audioclip die met deze functionaliteit is gegenereerd. We leren stap voor stap hoe je iets vergelijkbaars maakt.

Of je nu voice-overs wilt integreren in multimediale content of toegankelijke applicaties wilt ontwikkelen voor slechtziende gebruikers, ElevenLabs biedt de tools om je audio tot leven te brengen. Aan het einde van deze gids heb je een grondig begrip van hoe je de API gebruikt om tekst om te zetten in spraak met ongeëvenaarde helderheid en realisme.

Tekst-naar-spraak met de ElevenLabs API in Python

1. Maak een API-sleutel

De eerste stap is het aanmaken van een gratis ElevenLabs-account. Zodra we zijn ingelogd, kunnen we op het profielpictogram klikken en de optie “Profile + API key” selecteren. Hier wordt onze API-sleutel al voor ons gegenereerd. Zorg dat je deze sleutel opslaat, want we hebben hem nodig om onze verzoeken te authenticeren.

2. Installeer en importeer het ElevenLabs Python-pakket

Om met de ElevenLabs API te communiceren via Python, moeten we hun officiële pakket installeren. Dat kan met pip, de Python package installer:

$ pip install elevenlabs

Nu kunnen we de benodigde componenten uit het pakket importeren in een nieuw Python-bestand.

from elevenlabs.client import ElevenLabs
from elevenlabs import play, save, stream, Voice, VoiceSettings

3. Audio genereren

Zodra onze omgeving is ingericht, kunnen we onze eerste audioclip genereren door een instantie van de ElevenLabs-client te maken met onze API-sleutel.

client = ElevenLabs(api_key="YOUR_API_KEY")

Vervolgens gebruiken we de .generate-methode om de tekst naar audio te converteren.

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API",
   voice="Brian"
)

We kunnen de gegenereerde audio meteen afspelen:

play(audio)

Of opslaan als bestand:

save(audio, "output.mp3")

4. Stemmen aanpassen

ElevenLabs biedt tal van aanpassingsopties om de stem af te stemmen op je voorkeuren. We kunnen instellingen zoals stabiliteit, similarity boost en stijl aanpassen. Bijvoorbeeld:

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API.",
   voice=Voice(
       voice_id='nPczCjzI2devNBz1zQrb',
       settings=VoiceSettings(
           stability=0.8, similarity_boost=0.6, style=0.2, use_speaker_boost=True)
   )
)

De voice_id komt overeen met specifieke, vooraf gemaakte stemmen van ElevenLabs; een volledige lijst met details zoals gebruiksscenario, accent en beschrijvingen is te vinden op de ElevenLabs-voicepagina.

5. Meertalige spraakgeneratie

ElevenLabs biedt twee belangrijke modellen: eleven_multilingual_v2, dat spraak kan genereren in 29 talen, en: eleven_monolingual_v1, dat specifiek is geoptimaliseerd voor Engelse spraak. Zo kunnen we het meertalige model gebruiken om audio in meerdere talen tegelijk te produceren:

audio = client.generate(
   text="Hello! Hola! Hallo 你好! नमस्ते! Bonjour! こんにちは! مرحبا! 안녕하세요! Ciao!",
   voice="Arnold",
   model="eleven_multilingual_v2"
)

Streaming spraakgeneratie

Hoewel de .generate-methode die we hebben besproken de volledige spraakuitvoer verwerkt en teruggeeft zodra alle tekst is geconverteerd, biedt de ElevenLabs API ook een krachtige streamingfunctie. Dit is vooral handig voor toepassingen die real-time audiogeneratie vereisen, omdat audio vrijwel direct kan worden afgespeeld terwijl de rest van de tekst nog wordt verwerkt.

LET OP: Voor streamingaudio moeten we de mpv-mediaspeler geïnstalleerd hebben; op Mac kun je die installeren met het commando brew install mpv. Voor Linux en Windows kun je hem downloaden via de mpv-homepage.

Hoe streaming werkt

Om de streamingfunctie te gebruiken, moeten we de parameter stream op True zetten in de .generate-methode. Dit geeft aan de API door om de audio in stukken te leveren zodra ze klaar zijn:

audio_stream = client.generate(
   text="Welcome... I am speaking to you in real-time. Let’s get started!.",
   stream=True
)
stream(audio_stream)

Streamen met dynamische tekstinvoer

Streamen is niet beperkt tot statische tekst. Het kan ook omgaan met dynamische invoer, waarbij tekstfragmenten naar de API worden gestuurd zodra ze beschikbaar zijn. Dit is vooral nuttig voor interactieve toepassingen, zoals live-uitzendingen of het creëren van responsieve, AI-gestuurde dialogen. Zo kunnen we dynamische tekst streamen:

def text_stream():
   yield "Hi! I'm Brian "
   yield "I'm an artificial voice made by ElevenLabs "


audio_stream = client.generate(
   text=text_stream(),
   voice="Brian",
   model="eleven_monolingual_v1",
   stream=True
)


stream(audio_stream)

In deze setup fungeert text_stream() als een generatorfunctie die tekstsnippets doorgeeft aan de API. Elk fragment wordt direct verwerkt, wat helpt om een natuurlijke spreekflow te behouden zonder ongemakkelijke pauzes of vertragingen. Deze functie weerspiegelt de conversatievaardigheden van geavanceerde spraakassistenten en realtime vertaalapparaten.

Spraak-naar-spraak-generatie

Een andere krachtige functie van het ElevenLabs-platform is STS-synthese, wat in essentie stemklonen is.

De workflow lijkt op wat we tot nu toe voor TTS hebben besproken, met als belangrijkste verschil het type invoer. In plaats van tekst leveren we audiobestanden van de stem die we willen klonen.

Voor instant voice cloning raadt ElevenLabs aan om 60 seconden aan content te gebruiken zonder achtergrondgeluid en effecten; voor professionele stemklonen is minimaal 30 minuten schone audio aan te bevelen.

Een beschrijving toevoegen is niet noodzakelijk, maar kan handig zijn om meerdere projecten of stemmodellen te organiseren en van elkaar te onderscheiden.

Hier is een voorbeeld van hoe we een stem kunnen klonen.

voice = client.clone(
   name="Emily",
   description="A young British female voice with a clear, melodic tone, ideal for storytelling or educational content", 
   files=["./sample_1.mp3", "./sample_2.mp3", "./sample_3.mp3"],
)

Toepassingen van de ElevenLabs API in Python

De ElevenLabs API biedt een reeks krachtige mogelijkheden op het gebied van spraaksynthese die de manier kunnen veranderen waarop organisaties en individuen met hun publiek communiceren. Door tekst naar spraak te converteren of stemmen te klonen via spraak-naar-spraak biedt deze technologie innovatieve oplossingen voor diverse domeinen.

Hier zijn drie belangrijke toepassingen die het potentieel van deze tool laten zien:

Interactive voice response (IVR)-systemen

• Meertalige ondersteuning: Organisaties die actief zijn in meertalige markten kunnen het systeem gebruiken om klantenservice in verschillende talen aan te bieden zonder meertalig personeel nodig te hebben.
• Klantenservice: Bedrijven kunnen de API inzetten in hun klantenservice om menselijker interacties te bieden in geautomatiseerde telefoonsystemen, waardoor de klantervaring verbetert met gepersonaliseerde stemreacties.

Toegankelijkheidsfuncties in digitale content

• Verbeterde leeshulpmiddelen: De API kan worden gebruikt om audioboeken te maken van geschreven materiaal, waardoor literatuur toegankelijker wordt voor mensen met een visuele beperking of leesstoornissen
• Stemnavigatie: Integratie in websites en apps voor stemgestuurde navigatie kan gebruikers helpen die auditieve ondersteuning nodig hebben, wat de bruikbaarheid van digitale platforms verbetert.

Contentcreatie

• Geautomatiseerde voice-overs voor video’s: Producenten van digitale content, zoals YouTube-makers en filmmakers, kunnen de technologie gebruiken om natuurlijk klinkende voice-overs in meerdere talen te genereren, waardoor productiekosten en -tijd aanzienlijk worden verlaagd.
• Educatieve tutorials en e-learningmodules: Met TTS en STS kunnen we educatieve content inspreken, waardoor leren interactiever en toegankelijker wordt, vooral in omgevingen voor afstandsonderwijs.

Conclusie

De ElevenLabs API is een robuuste en veelzijdige tool voor iedereen die geavanceerde spraaksynthese in zijn applicaties wil opnemen.

Of het nu gaat om toegankelijkheid, contentcreatie of het verbeteren van klantinteracties: deze API biedt een scala aan oplossingen voor diverse behoeften.

Met de optie voor zowel tekst-naar-spraak als spraak-naar-spraak-synthese faciliteert het de creatie van inclusievere en boeiendere gebruikerservaringen.

Als je enthousiast bent over de mogelijkheden van spraaktechnologie en je expertise wilt verdiepen, overweeg dan de cursus Spoken Language Processing in Python op DataCamp. Deze uitgebreide cursus behandelt alles, van de basis van audiovoorbewerking en -manipulatie tot het converteren van spraak-naar-tekst en het analyseren van de getranscribeerde data. Door je in te schrijven doe je praktijkervaring op met realistische toepassingen, zodat je de vaardigheden opbouwt om geavanceerde spraakgestuurde systemen te bouwen en innovatieve oplossingen te creëren in dit dynamische vakgebied.