ElevenLabs Voice Cloning: een praktische VoiceLab-gids

VoiceLab vs. de Voice Library

Verwar dit niet met de Voice Library.

• Voice Library: Vooraf gemaakte stemmen bladeren en gebruiken
• VoiceLab: Je eigen stemmen maken en beheren

Zodra je een stem maakt in VoiceLab, kun je hem desgewenst publiceren naar de Voice Library zodat anderen hem kunnen gebruiken. Standaard blijft hij echter privé in je account.

Je ElevenLabs-account instellen

Beginnen is eenvoudig. 

1. Ga naar elevenlabs.io
2. Klik op Sign Up
3. Gebruik Google of e-mail
4. Kies je startplatform. Ga voor Eleven Creative om je te richten op de tools voor stemcreatie.

5. Verifieer je account

Zodra je binnen bent, navigeer je naar het VoiceLab-gedeelte:

• Klik op Voices in de linkerzijbalk.
• Klik op + Create Voice

Je ziet vier opties:

• Voice Design
• Instant Voice Cloning
• Professional Voice Cloning
• Voice Remixing

Let op: niet alle functies zijn beschikbaar voor alle niveaus. Bekijk de tabel hieronder om te weten wat per niveau beschikbaar is:

Een synthetische stem maken met Voice Design

Voice Design is de makkelijkste plek om te beginnen. Je hebt geen opnames nodig. Het genereert een stem vanaf nul. Het is ook de enige optie die beschikbaar is in het gratis abonnement, wat het perfect maakt voor beginners.

De workflow is simpel:

1. Schrijf een prompt met enkele kerninstellingen
2. Genereren
3. Voorbeeld beluisteren
4. Opslaan

Een tip uit ervaring: genereer minstens 5 tot 10 variaties voordat je er één kiest. Zelfs met dezelfde instellingen variëren de resultaten behoorlijk. Klik om te beginnen op de Voice Design-knop in het Create Voice-menu. Hiermee opent een menu waarin je een prompt voor je stem kunt schrijven.

Je kunt op Settings tikken om twee zaken aan te passen:

• Loudness: hoe luid de stem zal zijn wanneer deze wordt gegenereerd. 
• Guidance level: vergelijkbaar met temperatuur in andere modellen; dit geeft aan hoe strikt de AI je prompt moet volgen. Hogere guidance betekent dat hij nauwer volgt wat je zegt. Lagere guidance betekent meer vrijheid.

Je kunt ervoor kiezen de AI-agent eigen voorbeeldtekst te laten gebruiken, of je kunt je eigen script aanleveren door de instelling uit te zetten en je eigen tekst in het voorbeeldtekstvak te zetten.

Prompten van stemparameters

Gebruik het promptveld om je configuraties te genereren. Probeer de volgende prompttemplate te gebruiken om te focussen op specifieke parameters die je wilt:

Native <Language>.  <Accent>, <Gender>, <Age range>, <Quality level>.
Persona: <2–5 words>. Emotion: <2–3 adjectives>.
<1–2 sentences about timbre, pacing, delivery>

Elke parameter beïnvloedt de output:

• VoiceLabs is meertalig, dus taal bepaalt de taaltonaliteit van de stem
• Accent verandert uitspraakpatronen
• Leeftijd beïnvloedt toonhoogte en klankkleur
• Geslacht beïnvloedt het stemgebied
• Het kwaliteitsniveau bepaalt hoe schoon de audio klinkt

Het interessante is hoe deze combineren. Soms leveren onverwachte combinaties de beste resultaten op, dus experimenteren loont.

Genereren, beluisteren en opslaan

Klik op Generate voice, en ElevenLabs produceert een kort sample.

Je kunt zo vaak opnieuw genereren als je wilt. Elke versie is net iets anders.

Zodra je er één vindt die je bevalt:

• Klik op Save

• Gebruik een beschrijvende naam zoals narrator_us_male_30s

Na het opslaan verschijnt de stem onder My Voices en in de Speech Synthesis-dropdown.

Een stem klonen met Instant Voice Cloning (IVC)

Met Instant Voice Cloning kun je een stem reproduceren met slechts een kleine audio-sample. Het is snel en verrassend effectief, al niet perfect. Onthoud: hiervoor heb je het Starter-abonnement ($6/maand) of hoger nodig.

Belangrijk: kloon alleen stemmen waarvoor je toestemming hebt. Het platform vraagt je dit te bevestigen, en dat moet je serieus nemen. De volledige pijplijn is vrij eenvoudig:

• Bereid je audio voor
• Upload de audio
• Geef je stemclone een naam en sla op
• Test in Text to Speech

Je audiosample voorbereiden

Je wilt dat je audio de juiste lengte, het juiste formaat en een redelijke kwaliteit heeft. De minimumlengte is ongeveer een minuut, maar ik merk dat 3 tot 5 minuten veel betere resultaten geeft.

Upload MP3- of WAV-bestanden onder de 50 MB; je kunt altijd meerdere bestanden tegelijk uploaden. 

Voor de beste clone-ervaring en goede audiokwaliteit raad ik het volgende aan bij het opnemen:

• Stille ruimte
• Geen achtergrondgeluid
• Consistente microfoonsafstand

Vermijd in elk geval het volgende:

• Meerdere sprekers
• Opnames met telefoon
• Zware nabewerking

Uploaden en de clone maken

Ga terug naar je Voices-dashboard en doe het volgende:

1. Klik op + Create Voice
2. Selecteer Instant Voice Cloning
3. Upload je audio en klik op Next

4. Geef je stem een naam, voeg optioneel labels en een beschrijving toe
5. Bevestig toestemming
6. Klik op Save Voice

De volgende labels kun je kiezen uit een dropdownmenu:

• Taal
• Accent (opent opties afhankelijk van de taal)
• Geslacht
• Leeftijd (opties: jong, middelbaar, of oud)

De stem is direct klaar en je kunt hem meteen testen in de tekst-naar-spraakgenerator. Probeer een paar verschillende zinnen en let op waar het natuurlijk klinkt en waar het moeite heeft.

Om dit te doen, klik je op Text to Speech in de linkerzijbalk. (Merk op dat sommige versies dit Speech Synthesis noemen.)

Dit opent een venster met een soortgelijk tekstpromptvenster. 

Klik aan de rechterkant op de Voice-dropdown en selecteer je stem in het My Voices-venster.

Schrijf een testzin en klik op Generate speech.

Dit genereert een audiosample met je gekozen stem. Pas gerust de instellingen aan de rechterkant aan naar je voorkeur. Je kunt onder meer aanpassen:

• Snelheid
• Stability
• Similarity
• Style Exaggeration 

Verschillende modellen kiezen kan ook andere opties bieden!

Om je bestand op te slaan, klik je op de downloadknop rechts om de gegenereerde audio te bewaren.

Een high-fidelity clone bouwen met Professional Voice Cloning (PVC)

Als IVC je een ruwe benadering geeft, levert PVC iets dat veel dichter bij het echte werk ligt. Hier leg je nuances vast zoals tempo, ademhaling en emotie.

Hiervoor heb je het Creator-abonnement ($22/maand) nodig. Volgens ElevenLabs duurt de verwerking meestal 2 tot 6 uur, al kan de totale traintijd tot 24 uur oplopen afhankelijk van serverbelasting. 

Dit is de meest relevante optie als je stemassets op productieniveau wilt bouwen.  Denk aan zaken als vertelling, audioboeken en branded voice-agents. Dingen die commercieel of op grote schaal gebruikt kunnen worden.

Je trainingsdata opnemen en cureren

Omdat we het best mogelijke model willen maken, zijn de eisen hoger. Zo is de minimale opnametijd 30 minuten schone audio, maar voor de beste resultaten mik je op 3+ uur. De beste manier om zoveel audio in te dienen is om het op te splitsen in samples van 30 minuten.

Hier zijn wat tips om het meeste uit je opname te halen:

• Gebruik een stille opnameomgeving
• Probeer een goede microfoon te gebruiken
• Neem gevarieerde content op, lees niet alleen uit één document

Je kunt bijvoorbeeld je vertelstijl afwisselen:

• Gebruik verschillende soorten dialogen. Lees een paar instructieteksten. 
• Ga door wat getallen en een lijst. Dit zorgt voor veel variatie in uitspraak en zinsbouw. 
• Neem daarnaast op in verschillende tempos, met verschillende emoties, enzovoort. Meer flair en stijl toevoegen helpt een beter model te bouwen.

Vermijd zoals altijd slechte audiokwaliteit zoals het volgende:

• Achtergrondgeluid
• Zware compressie
• Vulwoorden zoals “ehm” en “uh”

Indienen en wachten op training

Zodra je klaar bent met het voorbereiden van de audio, zijn de stappen vrij eenvoudig:

1. Selecteer Professional Voice Clone
2. Klik op de knop Create new clone

3. Upload alle opnames, vul de naam, taal en andere labels in

4. Vul toestemmingsdetails in
5. Dien in

Voordat ElevenLabs je clone traint, moet je bewijzen dat de stem echt van jou is.

Dit is het grote verschil met IVC: professioneel klonen laat je alleen je eigen stem klonen, je kunt dus niet die van iemand anders klonen, zelfs niet met hun toestemming. Wil een collega de hunne uitlenen, dan moeten ze de PVC in hun eigen account aanmaken en verifiëren, en die vervolgens met jou delen via een privé-deellink.

Verificatie is een korte live-opname. Je leest een paar regels op het scherm in je microfoon. Twee dingen maken hier het verschil:

• Gebruik dezelfde of zeer vergelijkbare apparatuur als waarmee je je samples hebt opgenomen, en behoud een vergelijkbare toon en voordracht. Een mismatch is de meest voorkomende faaloorzaak.
• Lees elke regel slechts één keer en druk dan op Stop. Het vaker lezen kan verificatie laten mislukken.

Als het mislukt, kun je 24 uur wachten en het opnieuw proberen, of contact opnemen met support. Let op: zodra je de verificatiefase bereikt, zit de clone vast. Je kunt een niet-geverifieerde PVC niet zelf verwijderen, dus zorg dat je samples kloppen voordat je hier komt.

Je krijgt bericht wanneer je stemclone klaar is! Een handige truc is dan je IVC- en PVC-outputs te vergelijken met dezelfde zin. Het verschil is meestal duidelijk.

Je VoiceLab-stemmen gebruiken in projecten

Zodra je stem is opgeslagen, is hij overal op het platform beschikbaar waar ElevenLabs audio genereert.

Je kunt hem gebruiken in:

• Text to Speech (Speech Synthesis) voor snelle generatie
• Studio voor langlopende projecten
• Python-API voor programmatisch gebruik

Ik loop langs hoe we je stem in elk van deze tools kunnen gebruiken. De Beginner’s Guide to the ElevenLabs API is de beste manier om met de Python-API te beginnen.

Aangepaste stemmen gebruiken in Text to Speech en Studio

In Text to Speech hoef je je stem alleen te selecteren in de Voices -> My Voices -dropdown, zoals hierboven genoemd.

Enkele afstemtips voor de Text to Speech-tool:

• Begin met Stability op 40 tot 50 procent
• Zet Similarity rond 75 procent
• Pas aan op basis van de output

Het kan een paar pogingen kosten om precies de stem en opname te krijgen die je wilt, maar hoe meer je experimenteert, hoe beter je het spraakgeneratieproces begrijpt.

In Studio is het vergelijkbaar. Navigeer eerst naar Studio in de linkerzijbalk en selecteer vervolgens + New Blank Project. Daarna kies je het soort project:

• Audio Project of
• Video Project

Een audioproject is precies dat; het laat je lange conversatiestukken met meerdere stemmen maken. Bij een videoproject upload je eerst een video, waarna je stemmen kunt toevoegen om een voice-over te maken.

Navigatie van audioproject in Studio

Met het Studio-audioproject kun je een audiofile met meerdere sprekers maken. Dit is ideaal voor het genereren van podcasts of conversatiecontent. Ook voor audioboekcontent waarbij je verschillende stemmen of personages wilt.

Het audiodashboard van Studio is een blanco canvas om op te werken. We focussen hier op het belangrijkste stemonderdeel, maar voel je vrij om ermee te spelen.

Links zie je een stemsectie die voor je is geselecteerd. Terwijl je in het promptgebied typt, wordt de spraak van het personage voor je gemarkeerd.

Ga je naar de volgende regel, dan kun je een andere stem selecteren en een ander personage hebben. Elk van deze regels is een “alinea”:

De limieten zijn vrij royaal voor Studio. Elk project kan tot 500 hoofdstukken hebben, elk met tot 400 alinea’s. Elke alinea kan tot 5000 tekens bevatten.

Het aantal projecten dat je kunt hebben hangt af van je niveau:

• Free: 5 projecten
• Starter: 20 projecten
• Creator: 1.000 projecten

Navigatie van videoproject in Studio

Volg dezelfde stappen, maar kies nu een videoproject. Je komt op een blanco canvas en wordt gevraagd een video te uploaden:

Zodra je een videoclip hebt geüpload, zie je die links en kun je op play drukken om te previewen. Je kunt desgewenst meerdere video’s toevoegen.

Ga vervolgens links naar Speech.

Net als bij een audioproject kun je meerdere stemmen kiezen en de gewenste zinnen typen. Terwijl je typt, kun je op Enter drukken om naar een nieuwe regel te gaan. Het is mogelijk om verschillende stemmen per regel te kiezen om een gesprek te creëren.

Onderaan kun je de tijdframes per regel eenvoudig aanpassen door ze te slepen op de tijdlijn.

Als je geen foto’s of video hebt, kun je die genereren via het tabblad Video links. Je schrijft simpelweg een prompt, waarna de gewenste afbeelding of video wordt gegenereerd. 

Let op: je moet eerst akkoord gaan met de beta-gebruiksvoorwaarden voor Afbeelding en Video. Ook kunnen gratis leden alleen afbeeldingen genereren; je hebt minstens een Starter-lidmaatschap ($5/maand) nodig om video te genereren.

Toegang tot aangepaste stemmen via de ElevenLabs Python-SDK

Om de Python-SDK te gebruiken, moet je eerst Python geïnstalleerd hebben. Maak daarna een Python-omgeving waarin je vervolgens de ElevenLabs-SDK installeert met het volgende: pip install "elevenlabs[pyaudio]"

Ga vervolgens naar je ElevenLabs-ontwikkelaarsdashboard door onderaan de linkerzijbalk te klikken en API Keys -> Create Key te selecteren.

Vervolgens selecteer je welke tools je toegang wilt geven tot de API en klik je op Create Key.

Er verschijnt een API-sleutel die je moet kopiëren, anders ben je hem voorgoed kwijt.

Sla de API-sleutel vervolgens op in een .env-bestand op een veilige plek of in een projectmap.

Ga daarna naar je Voices-dashboard en selecteer My Voices. Kopieer het Voice ID van je stem. Sla het ergens op waar je er later makkelijk bij kunt.

Nu kun je een script maken om je ElevenLabs-stem aan te sturen! Hier is een simpel voorbeeld:

import os
from dotenv import load_dotenv
from elevenlabs.client import ElevenLabs

# Loads the .env file from the folder
load_dotenv()

# uses the API key to get access to the ElevenLabs Client
client = ElevenLabs(api_key=os.getenv("ELEVENLABS_API_KEY"))
# Sets the voice ID for your voice
custom_narrator_voice_id = "your_voice_id_here"

# Calls the text to speech API using your custom voice ID
# Creates an audio file with the specific text
# Uses the model and output format defined for the voice
audio = client.text_to_speech.convert(
    voice_id=custom_narrator_voice_id,
    text="Thanks for getting through this DataCamp article!.",
    model_id="eleven_v3",
    output_format="mp3_44100_128",
)

# Takes the output audio and joins it into a byte object
audio_bytes = b"".join(audio)

# Saves the audio bytes to a file 
with open("output.mp3", "wb") as f:
    f.write(audio_bytes)

Conclusie

VoiceLab biedt drie paden om uit te kiezen, afhankelijk van je behoeften. Voice Design is perfect om te experimenteren, Instant Voice Cloning is ideaal voor snelle prototypes en Professional Voice Cloning is waar je heen gaat voor kwaliteit op productieniveau.

Als je net begint, raad ik aan eerst bij Voice Design te blijven. Upgrade pas als je een duidelijk usecase hebt.

Als je dieper wilt duiken in het bouwen van AI-gedreven applicaties, bekijk dan onze Developing AI Applications-skill track, die je leert werken met de nieuwste AI-ontwikkeltools, waaronder de OpenAI API, Hugging Face en LangChain.