Panduan Pemula untuk ElevenLabs API: Ubah Teks dan Suara menjadi Pengalaman Audio Dinamis

Di era inovasi teknologi, kekuatan aplikasi berbasis suara mengubah cara kita berinteraksi dengan dunia. Dari meningkatkan aksesibilitas bagi mereka yang memiliki gangguan penglihatan hingga menciptakan pengalaman pengguna yang lebih dinamis dan menarik, fleksibilitas teknologi suara sangat luas dan berdampak.

ElevenLabs, generator suara AI terkemuka, menawarkan kemampuan mutakhir dalam sintesis text-to-speech dan speech-to-speech.

Dalam panduan ini, kita akan mengeksplorasi fitur-fitur tersebut dan menunjukkan bagaimana Anda dapat memanfaatkannya untuk mengubah teks tertulis dan rekaman suara menjadi ucapan yang terdengar alami.

Baik Anda seorang developer yang ingin mengintegrasikan fungsionalitas suara ke dalam aplikasi, seorang pembuat konten yang ingin memproduksi voice-over multibahasa, atau bisnis yang ingin meningkatkan interaksi pelanggan melalui sistem otomatis, artikel ini akan memberi Anda pengetahuan penting untuk memulai.

Apa itu Mesin Text-to-Speech?

Mesin text-to-speech (TTS) adalah teknologi canggih yang menerima teks tertulis sebagai masukan dan mengubahnya menjadi audio ucapan. Ini memungkinkan pengguna untuk mendengar alih-alih membaca teks, sehingga membuat konten digital lebih mudah diakses dan interaktif. Jika Anda tertarik untuk mengeksplorasi mesin TTS lebih lanjut, informasi terperinci dapat ditemukan dalam panduan tentang mesin text-to-speech terbaik ini.

Apa itu ElevenLabs?

ElevenLabs adalah salah satu platform terdepan yang menawarkan sintesis text-to-speech (TTS) dan speech-to-speech (STS). Teknologi ini memanfaatkan model pembelajaran mesin tingkat lanjut untuk menghasilkan audio yang realistis dan terdengar alami dari teks tertulis atau bahkan dari satu suara ke suara lainnya.

Kemampuannya untuk menghadirkan audio berkualitas tinggi menjadikannya pilihan utama di kalangan developer, pembuat konten, dan bisnis yang ingin meningkatkan keterlibatan pengguna melalui pengalaman audio yang dinamis.

Dalam tutorial ini, kita akan berfokus pada cara menggunakan ElevenLabs API di Python. Kita akan membahas semuanya mulai dari mendapatkan kunci API, menyiapkan lingkungan pengembangan, menginisialisasi library, dan menggunakan fungsinya untuk menghasilkan ucapan. Untuk melihat gambaran hasil yang dapat dicapai, dengarkan klip audio yang dihasilkan menggunakan fungsionalitasnya. Kita akan mempelajari cara membuat sesuatu yang serupa, langkah demi langkah.

Apakah Anda ingin mengintegrasikan voice-over ke konten multimedia atau mengembangkan aplikasi aksesibel bagi pengguna tunanetra, ElevenLabs menyediakan alat yang diperlukan untuk menghidupkan audio Anda. Pada akhir panduan ini, Anda akan memiliki pemahaman menyeluruh tentang cara menggunakan API-nya untuk mengubah teks menjadi ucapan dengan kejernihan dan realisme yang luar biasa.

Text-to-speech Menggunakan ElevenLabs API di Python

1. Buat kunci API

Langkah pertama adalah mendaftar akun ElevenLabs gratis. Setelah masuk, kita dapat mengeklik ikon profil dan memilih opsi “Profile + API key”. Di sini, kunci API kita sudah dibuatkan. Pastikan untuk menyimpan kunci ini karena kita akan membutuhkannya untuk mengautentikasi permintaan.

2. Instal dan impor paket ElevenLabs untuk Python

Untuk berinteraksi dengan ElevenLabs API menggunakan Python, kita perlu memasang paket resmi mereka. Kita dapat melakukannya menggunakan pip, penginstal paket Python:

$ pip install elevenlabs

Sekarang, kita dapat mengimpor komponen yang diperlukan dari paket tersebut ke file Python baru.

from elevenlabs.client import ElevenLabs
from elevenlabs import play, save, stream, Voice, VoiceSettings

3. Menghasilkan audio

Setelah lingkungan kita siap, kita dapat menghasilkan klip audio pertama dengan membuat instance klien ElevenLabs menggunakan kunci API kita.

client = ElevenLabs(api_key="YOUR_API_KEY")

Lalu, kita gunakan metode .generate untuk mengonversi teks menjadi audio.

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API",
   voice="Brian"
)

Kita bisa langsung memutar audio yang dihasilkan:

play(audio)

Atau menyimpannya sebagai file:

save(audio, "output.mp3")

4. Menyesuaikan suara

ElevenLabs menyediakan banyak opsi kustomisasi untuk menyesuaikan suara sesuai preferensi Anda. Kita dapat mengatur parameter seperti stability, similarity boost, dan style. Contohnya:

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API.",
   voice=Voice(
       voice_id='nPczCjzI2devNBz1zQrb',
       settings=VoiceSettings(
           stability=0.8, similarity_boost=0.6, style=0.2, use_speaker_boost=True)
   )
)

voice_id sesuai dengan suara siap pakai tertentu dari ElevenLabs; daftar lengkapnya, beserta detail seperti use case, aksen, dan deskripsi, dapat ditemukan di halaman suara ElevenLabs.

5. Pembuatan ucapan multibahasa

ElevenLabs menawarkan dua model utama: eleven_multilingual_v2, yang mampu menghasilkan ucapan dalam 29 bahasa, dan eleven_monolingual_v1, yang dioptimalkan khusus untuk bahasa Inggris. Berikut cara kita dapat memanfaatkan model multibahasa untuk menghasilkan audio dalam beberapa bahasa secara bersamaan:

audio = client.generate(
   text="Hello! Hola! Hallo 你好! नमस्ते! Bonjour! こんにちは! مرحبا! 안녕하세요! Ciao!",
   voice="Arnold",
   model="eleven_multilingual_v2"
)

Streaming Pembuatan Ucapan

Sementara metode .generate yang kita bahas memproses dan mengembalikan seluruh keluaran ucapan setelah semua teks dikonversi, ElevenLabs API juga menawarkan fitur streaming yang andal. Ini sangat berguna untuk aplikasi yang memerlukan pembuatan audio real-time, karena memungkinkan audio diputar hampir seketika ketika sisa teks masih diproses.

CATATAN: Untuk streaming audio, kita perlu memasang pemutar media mpv. Di Mac, Anda dapat memasangnya dengan perintah brew install mpv. Untuk Linux dan Windows, Anda dapat memasangnya dari beranda mpv.

Cara kerja streaming

Untuk menggunakan fitur streaming, kita perlu mengatur parameter stream menjadi True pada metode .generate. Ini memberi sinyal kepada API untuk mulai mengirimkan audio dalam potongan-potongan segera setelah siap:

audio_stream = client.generate(
   text="Welcome... I am speaking to you in real-time. Let’s get started!.",
   stream=True
)
stream(audio_stream)

Streaming dengan masukan teks dinamis

Streaming tidak hanya terbatas pada teks statis. Ini juga dapat menangani masukan dinamis, di mana potongan teks dikirimkan ke API saat tersedia. Ini sangat berguna untuk aplikasi interaktif, seperti siaran langsung atau membuat dialog responsif berbasis AI. Berikut cara kita dapat melakukan streaming teks dinamis:

def text_stream():
   yield "Hi! I'm Brian "
   yield "I'm an artificial voice made by ElevenLabs "


audio_stream = client.generate(
   text=text_stream(),
   voice="Brian",
   model="eleven_monolingual_v1",
   stream=True
)


stream(audio_stream)

Dalam pengaturan ini, text_stream() bertindak sebagai fungsi generator yang mengirimkan potongan teks ke API. Setiap potongan diproses segera, yang membantu menjaga alur bicara tetap natural tanpa jeda canggung atau penundaan. Fitur ini mencerminkan kemampuan percakapan yang ditunjukkan oleh asisten suara canggih dan perangkat penerjemah real-time.

Speech-to-Speech

Fitur kuat lainnya dari platform ElevenLabs adalah sintesis STS, yang pada dasarnya merupakan kloning suara.

Alurnya mirip dengan yang telah kita bahas sejauh ini untuk TTS, dengan perbedaan utama pada jenis masukan. Alih-alih teks, kita menyediakan file audio dari suara yang ingin kita kloning.

Untuk kloning suara instan, ElevenLabs menyarankan menggunakan 60 detik konten dengan data yang bebas dari kebisingan latar dan efek; untuk kloning suara profesional, disarankan minimal 30 menit audio bersih.

Menambahkan deskripsi tidak wajib namun dapat berguna untuk mengatur dan membedakan antara beberapa proyek atau model suara.

Berikut contoh cara kita dapat mengkloning suara.

voice = client.clone(
   name="Emily",
   description="A young British female voice with a clear, melodic tone, ideal for storytelling or educational content", 
   files=["./sample_1.mp3", "./sample_2.mp3", "./sample_3.mp3"],
)

Aplikasi ElevenLabs API di Python

ElevenLabs API menawarkan beragam kemampuan andal dalam sintesis ucapan yang dapat mengubah cara organisasi dan individu berinteraksi dengan audiens mereka. Dengan mengonversi teks menjadi ucapan atau mengkloning suara melalui speech-to-speech, teknologi ini menyediakan solusi inovatif untuk berbagai bidang.

Berikut tiga aplikasi utama yang menunjukkan potensi alat ini:

Sistem interactive voice response (IVR)

• Dukungan multibahasa: Organisasi yang beroperasi di pasar multibahasa dapat menggunakan sistem ini untuk menawarkan dukungan pelanggan dalam berbagai bahasa tanpa memerlukan staf multibahasa.
• Layanan pelanggan: Bisnis dapat menerapkan API dalam operasi layanan pelanggan untuk menghadirkan interaksi yang lebih mirip manusia dalam sistem telepon otomatis, meningkatkan pengalaman pelanggan dengan respons suara yang dipersonalisasi.

Fitur aksesibilitas dalam konten digital

• Alat baca yang ditingkatkan: API dapat digunakan untuk membuat buku audio dari materi tertulis, sehingga literatur lebih mudah diakses oleh penyandang tunanetra atau disabilitas membaca.
• Navigasi suara: Integrasi ke situs web dan aplikasi untuk navigasi berbasis suara dapat membantu pengguna yang memerlukan bantuan auditori, meningkatkan kegunaan platform digital.

Pembuatan konten

• Voice-over otomatis untuk video: Produser konten digital, seperti kreator YouTube dan pembuat film, dapat memanfaatkan teknologi ini untuk menghasilkan voice-over yang terdengar natural dalam berbagai bahasa, sehingga memangkas biaya dan waktu produksi secara signifikan.
• Tutorial edukasi dan modul e-learning: Dengan TTS dan STS, kita dapat memberi suara pada konten edukasi, membuat pembelajaran lebih interaktif dan mudah diakses, terutama di lingkungan pembelajaran jarak jauh.

Kesimpulan

ElevenLabs API adalah alat yang tangguh dan serbaguna bagi siapa pun yang ingin mengintegrasikan sintesis ucapan tingkat lanjut ke dalam aplikasi mereka.

Baik untuk aksesibilitas, pembuatan konten, maupun meningkatkan interaksi pelanggan, API ini menyediakan berbagai solusi untuk memenuhi kebutuhan yang beragam.

Dengan opsi sintesis text-to-speech dan speech-to-speech, API ini memudahkan pembuatan pengalaman pengguna yang lebih inklusif dan menarik.

Jika Anda antusias dengan kemungkinan teknologi suara dan ingin memperdalam keahlian, pertimbangkan untuk mengikuti kursus Spoken Language Processing in Python di DataCamp. Kursus komprehensif ini membahas mulai dari dasar-dasar prapemrosesan dan manipulasi audio hingga mengonversi ucapan menjadi teks dan menganalisis data hasil transkripsi. Dengan mendaftar, Anda akan mendapatkan pengalaman praktik langsung pada aplikasi dunia nyata, membekali Anda dengan keterampilan yang diperlukan untuk membangun sistem berbasis suara yang canggih dan menciptakan solusi inovatif di bidang yang dinamis ini.