Hướng dẫn cho người mới bắt đầu về ElevenLabs API: Biến văn bản và giọng nói thành trải nghiệm âm thanh sống động

Trong kỷ nguyên đổi mới công nghệ, sức mạnh của các ứng dụng điều khiển bằng giọng nói đang thay đổi cách chúng ta tương tác với thế giới. Từ việc nâng cao khả năng tiếp cận cho người khiếm thị đến tạo nên trải nghiệm người dùng sinh động và hấp dẫn hơn, tính đa dụng của công nghệ giọng nói vừa rộng vừa có tác động lớn.

ElevenLabs, một trình tạo giọng nói AI hàng đầu, cung cấp các khả năng tiên tiến trong tổng hợp văn bản thành giọng nói (TTS) và giọng nói thành giọng nói (STS).

Trong hướng dẫn này, chúng ta sẽ khám phá các tính năng này và trình bày cách bạn có thể khai thác tiềm năng của chúng để biến văn bản viết và bản ghi giọng nói thành lời nói sống động như thật.

Dù bạn là nhà phát triển muốn tích hợp chức năng giọng nói vào ứng dụng, người sáng tạo nội dung muốn sản xuất lồng tiếng đa ngôn ngữ, hay doanh nghiệp đang hướng tới cải thiện tương tác khách hàng qua hệ thống tự động, bài viết này sẽ cung cấp cho bạn kiến thức cốt lõi để bắt đầu.

Công cụ chuyển văn bản thành giọng nói (Text-to-Speech) là gì?

Công cụ text-to-speech (TTS) là một công nghệ tinh vi nhận văn bản viết làm đầu vào và chuyển đổi thành âm thanh lời nói. Điều này cho phép người dùng nghe thay vì đọc văn bản, giúp nội dung số trở nên dễ tiếp cận và tương tác hơn. Nếu bạn quan tâm đến việc tìm hiểu sâu hơn về TTS, có thể xem thông tin chi tiết trong hướng dẫn về các công cụ text-to-speech tốt nhất.

ElevenLabs là gì?

ElevenLabs là một trong những nền tảng hàng đầu cung cấp cả tổng hợp text-to-speech (TTS) và speech-to-speech (STS). Công nghệ này tận dụng các mô hình máy học tiên tiến để tạo ra âm thanh chân thực và tự nhiên từ văn bản, hoặc thậm chí chuyển đổi từ một giọng nói sang giọng nói khác.

Khả năng tạo ra âm thanh chất lượng cao khiến đây là lựa chọn hàng đầu của các nhà phát triển, người sáng tạo nội dung và doanh nghiệp muốn tăng cường mức độ tương tác của người dùng thông qua trải nghiệm âm thanh năng động.

Trong bài hướng dẫn này, chúng ta sẽ tập trung vào cách sử dụng ElevenLabs API trong Python. Chúng ta sẽ đi qua tất cả các bước từ lấy khóa API, thiết lập môi trường phát triển, khởi tạo thư viện và sử dụng các hàm của nó để tạo giọng nói. Để hình dung những gì có thể đạt được, hãy nghe đoạn âm thanh được tạo ra bằng tính năng này. Chúng ta sẽ học cách tạo ra thứ tương tự, từng bước một.

Dù bạn muốn tích hợp lồng tiếng vào nội dung đa phương tiện hay phát triển ứng dụng hỗ trợ người khiếm thị, ElevenLabs cung cấp các công cụ cần thiết để thổi hồn cho âm thanh của bạn. Đến cuối hướng dẫn, bạn sẽ nắm vững cách sử dụng API để chuyển văn bản thành giọng nói với độ rõ nét và chân thực vượt trội.

Text-to-speech bằng ElevenLabs API trong Python

1. Tạo khóa API

Bước đầu tiên là đăng ký một tài khoản ElevenLabs miễn phí. Sau khi đăng nhập, bạn có thể nhấp vào biểu tượng hồ sơ và chọn tùy chọn “Profile + API key”. Tại đây, khóa API của bạn đã được tạo sẵn. Hãy lưu lại khóa này vì chúng ta sẽ cần để xác thực các yêu cầu.

2. Cài đặt và import gói ElevenLabs cho Python

Để tương tác với ElevenLabs API bằng Python, chúng ta cần cài đặt gói chính thức của họ. Có thể thực hiện bằng pip, trình cài đặt gói của Python:

$ pip install elevenlabs

Bây giờ, chúng ta có thể import các thành phần cần thiết từ gói vào một tệp Python mới.

from elevenlabs.client import ElevenLabs
from elevenlabs import play, save, stream, Voice, VoiceSettings

3. Tạo âm thanh

Sau khi thiết lập môi trường, chúng ta có thể tạo clip âm thanh đầu tiên bằng cách khởi tạo một phiên bản client của ElevenLabs với khóa API của mình.

client = ElevenLabs(api_key="YOUR_API_KEY")

Sau đó, dùng phương thức .generate để chuyển đổi văn bản thành âm thanh.

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API",
   voice="Brian"
)

Chúng ta có thể phát ngay âm thanh vừa tạo:

play(audio)

Hoặc lưu thành tệp:

save(audio, "output.mp3")

4. Tùy chỉnh giọng nói

ElevenLabs cung cấp nhiều tùy chọn để điều chỉnh giọng nói theo ý bạn. Chúng ta có thể tinh chỉnh các thiết lập như độ ổn định, tăng độ tương đồng và phong cách. Ví dụ:

audio = client.generate(
   text="Welcome to Datacamp's beginner's guide to the ElevenLabs API.",
   voice=Voice(
       voice_id='nPczCjzI2devNBz1zQrb',
       settings=VoiceSettings(
           stability=0.8, similarity_boost=0.6, style=0.2, use_speaker_boost=True)
   )
)

voice_id tương ứng với các giọng dựng sẵn của ElevenLabs; danh sách đầy đủ cùng chi tiết như trường hợp sử dụng, giọng vùng miền và mô tả có trên trang giọng nói của ElevenLabs.

5. Tạo giọng nói đa ngôn ngữ

ElevenLabs cung cấp hai mô hình chính: eleven_multilingual_v2, có khả năng tạo giọng nói bằng 29 ngôn ngữ, và eleven_monolingual_v1, được tối ưu riêng cho tiếng Anh. Dưới đây là cách chúng ta có thể dùng mô hình đa ngôn ngữ để tạo âm thanh ở nhiều ngôn ngữ cùng lúc:

audio = client.generate(
   text="Hello! Hola! Hallo 你好! नमस्ते! Bonjour! こんにちは! مرحبا! 안녕하세요! Ciao!",
   voice="Arnold",
   model="eleven_multilingual_v2"
)

Streaming khi tạo giọng nói

Trong khi phương thức .generate xử lý và trả về toàn bộ kết quả sau khi toàn bộ văn bản được chuyển đổi, ElevenLabs API cũng cung cấp tính năng streaming mạnh mẽ. Điều này đặc biệt hữu ích cho các ứng dụng cần tạo âm thanh theo thời gian thực, vì cho phép phát lại gần như ngay lập tức khi các phần âm thanh sẵn sàng, trong khi phần còn lại vẫn đang được xử lý.

LƯU Ý: Để stream âm thanh, bạn cần cài đặt trình phát media mpv; trên mac, có thể cài bằng lệnh brew install mpv. Trên Linux và Windows, bạn có thể cài đặt từ trang chủ mpv.

Cách thức hoạt động của streaming

Để sử dụng tính năng streaming, chúng ta cần đặt tham số stream thành True trong phương thức .generate. Điều này báo hiệu cho API bắt đầu gửi âm thanh theo từng phần ngay khi sẵn sàng:

audio_stream = client.generate(
   text="Welcome... I am speaking to you in real-time. Let’s get started!.",
   stream=True
)
stream(audio_stream)

Streaming với đầu vào văn bản động

Streaming không chỉ giới hạn ở văn bản tĩnh. Nó cũng có thể xử lý đầu vào động, trong đó các đoạn văn bản được đưa vào API khi chúng xuất hiện. Điều này đặc biệt hữu ích cho các ứng dụng tương tác, như phát sóng trực tiếp hoặc tạo đối thoại do AI điều khiển phản hồi theo thời gian thực. Dưới đây là cách chúng ta có thể stream văn bản động:

def text_stream():
   yield "Hi! I'm Brian "
   yield "I'm an artificial voice made by ElevenLabs "


audio_stream = client.generate(
   text=text_stream(),
   voice="Brian",
   model="eleven_monolingual_v1",
   stream=True
)


stream(audio_stream)

Trong thiết lập này, text_stream() đóng vai trò là một hàm generator, phát ra từng đoạn văn bản cho API. Mỗi đoạn được xử lý ngay lập tức, giúp duy trì dòng chảy tự nhiên của lời nói mà không có khoảng ngắt hay độ trễ khó chịu. Tính năng này phản chiếu khả năng hội thoại của các trợ lý giọng nói tiên tiến và thiết bị dịch theo thời gian thực.

Tạo giọng nói từ giọng nói (Speech-to-Speech)

Một tính năng mạnh mẽ khác của nền tảng ElevenLabs là tổng hợp STS, về cơ bản là nhân bản giọng nói.

Quy trình làm việc tương tự như những gì chúng ta đã thảo luận cho TTS, với điểm khác biệt chính là loại đầu vào. Thay vì văn bản, chúng ta cung cấp tệp âm thanh của giọng nói muốn nhân bản.

Đối với nhân bản giọng nói tức thì, ElevenLabs gợi ý sử dụng 60 giây nội dung với dữ liệu không có tạp âm nền và hiệu ứng; còn để nhân bản giọng nói ở mức chuyên nghiệp, khuyến nghị tối thiểu 30 phút âm thanh sạch.

Việc thêm mô tả không bắt buộc nhưng có thể hữu ích để sắp xếp và phân biệt giữa nhiều dự án hoặc mô hình giọng nói.

Dưới đây là ví dụ về cách chúng ta có thể nhân bản một giọng nói.

voice = client.clone(
   name="Emily",
   description="A young British female voice with a clear, melodic tone, ideal for storytelling or educational content", 
   files=["./sample_1.mp3", "./sample_2.mp3", "./sample_3.mp3"],
)

Ứng dụng của ElevenLabs API trong Python

ElevenLabs API cung cấp nhiều khả năng mạnh mẽ trong tổng hợp giọng nói có thể thay đổi cách tổ chức và cá nhân tương tác với khán giả. Bằng cách chuyển văn bản thành giọng nói hoặc nhân bản giọng nói qua speech-to-speech, công nghệ này mang đến các giải pháp đổi mới cho nhiều lĩnh vực.

Dưới đây là ba ứng dụng tiêu biểu thể hiện tiềm năng của công cụ này:

Hệ thống trả lời thoại tương tác (IVR)

• Hỗ trợ đa ngôn ngữ: Các tổ chức hoạt động trên thị trường đa ngôn ngữ có thể dùng hệ thống để cung cấp hỗ trợ khách hàng bằng nhiều ngôn ngữ mà không cần đội ngũ đa ngôn ngữ.
• Dịch vụ khách hàng: Doanh nghiệp có thể triển khai API vào hệ thống chăm sóc khách hàng của mình để mang lại tương tác tự động qua điện thoại giống người hơn, cải thiện trải nghiệm với phản hồi giọng nói được cá nhân hóa.

Tính năng hỗ trợ tiếp cận trong nội dung số

• Công cụ hỗ trợ đọc nâng cao: API có thể được dùng để tạo sách nói từ tài liệu viết, giúp văn học dễ tiếp cận hơn với người khiếm thị hoặc gặp khó khăn trong đọc hiểu
• Điều hướng bằng giọng nói: Tích hợp vào website và ứng dụng để dẫn hướng bằng giọng nói có thể hỗ trợ người dùng cần trợ giúp thính giác, cải thiện tính khả dụng của nền tảng số.

Sáng tạo nội dung

• Tự động lồng tiếng cho video: Nhà sản xuất nội dung số như YouTuber và nhà làm phim có thể tận dụng công nghệ để tạo lồng tiếng tự nhiên bằng nhiều ngôn ngữ, giúp giảm đáng kể chi phí và thời gian sản xuất.
• Bài giảng và mô-đun E-learning: Với TTS và STS, chúng ta có thể thuyết minh nội dung giáo dục, giúp việc học trở nên tương tác và dễ tiếp cận hơn, đặc biệt trong môi trường học từ xa.

Kết luận

ElevenLabs API là một công cụ mạnh mẽ và linh hoạt cho bất kỳ ai muốn tích hợp tổng hợp giọng nói tiên tiến vào ứng dụng của mình.

Dù cho mục đích hỗ trợ tiếp cận, sáng tạo nội dung hay nâng cao tương tác khách hàng, API này cung cấp nhiều giải pháp đáp ứng đa dạng nhu cầu.

Với cả hai tùy chọn tổng hợp text-to-speech và speech-to-speech, nó hỗ trợ tạo ra trải nghiệm người dùng bao trùm và hấp dẫn hơn.

Nếu bạn hứng thú với tiềm năng của công nghệ giọng nói và muốn nâng cao chuyên môn, hãy cân nhắc tham gia khóa Spoken Language Processing in Python trên DataCamp. Khóa học toàn diện này bao quát mọi thứ từ cơ bản về tiền xử lý và thao tác âm thanh đến chuyển giọng nói thành văn bản và phân tích dữ liệu đã phiên âm. Khi đăng ký, bạn sẽ được thực hành với các ứng dụng thực tế, trang bị kỹ năng cần thiết để xây dựng hệ thống hỗ trợ giọng nói tinh vi và tạo ra các giải pháp đổi mới trong lĩnh vực năng động này.