Whisper adalah model pengenalan ucapan otomatis serbaguna yang dilatih pada himpunan data audio berukuran besar. Model ini dapat melakukan transkripsi multibahasa, penerjemahan ucapan, dan deteksi bahasa.
Whisper dapat digunakan sebagai asisten suara, chatbot, penerjemah ucapan ke bahasa Inggris, otomasi pencatatan selama rapat, dan transkripsi.
Transkripsi adalah proses mengonversi bahasa lisan menjadi teks. Dulu, proses ini dilakukan secara manual, dan kini kita memiliki alat bertenaga AI seperti Whisper yang dapat memahami bahasa lisan dengan akurat.
Jika Anda memiliki pengetahuan dasar bahasa Python, Anda bisa mengintegrasikan OpenAI Whisper API ke dalam aplikasi Anda. Whisper API adalah bagian dari openai/openai-python, yang memungkinkan Anda mengakses berbagai layanan dan model OpenAI.
Pelajari lebih lanjut tentang membangun aplikasi AI dengan LangChain dalam Building Multimodal AI Applications with LangChain & the OpenAI API AI Code Along tempat Anda akan mempelajari cara mentranskripsikan konten video YouTube dengan AI speech-to-text Whisper dan kemudian menggunakan GPT untuk mengajukan pertanyaan tentang kontennya.
Kapan transkripsi cocok digunakan?
- Mentanskripsikan wawancara, rapat, kuliah, dan podcast untuk analisis, akses mudah, dan pencatatan arsip.
- Transkripsi ucapan secara real time untuk subtitle (YouTube), caption (rapat Zoom), dan penerjemahan bahasa lisan.
- Transkripsi ucapan untuk keperluan pribadi dan profesional. Mentanskripsikan catatan suara, pesan, pengingat, memo, dan umpan balik.
- Transkripsi untuk penyandang gangguan pendengaran.
- Transkripsi untuk aplikasi berbasis suara yang memerlukan masukan teks. Misalnya, chatbot, asisten suara, dan penerjemahan bahasa.
Bahasa apa saja yang didukung?
Bahasa yang didukung untuk transkripsi dan terjemahan oleh OpenAI Whisper API adalah:
Afrikaans, Arab, Armenia, Azerbaijan, Belarus, Bosnia, Bulgaria, Catalan, Tionghoa, Kroasia, Ceko, Denmark, Belanda, Inggris, Estonia, Finlandia, Prancis, Galicia, Jerman, Yunani, Ibrani, Hindi, Hungaria, Islandia, Indonesia, Italia, Jepang, Kannada, Kazakh, Korea, Latvia, Lituania, Makedonia, Melayu, Marathi, Maori, Nepali, Norwegia, Persia, Polandia, Portugis, Rumania, Rusia, Serbia, Slovak, Slovenia, Spanyol, Swahili, Swedia, Tagalog, Tamil, Thai, Turki, Ukraina, Urdu, Vietnam, dan Welsh.
Rincian Word Error Rate (WER) untuk dataset Fleur menggunakan model large-v2 disajikan pada gambar di bawah, dikategorikan menurut bahasa. Semakin kecil WER, semakin baik akurasi transkripsi.
Format file apa yang didukung?
Format file yang didukung oleh Whisper API adalah mp3, mp4, mpeg, mpga, m4a, wav, dan webm. Saat ini, ukuran unggahan file dibatasi hingga 25MB. Jika Anda memiliki file yang lebih besar, Anda dapat memecahnya menjadi potongan yang lebih kecil menggunakan pydub.
Ucapan ke teks dengan OpenAI API
Pada bagian ini, kita akan menggunakan OpenAI API untuk transkripsi dan terjemahan. Selain itu, kita juga akan melihat berbagai jenis format keluaran.
Penyiapan
Anda dapat memasang OpenAI Python API menggunakan pip.
pip install openaiSetelah itu, kita perlu menghasilkan kunci API dengan mengakses laman OpenAI API, mengklik foto profil, dan memilih opsi "View API keys". Semua akun OpenAI baru dilengkapi kredit gratis $5, jadi tidak perlu khawatir menambahkan detail kartu kredit.
Selanjutnya, klik tombol “Create new security key”, tulis nama kunci, lalu salin kunci yang dibuat.
Siapkan kunci API Anda dengan variabel lingkungan
Kita dapat menyiapkan kunci API di sistem lokal dengan mengetik perintah di bawah ini pada terminal. Perintah ini akan menyiapkan variabel lingkungan API agar Anda dapat menggunakan layanan OpenAI.
export OPENAI_API_KEY='sk-...kMEM'Siapkan kunci API menggunakan paket OpenAI
Anda dapat menyiapkan kunci di dalam program Python Anda menggunakan openai.api_key. Metode ini tidak direkomendasikan karena mengekspos API Anda ke publik.
import openai
openai.api_key = "sk-...kMEM"Siapkan kunci API Anda dengan mudah di DataLab
Jika Anda menggunakan DataLab, Anda perlu mengklik Environment > ikon 'plus' lalu isi nama dan nilai variabel lingkungan Anda.
Setelah itu, Anda harus mengaktifkan variabel lingkungan dengan mengklik tombol Connect.
Dataset
Bahasa Inggris
Kita akan menggunakan sebagian kecil dari video YouTube wawancara Marvin Minsky tentang AI dan mengonversinya menjadi audio. File marvin_minsky.mp3 berdurasi satu menit dan berukuran 970 KB.
Bahasa Spanyol
Kami memotong bagian kecil dari video YouTube berbahasa Spanyol How Are People in Barcelona Using AI? untuk membuat file Easy_spanish_315.mp3. Ukurannya 509 KB dengan durasi 20 detik.
Transkripsi Bahasa Inggris
API transkripsi sangat sederhana. Anda hanya perlu memuat file audio dengan pernyataan with dan menambahkan objek audio ke openai.Audio.transcribe. Fungsi transcribe hanya memerlukan nama model dan objek audio, tetapi Anda dapat memberikan argumen language untuk akurasi yang lebih baik.
import openai
with open("Audio/marvin_minsky.mp3", "rb") as audio_file:
transcript = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="text",
language="en"
)
print(transcript)of theories called Steps Toward Artificial Intelligence around 1970. That sort of charted several possible lines of research, which pretty much predicted what several communities of researchers would do in the next 20 years. Those predictions started to fall apart around--so that paper was 1970, roughly. By the late 1980s, the world had changed. It was interesting because when I started research in that general area, almost all of my students soon became professors.Lihat lembar contekan OpenAI API Python untuk tinjauan cepat fungsi masing-masing. Kita dapat menggunakan lembar contekan untuk mempelajari berbagai perintah OpenAI API untuk pembuatan teks, transkripsi ucapan, pembuatan gambar, embedding, dan lainnya.
Format Keluaran Alternatif
Pada contoh sebelumnya, kita menetapkan format respons keluaran sebagai teks sederhana, tetapi Anda selalu dapat mengubahnya menjadi subtitle subrip (response_format="srt"), subtitle video text track (response_format="vtt"), dan metadata (response_format="verbose_json").
Dalam contoh kita, kita akan mengubah response_format menjadi “srt” untuk mendapatkan subtitle sebagai keluaran.
with open("Audio/marvin_minsky.mp3", "rb") as audio_file:
transcript2 = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="srt",
language="en"
)
print(transcript2)Seperti yang dapat kita lihat, teks keluaran dibagi berdasarkan stempel waktu.
1
00:00:00,000 --> 00:00:10,960
of theories called Steps Toward Artificial Intelligence around 1970.
2
00:00:10,960 --> 00:00:24,320
That sort of charted several possible lines of research, which pretty much predicted what
3
00:00:24,320 --> 00:00:31,920
several communities of researchers would do in the next 20 years.
4
00:00:31,920 --> 00:00:42,040
Those predictions started to fall apart around--so that paper was 1970, roughly.
5
00:00:42,040 --> 00:00:48,200
By the late 1980s, the world had changed.
6
00:00:48,200 --> 00:00:56,760
It was interesting because when I started research in that general area, almost all
7
00:00:56,760 --> 00:01:16,920
of my students soon became professors.Transkripsi Bahasa Spanyol
Whisper dilatih dalam 98 bahasa sehingga memungkinkan transkripsi dalam banyak bahasa. Untuk itu, Anda perlu mengubah argumen language.
Dalam kasus kita, kita menranskripsikan audio berbahasa Spanyol, dan untuk itu, kita menetapkan language="es"
with open("Audio/easy_spanish_315.mp3", "rb") as audio_file:
transcript_es = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="text",
language="es"
)
print(transcript_es)¿Qué crees que es la inteligencia artificial? ¿Qué creo que es? Eh... no sé, no sé cómo describirlo. Algo que no es natural, obviamente. Eh... Pues la inteligencia artificial es mediante... mediante datos, eh... introducirle a un algoritmo.Terjemahan dari Bahasa Spanyol ke Bahasa Inggris
Anda hanya dapat menerjemahkan audio Anda ke transkripsi bahasa Inggris.
Pada contoh ini, kita akan memberikan fungsi `translate` dengan audio berbahasa Spanyol, dan fungsi tersebut akan menerjemahkan audio berbahasa Spanyol ke bahasa Inggris.
with open("Audio/easy_spanish_315.mp3", "rb") as audio_file:
translate = openai.Audio.translate(
file = audio_file,
model = "whisper-1",
response_format="text",
language="en"
)
print(translate)What do you think artificial intelligence is? What do I think it is? I don't know how to describe it. Something that is not natural, obviously. Artificial intelligence is, through data, introduced to an algorithm.Coba contoh ini dengan menuju ke buku kerja DataLab ini. Isinya terdapat file audio dan sumber kode. Anda hanya perlu menyalin buku kerja dan menyiapkan variabel lingkungan agar dapat berfungsi.
Lihat juga tutorial Menggunakan ChatGPT melalui OpenAI API di Python. Tutorial ini akan mengajarkan cara menggunakan OpenAI API untuk chat completions menggunakan model gpt-3.5-turbo.
Bagaimana Meningkatkan Kinerja Transkripsi?
Kita dapat meningkatkan kualitas transkripsi dengan menggunakan argumen prompt. Dengan memberikan transkripsi parsial pada argumen prompt, kita membantu model memahami gaya penulisan, tanda baca, kapitalisasi, dan ejaan.
Kelemahan utama dari sistem prompting saat ini adalah kontrol yang terbatas atas teks yang dihasilkan. Selain itu, proses prompting tidak dapat diautomasi, karena melibatkan manusia yang mentranskripsikan sebagian audio secara manual.
Langkah Selanjutnya
Anda dapat menggunakan contoh kode dari tutorial ini untuk membuat asisten suara atau menggunakannya untuk membuat J.A.R.V.I.S. seperti di Iron Man. Untuk mewujudkannya, Anda hanya perlu merancang antarmuka pengguna dan cara mengombinasikan Whisper, text-to-speech, dan ChatGPT API, yang telah kami bahas dalam pelatihan langsung ini.
Jika Anda baru mengenal ChatGPT, Anda dapat mengikuti kursus Introduction to ChatGPT untuk mempelajari praktik terbaik menulis prompt dan menerjemahkan ChatGPT menjadi nilai bisnis. Dan jika Anda tertarik mempelajari GPT-4 dan cara kerja model generatif, bacalah Apa itu GPT-4 dan Mengapa Penting? Anda juga dapat menemukan beberapa sumber daya lain di bawah ini:
