Whisper एक जनरल-पर्पज़ ऑटोमैटिक स्पीच रिकग्निशन मॉडल है जिसे बड़े ऑडियो डेटासेट पर प्रशिक्षित किया गया है। यह मॉडल बहुभाषी ट्रांसक्रिप्शन, स्पीच ट्रांसलेशन और लैंग्वेज डिटेक्शन कर सकता है।
Whisper का उपयोग वॉयस असिस्टेंट, चैटबॉट, अंग्रेज़ी में स्पीच ट्रांसलेशन, मीटिंग्स के दौरान स्वचालित नोट्स लेने और ट्रांसक्रिप्शन जैसे कार्यों के लिए किया जा सकता है।
ट्रांसक्रिप्शन बोले गए शब्दों को टेक्स्ट में बदलने की प्रक्रिया है। पहले यह काम मैन्युअल रूप से होता था, और अब Whisper जैसे AI-संचालित टूल बोले गए शब्दों को सटीकता से समझ सकते हैं।
यदि आपको Python भाषा का बुनियादी ज्ञान है, तो आप OpenAI Whisper API को अपने एप्लिकेशन में इंटीग्रेट कर सकते हैं। Whisper API openai/openai-python का हिस्सा है, जो आपको विभिन्न OpenAI सेवाओं और मॉडलों तक पहुंच देता है।
LangChain के साथ AI एप्लिकेशन बनाने के बारे में और जानें हमारे Building Multimodal AI Applications with LangChain & the OpenAI API AI Code Along में, जहां आप सीखेंगे कि Whisper स्पीच-टू-टेक्स्ट AI से YouTube वीडियो सामग्री को कैसे ट्रांसक्राइब करें और फिर GPT का उपयोग करके उस सामग्री पर प्रश्न कैसे पूछें।
ट्रांसक्रिप्शन के अच्छे उपयोग के मामले क्या हैं?
- इंटरव्यू, मीटिंग्स, लेक्चर और पॉडकास्ट का विश्लेषण, आसान एक्सेस और रिकॉर्ड रखने के लिए ट्रांसक्राइब करना।
- सबटाइटल (YouTube), कैप्शनिंग (Zoom मीटिंग्स) और बोले गए भाषा के अनुवाद के लिए रीयल-टाइम स्पीच ट्रांसक्रिप्शन।
- निजी और पेशेवर उपयोग के लिए स्पीच ट्रांसक्रिप्शन। वॉयस नोट्स, संदेश, रिमाइंडर, मेमो और फीडबैक को ट्रांसक्राइब करना।
- श्रवण बाधित लोगों के लिए ट्रांसक्रिप्शन।
- ऐसी वॉयस-आधारित एप्लिकेशन के लिए ट्रांसक्रिप्शन जिन्हें टेक्स्ट इनपुट की आवश्यकता होती है। उदाहरण के लिए, चैटबॉट, वॉयस असिस्टेंट और भाषा अनुवाद।
कौन-सी भाषाएँ समर्थित हैं?
OpenAI Whisper API द्वारा ट्रांसक्रिप्शन और ट्रांसलेशन के लिए समर्थित भाषाएँ हैं:
अफ़्रीकांस, अरबी, अर्मेनियाई, अज़रबैजानी, बेलारूसी, बोस्नियाई, बुल्गारियन, कैटलन, चीनी, क्रोएशियाई, चेक, डैनिश, डच, अंग्रेज़ी, एस्टोनियन, फिनिश, फ़्रेंच, गैलीशियन, जर्मन, ग्रीक, हिब्रू, हिंदी, हंगेरियन, आइसलैंडिक, इंडोनेशियाई, इतालवी, जापानी, कन्नड़, कज़ाख, कोरियाई, लातवियाई, लिथुआनियाई, मैसिडोनियन, मलय, मराठी, माओरी, नेपाली, नार्वेजियन, फ़ारसी, पोलिश, पुर्तगाली, रोमानियन, रूसी, सर्बियाई, स्लोवाक, स्लोवेनियन, स्पैनिश, स्वाहिली, स्वीडिश, टागालोग, तमिल, थाई, तुर्की, यूक्रेनी, उर्दू, वियतनामी और वेल्श।
Fleur के डेटासेट के लिए large-v2 मॉडल पर वर्ड एरर रेट (WER) का भाषा-वर्गीकृत ब्रेकडाउन नीचे दिए गए चित्र में दिखाया गया है। WER जितना छोटा होगा, ट्रांसक्रिप्शन की सटीकता उतनी ही बेहतर होगी।
कौन-से फ़ाइल फ़ॉर्मेट समर्थित हैं?
Whisper API द्वारा समर्थित फ़ाइल फ़ॉर्मेट हैं mp3, mp4, mpeg, mpga, m4a, wav, और webm। वर्तमान में अपलोड फ़ाइल आकार 25MB तक सीमित है। यदि आपके पास बड़े फ़ाइल हैं, तो आप उन्हें pydub का उपयोग करके छोटे हिस्सों में विभाजित कर सकते हैं।
OpenAI API के साथ स्पीच-टू-टेक्स्ट
इस खंड में, हम ट्रांसक्रिप्शन और ट्रांसलेशन के लिए OpenAI API का उपयोग करेंगे। साथ ही, हम विभिन्न प्रकार के आउटपुट फ़ॉर्मेट भी देखेंगे।
सेटअप
आप pip का उपयोग करके OpenAI Python API इंस्टॉल कर सकते हैं।
pip install openaiइसके बाद, हमें OpenAI API वेबपेज पर जाकर, डिस्प्ले फोटो पर क्लिक करके और "View API keys" विकल्प चुनकर API कुंजियाँ जनरेट करनी होंगी। सभी नए OpenAI खातों के साथ $5 के मुफ्त क्रेडिट आते हैं, इसलिए क्रेडिट कार्ड विवरण जोड़ने की चिंता करने की ज़रूरत नहीं है।
अगला, “Create new security key” बटन पर क्लिक करें, कुंजी का नाम लिखें, और फिर जनरेट की गई कुंजी को कॉपी करें।
एन्वायरनमेंट वेरिएबल से अपनी API कुंजी सेटअप करें
हम अपने लोकल सिस्टम में नीचे दिया कमांड टर्मिनल में टाइप करके API कुंजी सेट कर सकते हैं। यह OpenAI सेवाओं का उपयोग करने के लिए आपके लिए API का एक एन्वायरनमेंट वेरिएबल सेट कर देगा।
export OPENAI_API_KEY='sk-...kMEM'OpenAI पैकेज का उपयोग करके अपनी API कुंजी सेटअप करें
आप अपने Python प्रोग्राम के भीतर using openai.api_key से कुंजी सेट कर सकते हैं। यह तरीका अनुशंसित नहीं है क्योंकि यह आपकी API को सार्वजनिक रूप से उजागर करता है।
import openai
openai.api_key = "sk-...kMEM"DataLab में अपनी API कुंजी आसानी से सेटअप करें
यदि आप DataLab का उपयोग कर रहे हैं, तो आपको Environment > 'प्लस' आइकन पर क्लिक करना है और फिर अपने एन्वायरनमेंट वेरिएबल्स के नाम और मान भरने हैं।
इसके बाद, आपको Connect बटन पर क्लिक करके एन्वायरनमेंट वेरिएबल को सक्षम करना होगा।
डेटासेट
अंग्रेज़ी
हम AI पर Marvin Minsky के इंटरव्यू के YouTube वीडियो का एक छोटा भाग लेकर उसे ऑडियो में बदलेंगे। फ़ाइल marvin_minsky.mp3 की अवधि एक मिनट है और आकार 970 KB है।
स्पैनिश
हमने How Are People in Barcelona Using AI? स्पैनिश भाषा के YouTube वीडियो से एक छोटा हिस्सा काटकर Easy_spanish_315.mp3 फ़ाइल बनाई है। इसका आकार 509 KB है और अवधि 20 सेकंड है।
अंग्रेज़ी ट्रांसक्रिप्शन
ट्रांसक्रिप्शन API सीधी-सादी है। आपको बस with स्टेटमेंट के साथ ऑडियो फ़ाइल लोड करनी है और ऑडियो ऑब्जेक्ट को openai.Audio.transcribe में देना है। ट्रांसक्राइब फ़ंक्शन को केवल मॉडल नाम और ऑडियो ऑब्जेक्ट की आवश्यकता होती है, लेकिन बेहतर सटीकता के लिए आप language आर्ग्युमेंट दे सकते हैं।
import openai
with open("Audio/marvin_minsky.mp3", "rb") as audio_file:
transcript = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="text",
language="en"
)
print(transcript)of theories called Steps Toward Artificial Intelligence around 1970. That sort of charted several possible lines of research, which pretty much predicted what several communities of researchers would do in the next 20 years. Those predictions started to fall apart around--so that paper was 1970, roughly. By the late 1980s, the world had changed. It was interesting because when I started research in that general area, almost all of my students soon became professors.त्वरित पुनरावलोकन के लिए देखें OpenAI API Python चीट शीट। हम इस चीट शीट का उपयोग टेक्स्ट जेनरेशन, स्पीच ट्रांसक्रिप्शन, इमेज जेनरेशन, एम्बेडिंग और अन्य कई OpenAI API कमांड के बारे में जानने के लिए कर सकते हैं।
वैकल्पिक आउटपुट फ़ॉर्मेट
पिछले उदाहरण में, हमने आउटपुट रेस्पॉन्स फ़ॉर्मेट को साधारण टेक्स्ट रखा था, लेकिन आप इसे हमेशा सबरिप सबटाइटल्स (response_format="srt"), वीडियो टेक्स्ट ट्रैक सबटाइटल्स (response_format="vtt"), और मेटाडेटा (response_format="verbose_json") में बदल सकते हैं।
हमारे उदाहरणों में, हम सबटाइटल्स आउटपुट पाने के लिए response_format को “srt” में बदलेंगे।
with open("Audio/marvin_minsky.mp3", "rb") as audio_file:
transcript2 = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="srt",
language="en"
)
print(transcript2)जैसा कि हम देख सकते हैं, आउटपुट टेक्स्ट टाइमस्टैम्प के आधार पर विभाजित है।
1
00:00:00,000 --> 00:00:10,960
of theories called Steps Toward Artificial Intelligence around 1970.
2
00:00:10,960 --> 00:00:24,320
That sort of charted several possible lines of research, which pretty much predicted what
3
00:00:24,320 --> 00:00:31,920
several communities of researchers would do in the next 20 years.
4
00:00:31,920 --> 00:00:42,040
Those predictions started to fall apart around--so that paper was 1970, roughly.
5
00:00:42,040 --> 00:00:48,200
By the late 1980s, the world had changed.
6
00:00:48,200 --> 00:00:56,760
It was interesting because when I started research in that general area, almost all
7
00:00:56,760 --> 00:01:16,920
of my students soon became professors.स्पैनिश ट्रांसक्रिप्शन
Whisper को 98 भाषाओं में प्रशिक्षित किया गया है, जो इसे कई भाषाओं में ट्रांसक्राइब करने की क्षमता देता है। इसके लिए, आपको language आर्ग्युमेंट बदलना होगा।
हमारे मामले में, हम स्पैनिश भाषा के ऑडियो को ट्रांसक्राइब कर रहे हैं, और इसके लिए हमने language="es" सेट किया है।
with open("Audio/easy_spanish_315.mp3", "rb") as audio_file:
transcript_es = openai.Audio.transcribe(
file = audio_file,
model = "whisper-1",
response_format="text",
language="es"
)
print(transcript_es)¿Qué crees que es la inteligencia artificial? ¿Qué creo que es? Eh... no sé, no sé cómo describirlo. Algo que no es natural, obviamente. Eh... Pues la inteligencia artificial es mediante... mediante datos, eh... introducirle a un algoritmo.स्पैनिश से अंग्रेज़ी अनुवाद
आप अपना ऑडियो केवल अंग्रेज़ी ट्रांसक्रिप्शन में ही ट्रांसलेट कर सकते हैं।
उदाहरण में, हम `translate` फ़ंक्शन को स्पैनिश ऑडियो देंगे, और यह स्पैनिश भाषा के ऑडियो को अंग्रेज़ी में अनुवादित कर देगा।
with open("Audio/easy_spanish_315.mp3", "rb") as audio_file:
translate = openai.Audio.translate(
file = audio_file,
model = "whisper-1",
response_format="text",
language="en"
)
print(translate)What do you think artificial intelligence is? What do I think it is? I don't know how to describe it. Something that is not natural, obviously. Artificial intelligence is, through data, introduced to an algorithm.इस उदाहरण को आज़माने के लिए इस DataLab वर्कबुक पर जाएँ। इसमें ऑडियो फ़ाइलें और कोड सोर्स है। आपको बस वर्कबुक की एक कॉपी बनानी है और इसके काम करने के लिए एक एन्वायरनमेंट वेरिएबल सेट करना है।
साथ ही देखें Using ChatGPT via the OpenAI API in the Python ट्यूटोरियल। यह आपको gpt-3.5-turbo मॉडल का उपयोग करके चैट कम्प्लीशन के लिए OpenAI API का उपयोग करना सिखाएगा।
ट्रांसक्रिप्शन प्रदर्शन कैसे सुधारें?
हम prompt आर्ग्युमेंट का उपयोग करके ट्रांसक्रिप्शन की गुणवत्ता सुधार सकते हैं। prompt आर्ग्युमेंट में आंशिक ट्रांसक्रिप्शन प्रदान करके, हम मॉडल को लेखन शैली, विराम-चिह्न, कैपिटलाइज़ेशन और वर्तनी समझने में मदद करते हैं।
वर्तमान प्रॉम्प्टिंग सिस्टम की एक बड़ी कमी यह है कि यह जनरेटेड टेक्स्ट पर बहुत कम नियंत्रण देता है। इसके अलावा, प्रॉम्प्टिंग प्रक्रिया को स्वचालित नहीं किया जा सकता, क्योंकि इसमें किसी इंसान द्वारा ऑडियो का आंशिक रूप से मैन्युअल ट्रांसक्रिप्शन शामिल होता है।
आगे क्या?
आप इस ट्यूटोरियल के कोड उदाहरण का उपयोग करके एक वॉयस असिस्टेंट बना सकते हैं या Iron Man के J.A.R.V.I.S. जैसा कुछ बना सकते हैं। इसे हासिल करने के लिए, आपको बस यूज़र इंटरफ़ेस और Whisper, टेक्स्ट-टू-स्पीच, और ChatGPT API को कैसे संयोजित करें, यह समझना होगा, जिसे हमने इस लाइव ट्रेनिंग में कवर किया है।
यदि आप ChatGPT में नए हैं, तो आप Introduction to ChatGPT कोर्स कर सकते हैं ताकि प्रॉम्प्ट लिखने के सर्वोत्तम अभ्यास सीखें और ChatGPT को व्यावसायिक मूल्य में बदलें। और यदि आप GPT-4 के बारे में जानने और जेनरेटिव मॉडलों के काम करने के तरीके में रुचि रखते हैं, तो पढ़ें What is GPT-4 and Why Does it Matter? आप नीचे कुछ और संसाधन भी पा सकते हैं: