Gemini 1.5 Pro API ट्यूटोरियल: Google के LLM के साथ शुरुआत करें

Gemini 1.5 Pro, Gemini परिवार में एक महत्वपूर्ण प्रगति का प्रतीक है। यह लंबी-प्रसंग तर्क क्षमता प्रस्तुत करता है, जो हमें विभिन्न माध्यमों (पाठ, वीडियो और ऑडियो) में विशाल डेटासेट के साथ काम करने में सक्षम बनाती है।

इस ट्यूटोरियल में, हम सीखेंगे कि Gemini 1.5 Pro API से कैसे कनेक्ट करें। हम रिट्रीवल, लंबे दस्तावेज़ और वीडियो पर प्रश्नोत्तर, लंबी-प्रसंग स्वचालित वाक् पहचान (ASR), और इन-कॉन्टेक्स्ट लर्निंग जैसे कार्य चलाना सीखेंगे।

यदि आप Gemini के बारे में अधिक जानना चाहते हैं, तो What is Google Gemini पर यह लेख देखें।

Gemini परिवार

Gemini AI, Google के भीतर कई टीमों—जिनमें Google Research और Google DeepMind शामिल हैं—द्वारा संयुक्त रूप से विकसित जनरेटिव AI मॉडलों की एक शृंखला है।

ये मॉडल, सामान्य-उद्देश्य बहु-माध्यम कार्यों के लिए सशक्त क्षमताओं से लैस, डेवलपर्स को सामग्री निर्माण और समस्या-समाधान कार्यों में सहायता करने के लिए डिज़ाइन किए गए हैं। प्रत्येक मॉडल वेरिएंट विशिष्ट उपयोग मामलों के लिए अनुकूलित है, ताकि विविध परिदृश्यों में सर्वोत्तम प्रदर्शन सुनिश्चित हो सके।

Gemini AI, तीन मॉडल आकार प्रदान करके, संगणन संसाधनों और कार्यक्षमता के बीच संतुलन साधता है:

हमारा मुख्य फोकस Gemini 1.5 श्रृंखला के पहले जारी मॉडल, Gemini 1.5 Pro, पर होगा।

Gemini 1.5 Pro की क्षमताएँ

Gemini 1.5 Pro, कम से कम 10 मिलियन टोकनों तक की बड़ी प्रसंग विंडो के साथ, वास्तविक दुनिया के विभिन्न अनुप्रयोगों में लंबे प्रसंगों को समझने की चुनौती का समाधान कर सकता है।

लंबी निर्भरता वाले कार्यों का व्यापक मूल्यांकन किया गया है ताकि Gemini 1.5 Pro मॉडल की लंबी-प्रसंग क्षमताओं का सम्यक आकलन हो सके। Gemini 1.5 Pro मॉडल ने चुनौतीपूर्ण "needle-in-a-haystack" कार्य को कुशलता से संबोधित किया, और सभी माध्यमों—पाठ, वीडियो, और ऑडियो—में कई मिलियन टोकनों तक फैले हेयस्टैक्स के बीच भी "नीडल" का लगभग-पूर्ण (>99%) रिकॉल हासिल किया।

यह रिकॉल प्रदर्शन विशेष रूप से पाठ माध्यम में 10 मिलियन टोकन के हेयस्टैक आकार तक बनाए रखा गया।

Gemini 1.5 Pro मॉडल ने सभी प्रतिद्वंद्वी मॉडलों, जिनमें बाहरी रिट्रीवल तरीकों से संवर्धित मॉडल भी शामिल हैं, को पीछे छोड़ दिया—खासकर उन कार्यों में जिनमें लंबे कंटेंट में व्यापक रूप से फैले अनेक प्रमाणों के पार अंतर्संबंधों की समझ आवश्यक होती है, जैसे लंबी निर्भरता वाले प्रश्न-उत्तर (QA) उदाहरण।

Gemini 1.5 Pro ने बहुत लंबे पाठ के सहारे इन-कॉन्टेक्स्ट कार्य सीखने की उल्लेखनीय क्षमता भी प्रदर्शित की है, जैसे कि केवल एक भाषावैज्ञानिक डॉक्यूमेंटेशन सेट से किसी नई भाषा का अनुवाद करना।

Gemini 1.5 Pro की लंबी-प्रसंग प्रदर्शन में यह प्रगति उल्लेखनीय है, क्योंकि इससे मॉडल की मूल बहु-माध्यम क्षमताओं में कोई समझौता नहीं हुआ। अपने पूर्ववर्ती (1.0 Pro) की तुलना में, इसने कई क्षेत्रों में महत्वपूर्ण सुधार किया है (गणित, विज्ञान, और तर्क में +28.9%)।

यह आधे से अधिक बेंचमार्क में शीर्ष-स्तरीय 1.0 Ultra मॉडल को भी पीछे छोड़ देता है, विशेष रूप से पाठ और दृश्य कार्यों में उत्कृष्ट प्रदर्शन करते हुए (जैसा कि नीचे दी गई तालिका में दिखाया गया है)। यह कम संसाधनों की आवश्यकता और अधिक संगणन-दक्षता के बावजूद हासिल किया गया है।

डेटा स्रोत।

अधिक विस्तृत जानकारी के लिए, मैं तकनीकी रिपोर्ट की सलाह देता/देती हूँ: “Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context”।

Gemini 1.5 Pro के अनुप्रयोग

कई मिलियन टोकनों को प्रोसेस करने की क्षमता के साथ, नए व्यावहारिक अनुप्रयोग उभरते हैं।

Gemini 1.5 Pro का व्यापक उपयोग सॉफ्टवेयर इंजीनियरिंग में किया जा सकता है। पूरे 746,152-टोकन वाले JAX कोडबेस को प्रसंग में देने पर, Gemini 1.5 Pro एक कोर ऑटोमैटिक डिफरेंशिएशन विधि के विशिष्ट स्थान की पहचान कर सकता है।

एक संदर्भ व्याकरण पुस्तक और एक द्विभाषी शब्द-सूची (कुल ∼250k) तक पहुँच के साथ, Gemini 1.5 Pro अनुवाद कर सकता है—अंग्रेज़ी से Kalamang में—ऐसी गुणवत्ता के साथ जो उसी संसाधनों से अध्ययन करने वाले मानव के तुल्य हो।

Kalamang के लिए ऑनलाइन डेटा की सीमित उपलब्धता (200 से कम वक्ता) Gemini 1.5 Pro को भाषा को समझने और अनुवाद करने के लिए प्रत्येक प्रॉम्प्ट में दिए गए प्रसंग पर ही निर्भर रहने को बाध्य करती है। यह निष्कर्ष सुझाव देता है कि विस्तारित प्रसंगीय क्षमताओं वाले LLMs का उपयोग संकटग्रस्त भाषाओं के संरक्षण और पुनर्जीवन में सहायता करने, तथा विभिन्न भाषाई समुदायों के बीच संचार और समझ को बढ़ावा देने के लिए आशाजनक अवसर प्रदान करता है।

Gemini 1.5 Pro, Les Misérables (1382 पृष्ठ, 732k टोकन) के पूरे पाठ को देखते हुए, एक छवि क्वेरी का भी उत्तर दे सकता है। स्वदेशी रूप से मल्टीमॉडल होने के कारण, मॉडल एक हस्त-आकृति स्केच से किसी प्रसिद्ध दृश्य की पहचान कर सकता है।

45-मिनट की मूक फिल्म “Sherlock Jr.” (1FPS पर 2,674 फ़्रेम, 684k टोकन) के साथ, Gemini 1.5 Pro किसी विशिष्ट फ़्रेम से पाठ्य जानकारी पुनः प्राप्त करता है और निकालता है तथा संबंधित टाइमस्टैम्प प्रदान करता है। मॉडल फिल्म में किसी दृश्य की पहचान एक हस्त-आकृति स्केच से भी कर सकता है।

Gemini 1.5 Pro API: इसे कैसे उपयोग करें

अब जब हमें Gemini 1.5 Pro की क्षमताओं और अनुप्रयोगों के बारे में जानकारी है, तो आइए इसकी API से कनेक्ट करना सीखते हैं।

चरण 1: API कुंजी जनरेट करें

सबसे पहले, हमें Google AI for Developers पेज से API कुंजी प्राप्त करनी होगी (सुनिश्चित करें कि आप अपने Google खाते में लॉग इन हैं)। हम Get an API key बटन पर क्लिक करके यह कर सकते हैं:

इसके बाद, हमें प्रोजेक्ट स्थापित करना है और API कुंजी बनानी है।

चरण 2: API लाइब्रेरी को Python में इम्पोर्ट करें

पहले, pip का उपयोग करके Gemini Python API पैकेज इंस्टॉल करें।

%pip install google-generativeaiसंचालित द्वारा

इसके बाद, हम अपना Jupyter नोटबुक लॉन्च करेंगे और अपने प्रोजेक्ट के लिए आवश्यक Python लाइब्रेरियाँ इम्पोर्ट करेंगे।

import google.generativeai as genai
from google.generativeai.types import ContentType
from PIL import Image
from IPython.display import Markdown
import time
import cv2संचालित द्वारा

चरण 3: एक API कॉल करें

आइए GOOGLE_API_KEY वेरिएबल में अपनी API कुंजी भरकर उसे कॉन्फ़िगर करें:

GOOGLE_API_KEY = ‘your-api-key-goes-here’
genai.configure(api_key=GOOGLE_API_KEY)संचालित द्वारा

API कॉल करने से पहले, निःशुल्क API के माध्यम से उपलब्ध मॉडलों की जाँच कर लें।

for m in genai.list_models():
	if 'generateContent' in m.supported_generation_methods:
    	print(m.name)संचालित द्वारा

models/gemini-1.0-pro
models/gemini-1.0-pro-001
models/gemini-1.0-pro-latest
models/gemini-1.0-pro-vision-latest
models/gemini-1.5-flash-latest
models/gemini-1.5-pro-latest
models/gemini-pro
models/gemini-pro-visionसंचालित द्वारा

आइए gemini-1.5-pro-latest मॉडल का उपयोग करें:

model = genai.GenerativeModel('gemini-1.5-pro-latest')संचालित द्वारा

अब अपनी पहली API कॉल करते हैं और Gemini 1.5 Pro को प्रॉम्प्ट करते हैं!

response = model.generate_content("Please provide a list of the most influential people in the world.")
print(response.text)संचालित द्वारा

सिर्फ कुछ पंक्तियों के कोड से मॉडल ने स्पष्ट और विस्तृत प्रतिक्रिया प्रदान की।

Gemini AI किसी प्रॉम्प्ट के लिए एकाधिक प्रतिक्रियाएँ—जिन्हें उम्मीदवार कहा जाता है—उत्पन्न कर सकता है, जिससे आप सबसे उपयुक्त प्रतिक्रिया चुन सकते हैं।

Gemini 1.5 Pro API: इमेज प्रॉम्प्टिंग

इस अनुभाग में, हम सीखेंगे कि Gemini 1.5 Pro का उपयोग करके किसी छवि से पुस्तकों की सूची निकालने का स्वचालन कैसे करें!

पहले, इस छवि पर विचार करें:

एक बुकशेल्फ की छवि, जिसमें कई किताबें रखी हुई हैं।

सबसे पहले, मॉडल को निर्देश दें कि वह छवि में पुस्तक शीर्षकों की पहचान करे और उन्हें एक विशिष्ट क्रम का पालन करते हुए सूचीबद्ध करे:

text_prompt = "List all the books and help me organize them into three categories."संचालित द्वारा

इसके बाद, हम "bookshelf.jpeg" छवि को Image क्लास का उपयोग करके खोलेंगे, ताकि वह मॉडल के विश्लेषण के लिए तैयार हो जाए।

bookshelf_image = Image.open('bookshelf.jpeg')संचालित द्वारा

आइए text_prompt और bookshelf_image, दोनों को एक सूची में रखकर मॉडल को प्रॉम्प्ट करें:

prompt = [text_prompt, bookshelf_image]
response = model.generate_content(prompt)संचालित द्वारा

आउटपुट को Markdown फ़ॉर्मेट में आने से बचाने के लिए, IPython के Markdown टूल का उपयोग करें।

Markdown(response.text)संचालित द्वारा

मॉडल ने अपलोड की गई छवि में मौजूद सभी पुस्तकों को सफलतापूर्वक तीन अलग-अलग श्रेणियों में वर्गीकृत कर दिया है।

निष्कर्ष

इस ट्यूटोरियल में, हमने Gemini 1.5 परिवार की पहली रिलीज़—Gemini 1.5 Pro—का परिचय दिया। अपनी बहु-माध्यम क्षमताओं और दक्षता से आगे बढ़कर, Gemini 1.5 Pro ने Gemini 1.0 श्रृंखला की तुलना में कंटेंट विंडो को 32k से कई मिलियन टोकनों तक विस्तृत किया है।

चाहे आप पाठ, छवियों, वीडियो, या ऑडियो के साथ काम कर रहे हों, Gemini 1.5 Pro API सूचना रिट्रीवल और प्रश्नोत्तर से लेकर कंटेंट जेनरेशन और अनुवाद तक विभिन्न अनुप्रयोगों को संभालने की लचीलापन प्रदान करता है।

यदि आप AI के बारे में और सीखना चाहते हैं, तो छह-पाठ्यक्रम वाली इस AI Fundamentals स्किल ट्रैक को देखें।