Gemini 2.0 Pro के साथ मल्टीमॉडल AI एप्लिकेशन बनाना

Gemini 2.0 Pro सेटअप करना

वर्तमान में, Gemini 2.0 Pro तक केवल Google AI Studio के माध्यम से पहुंचा जा सकता है, जिसके लिए Google खाते से साइन-इन करना आवश्यक है। शुरुआत करने के लिए, ये चरण अपनाएं:

1. Google AI Studio में साइन-इन करें

Google AI Studio वेबसाइट पर जाएं और अपने Google अकाउंट क्रेडेंशियल्स के साथ लॉग-इन करें। लॉग-इन होते ही आप Google AI Studio डैशबोर्ड पर रीडायरेक्ट हो जाएंगे।

2. API कुंजी जनरेट करें

• डैशबोर्ड पर, ऊपर-बाईं ओर स्थित “Get API Key” बटन पर क्लिक करें।
• इसके बाद, “Create API Key” बटन पर क्लिक करें और अपनी पहली API कुंजी जनरेट करें।

स्रोत: Google AI Studio 

3. एनवायरनमेंट वेरिएबल सेट करें

एक एनवायरनमेंट वेरिएबल GEMINI_API_KEY नाम से बनाएं और इसमें अभी जनरेट की गई API कुंजी का मान असाइन करें।

4. आवश्यक Python पैकेज इंस्टॉल करें

अपने टर्मिनल में निम्न कमांड चलाकर आवश्यक Python पैकेज इंस्टॉल करें:

pip install google-genai 
pip install gradio

Gemini 2.0 Pro की विशेषताओं का परीक्षण

अब, हम Gemini Python क्लाइंट का उपयोग करके Gemini 2.0 Pro मॉडल की विभिन्न क्षमताओं तक पहुंचेंगे। इनमें टेक्स्ट समझ, इमेज प्रोसेसिंग, ऑडियो विश्लेषण और दस्तावेज़ समझ शामिल हैं। 

साथ ही, हम कोड निष्पादन (execution) सुविधा का परीक्षण करेंगे, जो हमें कोड जनरेट करने और उसे सीधे क्लाउड Python कर्नेल में चलाने की अनुमति देती है।

1. टेक्स्ट जनरेशन

हम एनवायरनमेंट वेरिएबल से API कुंजी लोड करेंगे और इसका उपयोग करके क्लाइंट इनिशियलाइज़ करेंगे। यही क्लाइंट विभिन्न मॉडल और फीचर्स तक पहुंच का इंटरफेस होगा।

इसके बाद, हम मॉडल को एक प्रश्न देंगे और स्ट्रीमिंग रिस्पॉन्स जनरेट करेंगे। इसका मतलब है कि जैसे ही टोकन बनते जाएंगे, वे टर्मिनल में क्रमिक रूप से दिखेंगे, जिससे रियल-टाइम फीडबैक मिलेगा।

import os
from google import genai

API_KEY = os.environ.get("GEMINI_API_KEY")

client = genai.Client(api_key=API_KEY)

response = client.models.generate_content_stream(
    model="gemini-2.0-pro-exp-02-05",
    contents=["Explain how Stock Market works"])
for chunk in response:
    print(chunk.text, end="")

मॉडल ने विस्तृत और सटीक उत्तर जनरेट किया। 

The stock market is a complex system, but here's a breakdown of how it works in a simplified way, covering the key concepts:

**1. What are Stocks (Shares)?**

*   **Ownership:** Stocks, also called shares or equities, represent ownership in a company.  When you buy a stock, you're buying a tiny piece of that company.
*   **Claim on Assets and Earnings:** As a shareholder, you have a claim on the company's assets and earnings.  You're entitled to a portion of the company's profits (often distributed as dividends, though not always) and, in theory, a share of the company's value if it were to be liquidated.
*   **Voting Rights (Sometimes):**  Many stocks (but not all) come with voting rights, allowing you to have a say in certain company decisions (like electing the board of directors).

**2. Why Companies Issue Stock (Go Public)?**

2. इमेज समझ

इमेज समझ के लिए, हम Python में Pillow लाइब्रेरी का उपयोग करके इमेज लोड करेंगे और उसे contents आर्ग्यूमेंट में जोड़ेंगे। contents में इमेज से जुड़े प्रश्नों के साथ इमेज ऑब्जेक्ट भी शामिल होगा।

from google import genai
from google.genai import types

import PIL.Image

image = PIL.Image.open('image.png')

response = client.models.generate_content_stream(
    model="gemini-2.0-pro-exp-02-05",
    contents=["Explain the image", image])

for chunk in response:
    print(chunk.text, end="")

मॉडल ने इमेज को सटीक रूप से समझा और सूक्ष्म विवरण भी प्रदान किए। 

The image is a stylized, abstract graphic. It looks like a simplified diagram or node network, with a black background.

Here's a breakdown:

*   **Nodes:**  There are four circular nodes.  Each node is a different color:
    *   Light Blue (Top Left)
    *   Light Green (Bottom Left)
    *   White (Top Right)
    *    Red (Bottom Right)
*    **Node outline:** There is a thick outline around each of the circles.
*  **Shadow:** Each circle appears to be casting a white shadow.

3. ऑडियो समझ

Gemini 2.0 Pro बिना टेक्स्ट में बदले सीधे ऑडियो समझ सकता है। बस ऑडियो लोड करें और संबंधित प्रश्न के साथ content आर्ग्यूमेंट में प्रदान करें।

with open('audio.wav', 'rb') as f:
    audio_bytes = f.read()

response = client.models.generate_content_stream(
  model='gemini-2.0-pro-exp-02-05',
  contents=[
    'Describe this audio',
    types.Part.from_bytes(
      data=audio_bytes,
      mime_type='audio/wav',
    )
  ]
)

for chunk in response:
    print(chunk.text, end="")

एक बार फिर, इसने ऑडियो का अत्यंत सटीक विवरण दिया। 

The audio appears to be a collection of short, spoken phrases or sentences. There is only one speaker, a male, and he seems to be reading or reciting these phrases, possibly as part of a list or exercise. The content focuses on food and related concepts like smell and temperature.

4. दस्तावेज़ समझ

Langchain या किसी भी RAG फ्रेमवर्क का उपयोग करने के बजाय, हम Gemini 2.0 Pro को दस्तावेज़ दे सकते हैं, जिन्हें यह पार्स और इंडेक्स करेगा, और फिर हम उनसे जुड़े प्रश्न पूछना शुरू कर सकते हैं। 

हमने एक PDF फ़ाइल लोड की और उसकी सामग्री के आधार पर प्रश्न पूछे। इतना ही आसान।

from google import genai
from google.genai import types
import pathlib

prompt = "What the document is about"
response = client.models.generate_content_stream(
  model="gemini-2.0-pro-exp-02-05",
  contents=[
      types.Part.from_bytes(
        data=pathlib.Path('cv.pdf').read_bytes(),
        mime_type='application/pdf',
      ),
      prompt])

for chunk in response:
    print(chunk.text, end="")

नतीजतन, इसने दस्तावेज़ का उद्देश्य पूरी तरह स्पष्ट कर दिया।

Based on the OCR output, the document is **Abid Ali Awan's Curriculum Vitae (CV) or resume**. It details his:

*   **Contact Information:** Name, address, email, and phone number.
*   **Work Experience:** A chronological list of his professional roles, including job titles, companies, locations, dates of employment, and brief descriptions of his responsibilities. This includes experience in data science, freelancing, research, media, and network engineering.
*   **Education:** His academic background, listing degrees earned, institutions attended, graduation dates, GPAs, and areas of specialization.
*    **Gap Year:** Explaining the time that have taken for medical/personal issues.
*   **Professional Skills:** A list of his technical and soft skills, categorized and rated

5. कोड जनरेशन और निष्पादन

Gemini API का सबसे प्रभावशाली भाग यह है कि आप उसी API से कोड जनरेट कर सकते हैं और चला भी सकते हैं। यानी आपका कोड जनरेट और टेस्ट किया जाएगा; अगर कोई बग हुआ तो मॉडल उसे ठीक करेगा और सही उत्तर आने तक कोड फिर से चलाएगा।

हमने Gemini 2.0 Pro से एक कोडिंग प्रश्न पूछा और अंत में कोड चलाने का अनुरोध किया। यदि आप config आर्ग्यूमेंट देखें, तो पाएंगे कि हमने क्लाउड में कोड चलाने के लिए कोड एक्ज़ीक्यूशन टूल शामिल किया है।

from google import genai
from google.genai import types
from IPython.display import Markdown, HTML, Image, display

response = client.models.generate_content(
  model='gemini-2.0-pro-exp-02-05',
  contents="""
  Write a Python program to calculate the sum of the first 50 prime numbers. The program should:
   - Use a function to check if a number is prime.
   - Use another function to find and sum the first n prime numbers, where n is 50 in this case.
   - Ensure the code is efficient and readable.
   - Print the result clearly.
After writing the code, execute it to verify that the sum of the first 50 prime numbers is correct.
  """,
  config=types.GenerateContentConfig(
    tools=[types.Tool(
      code_execution=types.ToolCodeExecution
    )]
  )
)

def display_code_execution_result(response):
  for part in response.candidates[0].content.parts:
    if part.text is not None:
      display(Markdown(part.text))
    if part.executable_code is not None:
      code_html = f'<pre style="background-color: green;">{part.executable_code.code}</pre>' # Change code color
      display(HTML(code_html))
    if part.code_execution_result is not None:
      display(Markdown(part.code_execution_result.output))
    if part.inline_data is not None:
      display(Image(data=part.inline_data.data, format="png"))
    display(Markdown("---"))

display_code_execution_result(response)

मॉडल ने कोड जनरेट किया लेकिन पहली बार में चल नहीं पाया। फिर, इसने समस्याएं ठीक कीं, कोड दोबारा चलाया और सफलतापूर्वक परिणाम दिखाए। 

Gemini 2.0 Pro एप्लिकेशन बनाना

अब हम एक Gradio वेब ऐप बनाएंगे जो हमने पहले परीक्षण की गई सभी सुविधाओं को एकीकृत करता है। इससे कोई भी फाइल अपलोड करके और इमेज, ऑडियो, दस्तावेज़ों के बारे में प्रश्न पूछकर—यहां तक कि कोड चलाकर—इसे परख सकेगा। 

app.py का कोड GitHub रिपोजिटरी Gemini-2-Pro-Chat में उपलब्ध है। आप देख सकते हैं कि हर फीचर कैसे लागू किया गया है।

संक्षेप में, ऐप में शामिल है:

• मल्टी-मॉडल इनपुट हैंडलिंग: चैटबॉट टेक्स्ट, इमेज, ऑडियो और दस्तावेज़ प्रोसेस कर सकता है।
• डायनेमिक रिस्पॉन्स जनरेशन: यह Google GenAI के generate_content_stream मेथड का उपयोग करके स्ट्रीमिंग रिस्पॉन्स देता है।
• कोड निष्पादन: उपयोगकर्ता कोड जनरेट कर सकते हैं, चैटबॉट से उसे चलाने और परिणाम लौटाने के लिए कह सकते हैं।
• इमेज और ऑडियो प्रोसेसिंग: इमेज को HTML में एम्बेडिंग के लिए री-साइज़ कर base64 में बदला जाता है, जबकि ऑडियो फाइलें एन्कोड कर ऑडियो प्लेयर के साथ प्रदर्शित होती हैं।
• दस्तावेज़ अपलोड: PDF फाइलें प्रोसेस होकर बातचीत के इतिहास में जोड़ी जाती हैं।

जब आप रिमोट रिपोजिटरी से कोड अपनी लोकल परियोजना में कॉपी कर लें, तो आप इसे लोकली चला सकते हैं।

python app.py

Gemini 2.0 Pro एप्लिकेशन का परीक्षण

अब हम वेब एप्लिकेशन का परीक्षण करेंगे ताकि सुनिश्चित हो सके कि सब कुछ सही ढंग से काम कर रहा है। हम वेब ऐप UI के माध्यम से एक-एक करके सभी सुविधाओं से गुजरेंगे।

1. अपना प्रश्न टाइप करें और [Enter] कुंजी दबाएं। रिस्पॉन्स जनरेट होना शुरू हो जाएगा, और कुछ ही सेकंड में आपका उत्तर मिल जाएगा।

2. इमेज अपलोड करने के लिए “Upload Images” बटन पर क्लिक करें और डायरेक्टरी से फ़ाइल चुनें। फिर, इमेज के बारे में प्रश्न पूछें, और Gemini 2.0 Pro सटीक और अत्यंत विस्तृत उत्तर जनरेट करना शुरू कर देगा।

3. “Upload Audio” बटन पर क्लिक करके ऑडियो अपलोड करें और ऑडियो फ़ाइल चुनें। इसके बाद, ऑडियो के बारे में प्रश्न पूछें। मॉडल अत्यंत सटीक उत्तर देगा। 

4. आप दस्तावेज़ भी अपलोड कर सकते हैं। “Upload Documents” बटन पर क्लिक करके PDF फ़ाइल लोड करें और फ़ाइल चुनें। फिर, दस्तावेज़ के बारे में प्रश्न पूछें।

5. कोड निष्पादन थोड़ा अलग है। टकराव से बचने के लिए इसमें हिस्ट्री नहीं होती, यानी आपको एक ही प्रॉम्प्ट में कोड जनरेट करने और चलाने के लिए कहना होगा। 

उदाहरण के लिए, हमने इसे PNG फॉर्मेट में एक रैंडम इमेज बनाने के लिए सैंपल Python कोड जनरेट और निष्पादित करने को कहा, और फिर “Run Code Execution” बटन दबाया।

कुछ ही सेकंड में, इसने कोड जनरेट किया, चलाया, और चैट बॉक्स में इमेज प्रदर्शित कर दीं।

कोड निष्पादन फ़ीचर अंत में एक निष्कर्ष (conclusion) भी प्रदान करता है।

Gemini 2.0 Pro ऐप डिप्लॉय करना

आइए अपने ऐप को क्लाउड में Hugging Face Spaces का उपयोग करके डिप्लॉय करें। Hugging Face Spaces पर जाएं और “+ New Space” बटन पर क्लिक करें। स्पेस का नाम, विवरण और लाइसेंस दर्ज करें, और SDK के रूप में Gradio चुनें।

स्रोत: Hugging Face

स्पेस बनाने के बाद, आपको रिपोजिटरी क्लोन करने के निर्देश मिलेंगे:

git clone https://huggingface.co/spaces/kingabzpro/Gemini-2-Pro-Chat
cd Gemini-2-Pro-Chat

लोकल रिपोजिटरी में, requirements.txt फ़ाइल बनाएं और निम्न Python डिपेंडेंसी जोड़ें:

google-genai==1.0.0

इसके बाद, README.md फ़ाइल को निम्न सामग्री सहित संशोधित करें:

---
title: Gemini 2 Pro Chat
emoji: ♊💬
colorFrom: green
colorTo: pink
sdk: gradio
sdk_version: 5.15.0
app_file: app.py
pinned: false
license: mit
short_description: 'Image, Audio, and Document understanding + Code Execution. '
---

फिर, app.py फ़ाइल रिपोजिटरी में जोड़ें। बदलावों को स्टेज करें, कमिट करें और रिमोट रिपोजिटरी पर पुश करें:

git add .
git commit -m "deploying the app"   
git push 

कमिट्स पुश करते ही आप देखेंगे कि आपका स्पेस Docker इमेज बना रहा है और डिपेंडेंसीज़ इंस्टॉल कर रहा है।

स्रोत: Gemini 2 Pro Chat

सब कुछ पूरा होने के बाद, आपको एक एरर संदेश मिल सकता है। चिंतित न हों; यह Spaces में जोड़े जाने वाले गायब एनवायरनमेंट वेरिएबल्स से संबंधित है।

स्रोत: Gemini 2 Pro Chat

अपने Space की सेटिंग्स में जाएं और "Variables and Secrets" सेक्शन तक स्क्रॉल करें। “New Secret” बटन पर क्लिक करके नया सीक्रेट बनाएं। इसमें नाम दें और अपनी Gemini API कुंजी जोड़ें।

स्रोत: Gemini 2 Pro Chat

सीक्रेट जोड़ने के बाद, स्पेस अपने-आप रीस्टार्ट होगा और आपका ऐप लोकल की तरह ही सुचारू रूप से चलेगा।

स्रोत: Gemini 2 Pro Chat

निष्कर्ष

नए Gemini 2.0 Pro API और इसकी उन्नत सुविधाओं के साथ उच्च-प्रदर्शन AI एप्लिकेशन बनाना काफी आसान हो गया है। इमेज, ऑडियो या दस्तावेज़ प्रोसेस करने के लिए कई Python पैकेज इंस्टॉल करने के बजाय, आप इन्हें सीधे API एंडपॉइंट पर दे सकते हैं। मॉडल कुछ ही सेकंड में परिणाम जनरेट कर देता है, जिससे प्रक्रिया सहज और कुशल बनती है।

फिलहाल, Gemini 2.0 Pro तक पहुंच मुफ़्त है लेकिन प्रतिदिन 50 रिक्वेस्ट तक सीमित है। हालांकि, यह ध्यान रखना महत्वपूर्ण है कि खाते के निलंबन के जोखिम से बचने के लिए इस API का व्यावसायिक उद्देश्यों के लिए उपयोग नहीं किया जाना चाहिए।

इस ट्यूटोरियल में, हमने अत्याधुनिक Gemini 2.0 Pro मॉडल और इसकी क्षमताओं का अन्वेषण किया। हमने इन क्षमताओं का Jupyter Notebooks में परीक्षण किया और उन्हें Gradio एप्लिकेशन में एकीकृत किया। अंततः, हमने ऐप को क्लाउड में डिप्लॉय किया, जिससे यह सार्वजनिक रूप से सुलभ हो गया।

यदि आप AI-संचालित एप्लिकेशन बनाना सीखना चाहते हैं, तो हमारे स्किल ट्रैक Developing AI Applications देखें और नवीनतम AI डेवलपर टूल्स के बारे में जानें।