Gemini Embedding 2 के साथ शुरुआत करें

सर्च और रिट्रीवल सिस्टम बनाना पहले या तो हर चीज़ को टेक्स्ट में बदलने का मतलब होता था या फिर अलग-अलग ट्रेन्ड विज़न मॉडल और टेक्स्ट एन्कोडर को जोड़ना पड़ता था। यह व्यापक उपयोग मामलों के लिए उपयोगी है, लेकिन टेक्स्ट और इमेजरी के बीच गहरी कड़ियाँ आसानी से छूट सकती हैं।

इस लेख में, मैं आपको Gemini Embedding 2 के बारे में बताऊंगा और दिखाऊंगा कि यह घर्षण कैसे दूर करता है। आप जानेंगे कि यह क्या है, क्यों महत्त्वपूर्ण है, और इसे वास्तविक प्रोजेक्ट्स में उपयोग करना कैसे शुरू करें।

Gemini Embedding 2 क्या है?

Gemini Embedding 2 Google का नवीनतम एम्बेडिंग मॉडल है, जिसे मल्टीमोडल एन्कोडिंग के लिए डिज़ाइन किया गया है। Google का genai Python API डेवलपर्स को gemini-embedding-2-preview मॉडल का उपयोग करने देता है। 

ऊँचे स्तर पर, एम्बेडिंग मॉडल डेटा को संख्यात्मक वेक्टरों में बदलते हैं जो अर्थ को पकड़ते हैं। ऐतिहासिक रूप से, ये मॉडल टेक्स्ट पर केंद्रित रहे हैं। Gemini Embedding 2 इस दायरे को बढ़ाता है ताकि डेवलपर्स एक ही मॉडल से कई डेटा प्रकारों के साथ काम कर सकें।

मुख्य वैल्यू प्रपोज़िशन सरल है: अब हम अलग-अलग मीडिया फॉर्मैट्स में इंडेक्स, तुलना, और सर्च कर सकते हैं—हर एक के लिए अलग पाइपलाइन बनाए बिना।

नैटिव मल्टीमोडैलिटी की ओर बदलाव

पुराने सिस्टम मल्टीमोडल डेटा को घुमावदार तरीके से संभालते थे। ऑडियो को ट्रांसक्राइब करना पड़ता था। वीडियो के लिए कैप्शन चाहिए होते थे। छवियों को टैग करना पड़ता था। 

हर कदम लेटेंसी बढ़ाता था, अतिरिक्त श्रम जोड़ता था, और अर्थ के संभावित ह्रास का जोखिम लाता था। यह सब इसलिए ताकि हम सब कुछ एक साझा, अक्सर टेक्स्ट-आधारित, वेक्टर स्पेस में मैप कर सकें।

Gemini Embedding 2 इस अतिरिक्त परत को हटा देता है। 

यह शुरुआत से ही टेक्स्ट, छवियां, वीडियो, ऑडियो और PDFs को एक साझा वेक्टर स्पेस में मैप करता है। व्यवहार में, इसका मतलब है कि भीड़भाड़ वाली शहर की सड़क दिखाने वाला एक वीडियो वेक्टर स्पेस में “urban traffic” टेक्स्ट के पास रह सकता है। 

यह संबंध सीधे कच्चे इनपुट्स से सीखा जाता है, न कि किसी मध्यवर्ती टेक्स्ट, जैसे ऑडियो ट्रांसक्रिप्शन, के ज़रिए निष्कर्षित किया जाता है। यह बदलाव सिस्टम डिज़ाइन को सरल बनाता है और मूल संदर्भ को अधिक संरक्षित रखता है।

Gemini Embedding 2 की प्रमुख विशेषताएँ

आइए उन सुविधाओं पर बात करें जो Gemini Embedding 2 को खास बनाती हैं:

• बड़ा टेक्स्ट कॉन्टेक्स्ट: 8,192 टोकन तक सपोर्ट—जो लंबे दस्तावेज़ों या विस्तृत रिकॉर्ड्स के लिए पर्याप्त है।
• नैटिव ऑडियो और वीडियो सपोर्ट: बिना ट्रांसक्रिप्शन के दो मिनट तक के वीडियो या ऑडियो को संभालता है।
• इंटरलीव्ड इनपुट्स: एक ही रिक्वेस्ट में टेक्स्ट और मीडिया के संयोजन स्वीकार करता है और एकीकृत एम्बेडिंग उत्पन्न करता है।
• बहुभाषी कवरेज: 100 से अधिक भाषाओं में काम करता है, जिससे अनुवाद पाइपलाइनों के बिना क्रॉस-लैंग्वेज सर्च संभव हो जाता है।

ये सुविधाएँ अलग प्रीप्रोसेसिंग सिस्टम की आवश्यकता कम करती हैं और कुल मिलाकर आर्किटेक्चर को सरल बनाती हैं।

Gemini Embedding 2 के तकनीकी लाभ

Gemini Embedding 2 की एक खासियत यह है कि यह Matryoshka Representation Learning (MRL) का उपयोग कैसे करता है। विचार काफ़ी सुरुचिपूर्ण है: एम्बेडिंग ऐसे संरचित होते हैं कि सबसे महत्त्वपूर्ण जानकारी वेक्टर की शुरुआत में पैक हो जाती है।

जहाँ पूर्ण वेक्टर आउटपुट 3,072 डायमेंशंस के होते हैं, वहीं MRL डेवलपर्स को उन्हें साफ़-सुथरे तरीके से घटाकर 768 या यहाँ तक कि 256 डायमेंशंस तक करने देता है। आपको छोटे वेक्टर स्टोर करने की लचीलापन मिलती है, जो लागत को काफी घटाती है और रिट्रीवल को तेज़ करती है—वह भी सटीकता पर बड़े असर के बिना। 

यह परफॉर्मेंस ट्यूनिंग के लिए बहुत बड़ा फ़ायदा है, क्योंकि केवल स्टोरेज ऑप्टिमाइज़ करने के लिए आपको मॉडल फिर से ट्रेन करने या पूरी पाइपलाइन बदलने की ज़रूरत नहीं पड़ती।

मोडैलिटीज़ के पार साझा सेमांटिक स्पेस

MRL बढ़िया है, लेकिन यह मॉडल बड़े पैमाने पर मल्टीमोडल एलाइनमेंट को जिस तरह संभालता है, वहीं चीज़ें वास्तव में दिलचस्प हो जाती हैं। मूल रूप से, यह सभी डेटा प्रकारों में एक एकीकृत सेमांटिक स्पेस बनाता है।

अलग-अलग फ़ॉर्मैट्स के लिए अलग साइलो बनाने के बजाय, मॉडल समान अवधारणाओं को साथ क्लस्टर करने के लिए प्रशिक्षित होता है। 

एक वॉयस मेमो, एक फ़ोटोग्राफ़ और एक लिखित पैराग्राफ़—यदि वे बिल्कुल वही विचार व्यक्त कर रहे हैं—तो सभी एक ही गणितीय पड़ोस में मैप होंगे। 

अब आपको मोडैलिटी-विशिष्ट मॉडलों को संभालना या आउटपुट से ठीक पहले उन्हें जोड़-तोड़कर साथ लाना नहीं पड़ता, जिससे रैंकिंग और डाउनस्ट्रीम समानता सर्च बेहद स्मूद हो जाती है।

ट्रांसलेशन स्टेप को स्किप करना

यदि आप पारंपरिक रिट्रीवल पाइपलाइनों को देखें, तो वे सामान्यतः मध्यवर्ती रूपांतरणों पर निर्भर करती हैं। आपको किसी ऑडियो फ़ाइल को ट्रांसक्राइब करना होता है या किसी छवि के लिए कैप्शन बनाना होता है ताकि आप उसे वास्तव में खोज सकें। हर बार जब आप ऐसा करते हैं, तो आप मूल डेटा को कंप्रेस करते हैं और अनिवार्य रूप से शोर जोड़ते हैं।

Gemini Embedding 2 इसे पूरी तरह बायपास करता है—कच्चे ऑडियो और वीडियो को सीधे एम्बेड करके। उस बिचौलिए के बिना, जानकारी का लगभग शून्य ह्रास होता है। 

यदि आप कॉल रिकॉर्डिंग्स के लिए सेमांटिक सर्च बना रहे हैं या कच्चे वीडियो क्लिप्स में यूज़र इंटेंट का पता लगाने की कोशिश कर रहे हैं, तो आप इस बात पर निर्भर नहीं रहेंगे कि किसी टेक्स्ट ट्रांसक्रिप्शन मॉडल ने क्या पकड़ा।

मिश्रित इनपुट्स से संदर्भ पकड़ना

एक और बड़ा लाभ तब आता है जब आप अलग-अलग डेटा प्रकार—उदाहरण के लिए, टेक्स्ट और एक छवि—को एक ही एम्बेडिंग कॉल में मिलाते हैं। मॉडल इन्फरेंस के दौरान उन इनपुट्स के बीच संबंध को वास्तव में सीखता है।

उदाहरण के लिए, एक ई-कॉमर्स प्रोडक्ट लिस्टिंग लें। प्रोडक्ट फ़ोटो और लिखित विवरण को अलग-अलग डेटा टुकड़ों की तरह ट्रीट करने के बजाय, मॉडल उन्हें एकल, अत्यंत संदर्भित वेक्टर में फ्यूज़ करता है। 

जब आपकी एम्बेडिंग बिखरे हुए हिस्सों के बजाय पूरी तस्वीर को दर्शाती है, तो रिट्रीवल की गुणवत्ता स्वाभाविक रूप से बढ़ जाती है।

काफी सरल आर्किटेक्चर

इन्फ्रास्ट्रक्चर के दृष्टिकोण से, यहाँ की सादगी को बढ़ा-चढ़ा कर बताना मुश्किल है। हर डेटा प्रकार के लिए एक ही एम्बेडिंग मॉडल पर निर्भर होना, इन सिस्टम्स के निर्माण का पूरा समीकरण बदल देता है।

विशेषीकृत टूल्स के उलझे हुए जाल को बनाए रखने के बजाय, अब आपके पास एक इंडेक्सिंग पाइपलाइन, एक समानता मैट्रिक, और एक वेक्टर डेटाबेस स्कीमा होता है। यह बहुत सा ऑपरेशनल ओवरहेड हटा देता है और स्केलिंग को कम सिरदर्द बनाता है। 

इसके अलावा, यदि आप बाद में किसी नए डेटा सोर्स के साथ प्रयोग करना चाहते हैं, तो इसे काम कराने के लिए आपको अपनी मौजूदा आर्किटेक्चर को उखाड़ फेंकना नहीं पड़ेगा। आप अंततः अपने डेटा प्रकारों की सीमाओं से लड़ने के बजाय वास्तविक अर्थ के आधार पर रिट्रीवल सिस्टम डिज़ाइन करने के लिए स्वतंत्र हैं।

Gemini Embedding 2 का उपयोग शुरू कैसे करें

आइए एक साधारण उदाहरण देखते हैं कि हम Gemini Embedding 2 को लोकल रूप से भी कैसे इस्तेमाल कर सकते हैं।

अपना वातावरण और API कुंजी सेट करना

शुरू करें एक API कुंजी बनाकर Google AI Studio के माध्यम से। फिर अपने Python वातावरण में नवीनतम Python SDK इंस्टॉल करें:

pip install -U google-genai

जब यह सेटअप हो जाए, तो अपनी API कुंजी को GEMINI_API_KEY नामक एनवायरनमेंट वेरिएबल के रूप में सेट करें। आप यह या तो प्रोजेक्ट के भीतर .env फ़ाइल का उपयोग करके कर सकते हैं या अपने सिस्टम के एनवायरनमेंट वेरिएबल मैनेजर के माध्यम से।

अपनी पहली मल्टीमोडल एम्बेडिंग बनाना

यहाँ एक सरल उदाहरण है जो टेक्स्ट और एक छवि—दोनों से एम्बेडिंग बनाता है:

from google import genai
from google.genai import types

client = genai.Client()

with open(“sample.png”,”rb”) as f:
    image_bytes = f.read()

# Example of an interleaved input, this has both the text and the image as part of a single vector
# Create multiple of these for separate encoding vectors
response = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "A photo of a vintage typewriter",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/jpeg"
        )
    ]
)

print(response.embeddings)

यह एक ही वेक्टर पैदा करता है जो टेक्स्ट और छवि—दोनों का संयुक्त प्रतिनिधित्व करता है।

पुराने मॉडलों से माइग्रेट करने के सर्वोत्तम अभ्यास

यदि आप पुराने एम्बेडिंग मॉडलों से आ रहे हैं, तो कुछ बातों का ध्यान रखें:

• अपने डेटा को पुन: इंडेक्स करें: मौजूदा वेक्टर नए मॉडल के साथ संगत नहीं हैं।
• रिट्रीवल गुणवत्ता का बेंचमार्क करें: अपने उपयोग मामले के लिए सुधारों की पुष्टि करने हेतु वास्तविक क्वेरीज़ का परीक्षण करें।
• उपसमुच्चय से शुरू करें: पहले एक छोटे डेटासेट को माइग्रेट करें ताकि स्टोरेज और रिट्रीवल व्यवहार को मान्य किया जा सके।

चरणबद्ध दृष्टिकोण जोखिम कम करता है और परिणामों की तुलना आसान बनाता है।

एकीकृत वेक्टर स्पेस के वास्तविक उपयोग

अब जब हमें पता है कि Gemini Embedding 2 का उपयोग कैसे करना है, तो बात करते हैं कि इसे वास्तविक दुनिया में कैसे लागू किया जा सकता है।

रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG) को आगे बढ़ाना

अधिकांश RAG सिस्टम आज टेक्स्ट एम्बेडिंग्स पर निर्भर हैं। Gemini Embedding 2 के साथ, आप इसे मल्टीमोडल एजेंटिक RAG सिस्टम तक विस्तारित कर सकते हैं।

उदाहरण के लिए, एक सपोर्ट असिस्टेंट किसी PDF से डायग्राम निकाल सकता है, किसी ऑडियो ट्रांसक्रिप्शन का अनुवाद कर सकता है, या केवल टेक्स्ट और ईमेल पार्स करने के बजाय किसी छोटे वीडियो क्लिप में वर्णित एक्शन कर सकता है। इससे कई अलग-अलग मॉडल और एजेंट्स के बजाय एक ही मॉडल से अधिक विविध उपयोग मामलों को सक्षम किया जा सकता है।

क्रॉस-मोडल सर्च और वर्गीकरण को सुव्यवस्थित करना

संगठन अक्सर बड़ी मात्रा में असंरचित डेटा—जैसे छवियां, रिकॉर्डिंग्स और दस्तावेज़—स्टोर करते हैं। इसका अधिकांश हिस्सा या तो खोजना कठिन होता है या रिकॉर्ड ठीक से रखे नहीं जाते।

एक साझा एम्बेडिंग स्पेस के साथ, आप उस डेटा को प्राकृत भाषा से क्वेरी कर सकते हैं। “system architecture के व्हाइटबोर्ड स्केच” जैसी खोज बिना मैनुअल टैगिंग के संबंधित छवियां या मीटिंग रिकॉर्डिंग्स सामने ला सकती है।

अंतिम विचार

Gemini Embedding 2 उस समस्या को सरल बनाता है जिसके लिए पहले कई सिस्टम और जटिल मॉडल आर्किटेक्चर की ज़रूरत होती थी। एक ही मॉडल में टेक्स्ट, छवियां, ऑडियो और वीडियो को सपोर्ट करके, यह इंजीनियरिंग ओवरहेड और ऑपरेशनल जटिलता—दोनों को कम करता है।

यदि आप सर्च, रिकमेंडेशन सिस्टम्स या RAG पाइपलाइंस बना रहे हैं, तो इसे ज़रूर एक्सप्लोर करें। सबसे बड़ा फायदा केवल बेहतर परफॉर्मेंस नहीं है—यह इस बात में एक छोटा-सा परिवर्तन है कि हम अपने सिस्टम्स के लिए जानकारी को कैसे पार्स करते हैं। यदि आप Gemini या व्यापक रूप से AI का उपयोग कैसे करें, इस पर अधिक रुचि रखते हैं, तो इन अन्य संसाधनों पर भी नज़र डालें:

• Gemini 3.1
• Building with Gemini 3.1 Pro
• AI Engineering with Langchain
• RAG with Langchain