Gemma 3n: डेमो प्रोजेक्ट सहित मार्गदर्शिका (VLM Android ऐप)

Gemma 3n क्या है?

Gemma 3n, Google AI का नवीनतम मल्टीमोडल, ओपन-वेट मॉडल परिवार है, जिसे फ़ोन, टैबलेट और लैपटॉप जैसे रोज़मर्रा के डिवाइसेज़ पर कुशलतापूर्वक चलने के लिए डिज़ाइन किया गया है। यह एक नए MatFormer आर्किटेक्चर पर आधारित है, जो Per-Layer Embedding (PLE) पैरामीटर कैशिंग का समर्थन करता है। Gemma 3n डिवाइस पर ही प्रदर्शन देता है, जबकि मेमोरी और कम्प्यूट लागत को न्यूनतम रखता है।

पारंपरिक विज़न-लैंग्वेज मॉडल (VLM) के समान होते हुए भी, Gemma 3n टेक्स्ट, इमेज और ऑडियो मोडैलिटी का समर्थन करता है। इसका "3n" वैरिएंट विशेष रूप से एज डिप्लॉयमेंट के लिए ऑप्टिमाइज़ किया गया है, जो Google के AI Edge SDK के ज़रिए CPU, NPU या मोबाइल GPU पर हल्के निष्पादन की सुविधा देता है।

ये हैं Gemma 3n की मुख्य विशेषताएँ:

• मल्टीमोडल इनपुट: टेक्स्ट और इमेज दोनों इनपुट स्वीकार करता है, ताकि ग्राउंडेड विज़ुअल रीजनिंग की जा सके
• ऑन-डिवाइस इन्फ़रेंस: मॉडल डाउनलोड होने के बाद इंटरनेट की आवश्यकता नहीं
• पैरामीटर दक्षता: मेमोरी ओवरहेड को कम करने के लिए सिलेक्टिव एक्टिवेशन, PLE कैशिंग और MatFormer नेस्टिंग का उपयोग
• मोबाइल के लिए अनुकूलित: Gemma 3n, MediaPipe और Google AI Edge टूल्स के माध्यम से Android पर INT4 और FP16 इन्फ़रेंस का समर्थन करता है
• ओपन वेट्स: ज़िम्मेदार व्यावसायिक उपयोग और फाइन-ट्यूनिंग के लिए लाइसेंस प्राप्त

महत्वपूर्ण नोट: यद्यपि Gemma 3n अपनी पूर्ण आर्किटेक्चर में ऑडियो इनपुट का समर्थन करता है, लेकिन ऑडियो क्षमताएँ अभी पब्लिक प्रीव्यू में उपलब्ध नहीं हैं।

Gemma 3n तक कैसे पहुँचें?

आप Gemma 3n को तीन तरीकों में से किसी एक से आज़मा सकते हैं:

1. Google AI Studio: ब्राउज़र में शुरू करने का सबसे आसान तरीका। जाएँ Google AI Studio पर और मॉडल सूची से Gemma 3n चुनें। वर्तमान में केवल “gemma-3n-e4b-it” वैरिएंट उपयोग के लिए उपलब्ध है। 
2. Hugging Face प्रीव्यू: Gemma 3n की .task फ़ाइल Google के ai-edge-litert फ़ॉर्मैट के अंतर्गत प्रकाशित है। आप Hugging Face मॉडल पेज तक पहुँच का अनुरोध कर सकते हैं और मॉडल को लोकल इन्फ़रेंस के लिए डाउनलोड कर सकते हैं। एक .task फ़ाइल एक कॉम्पैक्ट, रनटाइम-फ़्रेंडली पैकेज है, जिसमें मॉडल का प्रीकम्पाइल्ड संस्करण, इसकी मेटाडेटा और सभी आवश्यक कॉन्फ़िग शामिल होते हैं—जो Google के AI Edge SDK का उपयोग करके तेज़ और सुरक्षित ऑन-डिवाइस निष्पादन के लिए विशेष रूप से डिज़ाइन किया गया है।
3. डिवाइस पर चलाएँ (अनुशंसित): Google की आधिकारिक Gemma Gallery App का उपयोग करें ताकि Gemma 3n को सीधे अपने Android फ़ोन पर चलाया जा सके। यह तरीका लोकल मॉडल के माध्यम से पूर्ण इमेज और प्रॉम्प्ट इंटरैक्शन का समर्थन करता है।

अगले चरण में, मैं आपको एक काम करने वाला Android ऐप बनाना सिखाऊँगा जो Gemma 3n मॉडल का उपयोग करके इमेज और टेक्स्ट प्रॉम्प्ट्स को प्रोसेस करता है। हम Google के आधिकारिक Gallery रिपॉज़िटरी को बेस के रूप में उपयोग करेंगे और इसे कस्टमाइज़ करेंगे ताकि यह बिना किसी व्यवधान के सीधे Ask Image स्क्रीन पर खुले।

चरण 1: ऐप को क्लोन और सेट अप करें

आइए एक नया प्रोजेक्ट सेटअप करके और Google से मूल रिपॉज़िटरी क्लोन करके शुरू करें।

चरण 1.1: नया Android Studio प्रोजेक्ट बनाएँ

अपने लैपटॉप पर, Android Studio में एक नया प्रोजेक्ट खोलें और Empty Activity चुनें।

चरण 1.2: नई Empty Activity सेट करें

अगले चरण में, अपनी activity का नाम भरें (उदाहरण के लिए, “Ask_Image_Demo”) और बाकी वैसा ही रहने दें। फिर, Finish पर क्लिक करें।

चरण 1.3: मुख्य रिपॉज़िटरी क्लोन करें

अब, Android Studio के भीतर टर्मिनल खोलें (बाएँ निचले कोने में) और निम्नलिखित bash कमांड चलाएँ:

git clone https://github.com/google-ai-edge/gallery
cd gallery/androidसंचालित द्वारा

यह आपका प्रोजेक्ट खोलेगा। आप बाएँ टैब में सभी प्रोजेक्ट फ़ाइलें देख सकते हैं।

चरण 2: Ask Image को छोड़कर सभी टास्क हटाएँ

अगले चरण में, हम कुछ फ़ाइलें एडिट करेंगे ताकि ऐप खुलते ही सीधे Ask Image पेज पर पहुँचा जाए। फिर, हम Tasks.kt फ़ाइल पर जाएँगे, जो यहाँ स्थित है:   app/src/main/java/com/google/ai/edge/gallery/data/Tasks.kt। ऐप की कार्यक्षमता को केवल 'Ask Image' फीचर तक सीमित करने के लिए, हम निम्नलिखित बदलाव करेंगे:

पहले:

/** All tasks. */
val TASKS: List<Task> = listOf(
  TASK_LLM_ASK_IMAGE,
  TASK_LLM_PROMPT_LAB,
  TASK_LLM_CHAT,
)संचालित द्वारा

बाद में:

/** All tasks. */
val TASKS: List<Task> = listOf(
  TASK_LLM_ASK_IMAGE
)संचालित द्वारा

यह Prompt Lab और Chat जैसे अन्य डेमो को अक्षम कर देता है, सुनिश्चित करता है कि केवल Ask Image दिखाई दे।

चरण 3: Ask Image स्क्रीन पर स्वतः नेविगेट करें

GalleryApp.kt (यहाँ स्थित: // app/src/main/java/com/google/ai/edge/gallery/GalleryApp.kt) में, LaunchedEffect को अपडेट करें ताकि अपने-आप इमेज पेज पर नेविगेट हो जाए।  यह बदलाव सुनिश्चित करता है कि ऐप डिफ़ॉल्ट टास्क चयन स्क्रीन को बायपास करते हुए सीधे Ask Image इंटरफ़ेस खोल दे।

पहले:

@Composable
fun GalleryApp(navController: NavHostController = rememberNavController()) {
  GalleryNavHost(navController = navController)
}संचालित द्वारा

बाद में:

package com.google.ai.edge.gallery
import androidx.compose.runtime.Composable
import androidx.compose.runtime.LaunchedEffect
import androidx.navigation.NavHostController
import androidx.navigation.compose.rememberNavController
import com.google.ai.edge.gallery.data.TASK_LLM_ASK_IMAGE
import com.google.ai.edge.gallery.ui.llmchat.LlmAskImageDestination
import com.google.ai.edge.gallery.ui.navigation.GalleryNavHost
@Composable
fun GalleryApp(
  navController: NavHostController = rememberNavController()
) {
  // as soon as GalleryApp comes up, navigate to Ask-Image 
  // and drop “home” off the back-stack:
  LaunchedEffect(Unit) {
    TASK_LLM_ASK_IMAGE.models
      .firstOrNull()    // safety: don’t crash if the models list is empty
      ?.name
      ?.let { modelName ->
        navController.navigate("${LlmAskImageDestination.route}/$modelName") {
          popUpTo("home") { inclusive = true }
        }
      }
  }
  GalleryNavHost(navController = navController)
}संचालित द्वारा

यहाँ नए कोड में अपडेट किए गए GalleryApp फ़ंक्शन का विवरण है:

• LaunchedEffect: एक Jetpack Compose साइड-इफ़ेक्ट जो कम्पोज़िशन पर एक बार ट्रिगर होता है। यहाँ, GalleryApp रेंडर होते ही नेविगेशन लॉजिक चलाने के लिए इसका उपयोग किया गया है।
• पहला उपलब्ध मॉडल प्राप्त करना: TASK_LLM_ASK_IMAGE.models.firstOrNull() सुरक्षित रूप से पहले उपलब्ध इमेज-टेक्स्ट मॉडल (जैसे, Gemma 3n) का नाम नेविगेशन के लिए ले आता है। इससे मॉडल सूची खाली होने पर ऐप क्रैश होने से बचता है।
• navController.navigate(): यह चुने गए मॉडल के नाम का उपयोग करके ऐप को Ask-Image स्क्रीन पर डायनेमिक रूप से रूट करता है। यह सामान्य Home स्क्रीन को एंट्री पॉइंट के रूप में बदल देता है।
• बैक नेविगेशन से होम स्क्रीन हटाना: popUpTo("home") मेथड नेविगेशन स्टैक को क्लीन करता है और होम स्क्रीन को हिस्ट्री से हटा देता है। इससे उपयोगकर्ता सिस्टम के बैक बटन से वहाँ वापस नहीं जा सकता।

बाकी कोड वैसा ही रहने दें। ये बदलाव मिलकर ऐप को सीधे Ask-Image इंटरफ़ेस में एक वैध मॉडल लोड के साथ लॉन्च कराते हैं, जिससे आपके डेमो का यूज़र फ़्लो बेहतर होता है।

चरण 4: अपने डिवाइस पर ऐप इंस्टॉल और रन करें

जब आप सभी आवश्यक बदलाव कर लें, तो हम ऐप चलाएँगे। अपने लोकल Android डिवाइस पर ऐप चलाने के लिए, नीचे दिए गए चरणों के साथ Android Studio में वायरलेस डिबगिंग का उपयोग करके अपने Android डिवाइस को पेयर करें।

चरण 4.1: Android डिवाइस सेट करें

अपने Android डिवाइस पर Settings ऐप में जाएँ और Developer options सक्षम करें। फिर Wireless debugging चालू करें। आपको दो पेयरिंग विकल्पों वाली स्क्रीन दिखाई देगी।

चरण 4.2: Android Studio में डिवाइस मैनेज करें

Android Studio में Device Manager खोलें (आइकन एक फ़ोन और Android लोगो जैसा दिखता है) और Pair using QR code पर क्लिक करें।

अपने डिवाइस से QR कोड स्कैन करें और पेयरिंग सेटअप पूरा करें। डिवाइस कनेक्ट होने के बाद, आपको Device Manager के अंतर्गत अपना डिवाइस नाम दिखाई देगा। सुनिश्चित करें कि आपका सिस्टम और Android डिवाइस दोनों एक ही WiFi नेटवर्क से जुड़े हैं।

चरण 4.3: ऐप रन करें

Android डिवाइस मिररिंग शुरू करने के लिए Device Mirroring आइकन (डेस्कटॉप स्क्रीन और फ़ोन स्क्रीन दर्शाता है) पर क्लिक करें। जब आपको अपना डिवाइस स्क्रीन मिरर होता दिखे, तो हरे रंग के Run आइकन पर क्लिक करें, ताकि ऐप आपके डिवाइस पर डिप्लॉय हो जाए।

चरण 4.4: मॉडल्स को डिवाइस पर डाउनलोड करें

ऐप लॉन्च होगा, और एक ब्राउज़र विंडो खुलेगी, जो आपको Hugging Face में लॉग इन करने के लिए कहेगी ताकि मॉडल फ़ाइल को सुरक्षित रूप से डाउनलोड किया जा सके।

HuggingFace में लॉग इन करने के बाद, अपनी पसंद के मॉडल पर start download क्लिक करें, और आपका मॉडल डाउनलोड होना शुरू हो जाएगा। इस उदाहरण में, मैं डिफ़ॉल्ट रूप से Gemma-3n-E2B-it-int4 मॉडल का उपयोग कर रहा/रही हूँ।

चरण 4.5: प्रयोग शुरू करें

डाउनलोड पूरा होते ही, आप सीधे “Ask Image” पेज पर पहुँच जाएँगे। अब अपनी गैलरी से कोई मौजूदा इमेज चुनें या अपने डिवाइस के कैमरे से नई फ़ोटो लें। फिर इमेज के साथ एक प्रॉम्प्ट दें और उसे मॉडल को भेजें।

यहाँ एक उदाहरण है जो मैंने टेस्ट किया।

मॉडल शुरू में CPU पर चलता है। आप 'Tune' आइकन (तीन क्षैतिज स्लाइडर कंट्रोल्स) का उपयोग कर GPU पर स्विच कर सकते हैं, जिससे प्रदर्शन बेहतर हो सकता है।

GPU पर स्विच करना कुल विलंबता को काफ़ी कम कर सकता है, विशेषकर बड़ी इमेज और अधिक जटिल क्वेरीज़ को प्रोसेस करने में। हालाँकि GPU प्रोसेसिंग आमतौर पर तेज़ डिकोड स्पीड देती है, जिसके परिणामस्वरूप जल्दी प्रतिक्रियाएँ मिलती हैं, यह ध्यान देने योग्य है कि कभी-कभी प्रीफिल स्पीड CPU पर थोड़ा अधिक हो सकती है।

ऐसा इसलिए होता है क्योंकि शुरुआती लोडिंग और डेटा की तैयारी (प्रीफिल) CPU-बाउंड हो सकती है। फिर भी, GPU पर तेज़ डिकोड और कुल विलंबता में कमी का लाभ आम तौर पर अधिक होता है, जिससे अनुभव अधिक स्मूथ और प्रतिक्रियाशील बनता है।

यदि आप पूरा प्रोजेक्ट कोड देखना चाहते हैं, तो मैंने यह GitHub रिपॉज़िटरी सेटअप की है।

निष्कर्ष

हमने देखा कि Gemma 3n कैसे एज डिवाइसेज़ पर, बिना क्लाउड इन्फ़रेंस की ज़रूरत के, इमेज-प्रश्न उत्तर देने में सक्षम बनाता है। आपने सीखा कि कैसे एक हल्के Android ऐप में .task फ़ाइल इंटीग्रेट करें, मॉडल को प्राकृतिक भाषा से प्रॉम्प्ट करें, और अपने फ़ोन से ही किसी भी इमेज के बारे में सटीक उत्तर प्राप्त करें।

यह हैंड्स-ऑन वॉकथ्रू दिखाता है कि Gemma 3n कैसे मल्टीमोडल AI का लोकतंत्रीकरण करता है, जिससे डेवलपर और शोधकर्ता डिवाइस पर ही शक्तिशाली मॉडल डिप्लॉय कर सकें। चाहे आप ऑफ़लाइन असिस्टेंट्स, शैक्षिक टूल्स, हेल्थकेयर ऐप्स, या अन्य कुछ बना रहे हों—Gemma 3n कई उपयोग मामलों में सहायक हो सकता है।

जैसे-जैसे Google Matformer आर्किटेक्चर को निखारता जा रहा है, मुझे और भी कॉम्पैक्ट, मल्टीमोडल मॉडल्स देखने की उम्मीद है—जिनमें अधिक सटीकता और कम विलंबता होगी। Gemma 3n के बारे में अधिक जानने के लिए, आधिकारिक AI Edge रिलीज़ ब्लॉग देखें या ओपन-सोर्स रिपॉज़िटरी में झाँकें GitHub पर।

यदि आप और नए AI टूल्स खोजना चाहते हैं, तो मैं ये ब्लॉग सुझाता/सुझाती हूँ:

• Google का Veo 3: व्यावहारिक उदाहरणों सहित मार्गदर्शिका
• Devstral क्विकस्टार्ट गाइड: Mistral AI का LLM लोकल रूप से चलाएँ
• Claude Opus 4 with Claude Code: डेमो प्रोजेक्ट सहित मार्गदर्शिका