लर्निंग पाथ
एआई मूलभूत बातें
10 घंटा
Stability AI ने फरवरी 2024 में Stable Diffusion 3 का अर्ली प्रीव्यू घोषित किया। AI मॉडल अभी भी प्रीव्यू में है, लेकिन अप्रैल 2024 में टीम ने घोषणा की कि वे Fireworks AI के साथ साझेदारी करने के बाद Stable Diffusion 3 और Stable Diffusion 3 Turbo को Stability AI के Developer Platform API पर उपलब्ध कराएंगे—जो बाजार का सबसे तेज़ और सबसे भरोसेमंद API प्लेटफ़ॉर्म है।
ध्यान दें कि Stable Diffusion 3 मूल रूप से टेक्स्ट-टू-इमेज जनरेटिव AI मॉडलों की एक शृंखला है। Stability AI की टीम के अनुसार, यह मॉडल “बराबरी करता है या पीछे छोड़ता है” अन्य टेक्स्ट-टू-इमेज जनरेटरों को, जैसे OpenAI का DALL-E 3 और Midjourney v6, खासकर “टाइपोग्राफी और प्रॉम्प्ट पालन” में।
इस ट्यूटोरियल में, आप API के साथ शुरुआत करने के व्यावहारिक चरण सीखेंगे ताकि आप अपनी खुद की छवियाँ बनाना शुरू कर सकें।
क्यों चुनें Stable Diffusion 3?
Stable Diffusion 3 ने कई ऐसे सुधार और विशेषताएँ पेश की हैं जो इसे अपने पूर्ववर्तियों से अलग करती हैं और टेक्स्ट-टू-इमेज जनरेशन क्षेत्र में इसे अत्यंत प्रतिस्पर्धी बनाती हैं—विशेषकर बेहतर टेक्स्ट जनरेशन और प्रॉम्प्ट-फॉलोइंग क्षमताओं के संदर्भ में।
आइए इन प्रगतियों को जानें:
बेहतर प्रॉम्प्ट पालन
- संदर्भगत समझ: Stable Diffusion 3 अत्याधुनिक प्राकृतिक भाषा संसाधन (NLP) तकनीकों को शामिल करता है, जिससे यह उपयोगकर्ता प्रॉम्प्ट को बेहतर तरीके से समझ और व्याख्यायित कर पाता है। इससे उपयोगकर्ता इनपुट्स के लिए अधिक सटीक और संदर्भानुकूल प्रतिक्रियाएँ मिलती हैं।
- प्रॉम्प्ट की निरंतरता: पिछले संस्करणों के विपरीत, Stable Diffusion 3 प्रॉम्प्ट का पालन करने में बेहतर निरंतरता बनाए रखता है, जिससे जनरेट किया गया टेक्स्ट पूरी बातचीत में सुसंगत रहता है और उपयोगकर्ता के इनपुट के अनुरूप रहता है।
सुधारित टेक्स्ट जनरेशन
- फाइन-ट्यून किए गए भाषा मॉडल: Stable Diffusion 3 फाइन-ट्यून किए गए भाषा मॉडलों का उपयोग करता है जिनका बड़े डेटासेट्स पर व्यापक प्रशिक्षण हुआ है, जिससे टेक्स्ट जनरेशन क्षमताएँ बेहतर होती हैं। ये मॉडल व्याकरण, वाक्य विन्यास और अर्थ विज्ञान को बेहतर समझते हैं, जिसके परिणामस्वरूप अधिक सुसंगत और स्वाभाविक लगने वाली प्रतिक्रियाएँ मिलती हैं।
- प्रतिक्रिया में कम विविधता: उन्नत प्रशिक्षण पद्धतियों और मॉडल आर्किटेक्चर के जरिए Stable Diffusion 3 प्रतिक्रिया की विविधता को कम करता है, और विभिन्न प्रॉम्प्ट्स व संदर्भों में अधिक सुसंगत और उच्च-गुणवत्ता वाले आउटपुट जनरेट करता है।
उन्नत प्रॉम्प्ट विस्तार
- मल्टी-टर्न संवाद समर्थन: Stable Diffusion 3 मल्टी-टर्न संवादों को अधिक प्रभावी ढंग से संभाल सकता है, उपयोगकर्ता और AI मॉडल के बीच कई आदान-प्रदानों में सुसंगति और संदर्भ बनाए रखता है।
- प्रॉम्प्ट विस्तार तकनीकें: मॉडल उन्नत प्रॉम्प्ट विस्तार तकनीकों का उपयोग करता है ताकि अधिक सूचनात्मक और संदर्भानुकूल प्रतिक्रियाएँ उत्पन्न हों, संवाद को समृद्ध किया जा सके, और उपयोगकर्ताओं को उनके प्रश्नों के व्यापक उत्तर दिए जा सकें।
सूक्ष्म-नियंत्रण तंत्र
- पैरामीटर ट्यूनिंग: Stable Diffusion 3 में ऐसे फाइन-ट्यून कंट्रोल मैकेनिज़्म हैं जो उपयोगकर्ताओं को प्रतिक्रिया की लंबाई, रचनात्मकता का स्तर और विषय प्रासंगिकता जैसे पैरामीटर्स समायोजित करने देते हैं, जिससे अधिक अनुकूलित इंटरैक्शन अनुभव मिलता है।
- पक्षपात न्यूनीकरण: मॉडल टेक्स्ट जनरेशन में पक्षपात को कम करने के उपाय शामिल करता है, जिससे उपयोगकर्ता प्रॉम्प्ट्स पर इसकी प्रतिक्रियाओं में निष्पक्षता और समावेशन को बढ़ावा मिलता है।
Stable Diffusion 3 API के साथ शुरुआत
इस खंड में हम Stability API के साथ शुरुआत करने के चरणों पर चलेंगे।
चरण 1: अपना खाता बनाएं। Stability AI का API उपयोग करने से पहले आपको एक खाता बनाना होगा। आप यूज़रनेम और पासवर्ड से साइन अप कर सकते हैं, लेकिन Google खाते से साइन अप करने पर नए उपयोगकर्ताओं को 25 निःशुल्क क्रेडिट मिलते हैं।
चरण 2: अपना API कुंजी प्राप्त करें। खाता बनाने के बाद, आपको API कुंजी चाहिए होगी। यह API Keys पेज पर मिलती है। दस्तावेज़ में, Stability AI बताता है कि “इस साइट पर प्रलेखित सभी API एक ही प्रमाणीकरण तंत्र का उपयोग करते हैं: Authorization हेडर के माध्यम से API कुंजी पास करना।”
चरण 3: क्रेडिट्स टॉप-अप करें। API को अनुरोध भेजने के लिए आपके पास क्रेडिट्स होने चाहिए। क्रेडिट्स API कॉल करते समय खर्च होने वाली मुद्रा इकाई हैं—खपत की मात्रा मॉडलों और मोडलिटीज़ के आधार पर बदलती है। सभी क्रेडिट्स उपयोग करने के बाद, आप अपने Billing डैशबोर्ड के माध्यम से $1 USD प्रति 100 क्रेडिट्स की दर से और खरीद सकते हैं।
इस ट्यूटोरियल में, हम Google Colab और ComfyUI का उपयोग करेंगे ताकि Stable Diffusion 3 API के जरिए इमेज जनरेट करना दिखाया जा सके। अगले खंड में, हम प्रत्येक टूल का उपयोग शुरू करने के चरण कवर करेंगे।
Google Colab के साथ Stable Diffusion 3 API का उपयोग
Google Colab के साथ शुरुआत करने के लिए, आपको एक Google खाता बनाना होगा—लिंक पर क्लिक करें और निर्देशों का पालन करें।
यदि आपके पास पहले से Google खाता है, तो एक नया नोटबुक खोलें और नीचे दिए चरणों का पालन करें।
नोट: इस उदाहरण में प्रयुक्त कोड Stability AI के SD3_API ट्यूटोरियल से लिया गया है।
चरण 1: आवश्यकताएँ इंस्टॉल करें।
from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import outputचरण 2: Stability API से कनेक्ट करें।
import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')चरण 3. फ़ंक्शंस परिभाषित करें
def send_generation_request(
host,
params,
):
headers = {
"Accept": "image/*",
"Authorization": f"Bearer {STABILITY_KEY}"
}
# Encode parameters
files = {}
image = params.pop("image", None)
mask = params.pop("mask", None)
if image is not None and image != '':
files["image"] = open(image, 'rb')
if mask is not None and mask != '':
files["mask"] = open(mask, 'rb')
if len(files)==0:
files["none"] = ''
# Send request
print(f"Sending REST request to {host}...")
response = requests.post(
host,
headers=headers,
files=files,
data=params
)
if not response.ok:
raise Exception(f"HTTP {response.status_code}: {response.text}")
return responseचरण 4. छवियाँ जनरेट करें।
दस्तावेज़ के अनुसार, Stable Image सेवाओं में फिलहाल प्रोडक्शन में केवल एक पेशकश शामिल है:
- SD3: 6.5 क्रेडिट्स उपयोग करता है
- SD3 Turbo: 4 क्रेडिट्स उपयोग करता है
आइए इन्हें आज़माते हैं।
इस उदाहरण में, हम निचले उष्णकटिबंधीय क्षेत्र में एक टूकन पक्षी की छवि बनाएंगे।
# SD3
prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"negative_prompt" : negative_prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3",
"mode" : "text-to-image"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))यहाँ जो बना है, वह देखें:
लेखक द्वारा Stable Diffusion 3 का उपयोग कर बनाई गई छवि
अब, SD3 Turbo का उपयोग करके फलों से बनी एक कार की छवि बनाते हैं:
#SD3 Turbo
prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3-turbo"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))यह कोड चलाने पर निम्नलिखित छवि बनी:
लेखक द्वारा Stable Diffusion 3 Turbo का उपयोग कर बनाई गई छवि
ComfyUI के साथ API का उपयोग
ComfyUI, Stable Diffusion के लिए एक शक्तिशाली और लचीला ग्राफिकल यूज़र इंटरफ़ेस (GUI) है। इसमें ग्राफ-आधारित इंटरफ़ेस है और यह फ़्लोचार्ट-शैली के डिज़ाइन का उपयोग करता है ताकि उपयोगकर्ता उन्नत, स्थिर डिफ्यूजन वर्कफ़्लो बना और चला सकें।
सिस्टम आवश्यकताएँ:
- ग्राफिक्स प्रोसेसिंग यूनिट (GPU): कम से कम 8GB VRAM वाला उपयुक्त NVIDIA GPU, जैसे RTX 3060 Ti या बेहतर।
- सेंट्रल प्रोसेसिंग यूनिट (CPU): एक समकालीन प्रोसेसर, जैसे Intel Xeon E5, i5, Ryzen 5, या उच्चतर।
- रैंडम एक्सेस मेमोरी (RAM): 16GB या अधिक।
- ऑपरेटिंग सिस्टम: Windows 10/11 या Linux।
- मॉडल्स और जनरेट की गई छवियों के लिए आपके कंप्यूटर में पर्याप्त स्टोरेज स्पेस।
चरण 1: ComfyUI इंस्टॉल करें
Windows पर ComfyUI इंस्टॉल करने का सबसे सरल तरीका रिलीज़ पेज पर उपलब्ध स्टैंडअलोन इंस्टॉलर का उपयोग करना है। यह इंस्टॉलर PyTorch और Hugging Face Transformers जैसी आवश्यक निर्भरताएँ शामिल करता है, जिससे अलग से इंस्टॉलेशन की ज़रूरत नहीं रहती।
यह एक संपूर्ण पैकेज प्रदान करता है, जो Windows पर बिना जटिल कॉन्फ़िगरेशन के ComfyUI की त्वरित सेटअप सक्षम करता है।
बस डाउनलोड करें, एक्सट्रैक्ट करें, मॉडल जोड़ें, और लॉन्च करें!
चरण 1.1: ComfyUI का स्टैंडअलोन संस्करण इस GitHub रिपॉज़िटरी से डाउनलोड करें—लिंक पर क्लिक करते ही डाउनलोड शुरू हो जाएगा।
चरण 1.2: सबसे हाल का comfyui-windows.zip फ़ाइल डाउनलोड हो जाने के बाद, 7-Zip या WinRAR जैसे युटिलिटी से इसे एक्सट्रैक्ट करें।
चरण 1.3: ComfyUI का उपयोग शुरू करने के लिए एक चेकपॉइंट मॉडल आवश्यक है। आप Stable Diffusion या Hugging Face से एक चेकपॉइंट मॉडल डाउनलोड कर सकते हैं। मॉडल को इस फ़ोल्डर में रखें:
ComfyUI_windows_portable\ComfyUI\models\checkpointsचरण 1.4: अब, बस run_nvidia_gpu.bat (अनुशंसित) या run_cpu.bat चलाएँ। इससे ComfyUI अपने-आप आपके ब्राउज़र में शुरू हो जाना चाहिए।
कमांड लाइन चलेगी और एक URL http://127.0.0.1:8188/ जेनरेट करेगी, जिसे आप अब अपने ब्राउज़र में खोल सकते हैं।
चरण 2: ComfyUI Manager इंस्टॉल करें
File Explorer ऐप्लिकेशन के भीतर, उस डायरेक्टरी को ढूँढें जिसे आपने अभी इंस्टॉल किया है। चूँकि आप Windows का उपयोग कर रहे हैं, इसका नाम “ComfyUI_windows_portable.” होना चाहिए। यहाँ से ComfyUI और फिर custom_nodes पर जाएँ। इस स्थान पर, एड्रेस बार में cmd टाइप करें और Enter दबाएँ।
इससे एक कमांड प्रॉम्प्ट टर्मिनल खुलेगा, जहाँ आपको निम्न कमांड डालनी है:
git clone https://github.com/ltdrdata/ComfyUI-Managerपूरा हो जाने पर, ComfyUI को रिस्टार्ट करें। फ्लोटिंग पैनल पर नया “Manager” बटन दिखना चाहिए।
चरण 3: Stability AI API नोड इंस्टॉल करें
Manage बटन चुनें और “Install Custom Nodes.” पर जाएँ। यहाँ “stability API.” खोजें।
"Stability API nodes for ComfyUI" नोड को ढूँढें, फिर इंस्टॉलेशन प्रक्रिया शुरू करने के लिए दाईं ओर स्थित Install बटन पर क्लिक करें। इसके बाद, “Restart” बटन दिखाई देगा। ComfyUI को रीबूट करने के लिए “Restart” पर क्लिक करें।
चरण 4: सिस्टम-स्तरीय API कुंजी परिभाषित करें
यह चरण वैकल्पिक है, लेकिन अनुशंसित है। यानी, आप Stability AI कस्टम नोड के भीतर प्रत्येक नोड के लिए Stability AI API कुंजी सेट कर सकते हैं। इससे हर वर्कफ़्लो में बार-बार API कुंजी डालने की ज़रूरत नहीं पड़ती और अपना वर्कफ़्लो JSON फ़ाइल साझा करते समय गलती से API कुंजी साझा होने का जोखिम कम होता है।
ऐसा करने के लिए, कस्टम नोड डायरेक्टरी पर जाएँ:
ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. sai_platform_key.txt. नाम की एक नई फ़ाइल बनाएँ। अपनी API Key उस फ़ाइल में पेस्ट करें, दस्तावेज़ सेव करें, और फिर ComfyUI को रिस्टार्ट करें।
चरण 5: वर्कफ़्लो लोड करें और चलाएँ
Stable Diffusion 3 टेक्स्ट-टू-इमेज वर्कफ़्लो इंस्टॉल करें और उसे ComfyUI में ड्रॉप कर दें।
अब आप तैयार हैं!
समस्या निवारण और सुझाव
किसी भी टूल की तरह, रास्ते में कुछ समस्याएँ आ सकती हैं। यहाँ API या सेटअप प्रक्रिया में दिक्कत झेल रहे उपयोगकर्ताओं के लिए सबसे आम चुनौतियाँ और उनके समस्या-निवारण चरण दिए गए हैं।
API कुंजी और प्रमाणीकरण संबंधी समस्याएँ
चुनौती: गलत API कुंजी या प्रमाणीकरण क्रेडेंशियल्स के कारण उपयोगकर्ताओं को API एक्सेस करते समय प्रमाणीकरण त्रुटियाँ मिल सकती हैं।
समस्या-निवारण: API कुंजी को दोबारा जाँचें और सुनिश्चित करें कि इसे सही तरीके से कॉपी-पेस्ट किया गया है। यह सुनिश्चित करें कि कुंजी में अतिरिक्त स्पेस या अक्षर न हों। यह भी सत्यापित करें कि API कुंजी Stable Diffusion 3 सर्वर द्वारा ठीक से प्रमाणित हो रही है।
क्रेडिट प्रबंधन से जुड़ी समस्याएँ
चुनौती: उपयोगकर्ताओं को क्रेडिट प्रबंधन से संबंधित समस्याएँ, जैसे अपर्याप्त क्रेडिट्स या बिलिंग त्रुटियाँ, का सामना करना पड़ सकता है।
समस्या-निवारण: Stable Diffusion 3 डैशबोर्ड में अपना क्रेडिट बैलेंस जाँचें ताकि सुनिश्चित हो सके कि आपके पास पर्याप्त क्रेडिट्स हैं। अपनी बिलिंग जानकारी सत्यापित करें और किसी भी बिलिंग त्रुटि या विसंगति को सपोर्ट टीम के साथ सुलझाएँ।
कनेक्टिविटी और नेटवर्क समस्याएँ
चुनौती: उपयोगकर्ताओं को ऐसी कनेक्टिविटी समस्याएँ या नेटवर्क बाधाएँ आ सकती हैं जो उन्हें API तक पहुँचने से रोकती हैं।
समस्या-निवारण: सुनिश्चित करें कि आपका इंटरनेट कनेक्शन स्थिर है और कोई नेटवर्क बाधा नहीं है। समस्या को अलग-थलग करने के लिए किसी दूसरे नेटवर्क या डिवाइस से API एक्सेस करने का प्रयास करें। यदि कनेक्टिविटी समस्याएँ बनी रहती हैं, तो अपने इंटरनेट सेवा प्रदाता से संपर्क करें।
संगतता और निर्भरता त्रुटियाँ
चुनौती: आवश्यक टूल्स और लाइब्रेरीज़ इंस्टॉल या उपयोग करते समय उपयोगकर्ताओं को संगतता समस्याएँ या निर्भरता त्रुटियाँ मिल सकती हैं।
समस्या-निवारण: Stable Diffusion 3 API की संगतता आवश्यकताओं की जाँच करें और सुनिश्चित करें कि आप टूल्स और लाइब्रेरीज़ के संगत संस्करणों का उपयोग कर रहे हैं। त्रुटियाँ पैदा करने वाली किसी भी निर्भरता को अपडेट या पुनःइंस्टॉल करें। समस्या-निवारण मार्गदर्शन के लिए दस्तावेज़ और कम्युनिटी फ़ोरम देखें।
प्रदर्शन और प्रतिक्रिया समय
चुनौती: खासतौर पर पीक उपयोग समय में, उपयोगकर्ता API के साथ इंटरैक्ट करते हुए धीमी प्रतिक्रिया समय या प्रदर्शन समस्याओं का अनुभव कर सकते हैं।
समस्या-निवारण: API के प्रदर्शन की निगरानी करें और प्रतिक्रिया समय को ट्रैक करें ताकि पैटर्न या ट्रेंड्स की पहचान हो सके। बेहतर प्रदर्शन और प्राथमिकता एक्सेस के लिए उच्च-स्तरीय सब्सक्रिप्शन प्लान पर विचार करें। यदि आपको लगातार धीमी प्रतिक्रिया मिलती है, तो सपोर्ट टीम से संपर्क करें।
दस्तावेज़ीकरण और सहायता
चुनौती: उपयोगकर्ताओं को API दस्तावेज़ समझने में कठिनाई हो सकती है या विशिष्ट समस्याओं के समस्या-निवारण में सहायता की आवश्यकता हो सकती है।
समस्या-निवारण: API उपयोग, समस्या-निवारण और सर्वोत्तम प्रथाओं पर मार्गदर्शन के लिए Stable Diffusion 3 के दस्तावेज़ देखें। यदि आपके पास कोई अनसुलझी समस्या या प्रश्न हैं, तो सपोर्ट टीम या कम्युनिटी फ़ोरम से संपर्क करें।
निष्कर्ष
Stable Diffusion 3 टेक्स्ट-टू-इमेज जनरेटिव AI मॉडलों की एक शृंखला है। इस लेख में Google Colab और ComfyUI के साथ API का उपयोग शुरू करने के व्यावहारिक चरण कवर किए गए। अब आपके पास अपनी खुद की छवियाँ बनाने के कौशल हैं; जो सीखा है उसे जल्द से जल्द लागू करें ताकि वह स्मरण में बना रहे।
पढ़ने के लिए धन्यवाद!