लर्निंग पाथ
एआई मूलभूत बातें
10 घंटा
AI की दौड़ अब भी तेज़ी से जारी है—हाल में Google के Gemini और Gemma ने सुर्खियाँ बटोरीं—लेकिन अब Anthropic का Claude 3 एक दमदार दावेदार बनकर उभरा है, जो सभी बेंचमार्क्स पर GPT-4 और Gemini Ultra से बेहतर प्रदर्शन करता है।
इस ट्यूटोरियल में, हम Claude 3 मॉडल, उनके परफॉर्मेंस बेंचमार्क्स और उन्हें एक्सेस करने के तरीकों का पता लगाएंगे। हम Claude 3 की तुलना इसके पूर्ववर्ती Claude 2.1 और ChatGPT से भी करेंगे। अंत में, हम Claude 3 के Python API के बारे में जानेंगे—टेक्स्ट जेनरेट करने, विज़न क्षमताओं का उपयोग करने, स्ट्रीमिंग रिस्पॉन्स प्राप्त करने और उसे असिंक्रोनस रूप में चलाने के लिए।
Claude 3 क्या है?
Anthropic ने हाल ही में Claude 3 नामक AI मॉडलों का नया परिवार पेश किया है। ये मॉडल विविध संज्ञानात्मक कार्यों में उद्योग-मानक बेंचमार्क स्थापित करते हैं। Claude 3 परिवार में तीन अत्याधुनिक मॉडल शामिल हैं: Haiku, Sonnet, और Opus। ये मॉडल रियल-टाइम कस्टमर चैट, ऑटो-कम्प्लीशन, और डेटा एक्सट्रैक्शन जैसे कार्यों को सक्षम करते हैं।
वर्तमान में, Opus और Sonnet claude.ai और Claude API के लिए उपलब्ध हैं, जबकि छोटा मॉडल Haiku जल्द जारी होगा। Claude 3 मॉडल जटिल, बहु-चरणीय निर्देशों का बेहतर पालन करते हैं, ब्रांड वॉयस और रिस्पॉन्स गाइडलाइन्स पर कायम रहते हैं, और JSON जैसे फॉर्मैट में स्ट्रक्चर्ड आउटपुट जेनरेट करते हैं।
पिछले Claude मॉडलों की तुलना में, नए मॉडलों में संदर्भगत समझ बेहतर है, जिससे अनावश्यक अस्वीकार कम होते हैं।
ये 200K का कॉन्टेक्स्ट विंडो देते हैं, लेकिन 1 मिलियन से अधिक टोकन वाले इनपुट भी प्रोसेस कर सकते हैं। खास तौर पर, Claude 3 Opus ने लगभग परफेक्ट रिकॉल हासिल किया, 99% से अधिक सटीकता के साथ।
मॉडलों की विश्वसनीयता सुनिश्चित करने के लिए, Anthropic ने व्यापक जोखिमों को ट्रैक और कम करने हेतु समर्पित टीमें तैनात की हैं।
मॉडल विवरण
Claude 3 तीन मॉडलों का विकल्प देता है जो विभिन्न एप्लिकेशनों के लिए बुद्धिमत्ता, गति, और लागत के बीच संतुलन रखते हैं।
Claude 3 Opus
Opus जटिल, उच्च-बुद्धिमत्ता वाले कार्यों के लिए बनाया गया है—ओपन-एंडेड समस्या-समाधान और रणनीतिक विश्लेषण में उत्कृष्ट। इसका बड़ा कॉन्टेक्स्ट विंडो और उच्च लागत इसकी उन्नत क्षमताओं को दर्शाते हैं।
कीमत: इनपुट टोकन $15 प्रति मिलियन और आउटपुट टोकन $75 प्रति मिलियन।
Claude 3 Sonnet
Sonnet प्रदर्शन और लागत के बीच आदर्श संतुलन प्रदान करता है—एंटरप्राइज वर्कलोड्स जैसे डेटा प्रोसेसिंग, सेल्स ऑप्टिमाइज़ेशन, और स्केलेबल AI डिप्लॉयमेंट्स के लिए उपयुक्त। यह किफायती है और बड़े कॉन्टेक्स्ट विंडो के साथ आता है।
कीमत: इनपुट टोकन $3 प्रति मिलियन और आउटपुट टोकन $15 प्रति मिलियन।
Claude 3 Haiku
Haiku अपनी गति और दक्षता के लिए अलग पहचान रखता है—कस्टमर सर्विस, कंटेंट मॉडरेशन, और लागत-बचत जैसे रियल-टाइम रिस्पॉन्स वाले कार्यों के लिए उपयुक्त—जिससे यह सूट का सबसे किफायती और उत्तरदायी मॉडल बनता है।
कीमत: इनपुट टोकन $0.25 प्रति मिलियन और आउटपुट टोकन $1.25 प्रति मिलियन।
Claude 3 तक कैसे पहुँचे
Claude 3 मॉडलों तक पहुँचने के तीन तरीके हैं।
Claude Chat
यदि आप Claude AI मॉडलों को आज़माने का आसान और मुफ़्त तरीका चाहते हैं, तो आप claude.ai/chats पर साइन अप कर सकते हैं, जो ChatGPT जैसा है। चैट इंटरफ़ेस इंटरैक्टिव और उपयोग में सरल है।
फिलहाल, वे Claude 3 Sonnet मुफ़्त में दे रहे हैं, लेकिन Claude 3 Opus तक पहुँचने के लिए आपको Claude Pro की मासिक सदस्यता लेनी होगी।
Claude Chat
Workbench
Claude 3 Opus को मुफ़्त में एक्सेस करने के लिए, आपको Anthropic API के लिए साइन अप करना होगा: console.anthropic.com।
साधारण चरणों का पालन करके मुफ़्त में साइन अप करें और Workbench टैब पर क्लिक करके “claude-3-opus-20240229” मॉडल का चयन कर Opus मॉडल का उपयोग शुरू करें।
Anthropic Workbench
API और SDK
Claude 3 मॉडलों तक पहुँच का तीसरा तरीका API है। Antropic Python और Typescript के लिए क्लाइंट Software Development Kits (SDKs) प्रदान करता है। आप टर्मिनल में curl कमांड का उपयोग करके REST API के माध्यम से भी मॉडल तक पहुँच सकते हैं।
curl https://api.anthropic.com/v1/messages \
--header "x-api-key: $ANTHROPIC_API_KEY" \
--header "anthropic-version: 2023-06-01" \
--header "content-type: application/json" \
--data \
'{
"model": "claude-3-opus-20240229",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "How many moons does Jupiter have?"}
]
}'बेंचमार्क्स पर एक नज़र
Claude 3 मॉडलों का शीर्ष-प्रदर्शन करने वाले बड़े लैंग्वेज मॉडल्स (LLMs) के मुकाबले बेंचमार्क किया गया है और विभिन्न परीक्षणों में उल्लेखनीय सुधार दिखे हैं।
खासकर Claude 3 Opus ने MMLU, GPQA, और GSM8K जैसे सामान्य मूल्यांकन बेंचमार्क्स पर GPT-4 और Gemini Ultra को पीछे छोड़ा है। यह जटिल कार्यों पर मानवीय-स्तर की समझ और प्रवाह दिखाता है, जो सामान्य बुद्धिमत्ता प्राप्त करने की दिशा में पहला कदम है।
OpenAI के अत्याधुनिक LLM के बारे में जानने के लिए DataCamp का लेख What is GPT-4 and Why Does it Matter? पढ़ें। साथ ही, Google के ChatGPT प्रतिद्वंदी Google Gemini के बारे में जानने के लिए What is Google Gemini? Everything You Need To Know About It देखें।
बेंचमार्क डेटा से स्पष्ट है कि Claude 3 मॉडल विश्लेषण और पूर्वानुमान, कोड जनरेशन, और गैर-अंग्रेज़ी भाषाओं में उत्तर जेनरेट करने में बेहतर हुए हैं:
Claude 3 मॉडल की दृश्य क्षमताएँ काफ़ी सुधरी हैं—यह जटिल फ़ोटो, डायग्राम, और चार्ट को समझ सकता है। यह प्रगति उन व्यवसायों के लिए लाभदायक है जिनके नॉलेज बेस PDF, फ़्लोचार्ट, और प्रेज़ेंटेशन स्लाइड्स जैसे विविध प्रारूपों में हैं।
Claude 3 मॉडलों में पिछले जेनरेशन की तुलना में अनावश्यक अस्वीकृतियों में कमी और सटीकता में भी उल्लेखनीय सुधार देखा गया है।
अंततः, हम देखते हैं कि Claude 3 मॉडेल ओपन-एंडेड प्रश्नों पर Claude 2.1 की तुलना में सटीकता में दो गुना सुधार दिखाते हैं। साथ ही, नए मॉडलों में गलत उत्तरों का स्तर भी घटा है।
Claude 3 Opus बनाम Claude 2.1
इस खंड में, हम तीन सामान्य कार्यों पर Claude 3 Opus और Claude 2.1 की प्रतिक्रियाओं की तुलना करेंगे ताकि उनके सापेक्ष प्रदर्शन को समझा जा सके।
प्रश्नोत्तर
प्रॉम्प्ट: I speak without a mouth and hear without ears. I have no body, but I come alive with wind. What am I?
Claude 2.1 ने सामग्री की कमी का हवाला देकर उत्तर देने से इनकार कर दिया। जबकि उपयोगकर्ता पहेली पूछ रहा था, और Claude Opus ने सही उत्तर दिया।
कोड जनरेट करना
प्रॉम्प्ट: Create a FastAPI web application for a simple Scikit-learn classification model.
Claude 2.1 का कोड शुरू में काम करता दिखा, लेकिन सैंपल वैल्यू दर्ज करने के बाद त्रुटि आई। जाँच में पता चला कि कोड ऑप्टिमाइज़ नहीं है और इंफ़रेंस फ़ंक्शन में कुछ गलतियाँ हैं।
दूसरी ओर, जब हमने Claude 3 Opus से तुलना की, तो कोड सुचारू रूप से चला और नीचे दिखाए अनुसार सटीक भविष्यवाणियाँ दीं।
जटिल समस्या
प्रॉम्प्ट: How does a neural network with one layer and one input and output compare to a logistic regression?
दोनों मॉडलों ने समान उत्तर दिए, लेकिन Claude 3 Opus का उत्तर अधिक विस्तृत और आसानी से पढ़ने योग्य था।
Claude 3 Opus बनाम ChatGPT 4
आइए ऊपर जैसे कार्यों पर Claude 3 Opus और ChatGPT 4 की तुलना करें ताकि दिखाया जा सके कि Claude 3 को GPT-4 पर थोड़ा बढ़त है।
प्रश्नोत्तर
प्रॉम्प्ट: How many moons does Jupiter have?
दोनों कथन गलत हैं। 5 फ़रवरी, 2024 तक, बृहस्पति के 95 चंद्रमा हैं। यह प्रॉम्प्ट डेटासेट के कटऑफ़ पीरियड को समझने में उपयोगी है। प्रतीत होता है कि Claude 3 Opus 2021 के पुराने डेटासेट पर प्रशिक्षित था, जबकि ChatGPT को आख़िरी बार अप्रैल 2023 में अपडेट किया गया।
कोड जनरेट करना
प्रॉम्प्ट: Creating a Gradio web application for a simple Scikit-learn classification model.
Claude 3 मॉडल द्वारा जनरेट किया गया कोड सुचारू रूप से चला, लेकिन GPT-4 द्वारा जनरेट कोड कई त्रुटियों और भ्रम (हॉल्यूसिनेशन) के कारण नहीं चला।
जटिल समस्या
प्रॉम्प्ट: There are four people in an elevator and four floors in a building. What’s the probability that each person gets off on a different floor?
दोनों मॉडलों ने इस प्रसिद्ध प्रायिकता प्रश्न का सही उत्तर निकाला। एक ने गणितीय कार्य-प्रदर्शन दिखाया, और दूसरे ने वही उत्तर दिखाने के लिए Python कोड चलाया। इस मामले में, दोनों विजेता हैं।
Claude 3 Python SDK
इस भाग में, हम Claude 3 Python SDK और इसे कस्टमाइज़्ड रिस्पॉन्स जेनरेट करने के लिए कैसे उपयोग किया जा सकता है, इसके बारे में सीखेंगे।
शुरुआत करें
1. PIP का उपयोग करके anthropic Python पैकेज इंस्टॉल करें।
pip install anthropic2. Python पैकेज इंस्टॉल करने से पहले, हमें https://console.anthropic.com/dashboard पर जाकर API कुंजी प्राप्त करनी होगी।
3. ANTHROPIC_API_KEY एन्वायरनमेंट वेरिएबल सेट करें और उसमें API कुंजी का मान दें। DataLab, DataCamp के AI-सक्षम डेटा नोटबुक, में एन्वायरनमेंट वेरिएबल सेट करना और एक्सेस करना काफी आसान है।
4. API कुंजी का उपयोग करके क्लाइंट ऑब्जेक्ट बनाएं। हम इसी क्लाइंट का उपयोग टेक्स्ट जेनरेशन, विज़न क्षमता और स्ट्रीमिंग के लिए करेंगे।
import os
import anthropic
client = anthropic.Anthropic(
api_key=os.environ["ANTHROPIC_API_KEY"],
)Claude 2 Completions API
ध्यान दें कि नया Claude 3 मॉडल Completion API का उपयोग नहीं करता। यदि आप Claude 3 मॉडलों के लिए इस API का उपयोग करने की कोशिश करेंगे, तो त्रुटि मिलेगी और आपको Messages API का उपयोग करने की सलाह दी जाएगी।
from IPython.display import Markdown, display
from anthropic import HUMAN_PROMPT, AI_PROMPT
completion = client.completions.create(
model="claude-2.1",
max_tokens_to_sample=300,
prompt=f"{HUMAN_PROMPT} What is Matthew effect? {AI_PROMPT}",
)
Markdown(completion.completion)
यदि आप सस्ते Claude Python API के बारे में और जानना चाहते हैं, तो Getting Started with the Claude 2 and Anthropic API पढ़ें।
Claude 3 Messages API
स्पष्ट करने के लिए, हम Claude 3 Opus मॉडल के लिए Anthropic Messages API का परीक्षण करेंगे। यह API Completion API जैसी है, पर इसमें messages आर्ग्यूमेंट एक डिक्शनरी की सूची के रूप में देना होता है, जिसमें role और content शामिल होते हैं।
Prompt = "Write the Go code for the simple data analysis."
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{"role": "user", "content": Prompt}
]
)
Markdown(message.content[0].text)IPython Markdown का उपयोग करने से रिस्पॉन्स Markdown फॉर्मैट में दिखता है। यानी बुलेट्स, कोड ब्लॉक्स, हेडिंग्स और लिंक्स साफ़-सुथरे रूप में प्रदर्शित होते हैं।
कोड बेहतरीन तरह से काम करता है, और समझाने का तरीका इतना स्पष्ट है कि कोई भी समझ सकता है कि क्या हो रहा है।
सिस्टम प्रॉम्प्ट जोड़ना
हम सिस्टम प्रॉम्प्ट देकर रिस्पॉन्स को कस्टमाइज़ कर सकते हैं। यहाँ हमने इसे सभी उत्तर स्वीडिश में बदलने के लिए कहा है।
Prompt = "Write a report on climate change."
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
system="Respond only in Svenska.",
messages=[
{"role": "user", "content": Prompt}
]
)
Markdown(message.content[0].text)इसने स्वीडिश (Svenska) में जलवायु परिवर्तन पर रिपोर्ट बेहतरीन तरीके से जनरेट कर दी।
Claude 3 Vision ब्लॉक
Messages API में विज़न क्षमताएँ शामिल हैं। इस खंड में, हम Pexels.com की दो फ़ोटो का उपयोग करके एक रिस्पॉन्स जेनरेट करेंगे।
- छवि 1: फ़ोटो: Debayan Chakraborty: https://www.pexels.com/photo/indian-blue-jay-20433278/
- छवि 2: फ़ोटो: Rachel Xiao: https://www.pexels.com/photo/brown-pendant-lamp-hanging-on-tree-near-river-772429/
हम httpx पैकेज का उपयोग करके इमेजेस लोड करेंगे और उन्हें base64 एनकोडिंग में बदलेंगे।
import base64
import httpx
media_type = "image/jpeg"
url_1 = "https://images.pexels.com/photos/20433278/pexels-photo-20433278/free-photo-of-indian-blue-jay.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2"
image_encode_1 = base64.b64encode(httpx.get(url_1).content).decode("utf-8")
url_2 = "https://images.pexels.com/photos/772429/pexels-photo-772429.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2"
image_encode_2 = base64.b64encode(httpx.get(url_2).content).decode("utf-8")एकल छवि के साथ विज़न
छवियों के बारे में पूछने के लिए, हमें Claude 3 API को इमेज डेटा, एनकोडिंग प्रकार और मीडिया प्रकार देना होता है। इमेज और प्रॉम्प्ट दोनों ही message आर्ग्यूमेंट के कंटेंट डिक्शनरी का हिस्सा होते हैं।
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "base64",
"media_type": media_type,
"data": image_encode_1,
},
},
{
"type": "text",
"text": "Describe the image."
}
],
}
],
)
Markdown(message.content[0].text)
एकाधिक छवियों के साथ विज़न
कई छवियाँ जोड़ना जटिल लग सकता है, लेकिन यदि आप कोड उदाहरण में दिए पैटर्न का पालन करें, तो यह कैसे काम करता है, समझ आ जाएगा।
हमें बस ऐसा टेक्स्ट बनाना है जो Image 1 और Image 2 की ओर संकेत करे, और फिर इन दोनों छवियों के बारे में प्रश्न पूछें।
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Image 1:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": media_type,
"data": image_encode_1,
},
},
{
"type": "text",
"text": "Image 2:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": media_type,
"data": image_encode_2,
},
},
{
"type": "text",
"text": "What do these images have in common?"
}
],
}
],
)
Markdown(message.content[0].text)सही। दोनों छवियों में पक्षी हैं।
Claude 3 Streaming API
स्ट्रीमिंग का अर्थ है—पूरा अनुक्रम बनने का इंतज़ार करने के बजाय—टेक्स्ट आउटपुट को सतत रूप से जेनरेट करना। इस तकनीक में आउटपुट टोकन-दर-टोकन बनता है, जिससे प्रतीत होने वाली देरी कम होती है।
create की जगह, हम स्ट्रीमिंग रिस्पॉन्स के लिए stream फ़ंक्शन का उपयोग करेंगे।
परिणाम दिखाने के लिए, हम with सिंटैक्स और for loop का उपयोग करेंगे ताकि टोकन उपलब्ध होते ही प्रिंट हो जाएँ।
Prompt = "Write a Python code for typical data engineering workflow."
completion = client.messages.stream(
max_tokens=1024,
messages=[
{
"role": "user",
"content": Prompt,
}
],
model="claude-3-opus-20240229",
)
with completion as stream:
for text in stream.text_stream:
print(text, end="", flush=True)
Claude 3 Async API
सिंक्रोनस APIs अनुरोधों को क्रम से निष्पादित करती हैं और अगली कॉल शुरू करने से पहले रिस्पॉन्स आने तक ब्लॉक रहती हैं। दूसरी ओर, असिंक्रोनस APIs बिना ब्लॉक किए एक साथ कई अनुरोधों की अनुमति देती हैं, जिससे वे अधिक कुशल और स्केलेबल होती हैं।
हम AsyncAnthropic का उपयोग करके async क्लाइंट इनिशियलाइज़ करेंगे। फिर async कीवर्ड से main फ़ंक्शन बनाएँगे और asyncio.run फ़ंक्शन से उसे चलाएँगे।
नोट: यदि आप Jupyter Notebook में async का उपयोग कर रहे हैं, तो asyncio.run(main()) की जगह await main() आज़माएँ।
import asyncio
from anthropic import AsyncAnthropic
async_client = AsyncAnthropic(
api_key=os.environ["ANTHROPIC_API_KEY"],
)
Prompt = "Could you explain what MLOps is and suggest some of the best tools to use for it?"
async def main() -> None:
message = await async_client.messages.create(
max_tokens=1024,
messages=[
{
"role": "user",
"content": Prompt,
}
],
model="claude-3-opus-20240229",
)
display(Markdown(message.content[0].text))
asyncio.run(main())
स्ट्रीमिंग को Async API के साथ जोड़ना
हम async क्लाइंट के stream फ़ंक्शन का उपयोग करके स्ट्रीमिंग को async तरीकों के साथ आसानी से जोड़ सकते हैं। इस तरह हम कई अनुरोध प्राप्त कर सकेंगे और रिस्पॉन्स को स्ट्रीम कर सकेंगे—जिससे AI एप्लिकेशन स्केलेबल और मज़बूत बनता है।
async def main() -> None:
completion = async_client.messages.stream(
max_tokens=1024,
messages=[
{
"role": "user",
"content": Prompt,
}
],
model="claude-3-opus-20240229",
)
async with completion as stream:
async for text in stream.text_stream:
print(text, end="", flush=True)
asyncio.run(main())
यदि आपको कोड चलाने में कठिनाई हो रही है, तो आप यह DataLab workbook एक्सेस कर सकते हैं, जहाँ आप कोड देख और चला सकते हैं (कॉपी बनाने के बाद)।
OpenAI के बड़े लैंग्वेज मॉडल्स तक कैसे पहुँचे, यह जानने के लिए यह ट्यूटोरियल देखें: Using GPT-3.5 and GPT-4 via the OpenAI API in Python।
अंतिम विचार
Anthropic अब OpenAI की तरह एक पब्लिक और एंटरप्राइज़-फेसिंग कंपनी है। यह अपने मॉडलों तक किसी को भी—कभी-कभी मुफ़्त में—पहुंच देती है। आप श्रेष्ठ प्रदर्शन करने वाले LLM Claude 3 Opus तक Pro सदस्यता या API एक्सेस के माध्यम से पहुँच सकते हैं। हालाँकि, Anthropic के पास OpenAI जैसा इकोसिस्टम नहीं है—जैसे एंबेडिंग मॉडल, इमेज और वीडियो जेनरेशन, टेक्स्ट-टू-सपीच, और स्पीच रिकग्निशन। इसमें OpenAI API द्वारा दी जाने वाली कई कोर फ़ंक्शंस भी नहीं हैं।
सोशल मीडिया पर छा चुके OpenAI के नए टेक्स्ट-टू-वीडियो मॉडल के बारे में जानने के लिए पढ़ें: What is Open AI's Sora? How it Works, Use Cases, Alternatives & More।
इस ट्यूटोरियल में, हमने Claude 3 मॉडल के बारे में जाना, जो AI जगत में काफ़ी चर्चा में है। हमने इसे विभिन्न कार्यों पर Claude 2.1 और GPT-4 से तुलना की। अंत में, हमने Anthropic Python SDK का उपयोग करके टेक्स्ट जेनरेट किया, विज़न क्षमताओं का उपयोग किया, रिस्पॉन्स को टोकन-दर-टोकन स्ट्रीम किया, और API को असिंक्रोनस रूप में चलाया।
यदि आप AI में नए हैं और अत्याधुनिक LLMs की आंतरिक कार्यप्रणाली समझना चाहते हैं, तो AI Fundamentals स्किल ट्रैक पर विचार करें। यह आपको ChatGPT, बड़े लैंग्वेज मॉडल्स, जेनेरेटिव AI, और बहुत कुछ जैसे लोकप्रिय AI विषयों पर व्यावहारिक ज्ञान देगा।