LangChain के साथ LLM एप्लिकेशन कैसे बनाएं: ट्यूटोरियल

यदि आप Generative AI और LLMs की रूपांतरकारी क्षमताओं से प्रभावित हैं, तो यह ट्यूटोरियल आपके लिए है। यहां, हम LangChain का अन्वेषण करते हैं—एक ओपन-सोर्स Python फ्रेमवर्क जो GPT जैसे Large Language Models पर आधारित एप्लिकेशन बनाने के लिए बना है।

LangChain के साथ AI एप्लिकेशन बनाना विस्तार से सीखें हमारे Building Multimodal AI Applications with LangChain & the OpenAI API AI Code Along में, जहां आप Whisper स्पीच-टू-टेक्स्ट AI से YouTube वीडियो सामग्री ट्रांसक्राइब करना सीखेंगे और फिर उसी सामग्री पर प्रश्न पूछने के लिए GPT का उपयोग करेंगे।

Large Language Models (LLMs) क्या हैं?

Large Language Models (LLMs) उन्नत कृत्रिम बुद्धिमत्ता प्रणालियाँ हैं जो मानवीय-सा पाठ समझने और उत्पन्न करने के लिए डिज़ाइन की गई हैं। इन्हें विशाल डेटा पर प्रशिक्षित किया जाता है, जिससे ये जटिल पैटर्न समझ पाती हैं, भाषा की बारीकियाँ ग्रहण करती हैं, और सुसंगत प्रतिक्रियाएँ देती हैं। LLMs भाषा से जुड़ी कई तरह की जिम्मेदारियाँ निभा सकती हैं—जैसे अनुवाद, टेक्स्ट पूर्ण करना, सार-संक्षेप बनाना, और संवाद करना। GPT एक LLM का उदाहरण है।

LLM, Generative AI का एक प्रकार है। यदि आप Generative AI के बारे में सीखना चाहते हैं और यह आपकी रचनात्मकता कैसे बढ़ा सकता है, तो हमारे ब्लॉग Using Generative AI to Boost Your Creativity और पॉडकास्ट Inside the Generative AI Revolution देखें। आप हमारे आगामी कोर्स Large Language Models Concepts के लिए पंजीकरण भी कर सकते हैं।

LangChain का परिचय

LangChain एक ओपन-सोर्स फ्रेमवर्क है जो बड़े भाषा मॉडलों (LLMs) से संचालित एप्लिकेशन के विकास को आसान बनाता है। यह टूल्स, कॉम्पोनेंट्स, और इंटरफेस का एक सेट प्रदान करता है जो LLM-केंद्रित एप्लिकेशन बनाना सरल बनाता है। LangChain के साथ, भाषा मॉडलों के साथ इंटरेक्शन संभालना, विभिन्न कॉम्पोनेंट्स को सहजता से जोड़ना, और APIs व डेटाबेस जैसी संसाधनों को सम्मिलित करना आसान हो जाता है। आप LangChain For Data Engineering and Data Applications पर एक अलग लेख में और पढ़ सकते हैं। 

LangChain प्लेटफ़ॉर्म के साथ APIs का एक संग्रह आता है जिन्हें डेवलपर्स अपनी एप्लिकेशनों में एम्बेड कर सकते हैं, जिससे वे बिना शून्य से निर्माण किए भाषा-प्रसंस्करण क्षमताएँ जोड़ सकते हैं। इस प्रकार, LangChain LLM-आधारित एप्लिकेशन बनाने की प्रक्रिया को कुशलतापूर्वक सरल करता है, जो हर स्तर के डेवलपर्स के लिए उपयुक्त है।

चैटबॉट, वर्चुअल असिस्टेंट, अनुवाद उपकरण, और सेंटिमेंट एनालिसिस टूल—all LLM-संचालित ऐप्स के उदाहरण हैं। डेवलपर्स अपनी विशेष आवश्यकताओं के अनुरूप कस्टम भाषा-मॉडल आधारित एप्लिकेशन बनाने के लिए LangChain का लाभ उठाते हैं।

प्राकृतिक भाषा प्रसंस्करण में निरंतर प्रगति और व्यापक अपनाने के साथ, इस तकनीक के संभावित अनुप्रयोग वस्तुतः असीमित माने जाते हैं। यहां LangChain की कुछ उल्लेखनीय विशेषताएँ हैं:

1. आपकी विशिष्ट आवश्यकताओं के अनुरूप अनुकूलनीय प्रॉम्प्ट

2. उन्नत उपयोग परिदृश्यों के लिए चेन-लिंक कॉम्पोनेंट्स का निर्माण

3. डेटा ऑग्मेंटेशन के लिए मॉडलों का एकीकरण और GPT व HuggingFace Hub जैसे उच्च-स्तरीय भाषा मॉडलों तक पहुँच

4. विशिष्ट आवश्यकताओं के लिए मिलान-जुलान करने योग्य बहुउद्देशीय कॉम्पोनेंट्स

5. बेहतर शुद्धता और उपयोगकर्ता संतुष्टि हेतु संदर्भ स्थापित करने और निर्देशित करने के लिए कॉन्टेक्स्ट का प्रबंधन

Python में LangChain सेटअप करना

Python में LangChain इंस्टॉल करना काफी सरल है। आप इसे pip या conda से इंस्टॉल कर सकते हैं।

pip से इंस्टॉल करें

pip install langchainसंचालित द्वारा

conda से इंस्टॉल करें

install langchain -c conda-forgeसंचालित द्वारा

यह LangChain की मूल ज़रूरतें सेट कर देगा। LangChain का अधिक उपयोग तब सामने आता है जब इसे विविध मॉडल प्रदाताओं, डेटा स्टोर्स आदि के साथ एकीकृत किया जाता है।

डिफ़ॉल्ट रूप से, इन इंटेग्रेशनों के लिए आवश्यक निर्भरताएँ इंस्टॉलेशन में शामिल नहीं होतीं। सभी निर्भरताएँ इंस्टॉल करने के लिए आप निम्न कमांड चला सकते हैं:

pip install langchain[all]संचालित द्वारा

अंतिम विकल्प है सोर्स से लाइब्रेरी बनाना। उस स्थिति में, आप प्रोजेक्ट को इसके GitHub repo से क्लोन कर सकते हैं।

एंवायरनमेंट सेटअप

LangChain का उपयोग आमतौर पर विभिन्न मॉडल प्रदाताओं, डेटा स्टोर्स, APIs, और समान कॉम्पोनेंट्स के साथ इंटेग्रेशन की मांग करता है। किसी भी इंटेग्रेशन की तरह, हमें LangChain के काम करने के लिए उपयुक्त और प्रासंगिक API कुंजियाँ प्रदान करनी होती हैं। इसे प्राप्त करने के दो तरीके हैं:

1. कुंजी को एंवायरनमेंट वेरिएबल के रूप में सेट करना

OPENAI_API_KEY="..."संचालित द्वारा

यदि आप एंवायरनमेंट वेरिएबल सेट नहीं करना चाहते, तो OpenAI LLM क्लास को इनिशियलाइज़ करते समय openai_api_key नामित पैरामीटर के माध्यम से सीधे कुंजी पास कर सकते हैं:

2. संबंधित क्लास में सीधे कुंजी सेट करना

from langchain.llms import OpenAI

llm = OpenAI(openai_api_key="...")संचालित द्वारा

LangChain के प्रमुख कॉम्पोनेंट्स

लचीलापन और मॉड्यूलैरिटी पर जोर देने के कारण LangChain अलग दिखता है। यह प्राकृतिक भाषा प्रसंस्करण पाइपलाइन को अलग-अलग कॉम्पोनेंट्स में विभाजित करता है, जिससे डेवलपर्स अपनी जरूरतों के अनुसार वर्कफ़्लो को अनुकूलित कर सकते हैं। यह अनुकूलनशीलता विभिन्न परिदृश्यों और क्षेत्रों में AI एप्लिकेशन बनाने के लिए LangChain को आदर्श बनाती है।

कॉम्पोनेंट्स और चेन

LangChain में, कॉम्पोनेंट्स वे मॉड्यूल होते हैं जो भाषा प्रसंस्करण पाइपलाइन में विशिष्ट कार्य करते हैं। इन कॉम्पोनेंट्स को "चेन" में जोड़ा जा सकता है ताकि अनुकूलित वर्कफ़्लो बने, जैसे सेंटिमेंट एनालिसिस, इंटेंट रिकॉग्निशन, और रेस्पॉन्स जनरेशन मॉड्यूल वाले कस्टमर सर्विस चैटबॉट की चेन।

प्रॉम्प्ट टेम्पलेट्स

प्रॉम्प्ट टेम्पलेट्स पुन:उपयोग योग्य पूर्व-परिभाषित प्रॉम्प्ट होते हैं जो अलग-अलग चेन में इस्तेमाल किए जा सकते हैं। इनमें विशिष्ट "मान" डालकर इन्हें डायनेमिक और अनुकूलनीय बनाया जा सकता है। उदाहरण के लिए, किसी उपयोगकर्ता का नाम पूछने वाला प्रॉम्प्ट एक विशिष्ट मान डालकर निजीकरण किया जा सकता है। यह सुविधा डायनेमिक संसाधनों के आधार पर प्रॉम्प्ट जनरेट करने में सहायक है।

वेक्टर स्टोर्स

इन्हें एम्बेडिंग्स के माध्यम से जानकारी संग्रहीत करने और खोजने के लिए उपयोग किया जाता है—आखिरकार दस्तावेज़ों के अर्थों के संख्यात्मक प्रतिनिधित्व का विश्लेषण करना। VectorStore इन एम्बेडिंग्स के लिए भंडार का काम करता है, जिससे सैमान्यिक समानता के आधार पर कुशल खोज संभव होती है।

इंडेक्स और रिट्रीवर्स

इंडेक्स उस डाटाबेस की तरह कार्य करते हैं जो मॉडल के ट्रेनिंग डेटा से संबंधित विवरण और मेटाडेटा संग्रहीत करते हैं, जबकि रिट्रीवर्स इस इंडेक्स में से विशेष जानकारी को तेज़ी से खोजते हैं। इससे संदर्भ और संबंधित जानकारी देकर मॉडल की प्रतिक्रियाएँ सुधरती हैं।

आउटपुट पार्सर्स

आउटपुट पार्सर्स मॉडल द्वारा जनरेट की गई प्रतिक्रियाओं को प्रबंधित और परिष्कृत करने में काम आते हैं। वे अवांछित सामग्री हटाने, आउटपुट फ़ॉर्मेट को अनुकूलित करने, या प्रतिक्रिया में अतिरिक्त डेटा जोड़ने में सक्षम होते हैं। इस प्रकार, आउटपुट पार्सर्स भाषा मॉडल की प्रतिक्रियाओं से JSON ऑब्जेक्ट्स जैसे संरचित परिणाम निकालने में मदद करते हैं।

एग्ज़ाम्पल सेलेक्टर्स

LangChain में एग्ज़ाम्पल सेलेक्टर्स मॉडल के ट्रेनिंग डेटा से उपयुक्त उदाहरणों की पहचान करने में सहायक होते हैं, जिससे जनरेटेड प्रतिक्रियाओं की शुद्धता और प्रासंगिकता बढ़ती है। इन सेलेक्टर्स को कुछ प्रकार के उदाहरणों को प्राथमिकता देने या असंबंधित उदाहरणों को फ़िल्टर करने के लिए समायोजित किया जा सकता है, जिससे उपयोगकर्ता इनपुट के आधार पर अनुकूलित AI प्रतिक्रिया मिलती है।

एजेंट्स

एजेंट्स LangChain की विशिष्ट इकाइयाँ हैं—प्रत्येक में किसी खास उपयोग-प्रकरण के लिए विशेष प्रॉम्प्ट, मेमोरी, और चेन होती है। इन्हें वेब, मोबाइल, और चैटबॉट सहित अनेक प्लेटफ़ॉर्म पर लागू किया जा सकता है।

LangChain में भाषा मॉडल एप्लिकेशन कैसे बनाएं

LangChain एक LLM क्लास प्रदान करता है जो OpenAI, Cohere, और Hugging Face जैसे विभिन्न भाषा मॉडल प्रदाताओं के साथ इंटरफेस करने के लिए डिज़ाइन किया गया है। LLM की सबसे बुनियादी क्षमता टेक्स्ट जनरेट करना है। LangChain के साथ ऐसा एप्लिकेशन बनाना बहुत सरल है जो एक स्ट्रिंग प्रॉम्प्ट ले और आउटपुट लौटाए।

API_KEY ="..."

from langchain.llms import OpenAI

llm = OpenAI(model_name="text-ada-001", openai_api_key=API_KEY)

print(llm("Tell me a joke about data scientist"))संचालित द्वारा

आउटपुट:

>>> "What do you get when you tinker with data? A data scientist!"

ऊपर के उदाहरण में, हम OpenAI का text-ada-001 मॉडल इस्तेमाल कर रहे हैं। यदि आप इसे HuggingFace के किसी ओपन-सोर्स मॉडल से बदलना चाहें, तो बस एक साधारण बदलाव करना होगा:

API_KEY ="..."

from langchain import HuggingFaceHub

llm = HuggingFaceHub(repo_id = "google/flan-t5-xl", huggingfacehub_api_token = API_KEY)

print(llm("Tell me a joke about data scientist"))संचालित द्वारा

आप अपना Hugging Face hub टोकन आईडी अपने HF खाते से प्राप्त कर सकते हैं।

यदि आपके पास कई प्रॉम्प्ट्स हैं, तो आप generate मेथड का उपयोग करके एक साथ प्रॉम्प्ट्स की सूची भेज सकते हैं:

llm_response = llm.generate(['Tell me a joke about data scientist',

'Tell me a joke about recruiter',

'Tell me a joke about psychologist'])संचालित द्वारा

आउटपुट:

यह LangChain का उपयोग करके बनाया जा सकने वाला सबसे सरल ऐप है। यह एक प्रॉम्प्ट लेता है, उसे आपकी पसंद के भाषा मॉडल को भेजता है, और उत्तर लौटाता है। आप कई पैरामीटर्स नियंत्रित कर सकते हैं, जैसे `temperature`। temperature पैरामीटर आउटपुट की रैंडमनेस समायोजित करता है, और यह डिफ़ॉल्ट रूप से 0.7 पर सेट होता है।

LangChain में LLMs के लिए प्रॉम्प्ट टेम्पलेट्स का प्रबंधन

LLMs के APIs विशिष्ट होते हैं। यद्यपि स्वाभाविक भाषा में प्रॉम्प्ट देना सहज लगता है, इच्छित आउटपुट पाने के लिए प्रॉम्प्ट में कुछ समायोजन करने पड़ते हैं। इस समायोजन प्रक्रिया को प्रॉम्प्ट इंजीनियरिंग कहा जाता है। एक अच्छा प्रॉम्प्ट मिलने पर, आप उसे अन्य उद्देश्यों के लिए टेम्पलेट के रूप में उपयोग करना चाहेंगे।

LangChain में PromptTemplate आपको टेम्पलेटिंग से प्रॉम्प्ट जनरेट करने की सुविधा देता है। यह तब उपयोगी है जब आप एक ही प्रॉम्प्ट संरचना को कई स्थानों पर इस्तेमाल करना चाहते हैं लेकिन कुछ मान बदलते हुए।

USER_INPUT = 'Paris'

from langchain.llms import OpenAI

from langchain import PromptTemplate

llm = OpenAI(model_name="text-davinci-003", openai_api_key=API_KEY)

template = """ I am travelling to {location}. What are the top 3 things I can do while I am there. Be very specific and respond as three bullet points """

prompt = PromptTemplate(

input_variables=["location"],

template=template,

)

final_prompt = prompt.format(location=USER_INPUT )

print(f"LLM Output: {llm(final_prompt)}")संचालित द्वारा

आउटपुट:

1. Climb the Eiffel Tower and take in the breathtaking views of the city

2. Enjoy a romantic cruise along the River Seine and admire the beautiful architecture along the riverbanks

3. Explore the Louvre and admire the world-renowned works of art on display

यदि अब आप इस प्रॉम्प्ट को किसी अन्य शहर के लिए पुन: उपयोग करना चाहते हैं, तो आपको केवल USER_INPUT वेरिएबल बदलना होगा। मैंने इसे Paris से Cancun, Mexico में बदल दिया है। देखें, आउटपुट कैसे बदल गया:

आउटपुट:

1. Relax on the Beach: Enjoy the white sand beaches and crystal-clear waters of the Caribbean Sea.

2. Explore the Mayan Ruins: Visit ancient archaeological sites such as Chichen Itza, Tulum, and Coba to learn about the history and culture of the Mayans.

3. Take a Food Tour: Taste the traditional flavors and learn about the local cuisine by taking a food tour of Cancun.

मल्टी-स्टेप वर्कफ़्लो में LLMs और प्रॉम्प्ट्स का संयोजन

LangChain के संदर्भ में चेनिंग का अर्थ है LLMs को अन्य तत्वों के साथ एकीकृत करके एप्लिकेशन बनाना। कुछ उदाहरण:

• कई LLMs को क्रमिक रूप से जोड़ना—पहले LLM का आउटपुट दूसरे LLM के लिए इनपुट के रूप में उपयोग करना (इस अनुभाग को देखें)
• LLMs को प्रॉम्प्ट टेम्पलेट्स के साथ एकीकृत करना
• LLMs को बाहरी डेटा के साथ मिलाना, जैसे प्रश्नोत्तर के लिए
• LLMs को दीर्घकालिक मेमोरी, जैसे चैट हिस्ट्री, के साथ सम्मिलित करना

आइए पहले परिदृश्य का एक उदाहरण देखें, जहाँ हम पहले LLM के आउटपुट को दूसरे LLM के इनपुट के रूप में उपयोग करेंगे।

from langchain.llms import OpenAI

from langchain.chains import LLMChain, SimpleSequentialChain

from langchain import PromptTemplate

llm = OpenAI(model_name="text-davinci-003", openai_api_key=API_KEY)

# first step in chain

template = "What is the most popular city in {country} for tourists? Just return the name of the city"

first_prompt = PromptTemplate(

input_variables=["country"],

template=template)

chain_one = LLMChain(llm = llm, prompt = first_prompt)

# second step in chain

second_prompt = PromptTemplate(

input_variables=["city"],

template="What are the top three things to do in this: {city} for tourists. Just return the answer as three bullet points.",)

chain_two = LLMChain(llm=llm, prompt=second_prompt)

# Combine the first and the second chain

overall_chain = SimpleSequentialChain(chains=[chain_one, chain_two], verbose=True)

final_answer = overall_chain.run("Canada")संचालित द्वारा

आउटपुट:

इस उदाहरण में, हम दो कॉम्पोनेंट्स वाली एक चेन बनाते हैं। पहला कॉम्पोनेंट उपयोगकर्ता द्वारा दिए गए किसी देश के लिए सबसे लोकप्रिय शहर की पहचान करता है। इसके विपरीत, दूसरा कॉम्पोनेंट उस विशिष्ट शहर की सैर करने वाले पर्यटकों के लिए शीर्ष तीन गतिविधियों या आकर्षणों की जानकारी प्रदान करता है।

यदि आप LangChain में एप्लिकेशन बनाने की और उन्नत अवधारणाएँ सीखना चाहते हैं, तो DataCamp पर यह लाइव कोर्स देखें: Building AI Applications with LangChain and GPT।

निष्कर्ष और आगे की सीख

कुछ समय पहले तक हम सभी ChatGPT की प्रभावशाली क्षमताओं से अत्यंत प्रभावित थे। परिदृश्य तेज़ी से बदला है, और अब हमारे पास LangChain जैसे नए डेवलपर टूल्स हैं जो हमें कुछ ही घंटों में अपने व्यक्तिगत लैपटॉप पर इसी तरह के प्रभावशाली प्रोटोटाइप बनाने में सक्षम बनाते हैं।

LangChain, एक ओपन-सोर्स Python फ्रेमवर्क, LLMs (Language Model Models) से संचालित एप्लिकेशन बनाने में सक्षम बनाता है। यह फ्रेमवर्क अनेक बुनियादी मॉडलों के लिए बहुमुखी इंटरफेस प्रदान करता है, प्रॉम्प्ट प्रबंधन को सहज बनाता है, और एजेंट्स के माध्यम से प्रॉम्प्ट टेम्पलेट्स, अतिरिक्त LLMs, बाहरी डेटा, और अन्य टूल्स जैसे कॉम्पोनेंट्स के लिए केंद्रीय हब का काम करता है (लेखन के समय)।

यदि आप Generative AI और LLM में हो रही प्रगति के साथ बने रहना चाहते हैं, तो हमारा वेबिनार Building AI Applications with LangChain and GPT देखें। यहाँ आप LangChain का उपयोग करके AI एप्लिकेशन विकसित करने की मूल बातें, AI एप्लिकेशन की संरचना, और उच्च प्रदर्शन हेतु टेक्स्ट डेटा को एम्बेड करने का तरीका सीखेंगे। आप generative AI tools landscape पर हमारा चीट शीट भी देख सकते हैं, जिसमें जेनरेटिव AI टूल्स की अलग-अलग श्रेणियाँ, उनके अनुप्रयोग, और विभिन्न क्षेत्रों में उनका प्रभाव दर्शाया गया है। अंत में, अन्य शक्तिशाली टूल्स जानने के लिए हमारे top open-source LLMs की सूची देखें।