डेटा इंजीनियरिंग और डेटा एप्लिकेशंस के लिए LangChain का परिचय

OpenAI GPT, Google Bert, और Meta LLaMA जैसे बड़े भाषा मॉडल (LLMs) अपनी क्षमता के कारण लगभग हर उद्योग में क्रांति ला रहे हैं—वे आपकी कल्पना के लगभग हर तरह के टेक्स्ट बना सकते हैं, चाहे वह मार्केटिंग कॉपी हो, डेटा साइंस कोड हो, या कविता। हालांकि ChatGPT ने अपने सहज चैट इंटरफेस के चलते सबसे अधिक ध्यान आकर्षित किया है, LLMs को दूसरे सॉफ्टवेयर में शामिल करके उनका उपयोग करने के और भी कई अवसर हैं।

उदाहरण के लिए, DataLab में एक AI Assistant है जो आपको अपने विश्लेषण में कोड और टेक्स्ट लिखने या बेहतर बनाने में मदद करता है, और DataCamp के इंटरैक्टिव कोर्सेज में "मेरी गलती समझाएँ" फीचर शामिल है जो यह समझने में मदद करता है कि आप कहाँ चूके। ये फीचर्स GPT से संचालित होते हैं और OpenAI API के माध्यम से एक्सेस किए जाते हैं।

LangChain कई LLM APIs के ऊपर एक फ्रेमवर्क प्रदान करता है। इसका उद्देश्य यह है कि जब सॉफ्टवेयर डेवलपर्स और डेटा इंजीनियर्स अपने एप्लिकेशंस और डेटा पाइपलाइंस में LLM-आधारित AI को शामिल करें, तो उनकी उत्पादकता बढ़े।

यह ट्यूटोरियल बताता है कि LangChain किन समस्याओं का समाधान करता है और इसके मुख्य उपयोग मामले क्या हैं, ताकि आप समझ सकें कि इसे क्यों और कहाँ उपयोग करना चाहिए। पढ़ने से पहले LLM की बुनियादी अवधारणा समझना उपयोगी होगा। अपना ज्ञान ताज़ा करने के लिए कैसे NLP डेटा साइंस के भविष्य को बदल रहा है ट्यूटोरियल एक अच्छा विकल्प है।

LangChain किन समस्याओं का समाधान करता है?

LLMs के साथ इंटरैक्ट करने के मूल रूप से दो वर्कफ़्लो होते हैं।

1. "चैटिंग" में एक प्रॉम्प्ट लिखना, उसे AI को भेजना, और टेक्स्ट प्रतिक्रिया पाना शामिल है।
2. "एम्बेडिंग" में एक प्रॉम्प्ट लिखना, उसे AI को भेजना, और संख्यात्मक ऐरे के रूप में प्रतिक्रिया पाना शामिल है।

चैटिंग और एम्बेडिंग—दोनों वर्कफ़्लो में कुछ समस्याएँ हैं जिन्हें LangChain हल करने की कोशिश करता है।

प्रॉम्प्ट्स में बहुत सा दोहरावदार टेक्स्ट होता है

चैटिंग और एम्बेडिंग दोनों की एक समस्या यह है कि अच्छा प्रॉम्प्ट बनाना सिर्फ कार्य बताने भर से नहीं हो जाता। आपको AI की व्यक्तित्व और लेखन शैली का वर्णन करना पड़ता है और तथ्यों की शुद्धता बढ़ाने के लिए निर्देश भी शामिल करने होते हैं। यानी, आप एक साधारण प्रॉम्प्ट लिखना चाह सकते हैं जो कार्य का वर्णन करता हो:

Write an outline for a 500-word blog post targeted at teenagers about the health benefits of doing yoga.संचालित द्वारा

हालाँकि, अच्छी प्रतिक्रिया पाने के लिए, आपको कुछ ऐसा लिखना होगा:

You are an expert sports scientist. Your writing style is casual but terse.

Write an outline for a 500-word blog post targeted at teenagers about the health benefits of doing yoga.

Only include factually correct information. Explain your reasoning.संचालित द्वारा

प्रॉम्प्ट में यह दोहरावदार कॉपी बड़े पैमाने पर एक प्रॉम्प्ट से दूसरे प्रॉम्प्ट में समान रहती है। आदर्श रूप से, आप इसे एक बार लिखें और जहाँ भी आवश्यक हो, स्वतः किसी भी प्रॉम्प्ट में शामिल हो जाए।

LangChain प्रॉम्प्ट टेम्पलेट्स प्रदान करके प्रॉम्प्ट्स में दोहरावदार टेक्स्ट की समस्या को हल करता है। ये उपयोगी प्रॉम्प्ट इनपुट (इस मामले में, योग के स्वास्थ्य लाभों पर ब्लॉग पोस्ट का विवरण) को दोहरावदार टेक्स्ट (लेखन शैली और तथ्यात्मक रूप से सही जानकारी के अनुरोध) के साथ जोड़ते हैं।

प्रतिक्रियाएँ असंरचित होती हैं

चैटिंग वर्कफ़्लो में, मॉडल की प्रतिक्रिया केवल टेक्स्ट होती है। लेकिन जब AI सॉफ्टवेयर के अंदर इस्तेमाल होता है, तो अक्सर ऐसा आउटपुट चाहिए जो संरचित हो ताकि उसे प्रोग्रामेटिक रूप से प्रोसेस किया जा सके। उदाहरण के लिए, अगर लक्ष्य कोई डेटासेट जनरेट करना है, तो आप चाहेंगे कि प्रतिक्रिया CSV या JSON जैसे किसी विशिष्ट फ़ॉर्मेट में हो।

मान लें कि आप ऐसा प्रॉम्प्ट लिख सकते हैं जिससे AI लगातार उपयुक्त फ़ॉर्मेट में प्रतिक्रिया दे, तब भी आपको उस आउटपुट को संभालने का तरीका चाहिए। LangChain इसी मकसद के लिए आउटपुट पार्सर टूल्स प्रदान करता है।

LLMs के बीच स्विच करना कठिन है

हालाँकि GPT बेहद सफल है, और भी कई LLMs उपलब्ध हैं। सीधे किसी एक कंपनी के API के साथ प्रोग्रामिंग करने पर आपका सॉफ्टवेयर उसी इकोसिस्टम में बंध जाता है। यह पूरी तरह संभव है कि GPT पर अपनी AI सुविधाएँ बनाने के बाद आपको अहसास हो कि आपके उत्पाद के लिए मजबूत बहुभाषी क्षमताएँ चाहिए। तब आप Polyglot पर स्विच करना चाहेंगे या किसी AI का उपयोग करने से उसे अपने उत्पाद में शामिल करने की ओर बढ़ेंगे और Stability AI के StableLM जैसे अधिक कॉम्पैक्ट मॉडल की आवश्यकता होगी।

LangChain एक LLM क्लास प्रदान करता है, और यह एब्स्ट्रैक्शन एक मॉडल को दूसरे से बदलना या अपने सॉफ्टवेयर में एक से अधिक मॉडल का उपयोग करना बहुत आसान बना देता है।

LLMs की स्मृति छोटी होती है

एक LLM की प्रतिक्रिया पिछली बातचीत (उपयोगकर्ता प्रॉम्प्ट्स और उसकी पूर्व प्रतिक्रियाएँ) पर आधारित होती है। लेकिन LLMs की स्मृति काफ़ी सीमित होती है। अत्याधुनिक GPT-4 भी डिफ़ॉल्ट रूप से 8,000 टोकन (लगभग 6,000 शब्द) की स्मृति रखता है।

चैटिंग वर्कफ़्लो में, यदि बातचीत स्मृति सीमा से आगे बढ़ जाती है, तो AI की प्रतिक्रियाएँ असंगत हो सकती हैं (क्योंकि उसे बातचीत की शुरुआत याद नहीं रहती)। चैटबॉट्स इसका एक उदाहरण हैं, जहाँ यह समस्या हो सकती है। आदर्श रूप से, आप चाहेंगे कि चैटबॉट ग्राहक के साथ पूरी बातचीत याद रखे ताकि विरोधाभासी जानकारी न दे।

LangChain चैट मैसेज हिस्ट्री टूल्स देकर मेमोरी की समस्या को हल करता है। ये आपको LLM को पिछली संदेशों को फिर से फीड करने देते हैं ताकि उसे याद दिलाया जा सके कि वह किस बारे में बात कर रहा था।

पाइपलाइंस में LLM का उपयोग शामिल करना मुश्किल होता है

जब डेटा पाइपलाइंस या सॉफ्टवेयर एप्लिकेशंस में इस्तेमाल किया जाता है, तो AI अक्सर बड़ी कार्यक्षमता का केवल एक हिस्सा होता है। उदाहरण के लिए, आप चाह सकते हैं कि पहले डेटाबेस से कुछ डेटा निकाला जाए, उसे LLM को भेजा जाए, फिर प्रतिक्रिया को प्रोसेस करके किसी अन्य सिस्टम में फीड किया जाए।

LangChain चेन और एजेंट्स के माध्यम से पाइपलाइन-टाइप वर्कफ़्लो के लिए टूलिंग प्रदान करता है। चेन्स सरल ऑब्जेक्ट होते हैं जो मूलतः कई कंपोनेंट्स को एक साथ जोड़ते हैं (रेखीय पाइपलाइंस के लिए)। एजेंट्स अधिक परिष्कृत होते हैं और बिज़नेस लॉजिक के आधार पर यह तय करने देते हैं कि कंपोनेंट्स कैसे इंटरैक्ट करेंगे। उदाहरण के लिए, आप LLM के आउटपुट पर निर्भर सशर्त लॉजिक रखना चाह सकते हैं ताकि अगला कदम क्या हो यह तय किया जा सके।

LLM को डेटा पास करना पेचीदा है

LLMs की टेक्स्ट-आधारित प्रकृति का मतलब है कि मॉडल को डेटा कैसे पास किया जाए, यह अक्सर स्पष्ट नहीं होता। समस्या के दो हिस्से हैं।

पहला, आपको डेटा ऐसे फ़ॉर्मेट में स्टोर करना है जो आपको नियंत्रित करने दे कि डेटासेट के कौन से हिस्से LLM को भेजे जाएँ। (आयताकार डेटासेट्स जैसे DataFrame या SQL टेबल के लिए, आप आमतौर पर डेटा एक समय में एक पंक्ति भेजना चाहते हैं।)

दूसरा, आपको यह तय करना है कि उस डेटा को प्रॉम्प्ट में कैसे शामिल किया जाए। सबसे सरल तरीका है डेटासेट को सीधे प्रॉम्प्ट में शामिल कर देना ("प्रॉम्प्ट स्टफिंग"), लेकिन और भी परिष्कृत विकल्प उपलब्ध हैं।

LangChain इंडेक्सेज़ के साथ इस समस्या के पहले हिस्से का समाधान करता है। ये डेटाबेस, JSON फाइलें, pandas DataFrames, CSV फाइलें, और अन्य फ़ॉर्मेट्स से डेटा आयात करने और उन्हें ऐसे फ़ॉर्मेट में स्टोर करने की सुविधा देते हैं जो LLM को रो-वाइज़ डेटा देने के लिए उपयुक्त हो।

LangChain दूसरे हिस्से का समाधान करने के लिए इंडेक्स-सम्बंधित चेन्स प्रदान करता है और LLM को डेटा पास करने की चार तकनीकों के लिए क्लासेज़ उपलब्ध कराता है।

प्रॉम्प्ट स्टफिंग पूरे डेटासेट को प्रॉम्प्ट में डाल देता है। यह बहुत सरल है, लेकिन केवल तब काम करता है जब आपका डेटासेट छोटा हो।

मैप-रिड्यूस डेटा को खंडों में बाँटता है, प्रत्येक खंड पर प्रारंभिक प्रॉम्प्ट के साथ LLM को कॉल करता है ("मैप" भाग), फिर LLM को दोबारा कॉल करता है—इस बार अलग प्रॉम्प्ट के साथ जिसमें पहले दौर के प्रॉम्प्ट्स की प्रतिक्रियाएँ शामिल होती हैं। यह तब उपयुक्त है जब भी आप "group by" कमांड के बारे में सोचेंगे।

रिफ़ाइन एक पुनरावृत्त बायेज़ियन-शैली का दृष्टिकोण है, जहाँ आप पहले खंड पर एक प्रॉम्प्ट चलाते हैं, फिर प्रत्येक अतिरिक्त खंड के लिए आप एक प्रॉम्प्ट इस्तेमाल करते हैं जो LLM से नए डेटासेट के आधार पर परिणाम को परिष्कृत करने के लिए कहता है। यदि आपका लक्ष्य किसी विशिष्ट आउटपुट पर प्रतिक्रिया का अभिसरण कराना है, तो यह तरीका अच्छा काम करता है।

मैप-रिरैंक मैप-रिड्यूस का एक रूपांतर है। प्रवाह का पहला हिस्सा वही है: डेटा को खंडों में बाँटना और प्रत्येक खंड पर एक प्रॉम्प्ट चलाना। अंतर यह है कि आप LLM से उसकी प्रतिक्रिया के लिए एक कॉन्फिडेंस स्कोर देने के लिए कहते हैं, ताकि आप आउटपुट्स को रैंक कर सकें। यह तरीका उन सिफारिश-प्रकार के कार्यों के लिए उपयुक्त है जहाँ परिणाम एकल "सबसे अच्छा" उत्तर होता है।

LangChain किन प्रोग्रामिंग भाषाओं को सपोर्ट करता है?

LangChain को JavaScript से langchain नोड पैकेज के माध्यम से इस्तेमाल किया जा सकता है। यह वेब एप्लिकेशंस में AI एम्बेड करने के लिए उपयुक्त है।

इसे Python से भी langchain (PyPI, conda) पैकेज के ज़रिए इस्तेमाल किया जा सकता है। यह डेटा पाइपलाइंस या Python-आधारित सॉफ्टवेयर में AI शामिल करने के लिए उपयुक्त है।

LangChain के मुख्य उपयोग मामले क्या हैं?

LangChain का उपयोग जहाँ भी आप LLM का उपयोग करना चाहें, किया जा सकता है। यहाँ, हम डेटा से जुड़े कुछ उदाहरण कवर करेंगे और बताएँगे कि LangChain की कौन-सी सुविधाएँ प्रासंगिक हैं।

प्राकृतिक भाषा के साथ डेटासेट्स पर क्वेरी करना

डेटा विश्लेषण के लिए LLM का एक सबसे परिवर्तनकारी उपयोग मामला यह है कि आप प्राकृतिक भाषा का उपयोग करके SQL क्वेरीज़ (या समकक्ष Python या R कोड) लिख सकें। इससे बिना कोडिंग कौशल वाले लोगों के लिए खोजपरक डेटा विश्लेषण सुलभ हो जाता है।

वर्कफ़्लो के कई रूपांतर हैं। छोटे डेटासेट्स के लिए, आप LLM से सीधे परिणाम जेनरेट करा सकते हैं। इसमें LangChain के डॉक्यूमेंट लोडर्स का उपयोग करके डेटा को उपयुक्त फ़ॉर्मेट में लोड करना, इंडेक्स-सम्बंधित चेन्स के माध्यम से डेटा LLM को पास करना, और आउटपुट पार्सर का उपयोग करके प्रतिक्रिया को पार्स करना शामिल है।

ज्यादा आम तौर पर, आप डेटा संरचना का विवरण (जैसे टेबल नाम, कॉलम नाम और प्रकार, और कोई विवरण जैसे किन कॉलम्स में मिसिंग वैल्यूज़ हैं) LLM को देंगे और उससे SQL/Python/R कोड माँगेंगे। फिर आप प्राप्त कोड को निष्पादित करेंगे। यह फ्लो सरल है, क्योंकि इसमें डेटा पास करने की जरूरत नहीं होती, फिर भी LangChain उपयोगी है क्योंकि यह चरणों को मॉड्यूलर बना सकता है।

एक और रूपांतर यह होगा कि परिणामों की व्याख्या कराने के लिए LLM को दूसरी कॉल शामिल की जाए। ऐसा वर्कफ़्लो जिसमें LLM को कई बार कॉल करना पड़े, वहीं LangChain वास्तव में मददगार होता है। इस मामले में, आप चैट मैसेज हिस्ट्री टूल्स का उपयोग कर सकते हैं ताकि परिणामों की व्याख्या पहले दी गई डेटा संरचना के साथ सुसंगत रहे।

APIs के साथ इंटरैक्ट करना

डेटा उपयोग मामलों में, जैसे डेटा पाइपलाइन बनाना, LLM से AI शामिल करना अक्सर एक लंबे वर्कफ़्लो का हिस्सा होता है जिसमें अन्य API कॉल्स भी शामिल होती हैं। उदाहरण के लिए, आप किसी API का उपयोग करके स्टॉक डेटा प्राप्त करना चाह सकते हैं या किसी क्लाउड प्लेटफ़ॉर्म के साथ इंटरैक्ट करना चाह सकते हैं।

LangChain की चेन और एजेंट सुविधाएँ, जो आपको इन चरणों को क्रम में जोड़ने देती हैं (और ब्रांचिंग पाइपलाइंस के लिए अतिरिक्त बिज़नेस लॉजिक का उपयोग करने देती हैं), इस उपयोग मामले के लिए आदर्श हैं।

एक चैटबॉट बनाना

चैटबॉट्स AI के सबसे लोकप्रिय उपयोग मामलों में से एक हैं, और जेनरेटिव AI ऐसे चैटबॉट्स के लिए बड़ी संभावनाएँ रखता है जो अधिक यथार्थवादी व्यवहार करें। हालाँकि, चैटबॉट की व्यक्तित्व को नियंत्रित करना और बातचीत का सन्दर्भ याद रखना बोझिल हो सकता है।

LangChain के प्रॉम्प्ट टेम्पलेट्स आपको चैटबॉट की व्यक्तित्व (उसकी आवाज़ और संचार शैली) और उसकी दी जाने वाली प्रतिक्रियाओं—दोनों पर नियंत्रण देते हैं।

साथ ही, मैसेज हिस्ट्री टूल्स चैटबॉट को LLMs द्वारा डिफ़ॉल्ट रूप से दी जाने वाली कुछ सौ या हज़ार शब्दों से अधिक लंबी मेमोरी देने में मददगार हैं, जिससे किसी बातचीत के भीतर या यहाँ तक कि कई बातचीतों में भी अधिक सुसंगतता मिलती है।

अन्य उपयोग

यह ट्यूटोरियल संभावनाओं की बस शुरुआत भर दिखाता है। डेटा पेशेवरों के लिए LLMs के और भी कई उपयोग मामले हैं। चाहे आप कोई पर्सनल असिस्टेंट बनाना चाहते हों, रिपोर्ट्स का सार बनाना चाहते हों, या सपोर्ट डॉक्यूमेंट्स या नॉलेज बेस से जुड़े प्रश्नों के उत्तर देना चाहते हों—LangChain किसी भी डेटा पाइपलाइन या डेटा एप्लिकेशन में AI शामिल करने का एक फ्रेमवर्क प्रदान करता है, जिसकी आप कल्पना कर सकते हैं।

अगले स्तर पर ले जाएँ

LangChain सामग्री जल्द ही DataCamp पर आ रही है। इस बीच, आप यहाँ चर्चा किए गए उपयोग मामलों में से एक के बारे में जानने के लिए Building Chatbots in Python कोर्स कर सकते हैं।