RAG एप्लिकेशन को लागू करने के लिए नॉलेज ग्राफ का उपयोग

क्या आपने कभी सोचा है कि Alexa या Google Assistant जैसे डिजिटल असिस्टेंट आपके प्रश्नों के इतने सटीक उत्तर कैसे देते हैं?

इसके पीछे की जादूगरी Retrieval-Augmented Generation (RAG) कहलाती है, जो सूचना पुनर्प्राप्ति को भाषा निर्माण तकनीकों के साथ जोड़ती है। इस प्रक्रिया में एक मुख्य भूमिका नॉलेज ग्राफ निभाता है, जो इन असिस्टेंट्स को संरचित जानकारी के विशाल भंडार तक पहुँचने में मदद करता है ताकि उनके उत्तर बेहतर हों।

इस ट्यूटोरियल में, हम नॉलेज ग्राफ्स की पड़ताल करेंगे और देखेंगे कि उन्हें अधिक सटीक और प्रासंगिक उत्तरों के लिए RAG एप्लिकेशन बनाने में कैसे उपयोग किया जा सकता है।

हम नॉलेज ग्राफ्स की बुनियादी बातों और RAG में उनकी भूमिका से शुरुआत करेंगे। हम उनकी तुलना वेक्टर डेटाबेस से करेंगे और जानेंगे कि किस स्थिति में कौन-सा तरीका बेहतर है। इसके बाद, हम टेक्स्ट डेटा से एक नॉलेज ग्राफ बनाएंगे, उसे डेटाबेस में स्टोर करेंगे, और उपयोगकर्ता क्वेरी के लिए प्रासंगिक जानकारी खोजने में उसका उपयोग करेंगे। हम इस दृष्टिकोण को अलग-अलग प्रकार के डेटा और फाइल फ़ॉर्मैट (सिर्फ सादा टेक्स्ट से आगे) तक विस्तार करने के तरीकों को भी देखेंगे।

यदि आप RAG के बारे में अधिक जानना चाहते हैं, तो retrieval augmented generation पर यह लेख देखें।

नॉलेज ग्राफ क्या है?

नॉलेज ग्राफ जानकारी को एक संरचित, परस्पर-संबद्ध रूप में प्रस्तुत करते हैं। इनमें संस्थाएँ (नोड्स) और उन संस्थाओं के बीच संबंध (एजेज) होते हैं। संस्थाएँ वास्तविक दुनिया की वस्तुओं, अवधारणाओं, या विचारों का प्रतिनिधित्व कर सकती हैं, जबकि संबंध बताते हैं कि ये संस्थाएँ आपस में कैसे जुड़ी हैं।

नॉलेज ग्राफ के पीछे का विचार मानवों की समझ और तर्क करने की शैली की नकल करना है। हम जानकारी को अलग-अलग खाँचों में नहीं रखते; इसके बजाय, हम जानकारी के विभिन्न हिस्सों के बीच संबंध बनाते हैं और ज्ञान का एक समृद्ध, परस्पर जुड़ा हुआ जाल तैयार करते हैं।

नॉलेज ग्राफ हमें विभिन्न संस्थाओं के बीच संबंधों को स्पष्ट रूप से दिखाकर यह समझने में मदद करते हैं कि संस्थाएँ कैसे जुड़ी हैं। इन कनेक्शनों की पड़ताल करने से हम नई जानकारी ढूँढ सकते हैं और ऐसे निष्कर्ष निकाल सकते हैं जो अलग-अलग सूचनाओं से निकालना कठिन होता।

आइए एक उदाहरण देखते हैं।

चित्र 1: इस दृश्य निरूपण में, नोड्स वृत्त के रूप में दिखाए गए हैं, और संबंधों को नोड्स को जोड़ने वाले लेबल लगे तीरों के रूप में दर्शाया गया है।

यह नॉलेज ग्राफ Sarah और Michael नामक व्यक्तियों तथा prismaticAI कंपनी के बीच रोजगार संबंधों को प्रभावी ढंग से दर्शाता है। हमारे उदाहरण में तीन नोड्स हैं:

• नोड 1
• प्रकार: व्यक्ति
• नाम: Sarah
• नोड 2
• प्रकार: व्यक्ति
• नाम: Michael
• नोड 3
• प्रकार: कंपनी
• नाम: prismaticAI

सार रूप में, हमारे पास दो व्यक्ति नोड (Sarah और Michael) और एक कंपनी नोड (prismaticAI) हैं। अब, इन नोड्स के बीच संबंधों (एजेज) पर नज़र डालते हैं:

• रिलेशनशिप 1: Sarah --[works for]--> prismaticAI
• यह संबंध दर्शाता है कि नोड 1 द्वारा दर्शाई गई Sarah का नोड 3 द्वारा दर्शाई गई prismaticAI के साथ "works for" संबंध है। दूसरे शब्दों में, Sarah prismaticAI की कर्मचारी है।
• रिलेशनशिप 2: Michael --[works for]--> prismaticAI
• पहले संबंध के समान, यह दिखाता है कि नोड 2 द्वारा दर्शाया गया Michael भी prismaticAI (नोड 3) के साथ "works for" संबंध रखता है। Michael भी prismaticAI का कर्मचारी है।

नॉलेज ग्राफ को क्वेरी करना और ट्रैवर्स करना

नॉलेज ग्राफ की शक्तिशाली विशेषताओं में से एक यह है कि आप संस्थाओं के बीच संबंधों को क्वेरी और ट्रैवर्स कर सकते हैं ताकि प्रासंगिक जानकारी निकाली जा सके या नया ज्ञान निष्कर्षित किया जा सके। चलिए अपने उदाहरण नॉलेज ग्राफ के साथ इसे समझते हैं।

पहले, हमें तय करना होगा कि हम नॉलेज ग्राफ से कौन-सी जानकारी प्राप्त करना चाहते हैं। उदाहरण के लिए:

क्वेरी 1: Sarah कहाँ काम करती है?

इस क्वेरी का उत्तर देने के लिए, हमें नॉलेज ग्राफ में उपयुक्त शुरुआती बिंदु ढूँढना होगा। इस मामले में, हम Sarah का प्रतिनिधित्व करने वाले नोड से शुरू करना चाहेंगे।

शुरुआती बिंदु (Sarah का नोड) से, हम बाहर जाने वाले "works for" संबंध एज को फॉलो करते हैं। यह एज Sarah के नोड को prismaticAI का प्रतिनिधित्व करने वाले नोड से जोड़ता है। "works for" संबंध को ट्रैवर्स करके, हम निष्कर्ष निकाल सकते हैं कि Sarah prismaticAI के लिए काम करती है।

उत्तर 1: Sarah prismaticAI के लिए काम करती है।

आइए एक और क्वेरी आज़माएँ:

क्वेरी 2: prismaticAI के लिए कौन काम करता है?

इस बार, हम prismaticAI का प्रतिनिधित्व करने वाले नोड से शुरू करना चाहेंगे।

prismaticAI नोड से, हम "works for" संबंध एजेज को उल्टी दिशा में फॉलो करते हैं। यह हमें उन नोड्स तक ले जाएगा जो prismaticAI के लिए काम करने वाले लोगों का प्रतिनिधित्व करते हैं। "works for" संबंधों को रिवर्स में ट्रैवर्स करके, हम पहचान सकते हैं कि Sarah और Michael दोनों prismaticAI के लिए काम करते हैं।

उत्तर 2: Sarah और Michael prismaticAI के लिए काम करते हैं।

एक और उदाहरण!

क्वेरी 3: क्या Michael, Sarah की ही कंपनी में काम करता है?

हम या तो Sarah के नोड से या Michael के नोड से शुरू कर सकते हैं। चलिए Sarah के नोड से शुरू करते हैं।

हम "works for" संबंध को फॉलो करते हुए prismaticAI नोड तक पहुँचते हैं।

फिर, हम जाँचते हैं कि क्या Michael के पास भी वही "works for" संबंध उसी prismaticAI नोड की ओर जाता है। चूँकि Sarah और Michael दोनों का prismaticAI नोड के साथ "works for" संबंध है, हम निष्कर्ष निकाल सकते हैं कि वे एक ही कंपनी में काम करते हैं।

उत्तर 3: हाँ, Michael Sarah की ही कंपनी (prismaticAI) में काम करता है।

नॉलेज ग्राफ में संबंधों को ट्रैवर्स करने से हम विशिष्ट जानकारी के टुकड़े निकाल सकते हैं और संस्थाओं के बीच कनेक्शनों को समझ सकते हैं। नॉलेज ग्राफ कहीं अधिक जटिल हो सकते हैं, जिनमें असंख्य नोड्स और संबंध होते हैं, जिससे वास्तविक दुनिया के जटिल ज्ञान को संरचित और परस्पर-संबद्ध तरीके से प्रस्तुत किया जा सकता है।

RAG एप्लिकेशंस में नॉलेज ग्राफ के लाभ

RAG एप्लिकेशंस सूचना पुनर्प्राप्ति और प्राकृतिक भाषा निर्माण को जोड़कर उपयोगकर्ता प्रश्नों या प्रॉम्प्ट के लिए प्रासंगिक और सुसंगत उत्तर प्रदान करते हैं। नॉलेज ग्राफ कई ऐसे फायदे देते हैं जो उन्हें इन एप्लिकेशंस के लिए विशेष रूप से उपयुक्त बनाते हैं। आइए प्रमुख लाभों पर नज़र डालें:

संरचित ज्ञान निरूपण

जैसा कि हमने पिछले अनुभाग में सीखा, नॉलेज ग्राफ जानकारी को एक संरचित रूप में दर्शाते हैं, जिसमें संस्थाएँ (नोड्स) और उनके संबंध (एजेज) होते हैं। यह संरचित निरूपण, असंरचित टेक्स्ट डेटा की तुलना में, दी गई क्वेरी या कार्य के लिए प्रासंगिक जानकारी निकालना आसान बनाता है।

हमारे उदाहरण नॉलेज ग्राफ में, हम "works for" संबंधों का अनुसरण करके आसानी से यह जानकारी प्राप्त कर सकते हैं कि prismaticAI के लिए कौन काम करता है।

संदर्भात्मक समझ

नॉलेज ग्राफ संस्थाओं के बीच संबंधों को कैप्चर करते हैं, जिससे उस संदर्भ की गहरी समझ सक्षम होती है जिसमें जानकारी प्रस्तुत की गई है। RAG एप्लिकेशंस में सुसंगत और प्रासंगिक उत्तर जनरेट करने के लिए यह संदर्भात्मक समझ अत्यंत महत्वपूर्ण है।

अपने उदाहरण पर लौटते हुए, Sarah, Michael और prismaticAI के बीच "works for" संबंध को समझना RAG एप्लिकेशन को उनके रोजगार के बारे में अधिक संदर्भ-सम्मत उत्तर देने में सक्षम करेगा।

निष्कर्षणात्मक तर्क

नॉलेज ग्राफ में संबंधों को ट्रैवर्स करना RAG एप्लिकेशन को ऐसे निष्कर्ष निकालने और नया ज्ञान प्राप्त करने में सक्षम बनाता है जो स्पष्ट रूप से बताया न गया हो। यह निष्कर्षणात्मक तर्क-क्षमता जनरेट किए गए उत्तरों की गुणवत्ता और पूर्णता में सुधार करती है।

संबंधों को ट्रैवर्स करके, एक RAG एप्लिकेशन यह निष्कर्ष निकाल सकता है कि Sarah और Michael एक ही कंपनी में काम करते हैं, भले ही यह जानकारी सीधे न बताई गई हो।

ज्ञान एकीकरण

नॉलेज ग्राफ कई स्रोतों से जानकारी को एकीकृत कर सकते हैं, जिससे RAG एप्लिकेशंस विविध और पूरक नॉलेज बेस का उपयोग कर सकें। इस ज्ञान के एकीकरण से अधिक व्यापक और संतुलित उत्तर प्राप्त हो सकते हैं।

हम अपने नॉलेज ग्राफ उदाहरण में अलग-अलग स्रोतों से कंपनियों, कर्मचारियों और उनकी भूमिकाओं के बारे में जानकारी जोड़ सकते हैं, जिससे उत्तर जनरेट करने के लिए एक अधिक संपूर्ण चित्र मिल सके।

व्याख्येयता और पारदर्शिता

नॉलेज ग्राफ, उत्तर बनाने में उपयोग किए गए ज्ञान का पारदर्शी निरूपण प्रदान करते हैं। यह पारदर्शिता जनरेट किए गए आउटपुट के पीछे के तर्क को समझाने के लिए महत्वपूर्ण है, जो कई एप्लिकेशंस, जैसे कि प्रश्न-उत्तर प्रणालियों, में आवश्यक होता है।

हमारे उदाहरण में उत्तर 3 के लिए स्पष्टीकरण कुछ यूँ हो सकता है: हाँ, Michael Sarah की ही कंपनी में काम करता है। मैंने यह निष्कर्ष इस तरह निकाला कि पहले पहचाना कि Sarah prismaticAI के लिए काम करती है और फिर सत्यापित किया कि Michael का भी prismaticAI के साथ 'works for' संबंध है। चूँकि दोनों का यह संबंध एक ही कंपनी एंटिटी के साथ है, इसलिए मैं निष्कर्ष निकाल सकता/सकती हूँ कि वे एक ही कंपनी में काम करते हैं।

तर्क प्रक्रिया में यह पारदर्शिता उपयोगकर्ताओं और डेवलपर्स को यह समझने देती है कि RAG एप्लिकेशन अपने उत्तर तक कैसे पहुँचा, बजाय इसे ब्लैक बॉक्स की तरह मानने के। यह सिस्टम में भरोसा भी बढ़ाती है, क्योंकि निर्णय लेने की प्रक्रिया स्पष्ट रूप से सामने होती है और नॉलेज ग्राफ के अनुरूप सत्यापित की जा सकती है।

साथ ही, यदि नॉलेज ग्राफ में कोई असंगतियाँ या कमी हों, तो यह व्याख्या उन्हें पहचानने और दूर करने में मदद कर सकती है, जिससे उत्तरों की शुद्धता और पूर्णता में सुधार होता है।

नॉलेज ग्राफ का उपयोग करके, RAG एप्लिकेशन अधिक सटीक, स्पष्ट, और समझने योग्य उत्तर बना सकते हैं। यह उन्हें प्राकृतिक भाषा संसाधन की विभिन्न कार्य-प्रकारों के लिए उपयोगी बनाता है।

नॉलेज ग्राफ बनाम वेक्टर डेटाबेस

RAG एप्लिकेशन बनाते समय, आपको दो अलग-अलग दृष्टिकोण मिल सकते हैं: नॉलेज ग्राफ और वेक्टर डेटाबेस। दोनों जानकारी को दर्शाने और पुनर्प्राप्त करने के लिए उपयोग होते हैं, लेकिन उनकी अंतर्निहित डेटा संरचनाएँ और जानकारी संभालने के तरीके भिन्न होते हैं।

आइए इन दो दृष्टिकोणों के प्रमुख अंतर समझें:

नॉलेज ग्राफ और वेक्टर डेटाबेस दोनों के अपने-अपने मजबूत पक्ष और उपयोग-परिदृश्य हैं, और इनमें से चुनाव आपके एप्लिकेशन की विशिष्ट आवश्यकताओं पर निर्भर करता है। नॉलेज ग्राफ संरचित ज्ञान के निरूपण और उस पर तर्क करने में निपुण हैं, जबकि वेक्टर डेटाबेस उन कार्यों के लिए उपयुक्त हैं जो अर्थ-समानता और वेक्टर निरूपण पर आधारित सूचना पुनर्प्राप्ति पर अधिक निर्भर करते हैं।

आप वेक्टर डेटाबेस के बारे में और जान सकते हैं: introduction to vector databases for machine learning। साथ ही देखें: five most popular vector databases।

RAG एप्लिकेशंस के लिए नॉलेज ग्राफ कैसे लागू करें

इस अनुभाग में, हम देखेंगे कि RAG एप्लिकेशन में भाषा निर्माण प्रक्रिया को समृद्ध करने के लिए नॉलेज ग्राफ कैसे लागू किया जाए। 

हम निम्नलिखित मुख्य चरण कवर करेंगे:

• टेक्स्ट डेटा लोड करना और प्रीप्रोसेस करना।
• एक भाषा मॉडल इनिशियलाइज़ करना और नॉलेज ग्राफ निकालना।
• नॉलेज ग्राफ को स्थायित्व और क्वेरी के लिए डेटाबेस में स्टोर करना।
• उपयोगकर्ता क्वेरी के आधार पर ग्राफ से प्रासंगिक ज्ञान प्राप्त करना।
• प्राप्त ज्ञान को भाषा मॉडल के साथ संयोजित कर उत्तर जनरेट करना।

इस अनुभाग के अंत तक, आपके पास RAG एप्लिकेशंस में नॉलेज ग्राफ लागू करने की ठोस समझ होगी, जिससे आप अधिक बुद्धिमान और संदर्भ-सचेत भाषा निर्माण प्रणालियाँ बना सकेंगे।

पूर्वापेक्षाएँ

शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्न स्थापित हैं:

• Python 3.7 या उससे उच्चतर
• LangChain लाइब्रेरी (pip install langchain)
• LlamaIndex लाइब्रेरी (pip install llama-index)
• Neo4j डेटाबेस (या कोई अन्य संगत ग्राफ डेटाबेस)

चरण 1: टेक्स्ट डेटा लोड करें और प्रीप्रोसेस करें

पहला चरण उस टेक्स्ट डेटा को लोड और प्रीप्रोसेस करना है जिससे हम नॉलेज ग्राफ निकालेंगे। इस उदाहरण में, हम prismaticAI नामक एक प्रौद्योगिकी कंपनी, उसके कर्मचारियों और उनकी भूमिकाओं का वर्णन करने वाला एक टेक्स्ट स्निपेट उपयोग करेंगे।

from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

# Load text data
text = """Sarah is an employee at prismaticAI, a leading technology company based in Westside Valley. She has been working there for the past three years as a software engineer.
Michael is also an employee at prismaticAI, where he works as a data scientist. He joined the company two years ago after completing his graduate studies.
prismaticAI is a well-known technology company that specializes in developing cutting-edge software solutions and artificial intelligence applications. The company has a diverse workforce of talented individuals from various backgrounds.
Both Sarah and Michael are highly skilled professionals who contribute significantly to prismaticAI's success. They work closely with their respective teams to develop innovative products and services that meet the evolving needs of the company's clients."""

loader = TextLoader(text)
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=200, chunk_overlap=20)
texts = text_splitter.split_documents(documents)संचालित द्वारा

हम LangChain से आवश्यक क्लासेस TextLoader और CharacterTextSplitter इम्पोर्ट करके शुरुआत करते हैं। TextLoader टेक्स्ट डेटा लोड करता है, जबकि CharacterTextSplitter टेक्स्ट को छोटे-छोटे भागों में विभाजित करता है ताकि प्रोसेसिंग अधिक कुशल हो।

इसके बाद, हम text नामक मल्टीलाइन स्ट्रिंग वैरिएबल के रूप में टेक्स्ट डेटा परिभाषित करते हैं।

फिर हम TextLoader का उपयोग करके टेक्स्ट वैरिएबल से सीधे टेक्स्ट डेटा लोड करते हैं। loader.load() मेथड Document ऑब्जेक्ट्स की एक सूची लौटाता है, जिनमें से प्रत्येक में टेक्स्ट का एक भाग होता है।

टेक्स्ट को छोटे, अधिक प्रबंधनीय भागों में बाँटने के लिए, हम CharacterTextSplitter का एक इंस्टेंस बनाते हैं, जिसमें chunk_size 200 करैक्टर और chunk_overlap 20 करैक्टर है। chunk_overlap यह सुनिश्चित करता है कि आस-पास के भागों में कुछ ओवरलैप रहे, जो नॉलेज एक्सट्रैक्शन के दौरान संदर्भ बनाए रखने में सहायक हो सकता है।

अंत में, हम CharacterTextSplitter के split_documents मेथड का उपयोग करके Document ऑब्जेक्ट्स को छोटे भागों में विभाजित करते हैं, जो texts वैरिएबल में Document ऑब्जेक्ट्स की सूची के रूप में संग्रहीत होते हैं।

इस तरह टेक्स्ट डेटा का प्रीप्रोसेसिंग हमें अगले चरण के लिए तैयार करता है, जहाँ हम एक भाषा मॉडल इनिशियलाइज़ करेंगे और टेक्स्ट चंक्स से नॉलेज ग्राफ निकालेंगे।

चरण 2: भाषा मॉडल इनिशियलाइज़ करें और नॉलेज ग्राफ निकालें

टेक्स्ट डेटा को लोड और प्रीप्रोसेस करने के बाद, अगला चरण भाषा मॉडल इनिशियलाइज़ करना और उसका उपयोग करके टेक्स्ट चंक्स से नॉलेज ग्राफ निकालना है। इस उदाहरण में, हम LangChain द्वारा प्रदत्त OpenAI भाषा मॉडल का उपयोग करेंगे।

from langchain.llms import OpenAI
from langchain.transformers import LLMGraphTransformer
import getpass
import os

# Load environment variable for OpenAI API key
os.environ["OPENAI_API_KEY"] = getpass.getpass()

# Initialize LLM
llm = OpenAI(temperature=0)

# Extract Knowledge Graph
llm_transformer = LLMGraphTransformer(llm=llm)
graph_documents = llm_transformer.convert_to_graph_documents(texts)संचालित द्वारा

पहले, हम LangChain से आवश्यक क्लासेस OpenAI और LLMGraphTransformer इम्पोर्ट करते हैं। OpenAI OpenAI भाषा मॉडल के लिए एक रैपर है, जिसका उपयोग हम नॉलेज ग्राफ निकालने के लिए करेंगे। LLMGraphTransformer एक यूटिलिटी क्लास है जो टेक्स्ट डेटा को नॉलेज ग्राफ निरूपण में बदलने में मदद करता है।

इसके बाद, हम वातावरण चर से OpenAI API कुंजी लोड करते हैं। यह आपके कोड में संवेदनशील क्रेडेंशियल्स को हार्डकोड करने से बचने के लिए सुरक्षा के लिहाज़ से सर्वोत्तम अभ्यास है।

फिर हम OpenAI भाषा मॉडल का एक इंस्टेंस 0 टेम्परेचर के साथ इनिशियलाइज़ करते हैं। टेम्परेचर पैरामीटर मॉडल के आउटपुट की रैंडमनैस को नियंत्रित करता है; कम मान अधिक निर्धारक (deterministic) उत्तर देते हैं।

भाषा मॉडल इनिशियलाइज़ करने के बाद, हम LLMGraphTransformer का एक इंस्टेंस बनाते हैं और उसे इनिशियलाइज़ किया हुआ llm ऑब्जेक्ट पास करते हैं। LLMGraphTransformer क्लास टेक्स्ट चंक्स (texts) को नॉलेज ग्राफ निरूपण में बदलता है।

अंत में, हम LLMGraphTransformer के convert_to_graph_documents मेथड को texts सूची के साथ कॉल करते हैं। यह मेथड भाषा मॉडल का उपयोग करके टेक्स्ट चंक्स का विश्लेषण करता है और प्रासंगिक संस्थाएँ, संबंध, और अन्य संरचित जानकारी निकालता है, जिन्हें नॉलेज ग्राफ के रूप में दर्शाया जाता है। परिणामी नॉलेज ग्राफ graph_documents वैरिएबल में संग्रहीत होता है।

हमने सफलतापूर्वक भाषा मॉडल इनिशियलाइज़ कर लिया है और उसका उपयोग करके टेक्स्ट डेटा से नॉलेज ग्राफ निकाल लिया है। अगले चरण में, हम नॉलेज ग्राफ को स्थायित्व और क्वेरी के लिए डेटाबेस में स्टोर करेंगे।

चरण 3: नॉलेज ग्राफ को डेटाबेस में स्टोर करें

टेक्स्ट डेटा से नॉलेज ग्राफ निकालने के बाद, इसे एक स्थायी और क्वेरी-योग्य फॉर्मैट में स्टोर करना महत्वपूर्ण है। इस ट्यूटोरियल में, हम नॉलेज ग्राफ को स्टोर करने के लिए Neo4j का उपयोग करेंगे। 

from langchain.graph_stores import Neo4jGraphStore

# Store Knowledge Graph in Neo4j
graph_store = Neo4jGraphStore(url="neo4j://your_neo4j_url", username="your_username", password="your_password")
graph_store.write_graph(graph_documents)संचालित द्वारा

पहले, हम LangChain से Neo4jGraphStore क्लास इम्पोर्ट करते हैं। यह क्लास Neo4j डेटाबेस के साथ इंटरैक्ट करने और नॉलेज ग्राफ स्टोर करने के लिए एक सुविधाजनक इंटरफ़ेस प्रदान करती है।

इसके बाद, हम Neo4j डेटाबेस URL, यूज़रनेम और पासवर्ड जैसी आवश्यक कनेक्शन जानकारियाँ प्रदान करके Neo4jGraphStore का एक इंस्टेंस बनाते हैं। सुनिश्चित करें कि आप "your_neo4j_url", "your_username", और "your_password" को अपने Neo4j इंस्टेंस के उपयुक्त मानों से बदलें।

अंत में, हम graph_store इंस्टेंस के write_graph मेथड को कॉल करते हैं और पिछले चरण से प्राप्त graph_documents सूची पास करते हैं। यह मेथड नॉलेज ग्राफ को सीरियलाइज़ कर Neo4j डेटाबेस में लिख देता है।

नॉलेज ग्राफ को Neo4j डेटाबेस में स्टोर करने से यह सुनिश्चित होता है कि वह स्थायी रहे और ज़रूरत पड़ने पर आसानी से क्वेरी और रिट्रीव किया जा सके। Neo4j की ग्राफ संरचना नॉलेज ग्राफ में मौजूद जटिल संबंधों और संस्थाओं का कुशल निरूपण और ट्रैवर्सल सक्षम करती है।

अगले चरण में, हम ग्राफ से ज्ञान रिट्रीव करने और प्राप्त संदर्भ का उपयोग करके उत्तर जनरेट करने के लिए आवश्यक कंपोनेंट्स सेट करेंगे।

यह ध्यान देने योग्य है कि यद्यपि इस ट्यूटोरियल में ग्राफ डेटाबेस के रूप में Neo4j का उपयोग किया गया है, LangChain अन्य ग्राफ डेटाबेस का भी समर्थन करता है, जैसे Amazon Neptune और TinkerPop-संगत डेटाबेस जैसे Gremlin Server। आप Neo4jGraphStore को अपनी चुनी हुई डेटाबेस के लिए उपयुक्त ग्राफ स्टोर इम्प्लीमेंटेशन से बदल सकते हैं।

चरण 4: RAG के लिए ज्ञान रिट्रीव करें

अब जब हमने नॉलेज ग्राफ को डेटाबेस में स्टोर कर लिया है, तो हम उपयोगकर्ता क्वेरी के आधार पर ग्राफ से प्रासंगिक ज्ञान रिट्रीव करने और प्राप्त संदर्भ का उपयोग करके उत्तर जनरेट करने के लिए कंपोनेंट्स सेट कर सकते हैं। यही RAG एप्लिकेशन की मूलभूत कार्यक्षमता है।

from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import KnowledgeGraphRAGRetriever
from llama_index.core.response_synthesis import ResponseSynthesizer

# Retrieve Knowledge for RAG
graph_rag_retriever = KnowledgeGraphRAGRetriever(storage_context=graph_store.storage_context, verbose=True)
query_engine = RetrieverQueryEngine.from_args(graph_rag_retriever)संचालित द्वारा

सबसे पहले, हम LlamaIndex से आवश्यक क्लासेस RetrieverQueryEngine, KnowledgeGraphRAGRetriever, और ResponseSynthesizer इम्पोर्ट करते हैं।

RetrieverQueryEngine एक क्वेरी इंजन है जो किसी रिट्रीवर का उपयोग करके किसी डेटा स्रोत (हमारे मामले में, नॉलेज ग्राफ) से प्रासंगिक संदर्भ लाता है और फिर उसी संदर्भ का उपयोग करके उत्तर संश्लेषित करता है।

KnowledgeGraphRAGRetriever एक विशेष रिट्रीवर है जो डेटाबेस में स्टोर किए गए नॉलेज ग्राफ से प्रासंगिक जानकारी रिट्रीव कर सकता है।

ResponseSynthesizer प्राप्त संदर्भ को भाषा मॉडल के साथ जोड़कर अंतिम उत्तर जनरेट करने के लिए ज़िम्मेदार है।

इसके बाद, हम अपने graph_store इंस्टेंस के storage_context को पास करके KnowledgeGraphRAGRetriever का एक इंस्टेंस बनाते हैं। यह storage_context Neo4j डेटाबेस से कनेक्ट और क्वेरी करने के लिए आवश्यक जानकारी रखता है, जहाँ हमने नॉलेज ग्राफ स्टोर किया है। हम verbose=True भी सेट करते हैं ताकि रिट्रीवल प्रक्रिया के दौरान विस्तृत लॉगिंग सक्षम हो।

फिर, हम from_args मेथड का उपयोग करके RetrieverQueryEngine इनिशियलाइज़ करते हैं और अपना graph_rag_retriever इंस्टेंस पास करते हैं। यह क्वेरी इंजन नॉलेज ग्राफ से प्रासंगिक संदर्भ रिट्रीव करने और उसी संदर्भ के आधार पर उत्तर जनरेट करने की पूरी प्रक्रिया संभालेगा।

इन कंपोनेंट्स के साथ, अब हम नॉलेज ग्राफ को क्वेरी करने और प्राप्त संदर्भ का उपयोग करके उत्तर जनरेट करने के लिए तैयार हैं। अगले चरण में, हम देखेंगे कि इसे व्यवहार में कैसे किया जाए।

चरण 5: नॉलेज ग्राफ को क्वेरी करें और उत्तर जनरेट करें

अंततः, हम नॉलेज ग्राफ को क्वेरी कर सकते हैं और प्राप्त संदर्भ का उपयोग करके उत्तर जनरेट कर सकते हैं।

def query_and_synthesize(query):
    retrieved_context = query_engine.query(query)
    response = response_synthesizer.synthesize(query, retrieved_context)
    print(f"Query: {query}")
    print(f"Answer: {response}\n")

# Initialize the ResponseSynthesizer instance
response_synthesizer = ResponseSynthesizer(llm)

# Query 1
query_and_synthesize("Where does Sarah work?")

# Query 2
query_and_synthesize("Who works for prismaticAI?")

# Query 3
query_and_synthesize("Does Michael work for the same company as Sarah?")संचालित द्वारा

इस उदाहरण में, हम टेक्स्ट डेटा में वर्णित कर्मचारियों और कंपनी से संबंधित तीन अलग-अलग क्वेरी परिभाषित करते हैं। प्रत्येक क्वेरी के लिए, हम query_engine का उपयोग करके नॉलेज ग्राफ से प्रासंगिक संदर्भ रिट्रीव करते हैं, ResponseSynthesizer का एक इंस्टेंस बनाते हैं, और उसकी synthesize मेथड को क्वेरी तथा प्राप्त संदर्भ के साथ कॉल करते हैं।

ResponseSynthesizer भाषा मॉडल और प्राप्त संदर्भ का उपयोग करके क्वेरी का अंतिम उत्तर बनाता है, जिसे फिर कंसोल पर प्रिंट किया जाता है—यह इस लेख के पहले अनुभाग में दिए गए उत्तरों से मेल खाता है।

वास्तविक-world परिदृश्यों में नॉलेज ग्राफ

यद्यपि ट्यूटोरियल अपेक्षाकृत सरल टेक्स्ट के साथ RAG एप्लिकेशंस के लिए नॉलेज ग्राफ के उपयोग को दर्शाता है, वास्तविक-world परिदृश्यों में अक्सर अधिक जटिल और विविध डेटा सेट शामिल होते हैं। साथ ही, इनपुट डेटा साधारण टेक्स्ट से परे विभिन्न फाइल फ़ॉर्मैट में भी आ सकता है। इस अनुभाग में, हम देखेंगे कि नॉलेज ग्राफ-आधारित RAG एप्लिकेशन को ऐसे परिदृश्यों को संभालने के लिए कैसे विस्तारित किया जा सकता है।

बड़े और विविध डेटा सेट सँभालना

जैसे-जैसे इनपुट डेटा का आकार और जटिलता बढ़ती है, नॉलेज ग्राफ निष्कर्षण प्रक्रिया अधिक चुनौतीपूर्ण हो सकती है। बड़े और विविध डेटा सेट सँभालने के लिए कुछ रणनीतियाँ इस प्रकार हैं:

• डिस्ट्रीब्यूटेड नॉलेज ग्राफ निर्माण: बहुत बड़े डेटा सेट के लिए, नॉलेज ग्राफ निर्माण प्रक्रिया को समानांतर और वितरित किया जा सकता है। यह डेटा सेट को भागों में बाँटकर और समानांतर में नॉलेज ग्राफ निकालकर किया जा सकता है, जिन्हें बाद में एक एकीकृत नॉलेज ग्राफ में मर्ज किया जा सकता है।
• इन्क्रिमेंटल नॉलेज ग्राफ अपडेट्स: हर बार नए डेटा के आने पर पूरा नॉलेज ग्राफ दोबारा बनाने के बजाय, इन्क्रिमेंटल दृष्टिकोण अपनाया जा सकता है। इसमें मौजूदा नॉलेज ग्राफ को नई जानकारी से अपडेट करना शामिल है, साथ ही मौजूदा ज्ञान और संबंधों को सुरक्षित रखना।
• डोमेन-विशिष्ट नॉलेज ग्राफ निष्कर्षण: कई डोमेनों या विषयों में फैले डेटा सेट के लिए, डोमेन-विशिष्ट नॉलेज ग्राफ निष्कर्षण पाइपलाइन्स विकसित करना लाभदायक हो सकता है। ये पाइपलाइन्स प्रत्येक डोमेन से संबंधित शब्दावली, संस्थाओं और संबंधों के अनुरूप ढाली जा सकती हैं, जिससे निकाले गए नॉलेज ग्राफ की शुद्धता और पूर्णता में सुधार होगा।
• नॉलेज ग्राफ फ्यूज़न और इंटीग्रेशन: कई स्रोतों के डेटा के साथ काम करते समय, निकाले गए नॉलेज ग्राफ को एकीकृत निरूपण में फ़्यूज़ या इंटीग्रेट करना पड़ सकता है। इसके लिए एंटिटी रेज़ोल्यूशन, रिलेशनशिप एलाइनमेंट, और कॉन्फ्लिक्ट रेज़ोल्यूशन जैसी तकनीकों का उपयोग किया जा सकता है ताकि स्थिरता सुनिश्चित हो और अनावश्यक दोहराव से बचा जा सके।

अलग-अलग फाइल प्रकार सँभालना

वास्तविक-world परिदृश्यों में, डेटा विभिन्न फाइल फ़ॉर्मैट में आ सकता है, जैसे PDF, Word दस्तावेज़, स्प्रेडशीट, या यहाँ तक कि JSON या XML जैसे संरचित डेटा फ़ॉर्मैट। इन अलग-अलग फाइल प्रकारों को सँभालने के लिए आप निम्न रणनीतियाँ अपना सकते हैं:

• फाइल कन्वर्ज़न: अलग-अलग फाइल फ़ॉर्मैट को सादे टेक्स्ट में बदलने के लिए कई लाइब्रेरी और टूल उपलब्ध हैं। उदाहरण के लिए, आप PDF फाइलों से टेक्स्ट निकालने के लिए pdfplumber या tika और Word दस्तावेज़ों से टेक्स्ट निकालने के लिए python-docx का उपयोग कर सकते हैं।
• कस्टम फाइल लोडर्स: LangChain एक DocumentLoader इंटरफ़ेस प्रदान करता है जो आपको विशिष्ट फाइल प्रकारों के लिए कस्टम लोडर बनाने देता है। आप DocumentLoader को सबक्लास कर और वांछित फॉर्मैट को सँभालने के लिए load मेथड को ओवरराइड करके अपना लोडर इम्प्लीमेंट कर सकते हैं।
• संरचित डेटा हैंडलिंग: JSON या XML जैसे संरचित डेटा फ़ॉर्मैट के लिए, आप pandas या lxml जैसी लाइब्रेरी का उपयोग कर सकते हैं ताकि नॉलेज ग्राफ निष्कर्षण पाइपलाइन को पास करने से पहले प्रासंगिक जानकारी को पार्स और एक्सट्रैक्ट किया जा सके।
• मल्टीमॉडल नॉलेज ग्राफ निष्कर्षण: कुछ मामलों में, इनपुट डेटा मल्टीमॉडल हो सकता है, जिसमें टेक्स्ट के साथ छवियाँ या वीडियो जैसी अन्य प्रकार की सामग्री हों। ऐसे परिदृश्यों में, आप मल्टीमॉडल नॉलेज ग्राफ निष्कर्षण की तकनीकों का पता लगा सकते हैं, जो टेक्स्ट-आधारित निष्कर्षण को कंप्यूटर विज़न या अन्य मोडालिटी-विशिष्ट तरीकों के साथ मिलाती हैं।

ये रणनीतियाँ आपको नॉलेज ग्राफ-आधारित RAG एप्लिकेशन को अधिक जटिल और विविध डेटा सेट्स के साथ-साथ अधिक व्यापक फाइल प्रकारों को सँभालने के लिए विस्तारित करने में मदद करेंगी। 

यह ध्यान रखना महत्वपूर्ण है कि जैसे-जैसे इनपुट डेटा की जटिलता बढ़ती है, सटीक और विश्वसनीय परिणाम सुनिश्चित करने के लिए नॉलेज ग्राफ निष्कर्षण प्रक्रिया में अधिक डोमेन-विशिष्ट कस्टमाइज़ेशन और ट्यूनिंग की आवश्यकता हो सकती है।

चुनौतियाँ

वास्तविक दुनिया में RAG एप्लिकेशंस के लिए नॉलेज ग्राफ सेट करना कई चुनौतियों के साथ एक जटिल कार्य हो सकता है। आइए इनमें से कुछ को समझें:

नॉलेज ग्राफ का निर्माण

उच्च-गुणवत्ता वाला नॉलेज ग्राफ बनाना एक जटिल और समय-साध्य प्रक्रिया है, जिसके लिए पर्याप्त डोमेन विशेषज्ञता और प्रयास की आवश्यकता होती है। विभिन्न डेटा स्रोतों से संस्थाएँ, संबंध, और तथ्यों को निकालना और उन्हें एक सुसंगत नॉलेज ग्राफ में एकीकृत करना, विशेषकर बड़े और विविध डेटा सेट्स के लिए, चुनौतीपूर्ण हो सकता है। इसमें डोमेन को समझना, प्रासंगिक जानकारी की पहचान करना, और उसे इस तरह संरचित करना शामिल है जो संबंधों और सैमेंटिक्स को सटीक रूप से कैप्चर करे।

डेटा एकीकरण और इंटरऑपरेबिलिटी

RAG एप्लिकेशंस को अक्सर कई विषम स्रोतों से डेटा एकीकृत करने की आवश्यकता होती है, जिनमें प्रत्येक का अपना ढाँचा, फॉर्मैट, और सैमेंटिक्स होता है। डेटा की स्थिरता सुनिश्चित करना, टकरावों को सुलझाना, और अलग-अलग स्रोतों में संस्थाओं व संबंधों का मैपिंग करना सरल नहीं होता। सटीक निरूपण के लिए सावधानीपूर्वक डेटा क्लीनिंग, ट्रांसफ़ॉर्मेशन, और मैपिंग आवश्यक है।

नॉलेज ग्राफ का रखरखाव और विकास

नॉलेज ग्राफ स्थिर नहीं होते। नई जानकारी उपलब्ध होने या मौजूदा जानकारी बदलने पर उन्हें लगातार अपडेट और मेंटेन करने की आवश्यकता होती है। नॉलेज ग्राफ को अद्यतन और विकसित होते डेटा स्रोतों के अनुरूप बनाए रखना संसाधन-गहन हो सकता है। इसमें डेटा स्रोतों में बदलावों की निगरानी, प्रासंगिक अपडेट की पहचान, और ग्राफ की अखंडता व स्थिरता बनाए रखते हुए उन्हें लागू करना शामिल है।

स्केलेबिलिटी और प्रदर्शन

जैसे-जैसे नॉलेज ग्राफ का आकार और जटिलता बढ़ती है, ग्राफ डेटा का कुशल स्टोरेज, रिट्रीवल, और क्वेरीइंग सुनिश्चित करना अधिक चुनौतीपूर्ण हो जाता है। बड़े पैमाने के RAG एप्लिकेशंस में उच्च क्वेरी वॉल्यूम के साथ स्केलेबिलिटी और प्रदर्शन संबंधी समस्याएँ उभर सकती हैं। स्वीकार्य प्रदर्शन स्तर बनाए रखने के लिए स्टोरेज, इंडेक्सिंग, और क्वेरी प्रोसेसिंग तकनीकों का अनुकूलन महत्वपूर्ण हो जाता है।

क्वेरी जटिलता और तर्क

यद्यपि नॉलेज ग्राफ जटिल संबंधों का निरूपण और मल्टी-हॉप तर्क सक्षम करने में उत्कृष्ट हैं, इन क्षमताओं का लाभ लेने वाली जटिल क्वेरियाँ बनाना और चलाना कठिन हो सकता है। कुशल क्वेरी प्रोसेसिंग और तर्क एल्गोरिदम विकसित करना एक सक्रिय शोध क्षेत्र है। नॉलेज ग्राफ सिस्टम की क्वेरी भाषा और तर्क क्षमताओं को समझना इसकी पूरी क्षमता का प्रभावी उपयोग करने के लिए महत्वपूर्ण है।

मानकीकरण की कमी

नॉलेज ग्राफ के निरूपण और क्वेरी के लिए व्यापक रूप से अपनाए गए मानकों की कमी है, जिससे इंटरऑपरेबिलिटी समस्याएँ और वेंडर लॉक-इन हो सकता है। अलग-अलग नॉलेज ग्राफ सिस्टम भिन्न डेटा मॉडल, क्वेरी भाषाएँ, और API उपयोग कर सकते हैं, जिससे उनके बीच स्विच करना या अन्य प्रणालियों के साथ एकीकरण चुनौतीपूर्ण हो जाता है। मानक अपनाना या विकसित करना इंटरऑपरेबिलिटी को सुगम बना सकता है और वेंडर लॉक-इन घटा सकता है।

व्याख्येयता और पारदर्शिता

हालाँकि नॉलेज ग्राफ समझाने योग्य और पारदर्शी तर्क प्रदान कर सकते हैं, यह सुनिश्चित करना कि तर्क प्रक्रिया अंतिम-उपयोगकर्ताओं के लिए आसानी से व्याख्येय और समझने योग्य हो, एक चुनौती हो सकती है, विशेषकर जटिल क्वेरी या तर्क पाथ्स के लिए। उपयोगकर्ता-मित्रवत इंटरफ़ेस और स्पष्टीकरण विकसित करना, जो तर्क प्रक्रिया और उसकी आधारभूत मान्यताओं को स्पष्ट रूप से संप्रेषित करें, उपयोगकर्ता विश्वास और अपनाने के लिए महत्वपूर्ण है।

डोमेन-विशिष्ट चुनौतियाँ

डोमेन और एप्लिकेशन के आधार पर, कुछ अतिरिक्त चुनौतियाँ हो सकती हैं, जैसे डोमेन-विशिष्ट शब्दावली, ऑंटोलॉजी, या डेटा फ़ॉर्मैट को सँभालना। उदाहरण के लिए, चिकित्सा डोमेन में जटिल चिकित्सीय शब्दावलियों, कोडिंग प्रणालियों, और गोपनीयता संबंधी चिंताओं से निपटना नॉलेज ग्राफ सेटअप और उपयोग में अतिरिक्त जटिलता जोड़ सकता है।

इन चुनौतियों के बावजूद, नॉलेज ग्राफ RAG एप्लिकेशंस के लिए महत्वपूर्ण फायदे प्रदान करते हैं—विशेषकर संरचित ज्ञान के निरूपण, जटिल तर्क को सक्षम करने, और समझाने योग्य व पारदर्शी परिणाम देने के संदर्भ में। नॉलेज ग्राफ के सुविचारित डिज़ाइन, डेटा एकीकरण रणनीतियों, और कुशल क्वेरी प्रोसेसिंग तकनीकों के माध्यम से इन चुनौतियों का समाधान करना नॉलेज ग्राफ-आधारित RAG एप्लिकेशंस को सफलतापूर्वक लागू करने के लिए अत्यंत आवश्यक है।

निष्कर्ष

इस ट्यूटोरियल में, हमने नॉलेज ग्राफ की शक्ति का उपयोग करके अधिक सटीक, सूचनाप्रद, और संदर्भ के अनुरूप उत्तर बनाने की प्रक्रिया देखी। हमने नॉलेज ग्राफ्स के बुनियादी सिद्धांतों और RAG एप्लिकेशंस में उनकी भूमिका को समझने से शुरुआत की। फिर, हमने एक व्यावहारिक उदाहरण के माध्यम से टेक्स्ट डेटा से नॉलेज ग्राफ निकाला, उसे Neo4j डेटाबेस में स्टोर किया, और उपयोगकर्ता क्वेरियों के लिए प्रासंगिक संदर्भ रिट्रीव करने में उसका उपयोग किया। अंत में, हमने दिखाया कि ग्राफ में संरचित ज्ञान का उपयोग करके प्राप्त संदर्भ से उत्तर कैसे जनरेट किए जाएँ।

यदि आप AI और LLMs के बारे में अधिक जानना चाहते हैं, तो AI Fundamentals पर यह छह-कोर्स स्किल ट्रैक देखें।

आशा है आपको यह ट्यूटोरियल उपयोगी और मज़ेदार लगा होगा, मिलते हैं अगले लेख में।

हैप्पी कोडिंग!