RAG के लिए री-रैंकिंग एजेंट के रूप में RankGPT (ट्यूटोरियल)

रीट्रीवल ऑगमेंटेड जेनरेशन (RAG) को समझना

रीट्रीवल ऑगमेंटेड जेनरेशन (RAG) एक विधि है जो LLMs को सूचना पुनर्प्राप्ति प्रणालियों के साथ जोड़ती है। इसका अर्थ है कि जब किसी LLM से टेक्स्ट जनरेट करने के लिए कहा जाता है, तो वह बाहरी स्रोतों से प्रासंगिक जानकारी खींच सकता है, जिससे उसके उत्तर अधिक सटीक और सूचित होते हैं।

RAG में दो मुख्य घटक—रिट्रीवर और जेनरेटर—और एक वैकल्पिक घटक, री-रैंकर शामिल होते हैं:

1. रिट्रीवर—रिट्रीवर का काम उपयोगकर्ता की क्वेरी के आधार पर बड़े दस्तावेज़ सेट से प्रासंगिक दस्तावेज़ों या टेक्स्ट खंडों को ढूंढना है। यह BM25 जैसे एल्गोरिदम का उपयोग कर दस्तावेज़ों को उनकी प्रासंगिकता के अनुसार रैंक करता है।
2. री-रैंकर (वैकल्पिक) — री-रैंकर प्रारंभिक रूप से प्राप्त दस्तावेज़ों के सेट को फिर से क्रमित करता है ताकि सबसे प्रासंगिक दस्तावेज़ शीर्ष पर हों। यह कम उपयोगी जानकारी को छांटने और मुख्य बातों पर ध्यान केंद्रित करने में मदद करता है।
3. जेनरेटर — जेनरेटर वह LLM है जो प्राप्त दस्तावेज़ों का उपयोग कर अंतिम आउटपुट जनरेट करता है। प्रासंगिक बाहरी डेटा तक पहुंच से अधिक सटीक उत्तर प्राप्त हो सकते हैं।

RAG में RankGPT की भूमिका और लाभ

RankGPT, LLMs का उपयोग कर प्राप्त दस्तावेज़ों या टेक्स्ट खंडों की प्रासंगिकता का मूल्यांकन करता है, ताकि सबसे महत्वपूर्ण सामग्री शीर्ष पर हो। RankGPT के साथ, RAG पाइपलाइन में जेनरेटर को उच्च-गुणवत्ता वाले इनपुट मिलते हैं, जिससे उत्तर अधिक सटीक बनते हैं।

बेहतर प्रासंगिकता और प्रदर्शन

RankGPT साधारण कीवर्ड मिलान से आगे बढ़कर क्वेरी और दस्तावेज़ों के गहरे अर्थ और संदर्भ को समझता है। इससे यह LLMs के लिए अधिक सटीक जानकारी प्रदान कर पाता है, और केवल कीवर्ड पर नहीं बल्कि वास्तविक अर्थ के आधार पर सबसे प्रासंगिक सामग्री की पहचान करता है।

जब GPT-4 को ज़ीरो-शॉट इंस्ट्रक्शनल पर्म्यूटेशन जेनरेशन के साथ उपयोग किया जाता है, तो RankGPT विभिन्न बेंचमार्क्स जैसे TREC, BEIR और Mr.TyDi पर अग्रणी सुपरवाइज्ड प्रणालियों से बेहतर प्रदर्शन करता है।

कुशल और किफायती डिस्टिलेशन

RankGPT पर्म्यूटेशन डिस्टिलेशन का उपयोग कर GPT-4 जैसे बड़े मॉडलों की रैंकिंग क्षमताओं को छोटे, विशिष्ट मॉडलों में स्थानांतरित करता है।

ये छोटे मॉडल उच्च प्रदर्शन बनाए रखते हुए कहीं अधिक कुशल होते हैं। उदाहरण के लिए, डिस्टिल्ड 440M मॉडल ने BEIR बेंचमार्क पर 3B सुपरवाइज्ड मॉडल से बेहतर प्रदर्शन किया, कम्प्यूटेशनल लागत को काफी घटाते हुए बेहतर नतीजे दिए।

नई और अज्ञात जानकारी को संभालना

RankGPT में NovelEval टेस्ट सेट शामिल है, जो मजबूती सुनिश्चित करने और डेटा संदूषण से संबंधित चिंताओं को संबोधित करने के लिए बनाया गया है। यह सेट हालिया और अज्ञात जानकारी के आधार पर अनुच्छेदों को रैंक करने की मॉडल की क्षमता का मूल्यांकन करता है।

GPT-4 ने इस परीक्षण पर अत्याधुनिक प्रदर्शन हासिल किया, जो नई और अनदेखी क्वेरीज़ को प्रभावी ढंग से संभालने की उसकी क्षमता को दर्शाता है।

RankGPT बेंचमार्क प्रदर्शन

RankGPT (gpt-4) ने TREC और BEIR में सभी अन्य मॉडलों से बेहतर प्रदर्शन किया, जैसा कि नीचे दी गई तालिका में दिखाए गए औसत nDCG@10 स्कोर 53.68 से स्पष्ट है। इसने BEIR डेटासेट्स में सर्वोच्च परिणाम प्राप्त किए, monoT5 (3B) और Cohere Rerank-v2 जैसे मजबूत सुपरवाइज्ड मॉडलों को पीछे छोड़ते हुए। यहां तक कि gpt-3.5-turbo के साथ भी, RankGPT के स्कोर प्रतिस्पर्धी रहे, जो इसे एक अत्यधिक प्रभावी री-रैंकर सिद्ध करते हैं।

स्रोत: Weiwei Sun et al., 2023

RankGPT (gpt-4) ने Mr.TyDi डेटासेट्स पर भी मजबूत प्रदर्शन किया, जहां इसका औसत nDCG@10 स्कोर 62.93 रहा, और इसने BM25 तथा mmarcoCE दोनों को पीछे छोड़ा। इसने लगातार BM25 से बेहतर प्रदर्शन किया और कई भाषाओं में mmarcoCE से भी आगे रहा, खासतौर पर इंडोनेशियाई और स्वाहिली में।

समग्र रूप से, RankGPT ने बंगाली, इंडोनेशियाई और जापानी जैसी कई भाषाओं में सर्वोच्च स्कोर हासिल किए, केवल कुछ मामलों में यह mmarcoCE से थोड़ा पीछे रहा।

स्रोत: Weiwei Sun et al., 2023

अंत में, RankGPT को NovelEval डेटासेट पर भी परखा गया, जो यह मापता है कि कोई मॉडल हालिया और अपरिचित जानकारी के आधार पर अनुच्छेदों को कितना अच्छी तरह रैंक कर सकता है। RankGPT (gpt-4) ने सभी मूल्यांकन मैट्रिक्स (nDCG@1, nDCG@5, और nDCG@10) में सर्वोच्च स्कोर किया, विशेष रूप से nDCG@10 का 90.45 स्कोर। इसने monoT5 (3B) और monoBERT (340M) जैसे अन्य मजबूत मॉडलों को पीछे छोड़ दिया, जो इसे एक री-रैंकर के रूप में इसके बेहतरीन प्रदर्शन को रेखांकित करता है।

स्रोत: Weiwei Sun et al., 2023

सभी बेंचमार्क परिणामों में, RankGPT (gpt-4) ने लगातार अन्य तरीकों—चाहे सुपरवाइज्ड हों या अनसुपरवाइज्ड—से बेहतर प्रदर्शन किया, जो री-रैंकिंग में इसकी श्रेष्ठ क्षमता को दर्शाता है।

RAG पाइपलाइनों में RankGPT को लागू करना

यहां बताया गया है कि हम RankGPT को RAG पाइपलाइन में कैसे एकीकृत कर सकते हैं।

चरण 1: RankGPT रिपॉजिटरी क्लोन करें

सबसे पहले, आपको RankGPT रिपॉजिटरी क्लोन करनी होगी। अपने टर्मिनल में निम्न कमांड चलाएं:

git clone https://github.com/sunnweiwei/RankGPT

चरण 2: अपना वातावरण सेट अप करें

RankGPT डायरेक्टरी में जाएं और आवश्यक पैकेज इंस्टॉल करें। आप एक वर्चुअल एनवायरनमेंट बनाना चाहेंगे और दिए गए requirements.txt का उपयोग करके पैकेज इंस्टॉल कर सकते हैं:

pip install -r requirements.txt

चरण 3: RankGPT इम्प्लीमेंटेशन

यहां, हम मूल RankGPT रिपॉजिटरी द्वारा प्रदान की गई सरल उदाहरण क्वेरी और प्राप्त दस्तावेज़ों का उपयोग कर रहे हैं।

item = {
    'query': 'How much impact do masks have on preventing the spread of the COVID-19?',
    'hits': [
        {'content': 'Title: Universal Masking is Urgent in the COVID-19 Pandemic: SEIR and Agent Based Models, Empirical Validation, Policy Recommendations Content: We present two models for the COVID-19 pandemic predicting the impact of universal face mask wearing upon the spread of the SARS-CoV-2 virus--one employing a stochastic dynamic network based compartmental SEIR (susceptible-exposed-infectious-recovered) approach, and the other employing individual ABM (agent-based modelling) Monte Carlo simulation--indicating (1) significant impact under (near) universal masking when at least 80% of a population is wearing masks, versus minimal impact when only 50% or less of the population is wearing masks, and (2) significant impact when universal masking is adopted early, by Day 50 of a regional outbreak, versus minimal impact when universal masking is adopted late. These effects hold even at the lower filtering rates of homemade masks. To validate these theoretical models, we compare their predictions against a new empirical data set we have collected'},
        {'content': 'Title: Masking the general population might attenuate COVID-19 outbreaks Content: The effect of masking the general population on a COVID-19 epidemic is estimated by computer simulation using two separate state-of-the-art web-based softwares, one of them calibrated for the SARS-CoV-2 virus. The questions addressed are these: 1. Can mask use by the general population limit the spread of SARS-CoV-2 in a country? 2. What types of masks exist, and how elaborate must a mask be to be effective against COVID-19? 3. Does the mask have to be applied early in an epidemic? 4. A brief general discussion of masks and some possible future research questions regarding masks and SARS-CoV-2. Results are as follows: (1) The results indicate that any type of mask, even simple home-made ones, may be effective. Masks use seems to have an effect in lowering new patients even the protective effect of each mask (here dubbed"one-mask protection") is'},
        {'content': 'Title: To mask or not to mask: Modeling the potential for face mask use by the general public to curtail the COVID-19 pandemic Content: Face mask use by the general public for limiting the spread of the COVID-19 pandemic is controversial, though increasingly recommended, and the potential of this intervention is not well understood. We develop a compartmental model for assessing the community-wide impact of mask use by the general, asymptomatic public, a portion of which may be asymptomatically infectious. Model simulations, using data relevant to COVID-19 dynamics in the US states of New York and Washington, suggest that broad adoption of even relatively ineffective face masks may meaningfully reduce community transmission of COVID-19 and decrease peak hospitalizations and deaths. Moreover, mask use decreases the effective transmission rate in nearly linear proportion to the product of mask effectiveness (as a fraction of potentially infectious contacts blocked) and coverage rate (as'}
    ]
}

आप दिए गए पर्म्यूटेशन पाइपलाइन का उपयोग कर RankGPT से प्राप्त दस्तावेज़ों को आसानी से पुनः रैंक कर सकते हैं।

from rank_gpt import permutation_pipeline
new_item = permutation_pipeline(
    item,
    rank_start=0,
    rank_end=3,
    model_name='gpt-3.5-turbo',
    api_key='Your OPENAI Key!'
)
print(new_item)

इससे दस्तावेज़ों का निम्न नया क्रम प्राप्त होगा:

{
    'query': 'How much impact do masks have on preventing the spread of the COVID-19?',
    'hits': [
        {'content': 'Title: Universal Masking is Urgent in the COVID-19 Pandemic: SEIR and Agent Based Models, Empirical Validation, Policy Recommendations Content: We present two models for the COVID-19 pandemic predicting the impact of universal face mask wearing upon the spread of the SARS-CoV-2 virus--one employing a stochastic dynamic network based compartmental SEIR (susceptible-exposed-infectious-recovered) approach, and the other employing individual ABM (agent-based modelling) Monte Carlo simulation--indicating (1) significant impact under (near) universal masking when at least 80% of a population is wearing masks, versus minimal impact when only 50% or less of the population is wearing masks, and (2) significant impact when universal masking is adopted early, by Day 50 of a regional outbreak, versus minimal impact when universal masking is adopted late. These effects hold even at the lower filtering rates of homemade masks. To validate these theoretical models, we compare their predictions against a new empirical data set we have collected'},
        {'content': 'Title: To mask or not to mask: Modeling the potential for face mask use by the general public to curtail the COVID-19 pandemic Content: Face mask use by the general public for limiting the spread of the COVID-19 pandemic is controversial, though increasingly recommended, and the potential of this intervention is not well understood. We develop a compartmental model for assessing the community-wide impact of mask use by the general, asymptomatic public, a portion of which may be asymptomatically infectious. Model simulations, using data relevant to COVID-19 dynamics in the US states of New York and Washington, suggest that broad adoption of even relatively ineffective face masks may meaningfully reduce community transmission of COVID-19 and decrease peak hospitalizations and deaths. Moreover, mask use decreases the effective transmission rate in nearly linear proportion to the product of mask effectiveness (as a fraction of potentially infectious contacts blocked) and coverage rate (as'},
        {'content': 'Title: Masking the general population might attenuate COVID-19 outbreaks Content: The effect of masking the general population on a COVID-19 epidemic is estimated by computer simulation using two separate state-of-the-art web-based softwares, one of them calibrated for the SARS-CoV-2 virus. The questions addressed are these: 1. Can mask use by the general population limit the spread of SARS-CoV-2 in a country? 2. What types of masks exist, and how elaborate must a mask be to be effective against COVID-19? 3. Does the mask have to be applied early in an epidemic? 4. A brief general discussion of masks and some possible future research questions regarding masks and SARS-CoV-2. Results are as follows: (1) The results indicate that any type of mask, even simple home-made ones, may be effective. Masks use seems to have an effect in lowering new patients even the protective effect of each mask (here dubbed"one-mask protection") is'}
    ]
}

चरण-दर-चरण इंस्ट्रक्शनल पर्म्यूटेशन जेनरेशन

पर्म्यूटेशन पाइपलाइन के अधिक चरणबद्ध इम्प्लीमेंटेशन के लिए, आप सीधे RankGPT के साथ इंटरैक्ट कर निम्नानुसार पर्म्यूटेशन निर्देश बना और प्रोसेस कर सकते हैं:

from rank_gpt import (
    create_permutation_instruction,
    run_llm,
    receive_permutation
)
# Create permutation generation instruction
messages = create_permutation_instruction(
    item=item,
    rank_start=0,
    rank_end=3,
    model_name='gpt-3.5-turbo'
)

[{'role': 'system',
  'content': 'You are RankGPT, an intelligent assistant that can rank passages based on their relevancy to the query.'},
 {'role': 'user',
  'content': 'I will provide you with 3 passages, each indicated by number identifier []. \\nRank the passages based on their relevance to query: How much impact do masks have on preventing the spread of the COVID-19?.'},
 {'role': 'assistant', 'content': 'Okay, please provide the passages.'},
 {'role': 'user',
  'content': '[1] Title: Universal Masking is Urgent in the COVID-19 Pandemic: SEIR and Agent Based Models, Empirical Validation, Policy Recommendations Content: We present two models for the COVID-19 pandemic predicting the impact of universal face mask wearing upon the spread of the SARS-CoV-2 virus--one employing a stochastic dynamic network based compartmental SEIR (susceptible-exposed-infectious-recovered) approach, and the other employing individual ABM (agent-based modelling) Monte Carlo simulation--indicating (1) significant impact under (near) universal masking when at least 80% of a population is wearing masks, versus minimal impact when only 50% or less of the population is wearing masks, and (2) significant impact when universal masking is adopted early, by Day 50 of a regional outbreak, versus minimal impact when universal masking is adopted late. These effects hold even at the lower filtering rates of homemade masks. To validate these theoretical models, we compare their predictions against a new empirical data set we have collected'},
 {'role': 'assistant', 'content': 'Received passage [1].'},
 {'role': 'user',
  'content': '[2] Title: Masking the general population might attenuate COVID-19 outbreaks Content: The effect of masking the general population on a COVID-19 epidemic is estimated by computer simulation using two separate state-of-the-art web-based softwares, one of them calibrated for the SARS-CoV-2 virus. The questions addressed are these: 1. Can mask use by the general population limit the spread of SARS-CoV-2 in a country? 2. What types of masks exist, and how elaborate must a mask be to be effective against COVID-19? 3. Does the mask have to be applied early in an epidemic? 4. A brief general discussion of masks and some possible future research questions regarding masks and SARS-CoV-2. Results are as follows: (1) The results indicate that any type of mask, even simple home-made ones, may be effective. Masks use seems to have an effect in lowering new patients even the protective effect of each mask (here dubbed"one-mask protection") is'},
 {'role': 'assistant', 'content': 'Received passage [2].'},
 {'role': 'user',
  'content': '[3] Title: To mask or not to mask: Modeling the potential for face mask use by the general public to curtail the COVID-19 pandemic Content: Face mask use by the general public for limiting the spread of the COVID-19 pandemic is controversial, though increasingly recommended, and the potential of this intervention is not well understood. We develop a compartmental model for assessing the community-wide impact of mask use by the general, asymptomatic public, a portion of which may be asymptomatically infectious. Model simulations, using data relevant to COVID-19 dynamics in the US states of New York and Washington, suggest that broad adoption of even relatively ineffective face masks may meaningfully reduce community transmission of COVID-19 and decrease peak hospitalizations and deaths. Moreover, mask use decreases the effective transmission rate in nearly linear proportion to the product of mask effectiveness (as a fraction of potentially infectious contacts blocked) and coverage rate (as'},
 {'role': 'assistant', 'content': 'Received passage [3].'},
 {'role': 'user',
  'content': 'Search Query: How much impact do masks have on preventing the spread of the COVID-19?. \\nRank the 3 passages above based on their relevance to the search query. The passages should be listed in descending order using identifiers. The most relevant passages should be listed first. The output format should be [] > [], e.g., [1] > [2]. Only response the ranking results, do not say any word or explain.'}]

# Get ChatGPT predicted permutation
permutation = run_llm(
    messages,
    api_key='Your OPENAI Key!',
    model_name='gpt-3.5-turbo'
)

'[1] > [3] > [2]'

# Use permutation to re-rank the passage
item = receive_permutation(
    item,
    permutation,
    rank_start=0,
    rank_end=3
)

{'query': 'How much impact do masks have on preventing the spread of the COVID-19?',
 'hits': [{'content': 'Title: Universal Masking is Urgent in the COVID-19 Pandemic: SEIR and Agent Based Models, Empirical Validation, Policy Recommendations Content: We present two models for the COVID-19 pandemic predicting the impact of universal face mask wearing upon the spread of the SARS-CoV-2 virus--one employing a stochastic dynamic network based compartmental SEIR (susceptible-exposed-infectious-recovered) approach, and the other employing individual ABM (agent-based modelling) Monte Carlo simulation--indicating (1) significant impact under (near) universal masking when at least 80% of a population is wearing masks, versus minimal impact when only 50% or less of the population is wearing masks, and (2) significant impact when universal masking is adopted early, by Day 50 of a regional outbreak, versus minimal impact when universal masking is adopted late. These effects hold even at the lower filtering rates of homemade masks. To validate these theoretical models, we compare their predictions against a new empirical data set we have collected'},
  {'content': 'Title: To mask or not to mask: Modeling the potential for face mask use by the general public to curtail the COVID-19 pandemic Content: Face mask use by the general public for limiting the spread of the COVID-19 pandemic is controversial, though increasingly recommended, and the potential of this intervention is not well understood. We develop a compartmental model for assessing the community-wide impact of mask use by the general, asymptomatic public, a portion of which may be asymptomatically infectious. Model simulations, using data relevant to COVID-19 dynamics in the US states of New York and Washington, suggest that broad adoption of even relatively ineffective face masks may meaningfully reduce community transmission of COVID-19 and decrease peak hospitalizations and deaths. Moreover, mask use decreases the effective transmission rate in nearly linear proportion to the product of mask effectiveness (as a fraction of potentially infectious contacts blocked) and coverage rate (as'},
  {'content': 'Title: Masking the general population might attenuate COVID-19 outbreaks Content: The effect of masking the general population on a COVID-19 epidemic is estimated by computer simulation using two separate state-of-the-art web-based softwares, one of them calibrated for the SARS-CoV-2 virus. The questions addressed are these: 1. Can mask use by the general population limit the spread of SARS-CoV-2 in a country? 2. What types of masks exist, and how elaborate must a mask be to be effective against COVID-19? 3. Does the mask have to be applied early in an epidemic? 4. A brief general discussion of masks and some possible future research questions regarding masks and SARS-CoV-2. Results are as follows: (1) The results indicate that any type of mask, even simple home-made ones, may be effective. Masks use seems to have an effect in lowering new patients even the protective effect of each mask (here dubbed"one-mask protection") is'}]}

RankGPT के लिए स्लाइडिंग विंडो स्ट्रैटेजी (SWA)

यदि आपको एक बार में मॉडल की क्षमता से अधिक दस्तावेज़ रैंक करने की आवश्यकता है, तो स्लाइडिंग विंडो स्ट्रैटेजी का उपयोग करें। दस्तावेज़ों को पुनः रैंक करने के लिए स्लाइडिंग विंडो स्ट्रैटेजी ऐसे लागू करें:

from rank_gpt import sliding_windows
api_key = "Your OPENAI Key"
new_item = sliding_windows(
    item,
    rank_start=0,
    rank_end=3,
    window_size=2,
    step=1,
    model_name='gpt-3.5-turbo',
    api_key=api_key
)
print(new_item)

इस उदाहरण में, स्लाइडिंग विंडो का आकार 2 और स्टेप साइज़ 1 है, यानी यह एक बार में दो दस्तावेज़ प्रोसेस करती है और अगली रैंकिंग पास के लिए एक दस्तावेज़ आगे बढ़ती है।

निष्कर्ष

जानकारी की प्रासंगिकता का बेहतर आकलन करने के लिए LLMs का उपयोग कर, RankGPT सामग्री को छांटने और पुनः रैंक करने की सटीकता बढ़ाता है।

यह सामान्य समस्याओं—जैसे विषय पर बने रहना, दक्षता में सुधार, और भ्रामक जानकारी जनरेट होने की संभावना घटाना—को संबोधित करता है।

कुल मिलाकर, RankGPT अधिक विश्वसनीय और सटीक RAG एप्लिकेशन बनाने में योगदान देता है।