GRPO क्या है? ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन समझाया गया

ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एक अत्याधुनिक रीइन्फोर्समेंट लर्निंग (RL) तकनीक है जो नवीनतम बड़े भाषा मॉडलों (LLMs) के प्रभावशाली प्रदर्शन को शक्ति देती है। हालांकि इसे DeepSeek-R1 के जारी होने के बाद व्यापक ध्यान मिला, GRPO को पहली बार DeepSeekMath में पेश किया गया था, जो उन्नत गणितीय तर्क के लिए फाइन-ट्यून किया गया एक LLM है। मूल रूप से GRPO को फाइन-ट्यूनिंग में दक्षता बढ़ाने के लिए डिज़ाइन किया गया था, और यह एक किफायती व बहुमुखी पद्धति साबित हुआ है, जिसे समुदाय ने अपनाया है।

इस लेख में, हम GRPO को गहराई से समझेंगे। हम जानेंगे कि यह क्या है, कैसे काम करता है, इसके कार्यान्वयन के लिए किन आवश्यक घटकों की जरूरत होती है, और किन परिस्थितियों में इसका उपयोग करना सबसे उपयुक्त है। इस मार्गदर्शिका का उद्देश्य GRPO के पीछे की प्रमुख अंतर्दृष्टियों से आपको परिचित कराना है, जो इसकी बढ़ती लोकप्रियता को उचित ठहराती हैं।

यदि आप DeepSeek के बारे में और सीखने के इच्छुक हैं, तो हमारे कोर्स Working with DeepSeek in Python को अवश्य देखें। 

रीइन्फोर्समेंट लर्निंग का परिचय

जैसा कि हम अपने LLMs को फाइन-ट्यून करने की गाइड में देखते हैं, सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) पारंपरिक प्रशिक्षण तकनीक है जिसमें लेबल वाले डेटा का उपयोग करके मॉडल को प्रशिक्षित किया जाता है। अर्थात, ऐसे उदाहरणों का उपयोग करना जो दिए गए इनपुट्स के लिए अपेक्षित संपूर्णताओं या आउटपुट्स को दिखाते हैं।

SFT की एक सीमा यह है कि यह बड़े, लेबलयुक्त डेटासेट पर बहुत अधिक निर्भर करता है, जिन्हें तैयार करना महंगा और समय-साध्य हो सकता है। इसके अलावा, SFT से प्रशिक्षित मॉडल प्रशिक्षण उदाहरणों पर अधिक फिट होने का जोखिम रखते हैं, यानी वे देखे गए डेटा पर अच्छा प्रदर्शन करते हैं, लेकिन नए या अप्रत्याशित परिदृश्यों पर सामान्यीकरण करने में संघर्ष करते हैं।

SFT का एक विकल्प रीइन्फोर्समेंट लर्निंग है, जिसमें, स्थिर उदाहरणों से सीखने के बजाय, एजेंट अपने वातावरण के साथ बातचीत करके और कार्य पूरा करने के लिए अलग-अलग क्रियाओं को आज़माकर सीखता है। हर क्रिया के बाद, एजेंट को पुरस्कार या दंड के रूप में प्रतिक्रिया मिलती है। लक्ष्य समय के साथ कुल पुरस्कार को अधिकतम करना है, यानी सबसे बेहतर रणनीतियों की खोज करना।

हम एक सरल RL वर्कफ़्लो को इस प्रकार दर्शा सकते हैं:

सरल RL वर्कफ़्लो का आरेख।

यदि आप Python में RL के साथ हाथों-हाथ शुरुआत करना चाहते हैं, तो ट्यूटोरियल Reinforcement Learning: An Introduction With Python Examples आपके लिए है!

रीइन्फोर्समेंट लर्निंग को आसान भाषा में

रीइन्फोर्समेंट लर्निंग की अवधारणा को समझाने के लिए, कल्पना कीजिए कि आप अपनी चचेरी बहन को साइकिल चलाना सिखा रहे हैं। शुरुआत में, उसे पेडल मारने और संतुलन बनाने में दिक्कत होती है, वह अक्सर डगमगाती है या गिर जाती है।

हर बार जब वह थोड़ी दूर तक चलाती है, आप उसे प्रोत्साहित करते हैं। यह सकारात्मक प्रतिक्रिया उसे आगे बढ़ने के लिए प्रेरित करती है। लेकिन जब वह सीढ़ियों से नीचे साइकिल चलाने की कोशिश करती है, तो आप उसे तुरंत रोकते हैं और जोखिम समझाते हैं। यह ऐसे कृत्यों को हतोत्साहित करने के लिए नकारात्मक संकेत का काम करता है।

इसी तरह, रीइन्फोर्समेंट लर्निंग मॉडलों को अलग-अलग क्रियाओं का अन्वेषण करने देती है। सकारात्मक पुरस्कार वांछनीय परिणामों को सुदृढ़ करते हैं, जबकि नकारात्मक पुरस्कार अवांछित व्यवहार को हतोत्साहित करते हैं। समय के साथ, मॉडल इसी फीडबैक से बेहतर निर्णय लेना सीखता है।

रीइन्फोर्समेंट लर्निंग के तरीके

किसी मॉडल पर रीइन्फोर्समेंट लर्निंग लागू करने की अलग-अलग तकनीकें हैं। विशेष रूप से, GRPO को प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) और डायरेक्ट पॉलिसी ऑप्टिमाइज़ेशन (DPO) का विकास माना जाता है।

क्या आपने पहले PPO और DPO के बारे में सुना है?

प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन

PPO एक व्यापक रूप से उपयोग किया जाने वाला RL एल्गोरिथ्म है जिसे अलग रिवॉर्ड मॉडल का उपयोग करके पुरस्कारों को अधिकतम करते हुए मॉडल के व्यवहार को ऑप्टिमाइज़ करने के लिए डिज़ाइन किया गया है। PPO के क्रियान्वयन का एक अच्छा उदाहरण OpenAI का मानव फीडबैक से रीइन्फोर्समेंट लर्निंग (RLHF) है। RLHF में, सबसे पहले मॉडल आउटपुट्स पर मानव फीडबैक एकत्र किया जाता है, और बाद में इस डेटा का उपयोग फीडबैक की भविष्यवाणी करने के लिए एक रिवॉर्ड मॉडल को प्रशिक्षित करने में किया जाता है। रिवॉर्ड मॉडल होना मानव फीडबैक को बिना मानवों की निरंतर आवश्यकता के स्केल करने का एक तरीका है।

अंततः, PPO प्रशिक्षण के दौरान रिवॉर्ड मॉडल का उपयोग करके मॉडल के पैरामीटर्स को समायोजित करता है, ताकि वह मानव वरीयताओं के अधिक अनुरूप प्रतिक्रियाएँ उत्पन्न करे। निम्न आरेख PPO वर्कफ़्लो को दर्शाता है:

PPO वर्कफ़्लो का आरेख।

यदि आप Python में PPO वर्कफ़्लो लागू करना चाहते हैं, तो ट्यूटोरियल Proximal Policy Optimization with PyTorch and Gymnasium पर विचार करें।

डायरेक्ट पॉलिसी ऑप्टिमाइज़ेशन

अलग रिवॉर्ड मॉडल का प्रशिक्षण जटिल और संसाधन-सघन हो सकता है। इस प्रक्रिया को सरल बनाने के लिए, DPO पेश किया गया, जिसने मानव फीडबैक एकत्र करने के तरीके को बदल दिया।

मानवों से संख्यात्मक स्कोर से प्रतिक्रियाएँ रेट करने के लिए कहने के बजाय, DPO वरीयता तुलना पर निर्भर करता है। मानव एनोटेटर्स को दो प्रतिक्रियाएँ दिखाई जाती हैं और उनसे अपनी पसंद की प्रतिक्रिया चुनने को कहा जाता है। इससे पसंदीदा और कम पसंदीदा उदाहरणों का डेटासेट बनता है।

फिर मॉडल को सीधे इन वरीयता-युग्मों पर फाइन-ट्यून किया जाता है, रिवॉर्ड मॉडल पर निर्भर हुए बिना। इस दृष्टिकोण से, मॉडल पसंदीदा प्रतिक्रिया की संभाव्यता बढ़ाना और कम पसंदीदा की संभाव्यता घटाना सीखता है। 

यह तरीका बिना अलग रिवॉर्ड मॉडल की आवश्यकता के मॉडल को मानव वरीयताओं के अनुरूप बनाता है। आइए इस नए वर्कफ़्लो पर नज़र डालें:

DPO वर्कफ़्लो का आरेख।

ट्यूटोरियल OpenAI's Preference Fine-Tuning: A Guide With Examples आपको व्यवहार में DPO लागू करने में मदद करेगा।

PPO और DPO की चुनौतियाँ

DPO, PPO की तुलना में कई फायदे प्रस्तुत करता है। डेटा की आवश्यकता से शुरुआत करें तो, PPO को पहले रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए डेटा एकत्र करना पड़ता है, फिर इस सहायक मॉडल का वास्तविक प्रशिक्षण करना पड़ता है (नए मॉडल को प्रशिक्षित करने की सभी तकनीकी चुनौतियों सहित), और यह सब आपके लक्ष्य मॉडल के प्रशिक्षण शुरू होने से पहले। DPO इस प्रक्रिया को अलग रिवॉर्ड मॉडल की आवश्यकता हटाकर सरल बनाता है। फिर भी, इस दृष्टिकोण को अभी भी पर्याप्त मात्रा में वरीयता डेटा चाहिए।

इस बिंदु पर, क्या आप इन सीमाओं को खत्म करने का कोई तरीका देखते हैं?

क्या होगा यदि बाहरी फीडबैक पर निर्भर रहने के बजाय, हम मॉडल प्रतिक्रियाओं को स्वतः सत्यापित और रेट करने का तरीका ढूंढ लें?

यही तो GRPO लेकर आता है!

GRPO क्या है?

ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन एक ऐसी RL तकनीक है जिसे लेबल वाले डेटा की आवश्यकता नहीं होती, बस सही होने की “जांच” करने और उसी अनुसार प्रतिक्रियाओं को क्रमबद्ध करने का साधन चाहिए। यह सत्यापन आमतौर पर प्रोग्राम करने योग्य रिवॉर्ड फंक्शंस के जरिए किया जाता है, जैसे ऐसे फंक्शन जो मॉडल की प्रतिक्रिया को इनपुट के रूप में लें और फंक्शन के किसी पहलू पर रेटिंग स्कोर आउटपुट करें।

GRPO के कुछ दृष्टिकोण प्रतिक्रियाओं को सत्यापित और रेट करने के लिए LLM-as-a-judge का उपयोग करते हैं, लेकिन GRPO की मूल अवधारणा सॉफ्टवेयर विकास जैसे डोमेन में बिना बाहरी मॉडल की आवश्यकता के भी लागू की जा सकती है, क्योंकि जेनरेटेड कोड के विभिन्न पहलुओं को बाहरी टूल्स द्वारा सत्यापित किया जा सकता है। उदाहरण के लिए,

• क्या कोड कम्पाइल होता है? यहाँ, हमें सिर्फ कम्पाइलर चाहिए।
• क्या रनटाइम एरर है? यहाँ हमें सिर्फ कोड चलाना है।
• क्या यह यूनिट टेस्ट्स पास करता है? यहाँ, हमें सिर्फ यूनिट टेस्ट्स चाहिए।
• क्या कोड लिंटर का आउटपुट साफ़ है? यहाँ हमें सिर्फ एक लिंटर चाहिए।

जैसा कि आप देख सकते हैं, न मानवों की जरूरत है न वरीयता डेटा की!

रिवॉर्ड फंक्शंस

DeepSeek-Math के मूल लेख में, रिवॉर्ड फंक्शंस गणितीय समाधान की शुद्धता और फॉर्मेटिंग का आकलन करने के लिए बनाए गए थे। यदि आपने कभी किसी LLM से संरचित आउटपुट मांगा है, तो आपने महसूस किया होगा कि मॉडल ने अधिकांश भाग में वांछित आउटपुट फॉर्मेट का पालन किया, लेकिन हमेशा कोई न कोई कॉर्नर केस होता है जो आपकी पाइपलाइन तोड़ देता है, है ना?

DeepSeek-Math के मामले में, रिवॉर्ड फंक्शंस का फोकस शुद्धता और फॉर्मेटिंग पर था:

• शुद्धता (Accuracy) रिवॉर्ड्स यह आकलन करते हैं कि मॉडल का अंतिम उत्तर सही है या नहीं। नियतात्मक (deterministic) गणित समस्याओं के लिए, मॉडल से अपेक्षा की जाती है कि वह अंतिम उत्तर एक निर्दिष्ट फॉर्मेट (जैसे, एक बॉक्स के भीतर) में प्रस्तुत करे, ताकि ग्राउंड ट्रुथ के साथ स्वचालित सत्यापन संभव हो सके।
• फॉर्मेट रिवॉर्ड्स यह सुनिश्चित करते हैं कि मॉडल की प्रतिक्रियाएँ पूर्वनिर्धारित संरचना का पालन करें। विशेष रूप से, मॉडल को अपने तर्क-वितर्क की प्रक्रिया को निर्दिष्ट टैग्स (जैसे, <think> और </think>) के भीतर रखने के लिए प्रोत्साहित किया जाता है। यह फॉर्मेटिंग मॉडल की सोच प्रक्रिया के निष्कर्षण और विश्लेषण को सुगम बनाती है, जिससे आउटपुट में स्पष्टता और स्थिरता को बढ़ावा मिलता है।

GRPO वर्कफ़्लो

इस बिंदु पर, आप सोच रहे होंगे, मॉडल के प्रशिक्षण वर्कफ़्लो में GRPO कहाँ फिट बैठता है?

आइए प्रक्रिया को चरण-दर-चरण देखते हैं!

1. LLM को एक प्रॉम्प्ट भेजें और एकाधिक उम्मीदवार प्रतिक्रियाएँ सैंपल करें।
2. एक या अधिक प्रोग्राम करने योग्य फंक्शंस लिखें जो प्रॉम्प्ट-प्रतिक्रिया युग्मों को लें और प्रत्येक को एक स्कोर दें।
3. इन स्कोर्स का उपयोग करके LLM के वेट्स अपडेट करें, उच्च औसत से ऊपर स्कोर वाली प्रतिक्रियाएँ उत्पन्न करने की संभाव्यता बढ़ाएँ और औसत से नीचे स्कोर वाली के लिए घटाएँ।

इस लूप का पालन करके, GRPO बिना वरीयता डेटा एकत्र किए, सीधे रिवॉर्ड फंक्शंस के आउटपुट के आधार पर मॉडल को फाइन-ट्यून करता है।

बाहरी ऐक्टर द्वारा गणना किए गए स्कोर रिवॉर्ड्स के साथ GRPO वर्कफ़्लो का आरेख।

अंततः, यह ध्यान देने योग्य है कि GRPO मॉडल को नई कार्य-क्षमताएँ सिखाने का लाभ भी देता है, न कि केवल PPO या DPO की तरह वरीयता की दिशा में सीखने को मोड़ने का।

GRPO के लाभ

जैसा कि ऊपर के आरेख से स्पष्ट है, GRPO का सबसे बड़ा लाभ यह है कि इसे लेबल्ड डेटा की आवश्यकता नहीं होती, बस सही होने की “जांच” का साधन चाहिए, जो प्रोग्राम करने योग्य रिवॉर्ड फंक्शंस के उपयोग से हासिल होता है।

एक और लाभ यह है कि इसे फाइन-ट्यूनिंग की तुलना में बहुत कम उदाहरणों की आवश्यकता होती है, जिससे यह तकनीक लागत-प्रभावी विकल्प बनती है। 

साथ ही, मॉडल स्थिर लेबल्ड उदाहरणों के बजाय फीडबैक से सक्रिय रूप से सीखता है, जिससे ओवरफिटिंग का जोखिम कम होता है। GRPO से प्रशिक्षित मॉडल स्वाभाविक रूप से बेहतर रणनीतियाँ खोजने और अपने विचार-श्रृंखला (chain of thought) में सुधार करने में सक्षम होते हैं।

GRPO के उपयोग-क्षेत्र

जैसा कि पहले चर्चा की गई, GRPO का प्राथमिक उपयोग-क्षेत्र तब उभरता है जब आपके पास लेबल्ड डेटा नहीं है, लेकिन आप आउटपुट की शुद्धता को सत्यापित कर सकते हैं। यह तब भी अत्यंत प्रभावी है जब आपके पास सीमित लेबल्ड डेटा हो, लेकिन पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग के लिए पर्याप्त न हो। इससे GRPO उन परिस्थितियों में विशेष रूप से मूल्यवान बन जाता है जहाँ लेबलिंग महंगी या अव्यावहारिक है।

कुछ डोमेन्स जहाँ GRPO ने महत्वपूर्ण लाभ दिखाए हैं, शामिल हैं:

• गणितीय कौशल: उदाहरण के लिए, DeepSeek-Math मॉडल के मामले में, GRPO ने बिना बड़े लेबल्ड डेटासेट्स के जटिल गणित समस्याएँ सुलझाने की मॉडल की क्षमता को प्रभावी रूप से बढ़ाया।
• कोड जेनरेशन: GRPO सिस्टम को आउटपुट्स को स्वयं सत्यापित करने और उन्हें क्रमिक रूप से सुधारने की अनुमति देकर जेनरेटेड कोड की सटीकता और विश्वसनीयता में सुधार करता है।
• बहु-चरणीय तर्क: क्रमिक तर्क-वितर्क और कई तार्किक चरणों के एकीकरण की आवश्यकता वाले कार्यों में GRPO ने मॉडलों के प्रदर्शन को बेहतर दिखाया है।

एडवांस्ड GRPO

व्यवहार में GRPO लागू करते समय कुछ उन्नत सुझाव और तरकीबें हैं जिनसे आपको अवगत होना चाहिए। 

एडवांस्ड रिवॉर्ड फंक्शंस

रिवॉर्ड फंक्शंस मॉडल को यह फीडबैक देते हैं कि वह अपने उद्देश्यों को कितना अच्छी तरह प्राप्त कर रहा है। इस प्रक्रिया में कुछ अहम घटक होते हैं:

• प्रतिक्रियाओं में विविधता: उम्मीदवार आउटपुट्स की एक विस्तृत श्रृंखला उत्पन्न करना उच्च-गुणवत्ता वाले समाधान या रणनीतियाँ खोजने की संभावना बढ़ाता है।
• रिवॉर्ड्स में विविधता: ऐसे रिवॉर्ड फंक्शंस डिज़ाइन करना जो केवल द्विआधारी पास/फेल संकेत के बजाय, सफलता के अलग-अलग स्तरों या आंशिक उपलब्धि के बीच भेद कर सकें। इसे पार्शियल क्रेडिट रिवॉर्ड्स कहा जाता है, जो प्रतिक्रिया के विभिन्न पहलुओं के लिए आंशिक क्रेडिट देकर अधिक सूक्ष्म फीडबैक प्रदान करते हैं। उदाहरणों में कम से कम आउटपुट फॉर्मेट का सही होना सत्यापित करना, जेनरेटेड कोड का सफलतापूर्वक कम्पाइल होना, या कोड का यूनिट टेस्ट्स के किसी उपसमुच्चय को पास करना शामिल है। इस तरह के ग्रेडेड रिवॉर्ड से मॉडल क्रमिक रूप से सुधार करने के लिए प्रेरित होता है, भले ही प्रतिक्रिया पूरी तरह से सही न हो।

इसके अतिरिक्त, पूरे समूह के लिए एक बेसलाइन निर्धारित करना प्रशिक्षण प्रक्रिया को स्थिर और बेहतर बनाने में महत्वपूर्ण भूमिका निभा सकता है। इस बेसलाइन को व्यक्तिगत रिवॉर्ड्स से घटाने पर, मॉडल को पूरे समूह के प्रदर्शन के सापेक्ष फीडबैक मिलता है, जिससे रिवॉर्ड अनुमानों का विचलन घटता है और औसत से ऊपर क्रमिक सुधारों को प्रोत्साहन मिलता है।

टेम्परेचर 

LLMs में, टेम्परेचर पैरामीटर आउटपुट जेनरेशन के दौरान सैंपलिंग प्रक्रिया की रैंडमनेस को नियंत्रित करता है। टेम्परेचर 0 पर सेट करने से सैंपलिंग डेटerministic हो जाती है, यानी मॉडल हमेशा सबसे संभावित अगले टोकन को चुनता है। 

हालाँकि इससे स्थिरता मिलती है, यह अक्सर बार-बार एक जैसा आउटपुट उत्पन्न करने की ओर ले जाता है, जिससे प्रतिक्रियाओं में विविधता सीमित हो जाती है।

दूसरी ओर, टेम्परेचर बढ़ाने से अधिक रैंडमनेस आती है, जिससे मॉडल अधिक संभावनाओं का अन्वेषण कर सकता है। यह विविधता अलग या अप्रत्याशित समाधान खोजने में सहायक हो सकती है। 

हालाँकि, अधिक टेम्परेचर के साथ एक समझौता भी आता है: प्रत्येक अनुमान की गुणवत्ता कम होने की प्रवृत्ति होती है क्योंकि मॉडल कम संभावित टोकन्स को अधिक बार सैंपल करता है। इस कारण, समग्र सीखने की गति धीमी हो सकती है।

उचित टेम्परेचर चुनना कभी-कभी एक कला है!

रिवॉर्ड हैकिंग

मॉडल चतुर होते हैं और कभी-कभी वास्तविक लक्ष्य हासिल किए बिना अधिकतम रिवॉर्ड पाने के लिए रिवॉर्ड फंक्शंस का अनपेक्षित तरीकों से लाभ उठाते हैं। 

उदाहरण के लिए, मान लीजिए कि मॉडल को दिए गए कोड स्निपेट के लिए टेस्ट्स बनाने पर रिवॉर्ड मिलता है। हो सकता है कि मॉडल एक टेस्ट फंक्शन दे दे, लेकिन वास्तव में कुछ भी टेस्ट न करे, इस प्रकार कोड की शुद्धता सत्यापित करने के वास्तविक उद्देश्य को दरकिनार कर के फिर भी रिवॉर्ड पा ले।

रिवॉर्ड फंक्शंस लिखते समय इन हैक्स के प्रति सजग रहना चाहिए। उदाहरण के लिए, टेस्ट जेनरेशन के मामले में, सामान्यतः यह आवश्यक किया जाता है कि मॉडल टेस्ट के अंदर कम से कम एक ‘assert’ स्टेटमेंट बनाए। अन्यथा, उसे दंडित किया जाता है।

निष्कर्ष

अंत में, मैं सभी अवधारणाओं की अच्छी समझ सुनिश्चित करने के लिए GRPO को एक वास्तविक दुनिया परिदृश्य पर लागू करना चाहूँगा।

कल्पना कीजिए कि आप और आपके दोस्त एक फिटनेस प्रतियोगिता में भाग लेते हैं जहाँ दौड़ना, पुश-अप्स और रोइंग में प्रदर्शन के आधार पर रिवॉर्ड्स दिए जाते हैं। शुरुआती तौर पर, जिम केवल सर्वोत्तम पूर्ण (absolute) परिणाम वाले व्यक्ति को ही रिवॉर्ड देता है। 

इस तरह, यदि ऐलिस अधिक दूर दौड़ती है और बेन से अधिक पुश-अप्स करती है, तो वह हमेशा जीतती है, भले ही बेन ने उल्लेखनीय सुधार दिखाया हो। 

यह बेन के लिए अनुचित नहीं लगता?

इसे संबोधित करने के लिए, जिम एक अलग तरीका अपनाता है: पिछली प्रदर्शन के आधार पर व्यक्तिगत लक्ष्य। 

अब आप केवल तभी रिवॉर्ड कमाते हैं जब आप अपने ही पिछले रिकॉर्ड्स को मात दें। यह अधिक न्यायसंगत लगता है, लेकिन नई समस्याएँ पैदा करता है। नए सदस्य, जैसे चार्ली, के पास तुलना के लिए कोई पिछला डेटा नहीं होता, जिससे उनके लिए भाग लेना कठिन हो जाता है। इसके अलावा, ट्रेनर्स को हर किसी की प्रगति को अलग-अलग ट्रैक करना पड़ता है, जो अक्षम हो जाता है।

आखिरकार, जिम एक बेहतर समाधान प्रस्तुत करता है: GRPO। 

वर्कआउट शुरू होने से पहले, जिम इंस्ट्रक्टर एक सिस्टम सक्रिय करता है जो प्रतिभागियों की विशेषताओं का विश्लेषण करता है और समान स्थितियों के आधार पर उन्हें समूहों में बाँटता है। वर्कआउट के दौरान, सिस्टम प्रत्येक प्रतिभागी के प्रदर्शन को ट्रैक करता है और प्रत्येक समूह के भीतर औसत स्कोर की गणना करता है जो बेसलाइन का काम करता है। बाद में, रिवॉर्ड्स इस आधार पर दिए जाते हैं कि प्रत्येक व्यक्ति ने उसी दिन अपने समूह के औसत प्रदर्शन से कितना अधिक किया। 

तो यदि बेन अपने समूह के अन्य लोगों की तुलना में काफी बेहतर प्रदर्शन करता है, तो उसे रिवॉर्ड मिलता है, भले ही ऐलिस का कुल स्कोर अब भी सबसे अधिक हो। यह तरीका चार्ली जैसे नए आने वालों के लिए भी न्यायसंगत है, क्योंकि उनका मूल्यांकन उसी सत्र में अपने साथियों के सापेक्ष किया जाता है, न कि पिछले इतिहास के आधार पर।

इस प्रक्रिया में एक महत्वपूर्ण कारक टेम्परेचर है, जो यह नियंत्रित करता है कि सुधार को कितना सख्ती से पुरस्कृत किया जाए। यदि टेम्परेचर बहुत कम है, तो केवल बेसलाइन से बड़े सुधार ही मायने रखते हैं। यदि टेम्परेचर बहुत अधिक है, तो छोटे सुधार भी पुरस्कृत किए जाते हैं, जो प्रयोग को प्रोत्साहित करता है लेकिन प्रगति को अस्थिर बना सकता है। 

GRPO सही संतुलन खोजने का लक्ष्य रखता है, ताकि निरंतर सुधार होते रहें और अन्वेषण की गुंजाइश भी बनी रहे।

अंततः, रिवॉर्ड हैकिंग का जोखिम भी होता है। इसका अर्थ होगा कि प्रतिभागी बिना वास्तविक सुधार किए सिस्टम को मात देने के तरीके ढूँढ लेते हैं। उदाहरण के लिए, बेन केवल सबसे आसान अभ्यासों पर ध्यान केंद्रित कर सकता है ताकि बिना वास्तविक प्रयास के अपना स्कोर बढ़ा ले। 

इसे रोकने के लिए, जिम सुरक्षा उपाय जोड़ता है, जैसे अभ्यासों का संतुलित मिश्रण आवश्यक करना या दोहरावदार, कम-प्रयास वाले अभ्यासों पर दंड लगाना। ये बाधाएँ सुनिश्चित करती हैं कि रिवॉर्ड वास्तविक प्रगति को दर्शाएँ।

यदि आप यह जानने के इच्छुक हैं कि LLMs कैसे काम करते हैं और अपना खुद का कैसे विकसित करें, तो हमारा कोर्स देखें, Developing Large Language Models।