GPT 3.5 को फाइन-ट्यून कैसे करें: एआई की संपूर्ण क्षमता अनलॉक करें

OpenAI का नवीनतम भाषा मॉडल, GPT-3.5 Turbo, बड़े भाषा मॉडलों की क्षमताओं में एक बड़ा कदम है। GPT-3 परिवार पर आधारित, GPT-3.5 Turbo पहले के संस्करणों की तुलना में अधिक किफायती और सुगम होते हुए भी आश्चर्यजनक रूप से मानवीय-सा पाठ जनरेट कर सकता है। हालांकि, GPT-3.5 Turbo की असली ताकत उसकी फाइन-ट्यूनिंग नामक प्रक्रिया के माध्यम से अनुकूलित होने की क्षमता में निहित है।

फाइन-ट्यूनिंग डेवलपर्स को अपने डेटा के साथ मॉडल को विशिष्ट उपयोग-प्रकरणों के लिए ढालने और विशेष कार्यों पर इसके प्रदर्शन को उल्लेखनीय रूप से बढ़ाने की अनुमति देता है। फाइन-ट्यूनिंग के साथ, GPT-3.5 Turbo ने कुछ संकीर्ण अनुप्रयोगों पर GPT-4 के बराबर या उससे बेहतर प्रदर्शन भी किया है।

यह नई कस्टमाइज़ेशन-स्तर व्यवसायों और डेवलपर्स को GPT-3.5 Turbo का उपयोग कर दर्जी-नुमा, उच्च-प्रदर्शन एआई अनुप्रयोग विकसित करने की संभावनाएँ खोलता है। जैसे-जैसे इस वर्ष के अंत तक GPT-3.5 Turbo और इससे भी अधिक शक्तिशाली GPT-4 के लिए फाइन-ट्यूनिंग उपलब्ध होती जाएगी, हम अनुप्रयुक्त एआई के एक नए युग की दहलीज पर खड़े हैं।

भाषा मॉडलों को फाइन-ट्यून क्यों करें?

GPT-3.5 Turbo जैसे बड़े भाषा मॉडलों से सर्वश्रेष्ठ परिणाम पाने के लिए फाइन-ट्यूनिंग एक अहम तकनीक बन गई है। उदाहरण के लिए, हमारे पास GPT-3 को फाइन-ट्यून करने पर एक अलग मार्गदर्शिका भी है।

भले ही प्री-ट्रेंड मॉडल बॉक्स से बाहर ही मानवीय-सा पाठ जनरेट कर सकते हैं, उनकी वास्तविक क्षमताएँ फाइन-ट्यूनिंग से खुलती हैं। इस प्रक्रिया में मॉडल को डोमेन-विशिष्ट डेटा पर प्रशिक्षित करके उसे ऐसे विशेष उपयोग-प्रकरणों के अनुरूप ढाला जाता है जिन्हें सामान्य-उद्देश्य प्रशिक्षण हासिल नहीं कर पाता। फाइन-ट्यूनिंग किसी खास क्षेत्र के लिए मॉडल की प्रासंगिकता, सटीकता और प्रदर्शन में सुधार लाती है।

विशिष्ट उपयोग-प्रकरणों के लिए अनुकूलन

फाइन-ट्यूनिंग डेवलपर्स को मॉडल को इस तरह अनुकूलित करने देती है कि वह विशिष्ट आवश्यकताओं और डोमेनों के अनुरूप अनूठे और भिन्न अनुभव बना सके। डोमेन-विशिष्ट डेटा पर प्रशिक्षण देकर, मॉडल उस विशेष क्षेत्र के लिए अधिक प्रासंगिक और सटीक आउटपुट जनरेट कर सकता है। यह स्तर का अनुकूलन व्यवसायों को दर्जी-नुमा एआई अनुप्रयोग बनाने में सक्षम बनाता है।

बेहतर नियंत्रण-क्षमता और विश्वसनीयता

फाइन-ट्यूनिंग निर्देशों का पालन करने और विश्वसनीय, सुसंगत आउटपुट फॉर्मैटिंग देने में मॉडल की क्षमता बढ़ाती है। फॉर्मैटेड डेटा पर प्रशिक्षण के माध्यम से, मॉडल वांछित संरचना और शैली सीखता है, जिससे संचालन-क्षमता बेहतर होती है। इसका परिणाम अधिक पूर्वानुमेय और नियंत्रित आउटपुट होता है।

उन्नत प्रदर्शन

फाइन-ट्यूनिंग मॉडल के प्रदर्शन को उल्लेखनीय रूप से बढ़ा सकती है, यहाँ तक कि फाइन-ट्यून किया गया GPT-3.5 Turbo कुछ विशेष कार्यों पर GPT-4 के बराबर या उससे आगे निकल सकता है। किसी संकीर्ण डोमेन के लिए मॉडल का अनुकूलन करके, वह उसी समस्या-क्षेत्र में एक सामान्य मॉडल की तुलना में बेहतर परिणाम देता है। फाइन-ट्यूनिंग से मिलने वाला प्रदर्शन-लाभ ठोस होता है।

हमारी 12 GPT-4 ओपन-सोर्स विकल्प गाइड देखें, जो उन टूल्स की पड़ताल करती है जो समान प्रदर्शन दे सकते हैं और कम कंप्यूटेशनल संसाधनों की जरूरत रखते हैं।

GPT 3.5-Turbo की फाइन-ट्यूनिंग का प्रभाव

OpenAI द्वारा किए गए बीटा परीक्षण में, उन्होंने देखा कि जिन्होंने मॉडल को फाइन-ट्यून किया, उन्हें विभिन्न मानक अनुप्रयोगों में प्रदर्शन में उल्लेखनीय सुधार मिले। यहाँ कुछ मुख्य बातें हैं:

1. बेहतर निर्देश-पालन

फाइन-ट्यूनिंग के माध्यम से, कंपनियाँ मॉडल को विशेष दिशानिर्देशों के अनुरूप रहने के लिए बेहतर ढंग से निर्देशित कर सकती हैं। उदाहरण के लिए, यदि किसी कंपनी को संक्षिप्त उत्तर चाहिए या मॉडल को हमेशा किसी विशेष भाषा में जवाब देना है, तो फाइन-ट्यूनिंग मददगार हो सकती है। एक क्लासिक उदाहरण यह है कि डेवलपर्स मॉडल को इस तरह समायोजित कर सकते हैं कि अनुरोध पर वह लगातार जर्मन में उत्तर दे।

2. सुसंगत उत्तर-संरचना

फाइन-ट्यूनिंग का एक प्रमुख लाभ यह है कि यह मॉडल के आउटपुट को अधिक समान बना देता है। यह विशेष रूप से उन कार्यों के लिए मूल्यवान है जिनमें खास उत्तर-संरचना चाहिए, जैसे कोड सुझाव या API इंटरेक्शन जनरेट करना। उदाहरण के लिए, फाइन-ट्यूनिंग के साथ, डेवलपर्स भरोसा कर सकते हैं कि मॉडल उपयोगकर्ता क्वेरी को उच्च-गुणवत्ता वाले JSON फॉर्मैट में बदल देगा जो उनके सिस्टम के अनुकूल हो।

3. वैयक्तिकृत टोन

फाइन-ट्यूनिंग का उपयोग मॉडल के उत्तरों को किसी कंपनी की अनूठी आवाज़ या शैली के और करीब लाने के लिए किया जा सकता है। विशिष्ट ब्रांड वॉयस वाली कंपनियाँ इस सुविधा का लाभ उठाकर सुनिश्चित कर सकती हैं कि मॉडल का टोन उनके ब्रांड के सार से मेल खाए।

फाइन-ट्यूनिंग के लिए पूर्वापेक्षाएँ

फाइन-ट्यूनिंग आपको GPT-3.5 Turbo जैसे प्री-ट्रेंड भाषा मॉडल को अपने डेटा पर प्रशिक्षण जारी रखकर अनुकूलित करने देती है। इससे मॉडल आपके विशिष्ट उपयोग-प्रकरण के अनुरूप ढलता है और उसके प्रदर्शन में उल्लेखनीय सुधार होता है।

फाइन-ट्यूनिंग शुरू करने के लिए, सबसे पहले आपको OpenAI API तक पहुँच चाहिए। OpenAI वेबसाइट पर साइन अप करने के बाद, आप एक API कुंजी प्राप्त कर सकते हैं जिसके जरिए आप API और मॉडलों के साथ इंटरैक्ट कर पाएँगे।

इसके बाद, आपको फाइन-ट्यूनिंग के लिए एक डेटासेट तैयार करना होगा। इसमें टेक्स्ट प्रॉम्प्ट्स और वांछित मॉडल प्रतिक्रियाओं के उदाहरण संकलित करना शामिल है। डेटा उसी फॉर्मैट में होना चाहिए जिसमें आपका अनुप्रयोग मॉडल का उपयोग करेगा। डेटा को आवश्यक JSONL संरचना में साफ़ करना और फॉर्मैट करना भी महत्वपूर्ण है।

OpenAI CLI आपके प्रशिक्षण डेटा को मान्य और प्रीप्रोसेस करने के लिए उपयोगी टूल्स प्रदान करता है।

मान्य होने के बाद, आप डेटा को OpenAI सर्वरों पर अपलोड कर सकते हैं।

अंत में, आप API के माध्यम से फाइन-ट्यूनिंग जॉब शुरू करते हैं, बेस GPT-3.5

Turbo मॉडल चुनते हैं और अपना प्रशिक्षण डेटा फ़ाइल पास करते हैं। फाइन-ट्यूनिंग प्रक्रिया डेटा के आकार के अनुसार घंटों या दिनों तक चल सकती है। आप API के जरिए प्रशिक्षण की प्रगति की निगरानी कर सकते हैं।

OpenAI GPT 3.5-Turbo मॉडल को फाइन-ट्यून कैसे करें: चरण-दर-चरण मार्गदर्शिका

हाल ही में OpenAI ने भाषा मॉडलों की फाइन-ट्यूनिंग के लिए UI इंटरफेस जारी किया है। इस ट्यूटोरियल में, मैं OpenAI UI का उपयोग करके एक फाइन-ट्यून किया हुआ GPT मॉडल बनाऊँगा। इस भाग के साथ चलने के लिए, आपके पास OpenAI खाता और कुंजी होना आवश्यक है।

1. platform.openai.com में लॉगिन करें

2. अपना डेटा तैयार करें

डेमो के लिए, मैंने प्रश्न-उत्तर का एक छोटा डेटासेट तैयार किया है, जो वर्तमान में Pandas DataFrame के रूप में स्टोर है।

यह दिखाने के लिए कि मैंने क्या किया, मैंने 50 मशीन लर्निंग प्रश्न और उनके शेक्सपियर शैली में उत्तर बनाए। इस फाइन-ट्यूनिंग जॉब के जरिए, मैं GPT3.5-turbo मॉडल की शैली और टोन को वैयक्तिकृत कर रहा हूँ।

भले ही यह बहुत व्यावहारिक उपयोग-प्रकरण न हो, क्योंकि आप प्रॉम्प्ट में बस “Answer in Shakespeare style” जोड़ सकते हैं, GPT3.5 निश्चित रूप से शेक्सपियर के बारे में जानता है और वांछित टोन में उत्तर जनरेट करेगा।

OpenAI के लिए डेटा jsonl फॉर्मैट में होना चाहिए। JSONL वह फॉर्मैट है जिसमें हर पंक्ति एक वैध JSON ऑब्जेक्ट होती है और पंक्तियाँ नई लाइनों से अलग होती हैं। मैंने pd.DataFrame को jsonl में बदलने के लिए एक सरल कोड लिखा है।

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")
संचालित द्वारा

मेरा jsonl फ़ाइल कुछ इस तरह दिखती है:

3. फाइन-ट्यूनिंग जॉब बनाएँ

platform.openai.com पर जाएँ, ऊपर के मेनू में Fine-tuning पर नेविगेट करें और Create New पर क्लिक करें।

बेस मॉडल चुनें। फिलहाल फाइन-ट्यूनिंग के लिए केवल 3 मॉडल उपलब्ध हैं (babbage-002, davinci-002, gpt-3.5-turbo-0613)।

इसके बाद, बस jsonl फ़ाइल अपलोड करें, जॉब का नाम दें, और Create पर क्लिक करें।

डेटासेट के आकार के आधार पर ट्यूनिंग जॉब में कई घंटे या दिनों का समय लग सकता है। मेरे उदाहरण में, डेटासेट में केवल 5,500 टोकन थे और फाइन-ट्यूनिंग में 6 घंटे से अधिक समय लगा। इस जॉब की लागत नगण्य थी (<$1 = 5,500/1000 x $0.08)।

यह ट्यूटोरियल दिखाता है कि आप UI का उपयोग करके GPT मॉडलों को कैसे फाइन-ट्यून कर सकते हैं। यदि आप यही कार्य API का उपयोग कर करना सीखना चाहते हैं, तो DataCamp पर Zoumana Keita का OpenAI API और Python के साथ GPT-3 की फाइन-ट्यूनिंग ट्यूटोरियल देखें।

4. फाइन-ट्यून किए गए मॉडल का उपयोग

ट्यूनिंग जॉब पूरा होने पर, आप अब API के माध्यम से या platform.openai.com पर उपलब्ध प्लेग्राउंड का उपयोग करके फाइन-ट्यून किए गए मॉडल का उपयोग कर सकते हैं।

ध्यान दें कि Model ड्रॉपडाउन के अंतर्गत अब चयन के लिए एक निजी 3.5-turbo उपलब्ध है। चलिए इसे आज़माते हैं।

प्रतिक्रियाओं के टोन और शैली पर ध्यान दें।

यदि आप OpenAI Python पैकेज के साथ प्रोग्रामेटिक रूप से ChatGPT से बातचीत करना सीखना चाहते हैं, तो DataCamp पर Python में OpenAI API के जरिए GPT-3.5 और GPT-4 का उपयोग ब्लॉग देखें।

सुरक्षा और गोपनीयता

OpenAI सुरक्षा को गंभीरता से लेता है और नए मॉडल जारी करने से पहले कड़े प्रक्रियाएँ अपनाता है, जिनमें परीक्षण, विशेषज्ञ फीडबैक, मॉडल व्यवहार सुधारने की तकनीकें और मॉनिटरिंग सिस्टम शामिल हैं। उनका लक्ष्य शक्तिशाली एआई सिस्टम को लाभकारी बनाना और अनुमानित जोखिमों को न्यूनतम करना है।

फाइन-ट्यूनिंग, GPT-3.5 Turbo जैसे मॉडलों को महत्वपूर्ण सुरक्षा विशेषताओं को बनाए रखते हुए अनुकूलित करने देती है। जोखिमों को कम करने और मॉडलों को संरेखित करने के लिए OpenAI विभिन्न स्तरों पर हस्तक्षेप लागू करता है—मेज़रमेंट, मॉडल बदलाव, नीतियाँ, मॉनिटरिंग।

जहाँ संभव हो, OpenAI प्रशिक्षण डेटा से व्यक्तिगत जानकारी हटाता है और निजी व्यक्तियों की जानकारी के साथ सामग्री जनरेट करने के विरुद्ध नीतियाँ रखता है। इससे गोपनीयता जोखिम कम होते हैं।

सामान्य उपयोग-प्रकरणों में जहाँ संवेदनशील डेटा नहीं है, OpenAI मॉडल सुरक्षित रूप से उपयोग किए जा सकते हैं। लेकिन स्वामित्त्व वाले या विनियमित डेटा के लिए, डेटा ऑब्फ़ुस्केशन, निजी एआई प्रोसेसर, या इन-हाउस मॉडल जैसे विकल्प अधिक उपयुक्त हो सकते हैं।

GPT 3.5-turbo की फाइन-ट्यूनिंग की लागत

फाइन-ट्यूनिंग और फाइन-ट्यून किए गए GPT 3.5-turbo मॉडल का उपयोग करने से जुड़ी तीन प्रकार की लागतें होती हैं।

1. प्रशिक्षण डेटा की तैयारी। इसमें आपके विशिष्ट उपयोग-प्रकरण के अनुरूप टेक्स्ट प्रॉम्प्ट्स और वांछित प्रतिक्रियाओं का डेटासेट तैयार करना शामिल है। लागत डेटा जुटाने और फॉर्मैट करने में लगने वाले समय और प्रयास पर निर्भर करेगी।
2. प्रारंभिक प्रशिक्षण लागत। यह प्रशिक्षण डेटा के प्रति टोकन के हिसाब से ली जाती है। $0.008 प्रति 1,000 टोकन की दर से, 100,000 टोकन के प्रशिक्षण सेट की प्रारंभिक फाइन-ट्यूनिंग लागत $800 होगी।
3. निरंतर उपयोग लागतें। इन्हें इनपुट प्रॉम्प्ट्स और मॉडल आउटपुट—दोनों के प्रति टोकन के हिसाब से लिया जाता है। $0.012 प्रति 1,000 इनपुट टोकन और $0.016 प्रति 1,000 आउटपुट टोकन की दर से, अनुप्रयोग उपयोग के अनुसार लागतें जल्दी बढ़ सकती हैं।

आइए उपयोग-लागत का एक उदाहरण देखें:

• चैटबॉट जिसमें 4,000 टोकन के प्रॉम्प्ट/रेस्पॉन्स, प्रति दिन 1,000 इंटरेक्शन:
  (4,000/1000) इनपुट टोकन x $0.012 x 1,000 इंटरेक्शन = $48 प्रतिदिन
  (4,000/1000) आउटपुट टोकन x $0.016 x 1,000 इंटरेक्शन = $64 प्रतिदिन
  कुल = $112 प्रतिदिन या $3,360 प्रतिमाह

• टेक्स्ट समरीकरण API जिसमें 2,000 टोकन इनपुट, प्रति दिन 500 अनुरोध:
  (2,000/1000) इनपुट टोकन x $0.012 x 500 अनुरोध = $12 प्रतिदिन
  (2,000/1000) आउटपुट टोकन x $0.016 x 500 अनुरोध = $16 प्रतिदिन
  कुल = $28 प्रतिदिन या $840 प्रतिमाह

नोट: टोकन को 1000 से इसलिए विभाजित किया गया है क्योंकि OpenAI की कीमतें प्रति 1K टोकन बताई जाती हैं।

वास्तविक जीवन के एंड-टू-एंड डेटा साइंस प्रोजेक्ट में ChatGPT का उपयोग करना सीखें। डेटा साइंस प्रोजेक्ट्स के लिए ChatGPT का उपयोग करने की गाइड देखें और जानें कि प्रोजेक्ट प्लानिंग, डेटा विश्लेषण, डेटा प्रीप्रोसेसिंग, मॉडल चयन, हाइपरपैरामीटर ट्यूनिंग, वेब ऐप बनाना और उसे Spaces पर डिप्लॉय करना कैसे करें।

निष्कर्ष

जैसे-जैसे हम बड़े भाषा मॉडलों की क्षमताओं की सीमा में उतरते हैं, GPT-3.5 Turbo न सिर्फ मानवीय-सा पाठ जनरेट करने के लिए बल्कि फाइन-ट्यूनिंग से खुलने वाली रूपांतरकारी संभावनाओं के लिए भी अलग दिखाई देता है। यह कस्टमाइज़ेशन प्रक्रिया डेवलपर्स को मॉडल की दक्षता को संकीर्ण अनुप्रयोगों के अनुरूप पैना करने देती है, जिससे विशेष क्षेत्रों में ऐसे श्रेष्ठ परिणाम मिलते हैं जो उसके उत्तराधिकारियों के बराबर या उनसे भी आगे हों।

निर्देश-पालन, उत्तर-संरचना, और टोन वैयक्तिकरण में हुए सुधार, विशिष्ट आवश्यकताओं से मेल खाती फाइन-ट्यून की गई एप्लिकेशनों में स्पष्ट दिखते हैं, जिससे व्यवसाय अनूठे एआई-संचालित अनुभव प्रस्तुत कर सकें। हालांकि, बड़ी शक्ति के साथ बड़ी जिम्मेदारी भी आती है। जेनेरेटिव एआई और भाषा मॉडलों को लागू करते समय लागतों को समझना और सुरक्षा व गोपनीयता विचारों के प्रति सजग रहना अत्यंत महत्वपूर्ण है।

डेटा साइंस कार्यों के लिए 60+ ChatGPT प्रॉम्प्ट्स तक पहुँच पाएँ—डेटा साइंस के लिए ChatGPT चीट शीट देखें।