GPT-4o विज़न फाइन-ट्यूनिंग: उदाहरणों के साथ मार्गदर्शिका

हाल तक, GPT-4o का फाइन-ट्यूनिंग केवल टेक्स्ट से संभव था। अब, OpenAI के नवीनतम फाइन-ट्यूनिंग API के साथ, हम छवियों के जरिए भी GPT-4o को कस्टमाइज़ कर सकते हैं। इसका मतलब है कि हम GPT-4o की क्षमताओं को अपने उपयोग-केस के अनुरूप ढाल सकते हैं।

यह अपडेट नई संभावनाओं के द्वार खोलता है—सोचिए, अधिक सटीक विज़ुअल सर्च, ऑब्जेक्ट डिटेक्शन, या यहां तक कि मेडिकल इमेज विश्लेषण के लिए GPT-4o को फाइन-ट्यून करना संभव हो जाता है।

इस ट्यूटोरियल में, मैं छवियों के साथ GPT-4o को फाइन-ट्यून करने के लिए चरण-दर-चरण मार्गदर्शन दूंगा। विशेष रूप से, हम मॉडल को जॉर्जियन ऑर्थोडॉक्स चर्चों की सही पहचान करने के लिए फाइन-ट्यून करेंगे।

GPT-4o विज़ुअल फाइन-ट्यूनिंग की कीमत

OpenAI 31 अक्टूबर तक प्रतिदिन एक मिलियन मुफ्त टोकन दे रहा है ताकि GPT-4o मॉडल को छवियों के साथ फाइन-ट्यून किया जा सके, जो GPT-4o की विज़ुअल फाइन-ट्यूनिंग क्षमताओं को परखने का अच्छा अवसर है।

31 अक्टूबर के बाद, प्रशिक्षण लागत पे-एज़-यू-गो मॉडल में बदल जाएगी, जिसकी फीस $25 प्रति मिलियन टोकन होगी। इसके अतिरिक्त, प्रत्येक इनपुट ($3.75 प्रति मिलियन टोकन) और आउटपुट ($15 प्रति मिलियन टोकन) के लिए इन्फ़रेंस लागत भी लगेगी।

यह ध्यान रखना महत्वपूर्ण है कि यह जानकारी 10 अक्टूबर तक सटीक है, इसलिए कीमतों और उपलब्धता के नवीनतम विवरण के लिए OpenAI के प्राइसिंग पेज को देखें।

GPT-4o की विज़ुअल समस्या चुनौती

अब रोचक हिस्से पर आते हैं। हम वास्तव में GPT-4o के लिए विज़ुअल फाइन-ट्यूनिंग कैसे करें?

आइए पहले यह परखते हैं कि GPT-4o इस जॉर्जियन चर्च को कितना अच्छी तरह पहचानता है:

पूछे जाने पर, मॉडल ने इसे जॉर्जिया के सेंट निकोलस चर्च के रूप में पहचाना, जबकि वास्तव में यह कुताइसी होली एन्नंसिएशन टेंपल है।

स्पष्ट है कि सुधार की गुंजाइश है, और यहीं फाइन-ट्यूनिंग काम आती है।

JSONL फ़ाइल तैयार करें

फाइन-ट्यूनिंग शुरू करने के लिए हमें पहले अपना प्रशिक्षण डेटासेट तैयार करना होगा। आधिकारिक प्रलेखन के अनुसार, हमें इस संरचना वाली JSONL फ़ाइल चाहिए:

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/e/e8/Khareba_church.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Kutaisi Holy Annunciation temple"
    }
  ]
}

//second example

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/en/a/af/Holy_Trinity_Cathedral_of_Tbilisi.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Holy trinity cathedral"
    }
  ]
}

//other examples below
संचालित द्वारा

पढ़ने में आसानी और स्थान के लिए, मैंने अपने प्रशिक्षण JSONL का केवल दो प्रविष्टियों वाला एक अंश शामिल किया है; अन्य प्रशिक्षण उदाहरण अलग-अलग पंक्तियों में जोड़े जाने चाहिए।

ध्यान दें कि फाइन-ट्यूनिंग चलाने के लिए हमें कम से कम 10 उदाहरण चाहिए। प्रत्येक पंक्ति में messages ऐरे वाला एक स्वतंत्र JSON ऑब्जेक्ट होता है।

यह भी ध्यान दें कि JSONL टिप्पणियों का समर्थन नहीं करता, इसलिए मैंने मार्गदर्शिका के उद्देश्य से // के बाद टिप्पणियां जोड़ी हैं। प्रशिक्षण से पहले उन्हें अवश्य हटा दें।

आप Notepad जैसे साधारण टेक्स्ट एडिटर का उपयोग कर सकते हैं, या यदि आप कई उदाहरणों के साथ काम कर रहे हैं, तो किसी स्क्रिप्ट से इस फ़ाइल का निर्माण स्वचालित करना बेहतर होगा। JSONL फ़ाइल तैयार हो जाने पर, आप फाइन-ट्यूनिंग प्रक्रिया शुरू कर सकते हैं।