Databricks DBRX ट्यूटोरियल: चरण-दर-चरण गाइड

Databricks ने हाल ही में DBRX पेश किया है—इसका ओपन, सामान्य-उद्देश्य बड़ा भाषा मॉडल (LLM)—जो एक फाइन-ग्रेन दृष्टिकोण के साथ mixture-of-experts (MoE) आर्किटेक्चर पर बना है। सभी कार्यों के लिए एक ही न्यूरल नेटवर्क का उपयोग करने के बजाय, यह सिस्टम कई विशिष्ट "एक्सपर्ट" नेटवर्क्स से बना है, जिनमें से प्रत्येक अलग-अलग प्रकार के कार्यों या डेटा के लिए अनुकूलित है।

यह मॉडल GPT-3.5 और Llama 2 जैसे पारंपरिक LLMs से बेहतर प्रदर्शन करता है क्योंकि यह तेज और अधिक किफायती है। परीक्षणों के अनुसार, भाषा समझने वाले कार्यों में DBRX ने 73.7% स्कोर किया, जो LLaMa2 (69.8%) से अधिक है।

इस लेख में, हम इसकी क्षमताओं और Databricks DBRX के साथ आरंभ करने के तरीकों पर विस्तार से चर्चा करेंगे।

Databricks DBRX क्या है?

DBRX एक ट्रांसफॉर्मर-आधारित डिकोडर-ओनली आर्किटेक्चर का उपयोग करता है, जिसे नेक्स्ट-टोकन प्रेडिक्शन से प्रशिक्षित किया गया है। यह फाइन-ग्रेन mixture-of-experts (MoE) आर्किटेक्चर अपनाता है। ये ‘एक्सपर्ट्स’ LLMs पर आधारित विशेष एजेंटों को संदर्भित करते हैं, जिन्हें डोमेन-विशिष्ट ज्ञान और तर्क क्षमता से समृद्ध किया गया है।

DBRX में छोटे एक्सपर्ट्स की बड़ी संख्या है (कुल 16 एक्सपर्ट), और यह किसी भी इनपुट के लिए उनमें से एक उपसमुच्चय (4 एक्सपर्ट) का चयन करता है।

सरल शब्दों में, एक्सपर्ट्स के 65 गुना अधिक संभावित संयोजनों के साथ यह फाइन-ग्रेन दृष्टिकोण, Mixtral और Grok-1 जैसे अन्य ओपन MoE मॉडलों की तुलना में मॉडल गुणवत्ता में सुधार करता है, जिनमें एक्सपर्ट्स कम हैं और प्रति इनपुट कम एक्सपर्ट चुने जाते हैं।

DBRX के बारे में कुछ प्रमुख विवरण:

1. पैरामीटर आकार: DBRX में कुल 132 बिलियन पैरामीटर हैं, जिनमें से 36 बिलियन पैरामीटर किसी भी इनपुट पर सक्रिय होते हैं।
2. प्रीट्रेनिंग डेटा: इसे 12 ट्रिलियन टोकन्स के सावधानीपूर्वक क्यूरेट किए गए डेटा और 32,000 टोकन्स की संदर्भ लंबाई पर प्री-ट्रेन किया गया, जो टोकन-फॉर-टोकन आधार पर MPT मॉडल परिवार को प्री-ट्रेन करने में उपयोग किए गए डेटा से कम से कम 2x बेहतर है।

DBRX को कैसे प्रशिक्षित किया गया?

मॉडल को अत्यंत बड़े डेटासेट पर प्री-ट्रेन किया गया, जो Databricks द्वारा पहले उपयोग किए गए डेटासेट्स से लगभग दोगुना प्रभावी माना जाता है। मॉडल को प्रशिक्षित करने के लिए Databricks के टूल्स का एक सूट—जैसे डेटा प्रोसेसिंग के लिए Apache Spark और Databricks notebooks तथा डेटा गवर्नेंस के लिए Unity Catalog—का उपयोग किया गया।

प्रशिक्षण के दौरान, करिकुलम लर्निंग अपनाई गई और डेटा मिक्स को इस तरह बदला गया कि मॉडल गुणवत्ता में काफी सुधार हो सके। प्रशिक्षण डेटा मिक्स में ऐसे रणनीतिक बदलावों ने विविध इनपुट्स को प्रभावी ढंग से संभालने की मॉडल क्षमता का अनुकूलन किया।

DBRX की प्रीट्रेनिंग में उपयोग की गई कुछ प्रमुख तकनीकों में शामिल हैं:

• Rotary Position Encodings (RoPE): ट्रांसफॉर्मर्स में एक विधि जो उच्च-आयामी स्पेस में रोटेशनल रूपांतरणों द्वारा टोकन पोजिशन्स एन्कोड करती है, जिससे अनुक्रम समझने की क्षमता बढ़ती है।
• Gated Linear Units (GLU): एक न्यूरल नेटवर्क लेयर जो गेट तंत्र का उपयोग कर सूचना प्रवाह को नियंत्रित करती है, जटिल पैटर्न पकड़ने में सहायक।
• Grouped Query Attention (GQA): एक अटेंशन मैकेनिज्म जो क्वेरीज़ के समूहों के भीतर वेट्स की गणना करता है ताकि गणनात्मक लागत घटे और फोकस बेहतर हो।
• tiktoken रिपॉजिटरी से GPT-4 टोकनाइज़र: GPT-4 के लिए एक विशिष्ट टोकनाइज़र इम्प्लीमेंटेशन, जो पाठ को मॉडल-तैयार टोकनों में बदलता है, GPT-4 की प्रोसेसिंग जरूरतों के लिए अनुकूलित।

DBRX समान मॉडलों की तुलना में कैसा है?

Databricks का दावा है कि दक्षता और कार्य निष्पादन के मामले में इसका DBRX मॉडल कई शीर्ष ओपन-सोर्स मॉडलों से बेहतर है।

यहाँ एक विस्तृत तुलना दी गई है कि DBRX अपने प्रतिस्पर्धियों के मुकाबले कैसा है:

1) DBRX बनाम LLaMA2-70B

• सामान्य ज्ञान (MMLU): DBRX Instruct का स्कोर LLaMA2-70B से 9.8% अधिक है।
• कॉमनसेंस रीज़निंग (HellaSwag डेटासेट): DBRX Instruct 3.1% अधिक स्कोर के साथ बढ़त बनाए रखता है।
• Databricks gauntlet (विभिन्न कार्यों के आधार पर प्री-ट्रेन LLMs की क्षमताओं का आकलन करने वाला मॉडल): DBRX Instruct को मजबूत बढ़त है—LLaMA2-70B से 14% अधिक स्कोर।
• प्रोग्रामिंग और गणितीय तर्कशीलता: DBRX Instruct प्रोग्रामिंग में 37.9% और गणितीय तर्क में 40.2% के साथ अलग नजर आता है।

2) DBRX Instruct बनाम Mixtral Instruct

• सामान्य ज्ञान: DBRX Instruct 2.3% अधिक स्कोर के साथ Mixtral Instruct से आगे है।
• कॉमनसेंस रीज़निंग (HellaSwag डेटासेट): DBRX Instruct 1.4% अधिक स्कोर के साथ बेहतर प्रदर्शन करता है।
• Databricks gauntlet: DBRX Instruct 6.1% के उल्लेखनीय अंतर से Mixtral Instruct से आगे है।
• प्रोग्रामिंग और गणितीय तर्कशीलता: DBRX Instruct ने प्रोग्रामिंग में 15.3% और गणितीय तर्क में 5.8% से Mixtral Instruct को पीछे छोड़ा।

3) DBRX बनाम Grok-1

• सामान्य ज्ञान: प्रदर्शन कुछ हद तक समान है, जहाँ DBRX Instruct को Grok-1 पर 0.7% की हल्की बढ़त है।
• प्रोग्रामिंग और गणितीय तर्कशीलता: DBRX Instruct ने प्रोग्रामिंग में 6.9% और गणितीय तर्क में 4% की बढ़त के साथ Grok-1 से बेहतर प्रदर्शन किया।

4) DBRX बनाम Mixtral Base

• सामान्य ज्ञान: DBRX Instruct 1.8% अधिक स्कोर के साथ थोड़ा आगे है।
• कॉमनसेंस रीज़निंग (HellaSwag डेटासेट): DBRX 2.5% के अंतर से अधिक स्कोर करता है।
• Databricks gauntlet: DBRX, Mixtral Base पर 10% से आगे है।
• प्रोग्रामिंग और गणितीय तर्कशीलता: DBRX Instruct 29.9% अधिक स्कोर के साथ उल्लेखनीय बढ़त दिखाता है।

तुलना तालिका

नीचे, हमने तुलनाओं को एक तालिका में संकलित किया है और कुछ परिणामों के आधार पर एक ग्राफ़ दिखाया है:

अन्य ओपन-सोर्स LLMs की तुलना में DBRX की गुणवत्ता - स्रोत

DBRX का उपयोग कैसे करें: चरण-दर-चरण गाइड

DBRX तक पहुँचने से पहले, सुनिश्चित करें कि आपके सिस्टम में कम से कम 320GB मेमोरी हो। फिर DBRX तक पहुँचने के लिए इन चरणों का पालन करें:

DBRX तक पहुँचना

• transformers लाइब्रेरी इंस्टॉल करें

pip install "transformers>=4.40.0"संचालित द्वारा

• फिर, Hugging Face से रीड परमिशन के साथ एक एक्सेस टोकन रिक्वेस्ट करें (मॉडल डाउनलोड करने के लिए यह आवश्यक है)।
• एक्सेस मिल जाने पर, निम्न कोड का उपयोग करके मॉडल को इम्पोर्ट और लोड करें।

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-base", token="hf_YOUR_TOKEN")
model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-base", device_map="auto", torch_dtype=torch.bfloat16, token="hf_YOUR_TOKEN")

# Directing tensors to "cuda" (GPU) for faster computation as GPUs are better at handling parallel tasks.
input_text = "Databricks was founded in "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

# DBRX accepts a context length of up to 32768 tokens. Here`max_new_tokens` specifies the maximum number of tokens to generate.
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))संचालित द्वारा

Transformers और Hugging Face का उपयोग करना सीखना चाहते हैं? हमारा ट्यूटोरियल पढ़ें।

DBRX के साथ बुनियादी कार्य

DBRX किसी भी LLM की तरह बुनियादी कंटेंट निर्माण और प्रॉम्प्ट-आधारित प्रतिक्रिया कार्यों में आपकी मदद कर सकता है। आप DBRX के साथ यह कर सकते हैं:

• टेक्स्ट कम्प्लीशन: DBRX आपके प्रॉम्प्ट्स के आधार पर टेक्स्ट-आधारित प्रतिक्रियाएँ जनरेट कर सकता है।
• भाषा समझ: यह प्राकृतिक भाषा इनपुट्स को पार्स करना, लंबे दस्तावेज़ों का सार प्रस्तुत करना, या कोडिंग भाषाओं या स्क्रिप्ट शैलियों के बीच टेक्स्ट का अनुवाद करना जैसे कार्य कर सकता है।
• क्वेरी ऑप्टिमाइज़ेशन: DBRX डेटाबेस क्वेरियों को भी अनुकूलित कर सकता है ताकि निष्पादन समय कम हो और डेटा इंजीनियर बिना प्रदर्शन से समझौता किए अन्य अहम कार्यों पर ध्यान दे सकें।

DBRX के साथ कोडिंग कार्य

DBRX डेटा प्रैक्टिशनर्स या कोडर्स की मदद के लिए उन्नत कोडिंग-संबंधित कार्य भी कर सकता है:

• कोड और व्याख्या: यह विभिन्न प्रोग्रामिंग कार्यों के लिए कोड जनरेट कर सकता है, मौजूदा फ़ंक्शन्स की व्याख्या कर सकता है, या विशेष समस्याओं के लिए एल्गोरिद्म सुझा सकता है ताकि कोड को समझा और अनुकूलित किया जा सके।

सरल कमांड्स पर DBRX की प्रतिक्रिया - स्रोत

• DBRX के साथ डिबगिंग: यह डेवलपर उत्पादकता बढ़ाने और आपकी डिबगिंग प्रक्रिया को तेज करने के लिए सुझाए गए कोड सुधार प्रदान करता है।
• भेद्यता पहचान: यह कोड में समस्याओं की पहचान कर सकता है और उन्हें कम करने के समाधान प्रस्तावित कर सकता है।

DBRX को फाइन-ट्यून कैसे करें

आप Github के ओपन-सोर्स LLM foundry के साथ DBRX को फाइन-ट्यून कर सकते हैं। हालाँकि, फाइन-ट्यूनिंग के लिए प्रशिक्षण उदाहरणों को डिक्शनरी के रूप में फॉर्मैट करना आवश्यक है:

formatted_example = {'prompt': <prompt_text>, 'response': <response_text>}संचालित द्वारा

Prompt: यह प्रारंभिक प्रश्न या निर्देश है जो आप मॉडल को देते हैं।

Response: यह वह उत्तर है जिसे उत्पन्न करने के लिए मॉडल को प्रशिक्षित किया जाता है।

आप किसी भी LLM को फाइन-ट्यून करने के लिए तीन अलग-अलग डेटा सेट्स का उपयोग कर सकते हैं:

1. HuggingFace Hub पर उपलब्ध कोई डेटासेट।
2. आपके डिवाइस या मशीन पर लोकल रूप से संग्रहीत कोई डेटासेट।
3. StreamingDataset .mds फॉर्मैट में कोई डेटासेट।

1) Hugging Face Hub का उपयोग

यदि आप HuggingFace Hub से किसी डेटासेट का उपयोग करके फाइन-ट्यून करना चाहते हैं और

उस डेटासेट में प्री-डिफाइंड प्रीप्रोसेसिंग फ़ंक्शन है या वह पहले से

"prompt"/"response" फॉर्मैट का पालन करता है, तो आप बस डेटालोडर को उस डेटासेट की ओर इंगित कर सकते हैं।

train_loader:
    name: finetuning
    dataset:
        hf_name: tatsu-lab/alpaca
        split: train
        ...संचालित द्वारा

यदि कोई प्रीप्रोसेसिंग फ़ंक्शन परिभाषित नहीं है, तो डेटालोडर के लिए कस्टम प्रीप्रोसेसिंग फ़ंक्शन निर्दिष्ट करने हेतु preprocessing_fn का उपयोग करें।

train_loader:
    name: finetuning
    dataset:
        hf_name: mosaicml/doge-facts
        preprocessing_fn: my_data.formatting:dogefacts_prep_fn
        split: train
        ...
संचालित द्वारा

2) लोकल डेटासेट का उपयोग

यदि आपके पास पहले से आपके डिवाइस में फाइन-ट्यूनिंग डेटासेट है, तो YAML कॉन्फ़िग yamls/finetune/1b_local_data_sft.yaml में लोकल JSONL फाइलें परिभाषित करें।

train_loader:
    name: finetuning
    dataset:
        hf_name: json # assuming data files are json formatted
        hf_kwargs:
            data_dir: /path/to/data/dir/
        preprocessing_fn: my.import.path:my_preprocessing_fn
        split: train
        ...
संचालित द्वारा

preprocessing_fn को छोड़ दें यदि आपका लोकल डेटा पहले से "prompt"/"response" फॉर्मैट में है।

3) StreamingDataset का उपयोग

अपने HuggingFace डेटासेट को MDS फॉर्मैट में कन्वर्ट करने के लिए

convert_finetuning_dataset.py स्क्रिप्ट का उपयोग करें।

अपने HuggingFace डेटासेट को स्ट्रीमिंग फॉर्मैट में बदलने के बाद, बस अपनी YAML कॉन्फ़िगरेशन को इस तरह समायोजित करें।

train_loader:
    name: finetuning
    dataset:
        remote: s3://my-bucket/my-copy-doge-facts
        local: /tmp/mds-cache/
        split: train
        ...
संचालित द्वारा

यदि आप फुल-पैरामीटर फाइन-ट्यूनिंग देखना चाहते हैं, तो इस YAML कॉन्फ़िग को देखें:

dbrx-full-ft.yaml

निष्कर्ष

Databricks DBRX कई विशेषीकृत नेटवर्क्स का उपयोग करता है ताकि मॉडल की गति और लागत-प्रभावशीलता बढ़े। यह फाइन-ग्रेन दृष्टिकोण इसे जटिल कार्यों को संभालने में अन्य LLMs से बेहतर प्रदर्शन करने में सक्षम बनाता है।

बड़े भाषा मॉडलों और उन्हें फाइन-ट्यून करने के बारे में और जानना चाहते हैं? इन संसाधनों को देखें:

• Working with Hugging Face
• Fine-Tuning Llama 2
• Fine-Tuning Google Gemma
• Fine-Tuning the Phi-2 Model