ट्रांसफॉर्मर कैसे काम करते हैं: ट्रांसफॉर्मर आर्किटेक्चर समझाया गया

ट्रांसफॉर्मर क्या हैं?

ट्रांसफॉर्मर शुरू में सीक्वेंस ट्रांसडक्शन, या न्यूरल मशीन अनुवाद, की समस्या हल करने के लिए विकसित किए गए थे, यानी वे किसी भी ऐसे कार्य के लिए बने हैं जो इनपुट सीक्वेंस को आउटपुट सीक्वेंस में बदलता है। यही कारण है कि उन्हें “ट्रांसफॉर्मर” कहा जाता है।

लेकिन शुरुआत से चलते हैं।

एक सरल परिभाषा

ट्रांसफॉर्मर मॉडल एक न्यूरल नेटवर्क है जो अनुक्रमिक डेटा का संदर्भ सीखता है और उसी से नया डेटा उत्पन्न करता है।

सरल शब्दों में:

ट्रांसफॉर्मर कृत्रिम बुद्धिमत्ता का वह मॉडल है जो बड़े टेक्स्ट डेटा में पैटर्न का विश्लेषण कर मानव-समान टेक्स्ट को समझना और उत्पन्न करना सीखता है।

ट्रांसफॉर्मर मौजूदा समय के अत्याधुनिक NLP मॉडल हैं और एन्कोडर-डिकोडर आर्किटेक्चर का विकास माने जाते हैं। हालांकि, जहाँ एन्कोडर-डिकोडर आर्किटेक्चर अनुक्रमिक जानकारी निकालने के लिए मुख्यतः रिकरंट न्यूरल नेटवर्क (RNNs) पर निर्भर था, ट्रांसफॉर्मर में यह रिकरेंस बिल्कुल नहीं होता।

तो वे यह करते कैसे हैं?

वे विशेष रूप से विभिन्न तत्वों के बीच संबंधों का विश्लेषण कर संदर्भ और अर्थ को समझने के लिए बनाए गए हैं, और इसके लिए लगभग पूरी तरह एक गणितीय तकनीक, अटेंशन, पर निर्भर करते हैं।

छवि: लेखक द्वारा।

ऐतिहासिक परिप्रेक्ष्य

ट्रांसफॉर्मर को Google के शोधकर्ताओं ने 2017 के पेपर "Attention is All You Need" में प्रस्तुत किया। कोड TensorFlow के Tensor2Tensor पैकेज में जारी हुआ, और Harvard NLP समूह ने PyTorch में पेपर का एनोटेटेड गाइड प्रकाशित किया। आप हमारे अलग ट्यूटोरियल में यह भी सीख सकते हैं कि शुरुआत से ट्रांसफॉर्मर कैसे इम्प्लीमेंट करें।

एक साल के भीतर, Google के BERT और OpenAI के GPT-1 ने दिखाया कि बिना लेबल वाले टेक्स्ट पर प्री-ट्रेंड ट्रांसफॉर्मर लगभग किसी भी भाषा-कार्य के लिए फाइन-ट्यून किया जा सकता है। 2020 में GPT-3 आया, और स्टैनफोर्ड के शोधकर्ताओं ने इस नए वर्ग के मॉडलों के लिए “फाउंडेशन मॉडल” शब्द गढ़ा।

तब से चीज़ें तेज़ी से बढ़ी हैं: Meta के Llama (2023) जैसे ओपन-वेट मॉडल, GPT-4o (2024) जैसे मल्टीमोडल मॉडल, OpenAI के o1 और DeepSeek-R1 (2024 के अंत से 2025 की शुरुआत) जैसे रीजनिंग मॉडल, और GPT-5 (2025) व GPT-6 Astra (2026) जैसे एजेंटिक मॉडल। जिन मॉडलों के डिज़ाइन सार्वजनिक हैं, वे अब भी ट्रांसफॉर्मर ही हैं। पूरी कहानी के लिए हमारा बड़े भाषा मॉडलों का इतिहास देखें।

RNN मॉडलों से ट्रांसफॉर्मर की ओर शिफ्ट

जब ट्रांसफॉर्मर आए, तब रिकरंट न्यूरल नेटवर्क (RNNs) और उनके लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) वैरिएंट अनुक्रमिक डेटा के मानक मॉडल थे। वे इनपुट को एक-एक करके प्रोसेस करते हैं, जिससे दो बड़ी समस्याएँ होती हैं:

• धीमा प्रशिक्षण: हर कदम पिछले पर निर्भर होता है, इसलिए RNNs GPU के समानांतर कंप्यूटेशन का लाभ नहीं ले पाते।
• लंबी दूरी पर भूलना: जानकारी कदम-दर-कदम आगे बढ़ती है, और चेन जितनी लंबी, जानकारी खोने की संभावना उतनी अधिक।

ट्रांसफॉर्मर ने RNNs की एन्कोडर-डिकोडर अवधारणा रखी, लेकिन रिकरेंस को अटेंशन से बदल दिया, जो दोनों समस्याएँ सुलझाता है: हर शब्द, चाहे जितनी दूरी हो, सीधे किसी भी दूसरे शब्द पर ध्यान दे सकता है, और पूरा क्रम समानांतर में प्रोसेस होता है।

अब देखते हैं कि ट्रांसफॉर्मर कैसे काम करते हैं।

ट्रांसफॉर्मर आर्किटेक्चर कैसे काम करता है?

मूल रूप से सीक्वेंस ट्रांसडक्शन या न्यूरल मशीन अनुवाद के लिए बनाए गए ट्रांसफॉर्मर इनपुट सीक्वेंस को आउटपुट सीक्वेंस में बदलने में उत्कृष्ट हैं। यह पहला ट्रांसडक्शन मॉडल है जो पूरी तरह सेल्फ-अटेंशन पर निर्भर करता है और बिना सीक्वेंस-अलाइन RNNs या कन्वोल्यूशन के इनपुट व आउटपुट के प्रतिनिधित्व गणना करता है। ट्रांसफॉर्मर आर्किटेक्चर की मुख्य विशेषता यह है कि यह एन्कोडर-डिकोडर मॉडल बनाए रखता है।

यदि हम भाषा अनुवाद के लिए ट्रांसफॉर्मर को एक काले डिब्बे (ब्लैक बॉक्स) की तरह मानें, तो यह एक भाषा में वाक्य, जैसे अंग्रेजी, को इनपुट के रूप में लेगा और आउटपुट में उसका स्पेनिश अनुवाद देगा।

छवि: लेखक द्वारा।

थोड़ा भीतर झाँकें तो दिखेगा कि यह ब्लैक बॉक्स दो मुख्य हिस्सों से बना है:

• एन्कोडर हमारा इनपुट लेता है और उसका एक मैट्रिक्स प्रतिनिधित्व आउटपुट करता है। उदाहरण के लिए, अंग्रेजी वाक्य “How are you?”
• डिकोडर उस एन्कोडेड प्रतिनिधित्व को लेकर क्रमशः आउटपुट जनरेट करता है। हमारे उदाहरण में अनूदित वाक्य “¿Cómo estás?”

छवि: लेखक द्वारा। एन्कोडर-डिकोडर की समग्र संरचना।

हालाँकि, एन्कोडर और डिकोडर दोनों वास्तव में कई परतों वाले स्टैक होते हैं (दोनों में परतों की संख्या समान)। सभी एन्कोडर्स की संरचना एक जैसी होती है; इनपुट उनमें से प्रत्येक में जाता है और अगले को पास होता है। सभी डिकोडर्स की संरचना भी समान होती है और वे आखिरी एन्कोडर और पिछले डिकोडर से इनपुट लेते हैं।

मूल आर्किटेक्चर में 6 एन्कोडर और 6 डिकोडर थे, पर हम चाहें तो जितनी परतें चाहिए उतनी दोहरा सकते हैं। तो मान लेते हैं कि प्रत्येक के N लेयर्स हैं।

छवि: लेखक द्वारा। एन्कोडर-डिकोडर की समग्र संरचना। बहु-परतें।

अब जब हमें ट्रांसफॉर्मर आर्किटेक्चर का एक सामान्य विचार है, तो बेहतर समझ के लिए एन्कोडर और डिकोडर दोनों पर ध्यान दें:

ट्रांसफॉर्मर एन्कोडर कैसे काम करता है?

एन्कोडर ट्रांसफॉर्मर आर्किटेक्चर का मूल घटक है। इसका प्राथमिक कार्य इनपुट टोकनों को संदर्भित (कॉन्टेक्स्चुअलाइज़्ड) प्रतिनिधित्व में बदलना है। पहले के मॉडलों के विपरीत जो टोकनों को स्वतंत्र रूप से प्रोसेस करते थे, ट्रांसफॉर्मर एन्कोडर प्रत्येक टोकन का संदर्भ पूरे सीक्वेंस के सापेक्ष पकड़ता है।

इसकी संरचना इस प्रकार है:

छवि: लेखक द्वारा। एन्कोडर्स की समग्र संरचना।

आइए इसके वर्कफ़्लो को बुनियादी चरणों में विभाजित करें:

चरण 1: इनपुट एम्बेडिंग्स

एम्बेडिंग केवल सबसे निचले एन्कोडर में होती है। पहले, एक टोकनाइज़र टेक्स्ट को टोकनों में विभाजित करता है, जो शब्द या शब्दों के टुकड़े हो सकते हैं, और हर टोकन को एक सीखी हुई वेक्टर, जिसे एम्बेडिंग कहते हैं, से मैप किया जाता है। समान अर्थ वाले टोकनों के वेक्टर भी मिलते-जुलते होते हैं।

सभी एन्कोडर्स को वेक्टरों की एक सूची मिलती है, जिनमें से हर एक की 512 डाइमेंशंस होती हैं (मूल पेपर में d_model = 512)। सबसे नीचे वाले एन्कोडर में यह शब्द एम्बेडिंग्स होंगी, पर अन्य एन्कोडर्स में यह ठीक नीचे वाले एन्कोडर का आउटपुट होगा।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। इनपुट एम्बेडिंग।

चरण 2: पोज़िशनल एनकोडिंग

क्योंकि ट्रांसफॉर्मर में RNNs जैसी रिकरेंस व्यवस्था नहीं होती, वे क्रम में हर टोकन की स्थिति की जानकारी देने के लिए इनपुट एम्बेडिंग्स में पोज़िशनल एनकोडिंग जोड़ते हैं। इससे वे वाक्य के भीतर हर शब्द की स्थिति समझ पाते हैं।

इसके लिए शोधकर्ताओं ने विभिन्न साइन और कोसाइन फ़ंक्शंस का संयोजन कर पोज़िशनल वेक्टर बनाने का सुझाव दिया, जिससे किसी भी लंबाई के वाक्यों के लिए यह पोज़िशनल एनकोडर इस्तेमाल किया जा सके।

इस पद्धति में, हर डाइमेंशन तरंग की अलग-अलग फ्रीक्वेंसी और ऑफ़सेट से दर्शाई जाती है, जिनके मान -1 से 1 तक होते हैं, और इस तरह प्रत्येक स्थिति का प्रभावी प्रतिनिधित्व होता है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। पोज़िशनल एनकोडिंग।

चरण 3: एन्कोडर लेयर्स का स्टैक

ट्रांसफॉर्मर एन्कोडर एक समान परतों के स्टैक से बना है (मूल मॉडल में 6)।

एन्कोडर लेयर का काम सभी इनपुट सीक्वेंस को एक सतत, अमूर्त प्रतिनिधित्व में बदलना है जो पूरे सीक्वेंस से सीखी जानकारी को समेटता है। इस लेयर में दो सब-मॉड्यूल होते हैं:

• मल्टी-हैडेड अटेंशन मैकेनिज्म।
• एक फुली कनेक्टेड नेटवर्क।

साथ ही, हर सबलेयर के चारों ओर रेज़िडुअल कनेक्शंस होते हैं, जिनके बाद लेयर नॉर्मलाइज़ेशन होता है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। एन्कोडर लेयर्स का स्टैक

चरण 3.1: मल्टी-हैडेड सेल्फ-अटेंशन मैकेनिज्म

एन्कोडर में मल्टी-हैडेड अटेंशन, सेल्फ-अटेंशन नामक विशेष अटेंशन मैकेनिज्म का उपयोग करता है। यह तरीका मॉडल को इनपुट के हर शब्द को अन्य शब्दों से जोड़ने में सक्षम बनाता है। उदाहरण के लिए, मॉडल “are” शब्द को “you” से जोड़ना सीख सकता है।

यह मैकेनिज्म एन्कोडर को हर टोकन को प्रोसेस करते समय इनपुट सीक्वेंस के अलग-अलग हिस्सों पर ध्यान केंद्रित करने देता है। यह अटेंशन स्कोर इन आधारों पर निकालता है:

• क्वेरी एक वेक्टर है जो अटेंशन मैकेनिज्म में इनपुट सीक्वेंस के किसी विशिष्ट शब्द या टोकन का प्रतिनिधित्व करता है।

• की भी अटेंशन मैकेनिज्म में एक वेक्टर है, जो इनपुट सीक्वेंस के हर शब्द या टोकन से संबंधित होता है।

• हर वैल्यू किसी की के साथ संबद्ध होती है और अटेंशन लेयर के आउटपुट के निर्माण में उपयोग होती है। जब क्वेरी और की का अच्छा मेल बैठता है, यानी उच्च अटेंशन स्कोर होता है, तो संबंधित वैल्यू आउटपुट में ज़्यादा महत्व पाती है।

यह पहला सेल्फ-अटेंशन मॉड्यूल मॉडल को पूरे सीक्वेंस से संदर्भगत जानकारी पकड़ने देता है। एकल अटेंशन फ़ंक्शन करने के बजाय, क्वेरीज़, कीज़ और वैल्यूज़ को रैखिक रूप से h बार प्रोजेक्ट किया जाता है। इन प्रोजेक्टेड क्वेरीज़, कीज़ और वैल्यूज़ के हर संस्करण पर अटेंशन मैकेनिज्म समानांतर में चलता है, और प्रत्येक d_v डाइमेंशन (मूल पेपर में 64, जहाँ h = 8) का आउटपुट देता है।

विस्तृत आर्किटेक्चर इस प्रकार है:

मैट्रिक्स मल्टिप्लिकेशन (MatMul): क्वेरी और की का डॉट प्रोडक्ट

जब क्वेरी, की और वैल्यू वेक्टर एक लीनियर लेयर से गुजरते हैं, तो क्वेरीज़ और कीज़ के बीच डॉट प्रोडक्ट मैट्रिक्स मल्टिप्लिकेशन किया जाता है, जिससे स्कोर मैट्रिक्स बनता है।

स्कोर मैट्रिक्स यह तय करता है कि हर शब्द को अन्य शब्दों पर कितना ज़ोर देना चाहिए। इसलिए, उसी समय-चरण में हर शब्द को बाकी शब्दों के सापेक्ष एक स्कोर दिया जाता है। स्कोर जितना ऊँचा, ध्यान उतना अधिक।

यह प्रक्रिया प्रभावी रूप से क्वेरीज़ को उनकी संबंधित कीज़ से मैप करती है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। अटेंशन मैकेनिज्म - मैट्रिक्स मल्टिप्लिकेशन।

अटेंशन स्कोर की परिमाण घटाना

इसके बाद स्कोर को क्वेरी और की वेक्टर की डाइमेंशन के वर्गमूल से भाग देकर स्केल-डाउन किया जाता है। यह कदम अधिक स्थिर ग्रेडिएंट्स के लिए होता है, क्योंकि मूल्यों का गुणन प्रभाव को अत्यधिक बड़ा कर सकता है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। अटेंशन स्कोर घटाना।

समायोजित स्कोर पर सॉफ्टमैक्स लगाना

इसके बाद समायोजित स्कोर पर सॉफ्टमैक्स फ़ंक्शन लगाया जाता है ताकि अटेंशन वेट प्राप्त हों। इससे 0 से 1 के बीच की प्रायिकताएँ मिलती हैं। सॉफ्टमैक्स उच्च स्कोर को उभारता और निम्न स्कोर को दबाता है, जिससे मॉडल यह अधिक प्रभावी ढंग से तय कर पाता है कि किन शब्दों पर अधिक ध्यान देना है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। सॉफ्टमैक्स समायोजित स्कोर।

सॉफ्टमैक्स परिणामों को वैल्यू वेक्टर से मिलाना

अटेंशन मैकेनिज्म का अगला चरण है कि सॉफ्टमैक्स से प्राप्त वेट को वैल्यू वेक्टर से गुणा किया जाता है, जिससे आउटपुट वेक्टर बनता है।

उच्च सॉफ्टमैक्स वेट वाले शब्द परिणाम में हावी रहते हैं, जबकि 0 के पास वाले वेट वाले शब्द लगभग कोई योगदान नहीं देते। अंततः यह आउटपुट वेक्टर आगे की प्रोसेसिंग के लिए एक लीनियर लेयर में भेजा जाता है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। सॉफ्टमैक्स परिणामों का वैल्यू वेक्टर से संयोजन।

और हमें अंततः अटेंशन मैकेनिज्म का आउटपुट मिल जाता है!

“मल्टी-हेड” शब्द इस प्रक्रिया को कई बार समानांतर में चलाने से आता है। अटेंशन शुरू होने से पहले, क्वेरीज़, कीज़ और वैल्यूज़ को h छोटे-छोटे सेट्स, जिन्हें हेड्स कहते हैं, में बाँटा जाता है, और हर हेड अपने हिस्से पर उपरोक्त चरण चलाता है।

हेड्स के आउटपुट को कंसकैटनेट कर एक अंतिम लीनियर लेयर से गुजारा जाता है। क्योंकि हर हेड अपनी प्रोजेक्शंस सीखता है, अलग-अलग हेड्स अलग-अलग संबंध पकड़ सकते हैं, जैसे किस संज्ञा से कोई सर्वनाम संबंधित है या कौन-से शब्द एक-दूसरे के पास बैठते हैं।

अटेंशन मैकेनिज्म की गहरी समझ के लिए, हमारा ट्रांसफॉर्मर्स में मल्टी-हेड अटेंशन ट्यूटोरियल देखें।

चरण 3.2: नॉर्मलाइज़ेशन और रेज़िडुअल कनेक्शंस

एन्कोडर लेयर के हर सब-लेयर के बाद नॉर्मलाइज़ेशन होता है। साथ ही, हर सब-लेयर के आउटपुट को उसके इनपुट में जोड़ दिया जाता है (रेज़िडुअल कनेक्शन) ताकि वैनिशिंग ग्रेडिएंट समस्या कम हो और गहरे मॉडल संभव हों। यही प्रक्रिया फीड-फॉरवर्ड न्यूरल नेटवर्क के बाद भी दोहराई जाती है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। मल्टी-हेड अटेंशन के बाद नॉर्मलाइज़ेशन और रेज़िडुअल कनेक्शन।

चरण 3.3: फीड-फॉरवर्ड न्यूरल नेटवर्क

इसके बाद आउटपुट एक पोज़िशन-वाइज़ फीड-फॉरवर्ड नेटवर्क से गुजरता है: बीच में ReLU एक्टिवेशन वाली 2 लीनियर लेयर्स, जो हर टोकन पर अलग-अलग लागू होती हैं। मूल पेपर में, भीतरी लेयर की डाइमेंशन 2,048 थी, जो 512 मॉडल-चौड़ाई का 4 गुना है।

अटेंशन की तरह, नेटवर्क के इनपुट को इसके आउटपुट में वापस जोड़ दिया जाता है (रेज़िडुअल कनेक्शन), और परिणाम को नॉर्मलाइज़ किया जाता है।

छवि: लेखक द्वारा। एन्कोडर का वर्कफ़्लो। फीड-फॉरवर्ड न्यूरल नेटवर्क सब-लेयर।

चरण 4: एन्कोडर का आउटपुट

अंतिम एन्कोडर लेयर का आउटपुट वेक्टरों का एक सेट होता है, जिनमें से हर एक इनपुट सीक्वेंस का समृद्ध संदर्भित प्रतिनिधित्व करता है। यह आउटपुट फिर ट्रांसफॉर्मर मॉडल में डिकोडर के इनपुट के रूप में जाता है।

यह सावधानीपूर्वक एन्कोडिंग डिकोडर के लिए मार्ग बनाती है, उसे डिकोड करते समय इनपुट के सही शब्दों पर ध्यान देने में मार्गदर्शन देती है।

N एन्कोडर लेयर्स को स्टैक करने से हर परत नीचे वाली परत के प्रतिनिधित्वों पर निर्माण करती है। मूल मॉडल में N = 6 था; BERT-Base 12 और BERT-Large 24 का उपयोग करता है।

ट्रांसफॉर्मर डिकोडर कैसे काम करता है?

डिकोडर आउटपुट सीक्वेंस जनरेट करता है। इसकी परतें एन्कोडर की तरह होती हैं, पर एक अतिरिक्त के साथ: हर लेयर में 1 की जगह 2 मल्टी-हेड अटेंशन सब-लेयर्स होती हैं, जिनके बाद पोज़िशन-वाइज़ फीड-फॉरवर्ड नेटवर्क आता है, और हर सब-लेयर के चारों ओर रेज़िडुअल कनेक्शन व लेयर नॉर्मलाइज़ेशन होता है।

छवि: लेखक द्वारा। डिकोडर्स की समग्र संरचना।

ये घटक एन्कोडर की परतों की तरह ही काम करते हैं, पर एक मोड़ के साथ: डिकोडर की प्रत्येक मल्टी-हैडेड अटेंशन लेयर का अलग उद्देश्य होता है।

डिकोडर की अंतिम प्रक्रिया एक लीनियर लेयर से गुजरती है, जो एक क्लासिफायर का काम करती है, और शीर्ष पर सॉफ्टमैक्स होता है जो अलग-अलग शब्दों की प्रायिकताएँ निकालता है।

ट्रांसफॉर्मर डिकोडर की संरचना विशेष रूप से एन्कोड की गई जानकारी को चरण-दर-चरण डिकोड करके आउटपुट जनरेट करने के लिए डिज़ाइन की गई है।

डिकोडर ऑटो-रेग्रेसिव तरीके से काम करता है: यह स्टार्ट-ऑफ़-सीक्वेंस टोकन से शुरू करता है और हर कदम पर, अब तक बने टोकनों को, एन्कोडर के आउटपुट के साथ, इनपुट के रूप में लेता है।

यह तब रुकता है जब यह एंड-ऑफ़-सीक्वेंस टोकन जनरेट करता है।

चरण 1: आउटपुट एम्बेडिंग्स

डिकोडर की शुरुआत में प्रक्रिया एन्कोडर जैसी ही है। यहाँ इनपुट पहले एक एम्बेडिंग लेयर से गुजरता है।

चरण 2: पोज़िशनल एनकोडिंग

एम्बेडिंग के बाद, ठीक एन्कोडर की तरह, इनपुट पोज़िशनल एनकोडिंग लेयर से गुजरता है। यह क्रम पोज़िशनल एम्बेडिंग्स बनाने के लिए है।

ये पोज़िशनल एम्बेडिंग्स फिर डिकोडर की पहली मल्टी-हेड अटेंशन लेयर में जाती हैं, जहाँ डिकोडर के अपने इनपुट के लिए अटेंशन स्कोर निकाले जाते हैं।

चरण 3: डिकोडर लेयर्स का स्टैक

डिकोडर एक समान परतों के स्टैक से बना है (मूल मॉडल में 6)। हर लेयर में तीन मुख्य सब-घटक होते हैं:

चरण 3.1: मास्क्ड सेल्फ-अटेंशन मैकेनिज्म

यह एन्कोडर के सेल्फ-अटेंशन जैसा ही है, पर एक महत्वपूर्ण अंतर के साथ: यह बाद की स्थितियों पर ध्यान देने से रोकता है, यानी सीक्वेंस का हर शब्द भविष्य के टोकनों से प्रभावित नहीं होता।

उदाहरण के लिए, जब “Cómo” शब्द के लिए अटेंशन स्कोर निकाले जा रहे हों, तो यह ज़रूरी है कि “Cómo” को “estás” न दिखे, जो आउटपुट सीक्वेंस में बाद का शब्द है।

छवि: लेखक द्वारा। डिकोडर का वर्कफ़्लो। पहली मल्टी-हेड अटेंशन मास्क।

यह मास्किंग सुनिश्चित करती है कि किसी विशेष स्थिति की भविष्यवाणी केवल उससे पहले की ज्ञात स्थितियों पर निर्भर हो।

चरण 3.2: एन्कोडर-डिकोडर अटेंशन (क्रॉस-अटेंशन)

दूसरी अटेंशन सब-लेयर डिकोडर को एन्कोडर से जोड़ती है। यहाँ क्वेरीज़ डिकोडर के मास्क्ड सेल्फ-अटेंशन आउटपुट से आती हैं, जबकि कीज़ और वैल्यूज़ एन्कोडर के अंतिम आउटपुट से आती हैं।

यह डिकोडर की हर स्थिति को इनपुट वाक्य की सभी स्थितियों पर ध्यान देने देता है, ताकि “estás” जनरेट करते समय डिकोडर “are you” पर फोकस कर सके। इसके बाद परिणाम फीड-फॉरवर्ड सब-लेयर से गुजरता है।

छवि: लेखक द्वारा। डिकोडर का वर्कफ़्लो। एन्कोडर-डिकोडर अटेंशन।

चरण 3.3: फीड-फॉरवर्ड न्यूरल नेटवर्क

एन्कोडर की तरह, हर डिकोडर लेयर में भी एक फुली कनेक्टेड फीड-फॉरवर्ड नेटवर्क होता है, जो हर पोज़िशन पर अलग और एक-सा लागू होता है।

चरण 4: लीनियर क्लासिफायर और सॉफ्टमैक्स

ट्रांसफॉर्मर मॉडल से डेटा की यात्रा अंत में एक अंतिम लीनियर लेयर से गुजरती है, जो क्लासिफायर का काम करती है।

इस क्लासिफायर का आकार कुल क्लासों (वोकैब्युलरी में शब्दों की संख्या) के बराबर होता है। उदाहरण के लिए, यदि 1000 अलग-अलग शब्द हैं, तो क्लासिफायर का आउटपुट 1000 तत्वों की एक ऐरे होगा।

यह आउटपुट फिर सॉफ्टमैक्स लेयर में भेजा जाता है, जो इसे 0 से 1 के बीच की प्रायिकताओं में बदल देता है। सबसे अधिक प्रायिकता वाला टोकन अगले शब्द के लिए मॉडल का सर्वश्रेष्ठ अनुमान होता है। ग्रीडी डिकोडिंग हमेशा उसी को चुनती है; अधिकांश चैट मॉडल वितरण से सैंपल करते हैं, जहाँ टेम्परेचर सेटिंग यह नियंत्रित करती है कि कितनी रैंडमनेस स्वीकार्य है।

छवि: लेखक द्वारा। डिकोडर का वर्कफ़्लो। ट्रांसफॉर्मर का अंतिम आउटपुट।

नॉर्मलाइज़ेशन और रेज़िडुअल कनेक्शंस

हर सब-लेयर (मास्क्ड सेल्फ-अटेंशन, एन्कोडर-डिकोडर अटेंशन, फीड-फॉरवर्ड नेटवर्क) के बाद नॉर्मलाइज़ेशन होता है, और हर एक के चारों ओर रेज़िडुअल कनेक्शन होता है।

डिकोडर का आउटपुट

अंतिम लेयर का आउटपुट आम तौर पर एक लीनियर लेयर और फिर सॉफ्टमैक्स से होकर वोकैब्युलरी पर प्रायिकताएँ बनाकर एक अनुमानित सीक्वेंस में बदला जाता है।

डिकोडर अपने परिचालन प्रवाह में ताज़ा जनरेट आउटपुट को अपने बढ़ते इनपुट में शामिल करता है और फिर डिकोडिंग जारी रखता है। यह चक्र तब तक दोहरता है जब तक मॉडल एक विशिष्ट टोकन की भविष्यवाणी नहीं कर देता, जो पूर्णता का संकेत है।

एन्कोडर की तरह, डिकोडर भी N समान परतों का स्टैक है (मूल मॉडल में 6), जो नीचे वाली परत के आउटपुट और एन्कोडर के आउटपुट पर निर्माण करता है। गहरे स्टैक अलग-अलग परतों और हेड्स को अलग-अलग अटेंशन पैटर्न पकड़ने देते हैं।

अंतिम आर्किटेक्चर इस प्रकार दिखता है (मूल पेपर से):

छवि: लेखक द्वारा। ट्रांसफॉर्मर्स की मूल संरचना।

इस आर्किटेक्चर को बेहतर समझने के लिए, मैं सुझाव दूँगा कि आप यह PyTorch के साथ ट्रांसफॉर्मर बनाने का ट्यूटोरियल फॉलो करते हुए शुरुआत से ट्रांसफॉर्मर लागू करें।

केवल एन्कोडर, केवल डिकोडर, और एन्कोडर-डिकोडर ट्रांसफॉर्मर

ट्रांसफॉर्मर मॉडल 3 परिवारों में आते हैं, इस पर निर्भर करते हुए कि वे मूल आर्किटेक्चर का कौन-सा हिस्सा रखते हैं। यह चुनाव तय करता है कि मॉडल किसमें अच्छा है: एन्कोडर पढ़ते हैं, डिकोडर लिखते हैं, और एन्कोडर-डिकोडर एक सीक्वेंस को दूसरे पर मैप करते हैं।

GPT-3 के बाद से जारी अधिकांश LLMs केवल डिकोडर-आधारित हैं। अगले-टोकन की भविष्यवाणी किसी भी कच्चे टेक्स्ट पर काम करती है, इसलिए प्रशिक्षण डेटा प्रचुर है, और एक ही मॉडल अनुवाद, सार-संक्षेप और प्रश्नोत्तर को टेक्स्ट कंटिन्यूएशन की तरह लेकर संभाल सकता है।

कौन-से मॉडल ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करते हैं?

BERT

BERT (Bidirectional Encoder Representations from Transformers), जिसे Google ने 2018 में ओपन सोर्स के रूप में जारी किया, एक केवल-एन्कोडर ट्रांसफॉर्मर है। अगले शब्द की भविष्यवाणी करने के बजाय, इसे मास्क किए गए शब्दों को दोनों ओर के संदर्भ की मदद से भरने के लिए प्री-ट्रेन किया गया था, जिससे यह उस समय के लेफ्ट-टू-राइट मॉडलों से समझ-आधारित कार्यों में अधिक सक्षम हुआ।

किसी शब्द के दोनों ओर के संदर्भ को समझकर, BERT ने प्रश्नोत्तर और संदिग्ध भाषा समझने जैसे कार्यों में पिछले मॉडलों को पीछे छोड़ दिया। इसका कोर ट्रांसफॉर्मर का उपयोग करता है, जो हर आउटपुट और इनपुट तत्व को गतिशील रूप से जोड़ता है।

BERT को इंग्लिश विकिपीडिया और BooksCorpus डेटासेट पर प्री-ट्रेन किया गया, और Google ने 2019 में इसे सर्च में जोड़ा ताकि प्राकृतिक-भाषा क्वेरीज़ को बेहतर ढंग से समझा जा सके। इसने बड़े प्री-ट्रेन भाषा मॉडलों की दौड़ शुरू कर दी।

BERT के बारे में अधिक जानने के लिए, हमारा अलग लेख देखें जो BERT मॉडल का परिचय देता है।

LaMDA

LaMDA (Language Model for Dialogue Applications) Google द्वारा विकसित ट्रांसफॉर्मर-आधारित मॉडल है, जो विशेष रूप से वार्तालाप संबंधी कार्यों के लिए डिज़ाइन किया गया है, और 2021 के Google I/O कीनोट के दौरान लॉन्च हुआ। इन्हें अधिक स्वाभाविक और सन्दर्भानुकूल प्रतिक्रियाएँ जनरेट करने के लिए डिज़ाइन किया गया है, जिससे विभिन्न अनुप्रयोगों में उपयोगकर्ता सहभागिता बेहतर होती है।

LaMDA का डिज़ाइन इसे विषयों और उपयोगकर्ता आशयों की व्यापक श्रृंखला को समझने और जवाब देने में सक्षम बनाता है, जिससे यह चैटबॉट्स, वर्चुअल असिस्टेंट्स और अन्य इंटरैक्टिव AI सिस्टम के लिए आदर्श बनता है, जहाँ गतिशील संवाद महत्वपूर्ण है।

बाद में Google ने अपने Bard चैटबॉट में LaMDA को PaLM 2 और फिर Gemini से बदल दिया, लेकिन LaMDA संवाद पर विशेष रूप से प्रशिक्षित शुरुआती ट्रांसफॉर्मर मॉडलों में से एक था।

यदि आप LaMDA मॉडलों को और समझना चाहते हैं, तो हमारा LaMDA पर लेख पढ़ें।

GPT और ChatGPT

OpenAI द्वारा विकसित GPT और ChatGPT उन्नत जेनरेटिव मॉडल हैं, जो सुनियोजित और सन्दर्भानुकूल टेक्स्ट उत्पन्न करने की क्षमता के लिए जाने जाते हैं। GPT-1 जून 2018 में पहला मॉडल था, और GPT-3, सबसे प्रभावशाली मॉडलों में से एक, 2020 में आया।

ये मॉडल कंटेंट क्रिएशन, संवाद, भाषा अनुवाद आदि सहित व्यापक कार्यों में दक्ष हैं। GPT का आर्किटेक्चर ऐसा टेक्स्ट जनरेट करता है जो मानव लेखन के काफ़ी करीब होता है, जिससे यह रचनात्मक लेखन, कस्टमर सपोर्ट और कोडिंग असिस्टेंस जैसे अनुप्रयोगों में उपयोगी बनता है। ChatGPT, जो वार्तालाप के लिए अनुकूलित वैरिएंट है, मानव-समान संवाद जनरेट करने में उत्कृष्ट है, जिससे यह चैटबॉट्स और वर्चुअल असिस्टेंट्स में अधिक उपयोगी हो जाता है।

OpenAI ने GPT-3 के बाद (अपने ओपन-वेट gpt-oss मॉडलों को छोड़कर) आर्किटेक्चर विवरण प्रकाशित करना बंद कर दिया, लेकिन यह परिवार बढ़ता रहा है, हाल में 2026 में GPT-6 Astra के साथ।

Claude

Anthropic द्वारा विकसित Claude, सुरक्षा और मददगार व्यवहार पर केंद्रित ट्रांसफॉर्मर-आधारित AI असिस्टेंट्स का परिवार है। Claude, Constitutional AI (CAI) का उपयोग करता है, जो एक प्रशिक्षण पद्धति है जहाँ मॉडल को सैट सिद्धांतों से मार्गदर्शित किया जाता है ताकि वह सहायक, हानिरहित और ईमानदार उत्तर दे।

Claude 3 (2024 में जारी) ने तीन मॉडल स्तर पेश किए—Haiku, Sonnet, और Opus—जो गति और क्षमता के बीच अलग-अलग संतुलन देते हैं। ये मॉडल सूक्ष्म तर्क, जटिल निर्देशों का पालन और लंबी वार्ताओं (200K टोकन तक) में संदर्भ बनाए रखने में उत्कृष्ट हैं।

तब से Anthropic हर कुछ महीनों में नई पीढ़ियाँ जारी करता रहा है। वर्तमान Claude 5 लाइनअप में Claude Fable 5.1 और Claude Opus 5.5 शामिल हैं, दोनों 2026 में जारी हुए। OpenAI की तरह, Anthropic भी अपने आर्किटेक्चर विवरण प्रकाशित नहीं करता।

अन्य विविधताएँ

ट्रांसफॉर्मर मॉडलों की संख्या तेज़ी से बढ़ी है। Xavier Amatriain की ट्रांसफॉर्मर मॉडलों की सूची दर्जनों मॉडलों को आर्किटेक्चर और प्रशिक्षण उद्देश्य के आधार पर वर्गीकृत करती है, और स्टैनफोर्ड का HELM बेंचमार्क ने 30 प्रमुख भाषा मॉडलों का साथ-साथ मूल्यांकन किया।

इन मॉडलों को ओपन-सोर्स करने की प्रवृत्ति बढ़ रही है, जिसमें Hugging Face का मॉडल हब अग्रणी है। साथ ही, विभिन्न NLP कार्यों के लिए विशेषीकृत अनेक ट्रांसफॉर्मर-आधारित मॉडल विकसित किए गए हैं, जो अलग-अलग अनुप्रयोगों में मॉडल की बहुमुखी प्रतिभा और दक्षता को दर्शाते हैं।

आप एक अलग लेख में सभी मौजूदा फाउंडेशन मॉडल्स के बारे में अधिक जान सकते हैं, जहाँ बताया गया है कि वे क्या हैं और कौन-से सबसे अधिक उपयोग किए जाते हैं।

2017 से अब तक ट्रांसफॉर्मर कैसे बदले हैं?

2017 के मूल आर्किटेक्चर के बाद से, ट्रांसफॉर्मर सीमाओं को संबोधित करने और नए क्षेत्रों में विस्तार करने के लिए काफ़ी विकसित हुए हैं।

आधुनिक LLMs मूल ट्रांसफॉर्मर से कैसे अलग हैं

आज के ओपन-वेट LLMs अब भी 2017 का खाका अपनाते हैं, पर लगभग हर घटक को ऐसे वैरिएंट से बदला गया है जो अधिक स्थिरता से ट्रेन हों या सस्ते में चलें। Meta ने अपने LLaMA और Llama 3 पेपर्स में इनमें से अधिकांश बदलावों को दस्तावेज़ित किया है:

विज़न ट्रांसफॉर्मर्स (ViT)

विज़न ट्रांसफॉर्मर्स छवियों को पैचों में बाँटकर और हर पैच को एक टोकन मानकर उन पर सेल्फ-अटेंशन लागू करते हैं। यह तरीका इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन और इमेज जेनरेशन के लिए बेहद प्रभावी सिद्ध हुआ है, और बड़े डेटासेट्स पर कई बार पारंपरिक CNNs से बेहतर प्रदर्शन करता है।

मल्टीमोडल ट्रांसफॉर्मर्स

GPT-5, Gemini 3 और Llama 4 जैसे आधुनिक मॉडल एक ही आर्किटेक्चर के भीतर कई इनपुट प्रकार (टेक्स्ट, इमेज, ऑडियो, वीडियो) प्रोसेस करते हैं। ये मल्टीमोडल ट्रांसफॉर्मर्स यूनिफाइड एम्बेडिंग स्पेस और क्रॉस-अटेंशन मैकेनिज्म का उपयोग कर विभिन्न मॉडैलिटीज़ पर एक साथ तर्क करते हैं।

दक्ष (इफ़िशिएंट) ट्रांसफॉर्मर्स

सेल्फ-अटेंशन की वर्ग-जटिलता संदर्भ लंबाई को सीमित करती है। कई नवाचार इसे संबोधित करते हैं:

• Flash Attention: अटेंशन को उन टाइल्स में सटीकता से गणना करता है जो GPU की तेज़ ऑन-चिप मेमोरी में फिट हों, जिससे मेमोरी उपयोग क्रम की लंबाई के साथ वर्गानुपाती के बजाय रैखिक रूप से बढ़ता है
• Rotary Position Embeddings (RoPE): रोटेशन मैट्रिसेज़ के माध्यम से पोज़िशन जानकारी एनकोड करता है, जिससे लंबी सीक्वेंस तक बेहतर सामान्यीकरण संभव होता है
• लिनियर और स्पार्स अटेंशन: Linformer और Performer अटेंशन का सन्निकटन करते हैं, और Longformer अधिकांश टोकनों को एक लोकल विंडो तक सीमित करता है, जिससे बहुत लंबे दस्तावेज़ों के लिए लागत O(n) रहती है
• Mixture of Experts (MoE): प्रति टोकन केवल कुछ पैरामीटर्स सक्रिय करता है, जिससे समान कंप्यूट लागत पर बड़े मॉडल संभव होते हैं

ट्रांसफॉर्मर्स बनाम RNNs और CNNs

ट्रांसफॉर्मर की तुलना आमतौर पर 2 अन्य न्यूरल नेटवर्क बिल्डिंग ब्लॉक्स से होती है: रिकरंट लेयर्स (RNNs) और कन्वोल्यूशनल लेयर्स (CNNs)। हर एक अलग तरह के डेटा के लिए उपयुक्त है।

रिकरंट लेयर्स

रिकरंट लेयर्स, जो रिकरंट न्यूरल नेटवर्क्स (RNNs) की आधारशिला हैं, अनुक्रमिक डेटा को संभालने में माहिर हैं। इस आर्किटेक्चर की ताकत क्रमिक ऑपरेशंस करने की क्षमता में है, जो भाषा प्रसंस्करण या टाइम सीरीज़ विश्लेषण जैसे कार्यों के लिए महत्वपूर्ण है। एक रिकरंट लेयर में, पिछले चरण का आउटपुट अगले चरण के इनपुट के रूप में वापस नेटवर्क में जाता है। यह लूपिंग मैकेनिज्म नेटवर्क को पिछली जानकारी याद रखने देता है, जो किसी क्रम में संदर्भ समझने के लिए अहम है।

हालाँकि, जैसा कि हमने देखा, इस क्रमिक प्रोसेसिंग के दो मुख्य निहितार्थ हैं:

• प्रशिक्षण समय लंबा हो सकता है क्योंकि हर कदम पिछले पर निर्भर होता है, जिससे समानांतर प्रोसेसिंग कठिन हो जाती है।
• लंबी-अवधि निर्भरताओं में अक्सर कठिनाई होती है क्योंकि वैनिशिंग ग्रेडिएंट समस्या के कारण नेटवर्क दूरस्थ डेटा बिंदुओं से सीखने में कम प्रभावी हो जाता है।

ट्रांसफॉर्मर मॉडल रिकरंट लेयर्स वाले आर्किटेक्चर्स से काफ़ी भिन्न हैं क्योंकि इनमें रिकरेंस नहीं होता। जैसा कि हमने देखा, ट्रांसफॉर्मर की अटेंशन लेयर दोनों समस्याएँ सुलझाती है, जिससे वे NLP अनुप्रयोगों में RNNs का स्वाभाविक विकास बनते हैं।

कन्वोल्यूशनल लेयर्स

दूसरी ओर, कन्वोल्यूशनल लेयर्स, जो कन्वोल्यूशनल न्यूरल नेटवर्क्स (CNNs) की आधारशिला हैं, छवियों जैसे स्थानिक (स्पैटियल) डेटा को प्रोसेस करने में दक्ष हैं।

ये लेयर्स कर्नल्स (फ़िल्टर्स) का उपयोग करती हैं जो इनपुट डेटा पर स्कैन कर फीचर्स निकालते हैं। इन कर्नल्स की चौड़ाई समायोजित की जा सकती है, जिससे नेटवर्क कार्य के अनुसार छोटे या बड़े फीचर्स पर ध्यान केंद्रित कर सकता है।

कन्वोल्यूशनल लेयर्स डेटा में स्थानिक पदानुक्रमों और पैटर्न्स को पकड़ने में अत्यंत अच्छी हैं, लेकिन लंबी-अवधि निर्भरताओं में चुनौती पाती हैं। वे अपने आप में क्रमबद्ध जानकारी का हिसाब नहीं रखतीं, जिससे वे उन कार्यों के लिए कम उपयुक्त हैं जिन्हें क्रम या संदर्भ समझने की ज़रूरत होती है।

इसीलिए CNNs और ट्रांसफॉर्मर अलग प्रकार के डेटा और कार्यों के लिए बनाए गए हैं। CNNs कंप्यूटर विज़न में हावी हैं क्योंकि वे स्पैटियल जानकारी कुशलता से प्रोसेस करते हैं, जबकि ट्रांसफॉर्मर जटिल अनुक्रमिक कार्यों, विशेषकर NLP में, लंबी-अवधि निर्भरताओं को समझने की क्षमता के कारण पहली पसंद हैं।

ट्रांसफॉर्मर की कमियाँ और सीमाएँ

सफलता के बावजूद, ट्रांसफॉर्मर की उल्लेखनीय सीमाएँ हैं:

• वर्ग-जटिलता: सेल्फ-अटेंशन की लागत क्रम की लंबाई के साथ O(n²) होती है, जिससे बहुत लंबे कॉन्टेक्स्ट विंडोज़ कंप्यूट और मेमोरी की दृष्टि से महँगी पड़ती हैं
• मेमोरी आवश्यकताएँ: बड़े मॉडलों को काफ़ी GPU मेमोरी चाहिए होती है, जिससे परिनियोजन विकल्प सीमित होते हैं
• प्रशिक्षण डेटा आवश्यकताएँ: मज़बूत प्रदर्शन के लिए ट्रांसफॉर्मर को आमतौर पर विशाल डेटासेट चाहिए होते हैं
• हैलुसिनेशन: ट्रांसफॉर्मर संभावित टोकन की भविष्यवाणी करते हैं, तथ्य नहीं खोजते, इसलिए वे आत्मविश्वास से गलत जानकारी भी कह सकते हैं। रीजनिंग मॉडल इसे घटाते हैं पर हटाते नहीं
• पोज़िशन एनकोडिंग सीमाएँ: मानक पोज़िशनल एनकोडिंग्स उन लंबाइयों पर सामान्यीकरण में संघर्ष करती हैं जो प्रशिक्षण के दौरान नहीं देखी गईं

इन सीमाओं को आर्किटेक्चरल नवाचारों जैसे Flash Attention, मिक्सचर-ऑफ-एक्सपर्ट्स, और रीट्रीवल-ऑगमेंटेड जेनरेशन (RAG) से संबोधित करने का शोध जारी है।

अंतिम विचार

ट्रांसफॉर्मर सेल्फ-अटेंशन के जरिए हर टोकन को हर दूसरे टोकन को देखने देता है, फिर समान परतों के स्टैक से उन प्रतिनिधित्वों को परिष्कृत करता है। इसी एक डिज़ाइन ने GPUs पर प्रशिक्षण को समानांतर बनाया और लंबी-अवधि स्मृति की वह समस्या सुलझाई जिसने RNNs को रोके रखा था।

जो बात मुझे सबसे अधिक चकित करती है, वह है कोर का बहुत कम बदलना। 2026 का LLM पोज़िशनल एनकोडिंग, नॉर्मलाइज़ेशन और अटेंशन हेड्स को सस्ते वैरिएंट से बदल देता है, पर आप उसमें 2017 का डायग्राम अब भी पहचान लेंगे। खुला प्रश्न यह है कि क्या स्टेट स्पेस मॉडल और हाइब्रिड्स लंबे संदर्भों पर हावी होंगे, या FlashAttention जैसे कर्नल्स अटेंशन की वर्ग-लागत को वहनयोग्य बनाए रखेंगे।

इसे practically आज़माने के लिए, हमारे चरण-दर-चरण ट्यूटोरियल में PyTorch के साथ ट्रांसफॉर्मर बनाइए, या हमारे ट्रांसफॉर्मर्स और Hugging Face का परिचय से प्रीट्रेंड मॉडल्स से शुरू करें। यदि आप और सीखना चाहते हैं, तो Transformer Models with PyTorch कोर्स, या पूरा पाथ पाने के लिए Developing Large Language Models ट्रैक सुझाव दूँगा।