LLM लागत घटाने के 10 सर्वश्रेष्ठ तरीके

बड़े भाषा मॉडलों को चलाने की वास्तविक लागत होती है। आप हर प्रोसेस किए गए टोकन, हर GPU साइकिल, और मॉडल में जोड़ी गई जटिलता की हर परत के लिए भुगतान करते हैं। भले ही दाम घटे हों, बड़े अनुप्रयोगों, लंबे प्रॉम्प्ट्स, या बार-बार अपडेट्स के साथ बिल बहुत तेजी से बढ़ता है।

मैंने देखा है कि यह समस्या कितनी जल्दी बढ़ सकती है। टीमें मान लेती हैं कि लागत प्रबंधनीय रहेगी, लेकिन बाद में समझ आता है कि वे ओवरसाइज़्ड मॉडलों, अक्षम प्रॉम्प्ट्स, या खाली पड़ी हार्डवेयर क्षमता पर बजट जला रही हैं।

इसीलिए मैंने इंफेरेंस लागत घटाने के 10 व्यावहारिक तरीके एक साथ समेटे हैं। क्वांटाइज़ेशन और प्रूनिंग से लेकर बैचिंग, कैशिंग, और प्रॉम्प्ट इंजीनियरिंग तक—ये ऐसे तरीके हैं जिन्हें मैं सच में इस्तेमाल करता हूं ताकि प्रदर्शन से बहुत अधिक समझौता किए बिना LLMs किफायती रहें।

1. Quantization

क्वांटाइज़ेशन वह प्रक्रिया है जिसमें मॉडल के वेट्स और एक्टिवेशंस की प्रिसीजन घटाई जाती है—आमतौर पर 32-बिट फ्लोटिंग पॉइंट से कम बिट रिप्रेज़ेंटेशन (जैसे 16-बिट या 8-बिट) में। इससे मेमोरी फ़ुटप्रिंट और कंप्यूटेशनल आवश्यकता घटती है, जिससे सीमित संसाधनों वाले डिवाइस पर भी इंफेरेंस तेज़ हो जाता है।

यह कैसे किया जाता है: 

• पोस्ट-ट्रेनिंग क्वांटाइज़ेशन (PTQ): प्री-ट्रेंड मॉडल वेट्स को बिना दोबारा ट्रेन किए कम प्रिसीजन (जैसे 8-बिट इंटिजर्स) में बदलें। यह अपेक्षाकृत सरल है, पर थोड़ी सटीकता में कमी आ सकती है।
• क्वांटाइज़ेशन-अवेयर ट्रेनिंग (QAT): फाइन-ट्यून करते समय क्वांटाइज़ेशन तकनीकों का उपयोग करें, जिससे सटीकता बेहतर बनी रहती है।

यह कैसे मदद करता है: 

1. छोटा मॉडल आकार: इससे लोडिंग तेज़ होती है और मेमोरी कम लगती है, जो खासकर क्लाउड परिवेश में लागत घटाती है जहां संसाधन उपयोग के अनुसार भुगतान होता है।
2. तेज़ इंफेरेंस: छोटे नंबरों के साथ गणनाएं तेज़ होती हैं, जिससे रिस्पॉन्स टाइम घटता है।

मुख्य समझौता संभावित सटीकता हानि है। आधुनिक क्वांटाइज़ेशन तकनीकें काफी बेहतर हैं, फिर भी थोड़ी गिरावट की संभावना रहती है।

2. Pruning

प्रूनिंग वह तकनीक है जिसमें न्यूरल नेटवर्क से कम महत्वपूर्ण या अनावश्यक वेट्स हटाए जाते हैं। ऐसे कनेक्शनों को हटाकर जिनका मॉडल प्रदर्शन पर न्यूनतम प्रभाव है, मॉडल का आकार और गणनात्मक जटिलता घटती है, जिससे इंफेरेंस तेज़ होता है।

यह कैसे किया जाता है:

• अनस्ट्रक्चर्ड प्रूनिंग: वेट्स की मैग्नीट्यूड या महत्व के आधार पर व्यक्तिगत वेट्स हटाना।
• स्ट्रक्चर्ड प्रूनिंग: पूरे चैनल या फ़िल्टर्स हटाना, जिससे मॉडल की संरचना अधिक नियमित हो जाती है और हार्डवेयर पर कुशलतापूर्वक चलती है।

यह कैसे मदद करता है: 

1. छोटा मॉडल आकार: क्वांटाइज़ेशन की तरह, प्रूनिंग से भी मॉडल छोटा और जल्दी लोड होने वाला बनता है।
2. कम गणनाएं: कम कनेक्शनों का मतलब इंफेरेंस के दौरान कम कैलकुलेशन, जिससे रिस्पॉन्स तेज़ होता है।

क्वांटाइज़ेशन की तरह, यहां भी मुख्य समझौता संभावित सटीकता हानि है। बहुत आक्रामक प्रूनिंग प्रदर्शन में स्पष्ट गिरावट ला सकती है। सही संतुलन खोजना ज़रूरी है।

3. Knowledge Distillation

नॉलेज डिस्टिलेशन वह प्रक्रिया है जिसमें बड़े, जटिल "टीचर" मॉडल से ज्ञान एक छोटे, अधिक कुशल "स्टूडेंट" मॉडल में स्थानांतरित किया जाता है। स्टूडेंट मॉडल टीचर के व्यवहार की नकल करना सीखता है, जिससे छोटा आकार होते हुए भी तुलनीय प्रदर्शन और तेज़ इंफेरेंस संभव हो जाता है।

यह कैसे किया जाता है:

• छोटा स्टूडेंट मॉडल ट्रेन करें: बड़े टीचर मॉडल के आउटपुट (लॉजिट्स या सॉफ्ट लेबल्स) को स्टूडेंट के लिए अतिरिक्त ट्रेनिंग संकेत के रूप में उपयोग करें।
• टेम्परेचर स्केलिंग: डिस्टिलेशन के दौरान टेम्परेचर पैरामीटर समायोजित करें ताकि टीचर के आउटपुट डिस्ट्रीब्यूशन की सॉफ्टनेस नियंत्रित हो।

यह कैसे मदद करता है: 

1. काफी छोटा मॉडल: स्टूडेंट मॉडल अपने टीचर से कहीं छोटा और तेज़ हो सकता है, जिससे बड़ी लागत बचत होती है।
2. टास्क-विशिष्ट ऑप्टिमाइज़ेशन: स्टूडेंट मॉडल को किसी खास कार्य के लिए फाइन-ट्यून किया जा सकता है, जिससे वह और अधिक कुशल बनता है।

मुख्य समझौता यह है कि आपको एक शक्तिशाली टीचर मॉडल तक पहुंच चाहिए, जिसे ट्रेन या उपयोग करना महंगा हो सकता है।

4. Batching

बैचिंग में इंफेरेंस के दौरान एक साथ कई इनपुट सैंपल्स को बैच के रूप में प्रोसेस किया जाता है। इससे हार्डवेयर की पैरेलल प्रोसेसिंग क्षमता का बेहतर उपयोग होता है और समग्र इंफेरेंस तेज़ होता है।

यह कैसे किया जाता है:

• रिक्वेस्ट इकट्ठा करें: कई इंफेरेंस रिक्वेस्ट्स को इकट्ठा कर उन्हें एक बैच के रूप में साथ में प्रोसेस करें।
• डायनेमिक बैचिंग: इनकमिंग रिक्वेस्ट रेट के आधार पर बैच साइज़ को गतिशील रूप से समायोजित करें ताकि लेटेंसी और थ्रूपुट में संतुलन बना रहे।

यह कैसे मदद करता है: 

1. बेहतर थ्रूपुट: बैचिंग प्रति सेकंड प्रोसेस होने वाली रिक्वेस्ट्स की संख्या को काफी बढ़ा सकती है, जिससे आपका अनुप्रयोग अधिक कुशल बनता है।
2. बेहतर हार्डवेयर उपयोग: GPUs पैरेलल प्रोसेसिंग के लिए बने हैं, और बैचिंग उनकी क्षमता का पूरा लाभ उठाने में मदद करती है।

हालांकि, बैचिंग व्यक्तिगत रिक्वेस्ट्स के लिए अतिरिक्त लेटेंसी ला सकती है, क्योंकि सिस्टम प्रोसेस करने से पहले पर्याप्त इनपुट इकट्ठा होने का इंतज़ार कर सकता है। रियल-टाइम या लो-लेटेंसी अनुप्रयोगों में, यदि ध्यानपूर्वक ट्यूनिंग न की जाए तो यह देरी उपयोगकर्ता अनुभव को खराब कर सकती है। डायनेमिक बैचिंग इस समस्या को कुछ हद तक कम करती है, पर सिस्टम की जटिलता बढ़ाती है। असमान ट्रैफ़िक पर अक्षम बैचिंग का जोखिम भी रहता है, जो अपेक्षित लागत बचत घटा सकता है।

5. Caching

कैशिंग में पहले के कंप्यूटेशन के परिणामों को सहेजकर, समान इनपुट फिर से मिलने पर उनका पुन: उपयोग किया जाता है। इससे अनावश्यक गणनाएं बचती हैं और इंफेरेंस तेज़ होता है।

यह कैसे किया जाता है:

• पिछली गणनाएं सहेजें: पिछले इनपुट्स और उनके संबंधित आउटपुट्स का कैश बनाए रखें।
• कैश एविक्शन नीतियां: जब कैश क्षमता पर पहुंचे तो कम बार उपयोग होने वाली प्रविष्टियों को हटाने की रणनीतियां लागू करें।

यह कैसे मदद करता है: 

1. दोहराए गए रिक्वेस्ट्स पर तेज़ उत्तर: जहां समान या मिलते-जुलते रिक्वेस्ट्स बार-बार आते हैं, वहां कैशिंग बेहद प्रभावी है।
2. कंप्यूटेशनल लोड में कमी: कम गणनाएं मतलब कम लागत।

पर कैशिंग तभी उपयोगी है जब इनपुट्स दोहरें या ओवरलैप हों। बहुत परिवर्तनीय वर्कलोड्स में हिट रेट कम हो सकता है, और कैश बनाए रखने का ओवरहेड लाभ से ज्यादा पड़ सकता है। बासी या पुरानी प्रविष्टियां, यदि अब प्रासंगिक न हों, तो निरंतरता से जुड़ी समस्याएं पैदा कर सकती हैं। साथ ही, एविक्शन रणनीतियां लागू करना और ट्यून करना इंजीनियरिंग जटिलता बढ़ाता है—खासकर डिस्ट्रीब्यूटेड सिस्टम्स में जहां कैश सिंक्रोनाइज़ेशन एक चुनौती है।

6. Early Exiting

अर्ली एग्ज़िटिंग में, यदि मॉडल अपने प्रिडिक्शन को लेकर पर्याप्त आश्वस्त हो, तो इंफेरेंस के दौरान गणना को बीच में ही रोक दिया जाता है। इससे सरल मामलों में, जहां पूरा फॉरवर्ड पास ज़रूरी नहीं, कंप्यूट संसाधन बचते हैं और इंफेरेंस तेज़ होता है।

यह कैसे किया जाता है:

• कॉन्फिडेंस थ्रेशहोल्ड: मॉडल के आत्मविश्वास के लिए एक थ्रेशहोल्ड निर्धारित करें। यदि मध्य परत पर ही विश्वास इस स्तर से ऊपर चला जाए, तो गणना रोकें और मौजूदा आउटपुट लौटाएं। 
• एडैप्टिव अर्ली एग्ज़िटिंग: गति और सटीकता में संतुलन के लिए इनपुट या मॉडल लेयर के आधार पर थ्रेशहोल्ड को गतिशील रूप से समायोजित करें।

यह कैसे मदद करता है: 

1. आसान मामलों में तेज़ इंफेरेंस: यदि मॉडल जल्दी ही आत्मविश्वास से आउटपुट बता सकता है, तो समय और कंप्यूट दोनों बचते हैं।
2. लागत में कमी: कम गणनाएं मतलब कम लागत।

समझौता यह है कि कुछ मामलों में, खासकर जटिल इनपुट पर, सटीकता में थोड़ी कमी आ सकती है।

7. Optimized Hardware

इस तकनीक में विशेष हार्डवेयर आर्किटेक्चर और एक्सेलेरेटर्स का उपयोग किया जाता है जो AI गणनाओं के लिए कुशल हैं। इनमें GPUs, TPUs और अन्य समर्पित AI चिप्स शामिल हैं, जो इंफेरेंस कार्यों के लिए जनरल-पर्पज़ CPUs की तुलना में काफी बेहतर प्रदर्शन देते हैं।

यह कैसे किया जाता है:

• GPUs: मैट्रिक्स ऑपरेशंस और न्यूरल नेटवर्क गणनाओं के लिए GPUs की पैरेलल प्रोसेसिंग क्षमता का लाभ लें।
• TPUs: ऐसे विशेष टेन्सर प्रोसेसिंग यूनिट्स का उपयोग करें जो खास तौर पर AI वर्कलोड्स के लिए बने हैं।
• अन्य AI एक्सेलेरेटर्स: FPGAs या समर्पित AI चिप्स जैसे उभरते हार्डवेयर विकल्पों का अन्वेषण करें।

यह कैसे मदद करता है:

1. काफी तेज़ इंफेरेंस: LLMs को जिन प्रकार की गणनाएं चाहिए, उनमें GPUs और विशेष चिप्स CPUs से कहीं तेज़ हैं।
2. बेहतर ऊर्जा दक्षता: लंबी अवधि में यह ऊर्जा लागत घटाती है।

हालांकि, विशेष हार्डवेयर में अक्सर बड़ा प्रारंभिक निवेश लगता है और यह किसी एक विक्रेता के इकोसिस्टम में बांध सकता है। GPUs, TPUs या कस्टम एक्सेलेरेटर्स को क्लाउड में लगातार प्रोविजन करना भी कठिन हो सकता है, खासकर पीक डिमांड के समय। ऑन-प्रिमाइसेस डिप्लॉयमेंट में मेंटेनेंस और स्केलिंग की चुनौतियां आती हैं, जबकि क्लाउड विकल्पों में लगातार किराये की लागत अधिक हो सकती है। अंततः, विशेष हार्डवेयर का पूरा लाभ उठाने के लिए सॉफ़्टवेयर को अनुकूलित करना इंजीनियरिंग जटिलता बढ़ाता है और निरंतर ऑप्टिमाइज़ेशन मांगता है।

8. Model Compression

मॉडल कंप्रेशन का मतलब है मॉडल का आकार और जटिलता कई तकनीकों की मदद से घटाना, बिना प्रदर्शन से बहुत समझौता किए। इसमें प्रूनिंग, क्वांटाइज़ेशन, नॉलेज डिस्टिलेशन या अन्य तरीके शामिल हो सकते हैं, ताकि तेज़ इंफेरेंस के लिए अधिक कॉम्पैक्ट और कुशल मॉडल बनाया जा सके।

यह कैसे किया जाता है:

• कई तकनीकों का संयोजन: क्वांटाइज़ेशन, प्रूनिंग, नॉलेज डिस्टिलेशन आदि का संयोजन लागू करें ताकि मॉडल आकार में इष्टतम कमी हासिल हो।
• टेंसर डीकंपोज़िशन: बड़े वेट मैट्रिसेज़ को छोटे, अधिक कुशल निरूपण में विघटित करें।

यह कैसे मदद करता है: 

1. छोटा मॉडल आकार: इससे लोडिंग तेज़, मेमोरी कम और संभावित रूप से लागत कम होती है।

यदि तकनीकों को बहुत आक्रामक रूप से या बिना सावधानीपूर्वक ट्यूनिंग के लागू किया जाए तो मॉडल कंप्रेशन से सटीकता में गिरावट आ सकती है। प्रूनिंग, क्वांटाइज़ेशन और डिस्टिलेशन जैसे तरीकों का संयोजन सिस्टम जटिलता बढ़ाता है और अतिरिक्त रिट्रेनिंग या फाइन-ट्यूनिंग चक्रों की आवश्यकता पड़ सकती है। कंप्रेस्ड मॉडल नए कार्यों में स्थानांतरण के लिए कम लचीले भी हो सकते हैं, क्योंकि ऑप्टिमाइज़ेशन अक्सर उन परिस्थितियों की सीमा घटा देते हैं जहां मॉडल अच्छा प्रदर्शन करता है। कुछ मामलों में, कंप्रेशन पर लगाया गया इंजीनियरिंग समय और कंप्यूटेशनल ओवरहेड अल्पकालिक लागत बचत को संतुलित कर सकता है।

9. Distributed Inference

डिस्ट्रीब्यूटेड इंफेरेंस में इंफेरेंस वर्कलोड को कई मशीनों या डिवाइसों में बांटा जाता है। इससे बड़े पैमाने के कार्य पैरेलल तरीके से प्रोसेस होते हैं, लेटेंसी घटती है और थ्रूपुट बढ़ता है।

यह कैसे किया जाता है: 

• मॉडल पार्टिशनिंग: मॉडल को कई मशीनों में बांटें ताकि हर एक मॉडल के गणना के किसी हिस्से को संभाले।
• लोड बैलेंसिंग: इनकमिंग रिक्वेस्ट्स को उपलब्ध मशीनों में वितरित करें ताकि संसाधनों का कुशल उपयोग हो।

यह कैसे मदद करता है: 

1. बड़े मॉडल और अधिक ट्रैफ़िक संभालता है: डिस्ट्रीब्यूटेड इंफेरेंस बड़े कार्यों को कई मशीनों में बांटने देता है, जिससे बड़े मॉडल और अधिक रिक्वेस्ट्स एक साथ संभाले जा सकते हैं। इससे हार्डवेयर अधिक कुशल होता है और क्लाउड में लचीला स्केलिंग संभव होती है, जो मिलकर लागत बचत देती है।

डिस्ट्रीब्यूटेड इंफेरेंस काफी सिस्टम जटिलता लाता है, क्योंकि कई मशीनों में समन्वय के लिए मजबूत ऑर्केस्ट्रेशन, सिंक्रोनाइज़ेशन और फॉल्ट टॉलरेंस चाहिए। नेटवर्क लेटेंसी और बैंडविड्थ सीमाएं प्रदर्शन लाभ को कम कर सकती हैं, खासकर जब बड़े मध्यवर्ती डेटा का आदान-प्रदान जरूरी हो। इसके अलावा, अतिरिक्त हार्डवेयर और लोड-बैलेंसिंग तंत्र प्रोविजन और मेंटेन करने से इन्फ्रास्ट्रक्चर लागत बढ़ती है। सिंगल-नोड सेटअप की तुलना में डिबगिंग और मॉनिटरिंग भी कठिन हो सकती है, जिससे विश्वसनीयता एक चुनौती बनती है।

10. Prompt Engineering

प्रॉम्प्ट इंजीनियरिंग वह प्रक्रिया है जिसमें इनपुट प्रॉम्प्ट्स को सावधानी से गढ़ा जाता है ताकि बड़े भाषा मॉडल (LLM) इच्छित आउटपुट जनरेट करें। स्पष्ट, संक्षिप्त और विशिष्ट प्रॉम्प्ट्स बनाकर, उपयोगकर्ता LLM रिस्पॉन्स की गुणवत्ता और नियंत्रण क्षमता सुधार सकते हैं, जिससे वे विशिष्ट कार्यों के लिए अधिक प्रासंगिक और उपयोगी बनते हैं।

यह कैसे किया जाता है:

• स्पष्ट और संक्षिप्त रहें: अपने प्रॉम्प्ट्स में सटीक और निर्विवाद भाषा का उपयोग करें।
• प्रसंग दें: LLM को मार्गदर्शन देने के लिए प्रासंगिक पृष्ठभूमि जानकारी या उदाहरण शामिल करें।
• प्रयोग करें और दोहराएं: अलग-अलग प्रॉम्प्ट रूपांतरण आज़माएं और परिणामों का मूल्यांकन करें ताकि सबसे प्रभावी संस्करण मिल सके।

यह कैसे मदद करता है: 

1. ज़्यादा प्रासंगिक और संक्षिप्त आउटपुट: अच्छी प्रॉम्प्ट इंजीनियरिंग मॉडल द्वारा जनरेट किए जाने वाले टोकन्स की संख्या घटा सकती है, जिससे इंफेरेंस तेज़ और संभावित रूप से सस्ता होता है।
2. सटीकता में सुधार: स्पष्ट प्रॉम्प्ट्स मॉडल को गलतफहमी से बचाते हैं और अधिक सटीक उत्तर देने में मदद करते हैं।

प्रॉम्प्ट इंजीनियरिंग में लगातार प्रयोग और पुनरावृत्ति की जरूरत होती है, जो समय लेने वाली हो सकती है और उपयोग मामलों के बीच असंगत भी। अच्छे प्रॉम्प्ट्स आम तौर पर जनरलाइज़ नहीं होते, इसलिए कार्य या मॉडल बदलने पर दोबारा डिज़ाइन करना पड़ सकता है। प्रॉम्प्ट डिज़ाइन में सुधार नाज़ुक भी हो सकता है—शब्दों में छोटे बदलाव या मॉडल अपडेट्स परिणामों को अप्रत्याशित रूप से बदल सकते हैं। अंततः, यदि आप संदर्भ प्रबंधन या फाइन-ट्यूनिंग जैसी पूरक तकनीकों के बिना केवल प्रॉम्प्ट इंजीनियरिंग पर अधिक निर्भर रहते हैं, तो स्केलेबिलिटी और दीर्घकालिक बचत सीमित हो सकती है।

बोनस: Context Engineering

कॉन्टेक्स्ट इंजीनियरिंग वह अभ्यास है जिसमें यह नियंत्रित करने वाली प्रणालियां डिज़ाइन की जाती हैं कि उत्तर जनरेट करने से पहले LLM क्या जानकारी देखे। कॉन्टेक्स्ट विंडो में सब कुछ ठूंसने के बजाय, आप केवल सबसे प्रासंगिक विवरण—जैसे उपयोगकर्ता इतिहास, रिट्रीव्ड दस्तावेज़, या टूल आउटपुट—चुनते और व्यवस्थित करते हैं ताकि मॉडल अधिक कुशलता से तर्क कर सके।

यह कैसे किया जाता है:

• कॉन्टेक्स्ट समरीकरण: संचित बातचीत का इतिहास या दस्तावेज़ों को छोटे सारांशों में संपीड़ित करें ताकि अर्थ बना रहे और टोकन्स कम हों।
• टूल लोडआउट प्रबंधन: रिट्रीवल सिस्टम्स का उपयोग करके केवल सबसे प्रासंगिक टूल्स या विवरण चुनें, हर उपलब्ध विकल्प पास न करें।
• कॉन्टेक्स्ट प्रूनिंग: नई जानकारी आने पर पुरानी या अनावश्यक सामग्री हटाएं, ताकि सक्रिय कॉन्टेक्स्ट हल्का और उपयोगी रहे।
• कॉन्टेक्स्ट वैलिडेशन और क्वारंटीन: भ्रमित करने वाली सामग्री या त्रुटियों का पता लगाएं और उन्हें अलग रखें ताकि वे दीर्घकालिक मेमोरी को प्रभावित न करें।

यह कैसे मदद करता है:

• कम टोकन उपयोग: छोटे और केंद्रित कॉन्टेक्स्ट से प्रोसेस होने वाले टोकन्स की संख्या घटती है, जिससे लागत सीधे कम होती है।
• सटीकता में सुधार: साफ-सुथरा कॉन्टेक्स्ट मॉडल को असंगत या अप्रासंगिक विवरणों से भटकने से बचाता है।
• तेज़ इंफेरेंस: कम टोकन्स और अधिक स्थिर KV कैश के साथ रिक्वेस्ट्स जल्दी पूरी होती हैं, जिससे कंप्यूट संसाधन बचते हैं।

समझौता यह है कि प्रभावी कॉन्टेक्स्ट प्रणालियां बनाने में शुरुआती इंजीनियरिंग मेहनत लगती है। आपको रिट्रीवल, समरीकरण और वैलिडेशन पाइपलाइंस चाहिए, और खराब डिज़ाइन से कॉन्टेक्स्ट गैप्स बन सकते हैं जो प्रदर्शन को नुकसान पहुंचाते हैं। पर जब यह सही ढंग से किया जाता है, तो कॉन्टेक्स्ट इंजीनियरिंग बड़े अनुप्रयोगों को अधिक विश्वसनीय और अधिक किफायती बनाती है।

निष्कर्ष

LLM इंफेरेंस लागत घटाना किसी एक ट्रिक से संभव नहीं। यह उन तरीकों को मिलाकर हासिल होता है जो आपके वर्कलोड के लिए तार्किक हों। क्वांटाइज़ेशन, प्रूनिंग और नॉलेज डिस्टिलेशन जैसे तरीके मॉडल आकार घटाते हैं। बैचिंग, कैशिंग और डिस्ट्रीब्यूटेड इंफेरेंस रिक्वेस्ट प्रोसेसिंग में सुधार लाते हैं। हार्डवेयर चुनाव और मॉडल कंप्रेशन दक्षता को और आगे बढ़ाते हैं, जबकि प्रॉम्प्ट और कॉन्टेक्स्ट इंजीनियरिंग स्रोत पर ही अनावश्यक टोकन उपयोग घटाती है।

समझौते वास्तविक हैं: हर तरीका जटिलता, संभावित सटीकता हानि, या इन्फ्रास्ट्रक्चर ओवरहेड लाता है। लेकिन लाभ जुड़ते जाते हैं। इन तकनीकों में से कुछ को भी अपनाकर, आप मॉडलों को किफायती रख सकते हैं, बढ़ते उपयोग को बिना बेकाबू लागत के स्केल कर सकते हैं, और ऐसी प्रणालियां बना सकते हैं जो मॉडलों और अनुप्रयोगों के बढ़ने के साथ टिकाऊ बनी रहें।