Tanh फ़ंक्शन: न्यूरल नेटवर्क्स के लिए ज़ीरो-सेंटर्ड आउटपुट क्यों मायने रखते हैं

क्या आपका न्यूरल नेटवर्क 60% शुद्धता पर अटका हुआ है, और आपको समझ नहीं आ रहा क्यों?

आपने लर्निंग रेट बदली, और लेयरें जोड़ीं, बैच साइज़ के साथ खेला। कुछ भी काम नहीं करता। पहले कुछ epochs के बाद training loss मुश्किल से ही घटता है। आप अपनी पूरी सेटअप पर सवाल उठाने लगते हैं। शायद डेटा ख़राब है, शायद आर्किटेक्चर गलत है। लेकिन असल में हो यह रहा है कि आपका activation फ़ंक्शन सभी आउटपुट को एक ही दिशा में धकेल रहा है, जिससे नेटवर्क के लिए संतुलित पैटर्न सीखना असंभव हो जाता है।

Tanh (हाइपरबोलिक टैन्जेंट) इसे शून्य के आसपास आउटपुट को केंद्रित करके हल करता है, जिसकी रेंज -1 से 1 तक होती है। यह आपके मॉडलों को तेज़ी से अभिसरण करने में मदद करता है और बैकप्रोपेगेशन के दौरान ग्रेडिएंट्स को सममित रूप से बहने देता है।

इस लेख में, आप जानेंगे कि tanh क्या है, यह गणितीय रूप से कैसे काम करता है, इसे ReLU या sigmoid पर कब प्राथमिकता दें, और PyTorch में इसे कैसे लागू करें। यदि आप डीप लर्निंग में नए हैं, तो हमारे विस्तृत मार्गदर्शक न्यूरल नेटवर्क में activation functions को देखें।

Tanh फ़ंक्शन क्या है?

Tanh फ़ंक्शन किसी भी इनपुट को -1 और 1 के बीच एक मान पर मैप करता है।

यह एक स्मूथ, S-आकार का कर्व है जिसे इस सूत्र से परिभाषित किया गया है:

Tanh फ़ंक्शन। चित्र: लेखक द्वारा

फ़ंक्शन चरम स्थितियों पर पूर्वानुमेय व्यवहार करता है। जब आप इसे बहुत बड़ा धनात्मक मान देते हैं, तो आउटपुट 1 के करीब होता है। बहुत बड़ा ऋणात्मक मान देने पर आउटपुट -1 के करीब मिलेगा।

शून्य के आसपास, tanh लगभग रैखिक (linear) जैसा व्यवहार करता है। इसका मतलब है कि बैकप्रोपेगेशन के दौरान ग्रेडिएंट्स दबने या विकृत होने के बजाय आसानी से बहते हैं।

तुलना के लिए, sigmoid केवल 0 और 1 के बीच धनात्मक मान देता है। Tanh धनात्मक और ऋणात्मक दोनों मान देता है। यह एक्टिवेशन्स को शून्य के आसपास संतुलित रखता है, जो कई नेटवर्क आर्किटेक्चर्स में ऑप्टिमाइज़ेशन को तेज़ी से अभिसरण करने में मदद करता है।

आप tanh को प्रायः recurrent नेटवर्क्स में और जहां भी केंद्रित एक्टिवेशन स्थिरता बढ़ाते हैं, वहां उपयोग होते देखेंगे।

गणितीय और संगणकीय गुण

Tanh के कुछ गणितीय गुण हैं, जिन्हें हर उभरते मशीन लर्निंग इंजीनियर को जानना चाहिए।

स्मूथ और अवकलनीय

Tanh हर जगह अनंत बार अवकलनीय और स्मूथ है।

यह ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन के लिए मायने रखता है। आपको ReLU की तरह तेज़ कोने नहीं मिलते, जहां अवकलज तुरंत 0 से 1 पर कूदता है। स्मूथ ग्रेडिएंट्स का मतलब है बैकप्रोपेगेशन के दौरान अधिक पूर्वानुमेय वेट अपडेट्स।

शून्य-केंद्रित आउटपुट

Sigmoid 0 और 1 के बीच मान देता है। Tanh -1 और 1 के बीच मान देता है।

जब एक्टिवेशन्स शून्य के आसपास संतुलित रहते हैं, तो आपका नेटवर्क तेज़ी से अभिसरित होता है। वेट अपडेट्स किसी एक दिशा में पक्षपाती नहीं होते, और ग्रेडिएंट्स लेयर्स में अधिक समान रूप से बहते हैं।

सीमाबद्ध और स्थिर

Tanh का आउटपुट दायरा -1 और 1 के बीच निश्चित है।

ये सीमाएं संख्यात्मक अस्थिरता को रोकती हैं। यदि आप ऐसे नेटवर्क्स पर काम कर रहे हैं जो उछलते एक्टिवेशन्स संभाल नहीं सकते, तो tanh बिना क्लिपिंग या विशेष हैंडलिंग के चीज़ों को नियंत्रण में रखता है।

चरम पर व्यवहार

बड़े धनात्मक मानों के लिए, tanh 1 के करीब पहुंचता है। बड़े ऋणात्मक मानों के लिए, यह -1 के करीब पहुंचता है।

यह सममिति एक्टिवेशन्स को केंद्रित रखती है और sigmoid जैसी गैर-शून्य-केंद्रित फ़ंक्शन्स में दिखने वाले बायस शिफ्ट को रोकती है। गहरे नेटवर्क्स में, यह गुण लेयर्स के माध्यम से वेट अपडेट्स को अधिक समान रूप से फैलने में मदद करता है—आपका नेटवर्क धनात्मक या ऋणात्मक मानों के प्रति झुकाव विकसित नहीं करता।

tanh का अवकलज

Tanh का अवकलज है:

Tanh अवकलज। चित्र: लेखक द्वारा।

इसका मतलब है कि शून्य के पास ग्रेडिएंट्स मजबूत होते हैं, लेकिन किनारों पर फ़ंक्शन के संतृप्त होने के साथ सिकुड़ते जाते हैं। जब tanh(x) 1 या -1 के करीब होता है, तो अवकलज शून्य की ओर बढ़ता है, जो उन न्यूरॉन्स के लिए सीखने की गति धीमी कर देता है।

व्यवहार में, आपको मध्यम इनपुट्स के लिए स्थिर लर्निंग मिलती है, लेकिन इनपुट बहुत बड़े या बहुत छोटे होने पर ग्रेडिएंट्स वैनिश हो सकते हैं। यही कारण है कि गहरे नेटवर्क्स अक्सर ReLU को प्राथमिकता देते हैं—यह धनात्मक मानों के लिए संतृप्त नहीं होता।

Tanh बनाम अन्य फ़ंक्शन्स

Tanh अकेला activation फ़ंक्शन नहीं है, और विकल्पों से इसकी तुलना समझना आपके नेटवर्क के लिए सही चयन करने में मदद करता है।

Sigmoid tanh का क़रीबी रिश्तादार है। दरअसल, tanh, sigmoid का स्केल और शिफ्ट किया हुआ रूप है:

जहां σ(x) sigmoid फ़ंक्शन है।

Sigmoid फ़ंक्शन। चित्र: लेखक द्वारा

मुख्य अंतर यह है कि Sigmoid 0 और 1 के बीच मान देता है, जबकि tanh -1 और 1 के बीच। यह शून्य-केंद्रित होना अधिकतर मामलों में tanh को तेज़ी से अभिसरित करता है।

ReLU एक अलग दृष्टिकोण लेता है। यह ऋणात्मक इनपुट्स पर शून्य आउटपुट देता है और धनात्मक इनपुट्स को बिना बदले पास कर देता है। इससे sparsity बनती है, यानी कई न्यूरॉन्स निष्क्रिय रहते हैं, जो प्रशिक्षण को तेज़ करता है। लेकिन ReLU ऋणात्मक मानों के लिए ग्रेडिएंट्स को खत्म कर देता है। Tanh में यह समस्या नहीं है क्योंकि यह ऋणात्मक इनपुट्स के लिए भी गैर-शून्य ग्रेडिएंट्स बनाए रखता है। यह दोनों सिरों पर संतृप्त होता है, जो इनपुट बहुत बड़ा या बहुत छोटा होने पर सीखने को धीमा कर सकता है।

ReLU फ़ंक्शन। चित्र: लेखक द्वारा

Softsign, tanh के समान दिखता है। दोनों स्मूथ, S-आकार की वक्रें हैं। लेकिन tanh शून्य के पास तेज़ी से अभिसरित होता है क्योंकि इसका ढलान अधिक तीखा है। इसका मतलब है शुरुआती प्रशिक्षण चरणों में मजबूत ग्रेडिएंट्स, जो आपके नेटवर्क को तेज़ी से सीखने में मदद कर सकते हैं, इससे पहले कि इनपुट्स संतृप्ति क्षेत्रों में पहुंचें।

Softsign फ़ंक्शन। चित्र: लेखक द्वारा

मैं इन activation फ़ंक्शन्स के साथ केवल सतह को खरोंच रहा हूँ। यदि आप Tanh और ReLU के विकल्पों में रुचि रखते हैं, तो हमारे विस्तृत मार्गदर्शकs Softmax और Softplus पढ़ें।

Tanh के लाभ

यदि आप तय कर रहे हैं कि Tanh को आज़माना चाहिए या नहीं, तो यहां कुछ फायदे हैं जो अंततः आपको अधिक सटीक मॉडल दे सकते हैं।

शून्य-केंद्रित आउटपुट

Tanh शून्य के आसपास संतुलित आउटपुट देता है।

यह वेट अपडेट्स में बायस को कम करता है। जब आपके एक्टिवेशन्स sigmoid की तरह धनात्मक दिशा में झुके रहने के बजाय शून्य के आसपास केंद्रित रहते हैं, तो ग्रेडिएंट्स वेट्स को किसी एक दिशा में ज़्यादा नहीं खींचते। नतीजतन तेज़ अभिसरण और अधिक स्थिर प्रशिक्षण मिलता है।

शून्य के पास मजबूत ग्रेडिएंट्स

Tanh का ढलान शून्य के पास तीखा होता है।

इसका मतलब है कि sigmoid की तुलना में बैकप्रोपेगेशन के दौरान ग्रेडिएंट्स मजबूत होते हैं। प्रशिक्षण के शुरुआती चरणों में, जब अधिकांश एक्टिवेशन्स शून्य के पास होते हैं, आपका नेटवर्क तेज़ी से सीखता है। दूसरी ओर, Sigmoid का नरम ढलान शुरुआती अपडेट्स को कमज़ोर और धीमा बना देता है।

स्मूथ ग्रेडिएंट फ्लो

Tanh के अवकलज हर जगह सतत हैं।

कहीं भी अचानक छलांग या असंततता नहीं है। यह ReLU जैसी टुकड़ा-रेखीय (piecewise) फ़ंक्शन्स की तुलना में अधिक स्थिर ऑप्टिमाइज़ेशन देता है, जहां शून्य पर अवकलज अचानक 0 से 1 में बदलता है। स्मूथ ग्रेडिएंट्स का मतलब है प्रशिक्षण भर में पूर्वानुमेय वेट अपडेट्स।

रिपरेंट नेटवर्क्स के लिए उपयुक्त

RNNs, LSTMs, और GRUs अपनी hidden लेयर्स में tanh पर निर्भर करते हैं।

इन आर्किटेक्चर्स को समय चरणों में स्मूथ आंतरिक अवस्थाएं बनाए रखने की ज़रूरत होती है। Tanh धनात्मक और ऋणात्मक दोनों संकेतों को बहने देता है, साथ ही मानों को सीमाबद्ध रखता है। यह संतुलन उछलते एक्टिवेशन्स को रोकता है और नेटवर्क को लंबी अनुक्रमों में जानकारी याद रखने में मदद करता है।

सीमाएं और समझौते

कोड में जाने से पहले, मैं कुछ ऐसे पहलुओं को कवर करूंगा जहां Tanh कम पड़ सकता है।

वैनिशिंग ग्रेडिएंट्स

जब इनपुट्स शून्य से बहुत दूर चले जाते हैं, तो ग्रेडिएंट्स शून्य की ओर बढ़ते हैं।

यह इसलिए होता है क्योंकि tanh -1 और 1 पर संतृप्त हो जाता है। एक बार जब आपके एक्टिवेशन्स इन चरमों को छूते हैं, तो अवकलज बहुत छोटा हो जाता है और वेट अपडेट्स रेंगने लगते हैं। बहुत गहरे नेटवर्क्स में, यह समस्या परत-दर-परत बैकप्रोपेगेशन के साथ बढ़ती है, जब तक कि सीखना लगभग रुक न जाए।

धीमा प्रशिक्षण

Tanh sparsity नहीं बनाता।

हर न्यूरॉन किसी न किसी स्तर पर सक्रिय रहता है, जबकि ReLU में नकारात्मक इनपुट शून्य आउटपुट देते हैं। इसका अर्थ है कि आपका नेटवर्क प्रति फॉरवर्ड पास अधिक जानकारी प्रोसेस करता है—जो सुनने में अच्छा लगता है, पर वास्तव में चीज़ों को धीमा कर देता है। ReLU की sparseness ट्रेनिंग को तेज़ बनाती है, क्योंकि निष्क्रिय न्यूरॉन पूरी तरह गणना को छोड़ देते हैं।

हार्डवेयर ऑप्टिमाइज़ेशन कम

आधुनिक फ्रेमवर्क और हार्डवेयर एक्सेलेरेटर्स ReLU को तरजीह देते हैं।

Tanh ऑपरेशंस में exponentials शामिल होते हैं, जिनकी गणना ReLU के साधारण max(0, x) ऑपरेशन से अधिक महंगी होती है। GPU kernels और विशेष AI चिप्स ReLU के लिए ऑप्टिमाइज़्ड हैं क्योंकि यह अधिकांश आर्किटेक्चर में डिफ़ॉल्ट बन चुका है। इसका मतलब है कि समान हार्डवेयर पर, एक जैसी नेटवर्क आर्किटेक्चर के बावजूद tanh धीमा चलेगा।

PyTorch में Tanh

PyTorch में Tanh फ़ंक्शन का नैटिव इम्प्लीमेंटेशन मौजूद है, यानी आपको इसे शून्य से लिखने की ज़रूरत नहीं।

इसे एक साधारण न्यूरल नेटवर्क में activation function के रूप में इस तरह इस्तेमाल करें:

import torch
import torch.nn as nn

model = nn.Sequential(
    nn.Linear(10, 20),
    nn.Tanh(),
    nn.Linear(20, 1)
)

x = torch.randn(5, 10)
output = model(x)
print(output)संचालित द्वारा

tensor([[ 0.0910],
               [-0.0994],
               [-0.0583],  
               [-0.2177],
               [-0.2546]], grad_fn=<AddmmBackward0>)संचालित द्वारा

आप tanh को सीधे टेन्सर्स पर भी लगा सकते हैं:

x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = torch.tanh(x)
print(output)संचालित द्वारा

tensor([-0.9640, -0.7616, 0.0000, 0.7616, 0.9640])संचालित द्वारा

ध्यान दें कि आउटपुट शून्य के आस-पास सममित हैं—नकारात्मक इनपुट नकारात्मक आउटपुट देते हैं, और फ़ंक्शन दोनों पक्षों के साथ समान व्यवहार करता है। यह संतुलित वितरण ट्रेनिंग के दौरान आपके नेटवर्क को स्थिर रखता है और sigmoid जैसी फ़ंक्शंस के साथ दिखने वाले बायस शिफ्ट को रोकता है।

Tanh कब इस्तेमाल करें

Tanh फ़ंक्शन चुनें जब आपके मॉडल को centered activations से फ़ायदा हो या जब आप छोटे या recurrent नेटवर्क पर काम कर रहे हों।

यह खास तौर पर तब प्रभावी है जब:

• आप RNNs या LSTMs को ट्रेन कर रहे हों जिन्हें balanced activations चाहिए। ये आर्किटेक्चर समय-चरणों में स्मूद आंतरिक अवस्थाएँ बनाए रखने के लिए Tanh पर निर्भर होते हैं, और साथ ही सकारात्मक व नकारात्मक दोनों सिग्नल्स को प्रवाहित होने देते हैं।
• आप सतत या स्मूद टार्गेट्स मॉडल कर रहे हों। Tanh का स्मूद ग्रेडिएंट फ्लो तब अच्छा काम करता है जब आपके आउटपुट सतत और सीमित होने चाहिए, जैसे ऐसे मानों की भविष्यवाणी करना जो स्वाभाविक रूप से किसी रेंज में आते हैं।
• आप स्थिर, differentiable ग्रेडिएंट चाहते हों लेकिन ReLU की sparseness की ज़रूरत न हो। यदि आपका नेटवर्क इतना गहरा नहीं है कि ReLU के स्पीड लाभ से फ़ायदा मिले, तो Tanh अधिक पूर्वानुमेय ट्रेनिंग व्यवहार देता है।

विपरीत रूप से, बहुत गहरी आर्किटेक्चर में, जहाँ vanishing gradients चिंता का विषय हैं, Tanh से बचें। वहाँ ReLU या GELU बेहतर होते हैं क्योंकि वे सकारात्मक मानों के लिए saturate नहीं होते।

निष्कर्ष

संक्षेप में, Tanh फ़ंक्शन Sigmoid की सरलता और ReLU की रफ़्तार के बीच बैठता है।

यह स्मूद, सममित है, और डीप लर्निंग में अब भी प्रासंगिक है—खासकर वहाँ जहाँ balanced activations सबसे अधिक मायने रखते हैं। आपको यह हर आधुनिक आर्किटेक्चर में नहीं मिलेगा, लेकिन जब आपको centered आउटपुट और स्थिर ग्रेडिएंट फ्लो चाहिए, तब इसका सही स्थान होता है।

यदि आप सुनिश्चित नहीं हैं कि Tanh का उपयोग करें या नहीं, तो बस ये दिशानिर्देश अपनाएँ:

• बड़े, गहरे नेटवर्क के लिए ReLU का उपयोग करें। यह तेज़ है, आधुनिक हार्डवेयर के साथ अच्छा काम करता है, और सकारात्मक मानों के लिए vanishing gradients से बचाता है।
• जब आपको स्थिरता, सममिति और स्मूदर ग्रेडिएंट फ्लो चाहिए, तब Tanh का उपयोग करें। यानी recurrent नेटवर्क, छोटे आर्किटेक्चर, और ऐसे मामले जहाँ शून्य-केंद्रित activations से convergence में सुधार होता है।

प्रयोग चलाएँ, परिणामों की तुलना करें, और अपने डेटा को तय करने दें कि आपके कार्य के लिए कौन-सा activation सबसे उपयुक्त है। और सीखना चाहते हैं? हमारे Machine Learning Scientist in Python ट्रैक में नामांकन करें और supervised, unsupervised, तथा deep learning की बारीकियाँ समझें।