Softplus: वह सुगम सक्रियण फ़ंक्शन जिसे जानना चाहिए

कई वर्षों से डीप लर्निंग में ReLU डिफ़ॉल्ट सक्रियण फ़ंक्शन रहा है। और इसकी अच्छी वजह है—यह सरल है और अधिकांश मामलों में अच्छा काम करता है। लेकिन जब प्रशिक्षण के दौरान न्यूरॉन शून्य आउटपुट देने लगते हैं, तो वे सीखना बंद कर देते हैं, उनके ग्रेडिएंट शून्य हो जाते हैं, और बैकप्रोपेगेशन उनके वज़न अपडेट नहीं कर पाता। गहरे नेटवर्क में, यह समस्या कई न्यूरॉनों को प्रभावित कर सकती है और आपके मॉडल की डेटा से पैटर्न पकड़ने की क्षमता घटा सकती है।

सीधी भाषा में: आपका नेटवर्क सीखना बंद कर देता है।

Softplus एक सुगम, अवकलनीय विकल्प देता है जो इस समस्या का समाधान करता है, और साथ ही ReLU के अधिकांश लाभ बनाए रखता है। यह धनात्मक इनपुट पर ReLU जैसा व्यवहार करता है, लेकिन ऋणात्मक मानों के लिए गैर-शून्य ग्रेडिएंट प्रदान करता है। इससे प्रशिक्षण के दौरान न्यूरॉन सक्रिय बने रहते हैं।

इस लेख में, आप जानेंगे कि Softplus क्या है, गणितीय रूप से यह ReLU से कैसे तुलना करता है, और किन स्थितियों में आपको अन्य सक्रियण फ़ंक्शनों के बजाय इसे चुनना चाहिए।

यदि आप डीप लर्निंग में बिल्कुल नए हैं, तो हमारे विस्तृत मार्गदर्शक को देखें—न्यूरल नेटवर्क में सक्रियण फ़ंक्शंस।

Softplus फ़ंक्शन क्या है?

Softplus एक सुगम सक्रियण फ़ंक्शन है जो ReLU का अवकलनीय सन्निकटन करता है।

यह फ़ंक्शन किसी भी वास्तविक संख्या को इनपुट के रूप में लेता है और धनात्मक मान आउटपुट करता है। Softplus में शून्य पर ReLU जैसा तीखा कोना नहीं होता।ReLU की तरह नहीं, यह उस संक्रमण बिंदु से सुगमता से गुजरता है।

यहाँ गणितीय परिभाषा दी गई है:

जहाँ:

• x इनपुट मान है
• e ऑइलर की संख्या है (लगभग 2.718)
• ln प्राकृतिक लघुगणक है

बड़े धनात्मक इनपुट के लिए, Softplus इनपुट के ही करीब मान लौटाता है। ऋणात्मक इनपुट के लिए, यह शून्य की जगह छोटे धनात्मक मान लौटाता है।

Softplus का अवकलज

Softplus का अवकलज लॉजिस्टिक सिग्मोइड फ़ंक्शन है।

इसका अर्थ है:

जहाँ σ(x) वही सिग्मोइड फ़ंक्शन है जिसे आपने पहले संभवतः देखा होगा। 

यह अवकलज-सम्बंधी गुण Softplus को तब उपयोगी बनाता है जब आपको बैकप्रोपेगेशन के दौरान सुगम ग्रेडिएंट प्रवाह चाहिए। ग्रेडिएंट कभी शून्य पर नहीं गिरते। इसका मतलब है कि न्यूरॉन हमेशा अपने वज़न अपडेट कर सकते हैं और सीखना जारी रख सकते हैं।

चरम मानों पर व्यवहार

इनपुट बड़ा धनात्मक हो या बड़ा ऋणात्मक, Softplus का व्यवहार अलग होता है।

बड़े धनात्मक मानों के लिए:

बड़े ऋणात्मक मानों के लिए:

इसी वजह से Softplus ReLU का अच्छा सन्निकटन करता है। जब x धनात्मक और बड़ा होता है, तो दोनों फ़ंक्शन लगभग समान मान लौटाते हैं।

अंतर ऋणात्मक इनपुट पर दिखता है। ReLU ऋणात्मक इनपुट के लिए बिल्कुल शून्य देता है, जबकि Softplus छोटे धनात्मक मान देता है।

वह छोटा सा अंतर "डाइंग न्यूरॉन" समस्या को रोक देता है। Softplus वाले न्यूरॉन ऋणात्मक सक्रियण से उबर सकते हैं क्योंकि उनके ग्रेडिएंट कभी पूरी तरह से लुप्त नहीं होते।

गणितीय और संगणकीय गुण

Softplus के कुछ ऐसे गणितीय गुण हैं जिन्हें जानना आवश्यक है। ये इसे केवल ReLU का सुगम रूप भर नहीं रहने देते।

सुगमता और अवकलनीयता

Softplus हर बिंदु पर अनंत बार अवकलनीय है।

अर्थात आप जितनी बार चाहें अवकलज ले सकते हैं, फ़ंक्शन सुगम बना रहता है। गणितीय भाषा में, यह एक विश्लेषणात्मक (analytic) फ़ंक्शन है।

दूसरी ओर, ReLU में शून्य पर एक किंक—तेज कोना—होता है जहाँ अवकलज अस्तित्व में नहीं होता। यह गैर-अवकलनीय बिंदु उन अनुकूलन एल्गोरिद्म में समस्या पैदा कर सकता है जो सुगम ग्रेडिएंट मानकर चलते हैं।

डीप लर्निंग में, हानि सतह सुगम हो तो अनुकूलन बेहतर काम करता है। यदि आप द्वितीय-क्रम (second-order) अनुकूलन विधियाँ या ऐसे एल्गोरिद्म उपयोग कर रहे हैं जो सुगम ग्रेडिएंट संक्रमण मानते हैं, तो Softplus वह सुगमता देता है।

सांख्यिकीय स्थिरता

घातांक (exponential) का मान निकालना, जब इनपुट बड़े हों, तो ओवरफ्लो समस्याएँ पैदा कर सकता है।

डीप लर्निंग फ़्रेमवर्क इसे एक threshold पैरामीटर से सँभालते हैं। जब इनपुट इस थ्रेशोल्ड से ऊपर चला जाता है, तो फ़ंक्शन लघुगणक की गणना से स्विच होकर रैखिक आउटपुट लौटाने लगता है।

यह ऐसे काम करता है:

• छोटे इनपुट के लिए: Softplus को सीधे गणना करें
• थ्रेशोल्ड से बड़े इनपुट के लिए: इनपुट सीधे लौटाएँ

यह सांख्यिकीय ओवरफ्लो को रोकता है और अपेक्षित व्यवहार भी बनाए रखता है। बड़े धनात्मक इनपुट पर Softplus वैसे भी लगभग रैखिक हो जाता है, इसलिए यह स्विच आउटपुट को अर्थपूर्ण रूप से प्रभावित नहीं करता।

अन्य फ़ंक्शनों से संबंध

Softplus कुछ अन्य सक्रियण और प्रायिकता फ़ंक्शनों से जुड़ता है। इस प्रकार:

• Sigmoid: जैसा आपने ऊपर देखा, Softplus का अवकलज सिग्मोइड है। यानी Softplus सिग्मोइड का समाकल है—जो उनके आकारों को देखकर सहज लगता है।

• LogSumExp: Softplus वास्तव में LogSumExp फ़ंक्शन का विशेष मामला है। दो इनपुट के लिए, LogSumExp(0, x) = ln(1 + e^x) = Softplus(x)। यह Softplus को मशीन लर्निंग में प्रयुक्त सांख्यिकीय स्थिरता तकनीकों से जोड़ता है।

• Softmax: LogSumExp, Softmax की नींव है, इसलिए Softplus उसी वंश से है। दोनों फ़ंक्शन सांख्यिकीय स्थिरता के लिए लॉग-एक्सप ट्रिक का उपयोग करते हैं।

• Logit फ़ंक्शन: लॉजिट, सिग्मोइड का इनवर्स है। चूँकि सिग्मोइड Softplus का अवकलज है, ये तीनों फ़ंक्शन प्रायिकता सिद्धांत में एक जुड़ा हुआ परिवार बनाते हैं।

• Convex conjugate: उत्तल विश्लेषण (convex analysis) में, Softplus का convex conjugate ऋणात्मक बाइनरी एंट्रॉपी है। यह Softplus को सूचना सिद्धांत और प्रायिकत्मक मॉडलिंग में प्रयुक्त एंट्रॉपी अधिकतमकरण सिद्धांतों से जोड़ता है।

यदि आप प्रायिकत्मक मॉडल या बेयेज़ियन फ़्रेमवर्क में काम कर रहे हैं, तो यह एंट्रॉपी संबंध Softplus को अधिकतम एंट्रॉपी सिद्धांतों से अनुरूप सक्रियण सुनिश्चित करने के लिए स्वाभाविक विकल्प बनाता है।

Softplus उपयोग करने के लाभ

Softplus कुछ खास समस्याएँ सुलझाता है जिन्हें ReLU अच्छी तरह नहीं सँभाल पाता। इनमें से चार यहाँ हैं।

सुगम और अवकलनीय

Softplus वक्र के हर बिंदु पर सुगम है।

इसका मतलब है, बैकप्रोपेगेशन के दौरान ग्रेडिएंट बिना अचानक उछाल या टूटन के लगातार बहते हैं। नेटवर्क को प्रशिक्षित करते समय, सुगम ग्रेडिएंट प्रवाह अधिक स्थिर वज़न अपडेट और बेहतर अभिसरण व्यवहार देता है।

ReLU के शून्य पर तेज़ कोने से ग्रेडिएंट असततता आ सकती है। Softplus में यह समस्या नहीं है।

डाइंग न्यूरॉनों को रोकता है

Softplus बड़े ऋणात्मक इनपुट पर भी कभी बिल्कुल शून्य आउटपुट नहीं देता।

इसका अर्थ है कि हर न्यूरॉन सीखता रह सकता है क्योंकि ग्रेडिएंट पूरी तरह से लुप्त नहीं होते। ReLU में, जो न्यूरॉन शून्य आउटपुट देने लगता है, वह हमेशा के लिए वहीं अटक सकता है—उसका ग्रेडिएंट शून्य होता है, इसलिए वज़न अपडेट उसे हिला नहीं पाते।

Softplus एक सेफ़्टी नेट देता है। न्यूरॉन ऋणात्मक सक्रियण से उबरकर फिर से नेटवर्क में योगदान दे सकते हैं।

आउटपुट हमेशा धनात्मक

Softplus किसी भी इनपुट के लिए गैर-ऋणात्मक आउटपुट की गारंटी देता है।

यह तब मायने रखता है जब आपको धनात्मक भविष्यवाणियाँ चाहिए। Poisson प्रतिगमन काउंट डेटा (ग्राहक, ईवेंट, क्लिक) को मॉडल करता है जहाँ ऋणात्मक मान मायने नहीं रखते। जनरेटिव मॉडल अक्सर प्रायिकताओं या तीव्रताओं को दिखाने के लिए धनात्मक आउटपुट चाहते हैं।

कुछ कार्यों के लिए अधिक उपयुक्त

कुछ कार्य सुगम, सतत सक्रियण व्यवहार से लाभान्वित होते हैं।

सुगम लक्ष्य फ़ंक्शन वाले प्रतिगमन कार्यों में सुगम सक्रियण बेहतर काम करते हैं। यदि आप तापमान, कीमत, या दूरी जैसी सतत मानों की भविष्यवाणी कर रहे हैं, तो Softplus आपके डेटा की अंतर्निहित सुगमता के साथ बेहतर मेल खाता है।

बेयेज़ियन मॉडल और प्रायिकत्मक फ़्रेमवर्क भी सुगम फ़ंक्शनों को प्राथमिकता देते हैं। जब आप अनिश्चितता का मॉडल बना रहे हों या प्रायिकता-वितरणों के साथ काम कर रहे हों, तो Softplus के सतत अवकलज गणितीय क्रियाओं को अधिक स्वच्छ और स्थिर बनाते हैं।

यदि आप इन क्षेत्रों में काम कर रहे हैं, तो Softplus आपको ReLU के तीखे संक्रमणों की तुलना में बेहतर सैद्धांतिक गारंटियाँ और व्यवहारिक परिणाम देता है।

सीमाएँ और समझौते

Softplus पर पूरी तरह स्विच करने से पहले इसकी कुछ सीमाएँ जानना ज़रूरी है। इनमें से तीन यहाँ हैं।

अधिक संगणकीय लागत

ReLU एक साधारण मैक्स ऑपरेशन का उपयोग करता है: max(0, x)।

Softplus घातांकों और लघुगणकों की गणना करता है: ln(1 + e^x)। ये क्रियाएँ धीमी होती हैं, खासकर जब इन्हें बड़े नेटवर्क में हज़ारों न्यूरॉनों पर लाखों बार चलाना हो।

यह अंतर जोड़ता जाता है। यह ओवरहेड प्रशिक्षण समय बढ़ा सकता है।

धीमा अभिसरण

Softplus के ग्रेडिएंट अधिक सुगम होते हैं, जो कागज़ पर अच्छा लगता है।

पर सुगम हमेशा तेज़ नहीं होता। ReLU के तीखे संक्रमण विरल (sparse) सक्रियण बनाते हैं—कई न्यूरॉन बिल्कुल शून्य आउटपुट देते हैं। यह विरलता बैकप्रोपेगेशन के दौरान ग्रेडिएंट को नेटवर्क में तेज़ी से फैलने में मदद करती है।

Softplus में यह विरलता नहीं है। हर न्यूरॉन कुछ न कुछ गैर-शून्य मान आउटपुट करता है, जिसका मतलब है अधिक गणना और गहरी संरचनाओं में संभावित रूप से धीमा अभिसरण।

व्यवहार में कम प्रचलित

ReLU वर्षों से डीप लर्निंग में हावी रहा है।

यानी इसके बारे में अधिक डॉक्युमेंटेशन, समस्याएँ/समाधान और सामान्य संसाधन उपलब्ध हैं। Softplus को ऐसा महत्व नहीं मिला। कम लोग इसका उपयोग करते हैं, इसलिए समुदाय का ज्ञान सीमित है, Stack Overflow पर उत्तर कम हैं, और प्री-ट्रेंड मॉडल भी कम मिलते हैं।

Softplus चुनते समय, आप कम समर्थन वाले रास्ते पर चलते हैं और संभवतः अधिक स्वयं-डिबगिंग करनी पड़ती है।

PyTorch में Softplus

PyTorch में Softplus का उपयोग बिल्ट-इन सपोर्ट के साथ आसान है, और इसके व्यवहार को नियंत्रित करने वाले दो पैरामीटर मिलते हैं।

संदर्भ के लिए, मैं PyTorch का यह संस्करण उपयोग कर रहा हूँ:

import torch
import torch.nn as nn

print(torch.__version__)संचालित द्वारा

यह इसका बुनियादी इम्प्लीमेंटेशन है:

# Create a Softplus activation function
softplus = nn.Softplus(beta=1, threshold=20)

# Apply it to some input
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = softplus(x)

print(output)संचालित द्वारा

काफी सरल। लेकिन ये दो पैरामीटर—beta और threshold—फ़ंक्शन के व्यवहार को बदलते हैं। आइए इन्हें थोड़ा गहराई से समझें।

beta पैरामीटर

beta पैरामीटर Softplus वक्र की सुगमता को नियंत्रित करता है।

जैसे-जैसे आप beta बढ़ाते हैं, फ़ंक्शन अधिक खड़ा होता है और ReLU के करीब आता है। घटाने पर यह अधिक सुगम और क्रमिक हो जाता है। कोड में यह ऐसे दिखता है:

x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])

# Steeper activation (closer to ReLU)
softplus_steep = nn.Softplus(beta=2, threshold=20)
output_steep = softplus_steep(x)

# Smoother activation
softplus_smooth = nn.Softplus(beta=0.5, threshold=20)
output_smooth = softplus_smooth(x)

print("Softplus - Steeper activation")
print(output_steep)

print()

print("Softplus - Smoother activation")
print(output_smooth)संचालित द्वारा

डिफ़ॉल्ट beta=1 अधिकांश मामलों में अच्छा काम करता है। आप इसे तभी बदलेंगे जब आपको किसी विशिष्ट कार्य के लिए सक्रियण की तीक्ष्णता ट्यून करनी हो।

threshold पैरामीटर

threshold पैरामीटर बड़े इनपुट के लिए सांख्यिकीय ओवरफ्लो को रोकता है।

याद है बड़े x मानों पर e^x की गणना कैसे बेकाबू हो सकती है? जब इनपुट थ्रेशोल्ड से ऊपर जाता है, तो PyTorch पूरी Softplus सूत्र की गणना करने के बजाय सीधे इनपुट वापस कर देता है:

softplus = nn.Softplus(beta=1, threshold=20)

# Large input bypasses the exponential
large_input = torch.tensor([25.0])
print(softplus(large_input))संचालित द्वारा

डिफ़ॉल्ट threshold=20 अधिकांश परिदृश्यों में उपयुक्त है। इस बिंदु पर Softplus पहले ही लगभग रैखिक हो जाता है, इसलिए यह स्विच परिणामों को प्रभावित नहीं करता।

Softplus कब उपयोग करें

उसे चुनें जब आपको अनुकूलन के लिए ग्रेडिएंट की सुगमता चाहिए। यदि आप द्वितीय-क्रम अनुकूलन विधियाँ या ऐसे एल्गोरिद्म इस्तेमाल कर रहे हैं जो सुगम लॉस सतह मानते हैं, तो Softplus वे सतत अवकलज देता है जिन पर ये विधियाँ निर्भर करती हैं।

उसे तब उपयोग करें जब आपके मॉडल को गैर-ऋणात्मक आउटपुट चाहिए। काउंट डेटा, तीव्रता मान, और प्रायिकता पैरामीटर सभी को धनात्मक रहना होता है। Softplus इसे बिना अतिरिक्त बाधाओं के स्वाभाविक रूप से सँभालता है।

उथले (shallow) नेटवर्क Softplus से गहरे की तुलना में अधिक लाभान्वित होते हैं। जब आपके पास कुछ ही लेयर हों, तो ReLU की डाइंग न्यूरॉन समस्या से एक भी न्यूरॉन खोना प्रदर्शन को चोट पहुँचाता है। Softplus सभी न्यूरॉनों को सक्रिय और सीखते हुए रखता है।

आप प्रायिकत्मक मॉडल और बेयेज़ियन फ़्रेमवर्क के लिए भी Softplus चुन सकते हैं। सुगम ग्रेडिएंट और एंट्रॉपी से सम्बन्ध गणितीय क्रियाओं को अधिक स्वच्छ बनाते हैं। ऊर्जा-आधारित मॉडल भी Softplus की सतत प्रकृति से लाभान्वित होते हैं।

वे मॉडल जहाँ आपको सतत ग्रेडिएंट की व्याख्या चाहिए, Softplus के साथ बेहतर काम करते हैं। यदि आप यह विश्लेषण कर रहे हैं कि आपका नेटवर्क इनपुट बदलावों पर कैसे प्रतिक्रिया देता है या ग्रेडिएंट प्रवाह का अध्ययन कर रहे हैं, तो सुगम अवकलज ReLU के तीखे संक्रमणों की तुलना में अधिक स्पष्ट अंतर्दृष्टि देते हैं।

जब ReLU फिर भी बेहतर है

केवल कागज़ पर बेहतर लगने या नया-नया होने की वजह से Softplus पर स्विच न करें।

• बड़े, गहरे नेटवर्क ReLU के साथ तेज़ी से ट्रेन होते हैं। Softplus की संगणकीय लागत सैकड़ों लेयर और लाखों पैरामीटर में जुड़ती जाती है। ReLU की विरलता मेमोरी और गति में भी मदद करती है।
• प्रोडक्शन सिस्टम अक्सर ReLU को तरजीह देते हैं क्योंकि हार्डवेयर अनुकूलन विशेष रूप से उसी पर लक्षित होते हैं। एक ही हार्डवेयर पर Softplus के साथ आपका प्रशिक्षण 10–20% धीमा हो सकता है।
• मानक कंप्यूटर विज़न और NLP कार्य आम तौर पर Softplus से लाभान्वित नहीं होते। समुदाय ने वर्षों तक ReLU-केंद्रित संरचनाओं का अनुकूलन किया है, और सक्रियण बदलने का मतलब उस जानकारियों के भंडार को फिर से बनाना है।

ज़्यादातर प्रोजेक्ट्स में ReLU से शुरू करें। केवल तब Softplus पर स्विच करें जब आपको उसके गुणों से सुलझने वाली विशिष्ट समस्याएँ मिलें।

निष्कर्ष

संक्षेप में, जब ज़रूरत हो तो Softplus ReLU का एक सुगम विकल्प देता है।

यह डिफ़ॉल्ट सक्रियण फ़ंक्शन के रूप में ReLU की जगह नहीं लेगा—और इसकी ज़रूरत भी नहीं। Softplus विशिष्ट समस्याएँ सुलझाता है: उथले नेटवर्क में डाइंग न्यूरॉन, धनात्मक आउटपुट चाहिए वाले मॉडल, और वे कार्य जहाँ अनुकूलन के लिए सुगम ग्रेडिएंट प्रवाह मायने रखता है।

आपको बेहतर गणितीय गुण मिलते हैं—संगणकीय गति की कीमत पर। अधिकांश डीप लर्निंग प्रोजेक्ट्स में, ReLU की सरलता और गति जीतती है। लेकिन जब आप प्रायिकत्मक मॉडल, बेयेज़ियन फ़्रेमवर्क, या सुगम लक्ष्य फ़ंक्शनों वाले प्रतिगमन कार्यों पर काम कर रहे हों, Softplus बेहतर विकल्प बन जाता है।

दोनों को परखें। प्रयोग चलाएँ। अपने विशिष्ट समस्या-परिच्छेद से निर्णय को निर्देशित होने दें।

और सीखना चाहते हैं? हमारे उत्कृष्ट संसाधन देखें:

• Deep Learning in Python
• Natural Language Processing in Python
• Software Engineering Principles in Python