Softplus: de soepele activatiefunctie die je moet kennen

ReLU is al jaren de standaardactivatiefunctie in deep learning. En dat is niet voor niets: ze is simpel en werkt in de meeste gevallen goed. Maar wanneer neuronen tijdens het trainen nul gaan outputten, stoppen ze met leren, worden hun gradiënten nul en kan backpropagation hun gewichten niet meer updaten. In diepere netwerken kan dit probleem meerdere neuronen treffen en het vermogen van je model om patronen in je data vast te leggen verkleinen.

In gewone taal: je netwerk stopt met leren.

Softplus biedt een soepele, differentieerbare optie die dit probleem aanpakt, terwijl de meeste voordelen van ReLU behouden blijven. Het benadert het ReLU-gedrag voor positieve inputs, maar levert niet-nulgradiënten voor negatieve waarden. Zo blijven neuronen gedurende de training actief.

In dit artikel leer je wat Softplus is, hoe het zich wiskundig verhoudt tot ReLU en wanneer je het zou moeten kiezen boven andere activatiefuncties.

Ben je helemaal nieuw in deep learning? Bekijk dan onze uitgebreide gids over activatiefuncties in neurale netwerken.

Wat is de Softplus-functie?

Softplus is een soepele activatiefunctie die fungeert als een differentieerbare benadering van ReLU.

De functie neemt elk reëel getal als input en geeft een positieve waarde terug. Softplus heeft geen scherpe hoek bij nul zoals ReLU. Ze buigt soepel door dat overgangspunt heen.

Hier is de wiskundige definitie:

Waarbij:

• x de inputwaarde is
• e het getal van Euler is (ongeveer 2,718)
• ln de natuurlijke logaritme is

Voor grote positieve inputs geeft Softplus waarden terug die dicht bij de input zelf liggen. Voor negatieve inputs geeft het kleine positieve waarden in plaats van nul.

Afgeleide van Softplus

De afgeleide van Softplus is de logistische sigmoïdefunctie.

Dit betekent:

Waarbij σ(x) de sigmoïdefunctie is die je waarschijnlijk al eerder hebt gezien. 

Deze afgeleide-eigenschap maakt Softplus handig wanneer je een soepele gradiëntenstroom nodig hebt tijdens backpropagation. De gradiënten worden nooit nul. Dat betekent dat neuronen hun gewichten altijd kunnen updaten en blijven leren.

Gedrag aan de uitersten

Softplus gedraagt zich anders afhankelijk van of de input groot en positief is of groot en negatief.

Voor grote positieve waarden:

Voor grote negatieve waarden:

Dit is waarom Softplus ReLU zo goed benadert. Wanneer x positief en groot is, geven beide functies ongeveer dezelfde waarde terug.

Het verschil is zichtbaar bij negatieve inputs. ReLU geeft exact nul voor negatieve inputs, en Softplus geeft kleine positieve waarden.

Dat kleine verschil voorkomt het dode-neuronenprobleem. Neuronen die Softplus gebruiken, kunnen herstellen van negatieve activaties omdat hun gradiënten nooit volledig verdwijnen.

Wiskundige en computationele eigenschappen

Softplus heeft wiskundige eigenschappen die je moet kennen. Daarmee is het meer dan alleen een soepele versie van ReLU.

Gladheid en differentieerbaarheid

Softplus is oneindig vaak differentieerbaar op elk punt.

Dat betekent dat je zo vaak als je wilt kunt afleiden en de functie toch soepel blijft. In wiskundige termen is het een analytische functie.

ReLU heeft daarentegen een knik bij nul – een scherpe hoek waar de afgeleide niet bestaat. Dit niet-differentieerbare punt kan problemen veroorzaken in optimalisatie-algoritmen die uitgaan van soepele gradiënten.

In deep learning werkt optimalisatie beter wanneer het verliesoppervlak soepel is. Als je tweede-orde-optimalisatiemethoden gebruikt of algoritmen die vertrouwen op soepele gradiëntovergangen, geeft Softplus je die soepelheid.

Numerieke stabiliteit

Exponentiële berekeningen kunnen overflow-problemen veroorzaken wanneer inputs groot worden.

Deep-learningframeworks lossen dit op met een threshold-parameter. Wanneer de input deze drempel overschrijdt, schakelt de functie van het berekenen van de logaritme naar het teruggeven van een lineaire output.

Zo werkt het:

• Voor kleine inputs: bereken Softplus direct
• Voor grote inputs boven de drempel: geef de inputs direct terug

Dit voorkomt numerieke overflow terwijl het gewenste gedrag behouden blijft. Voor grote positieve inputs benadert Softplus toch al een lineaire functie, dus de omschakeling beïnvloedt de output niet noemenswaardig.

Relatie met andere functies

Softplus hangt samen met een paar andere activatie- en kansfuncties. Zo zit het:

• Sigmoïde: Zoals je eerder zag, is de afgeleide van Softplus de sigmoïdefunctie. Dat betekent dat Softplus de integraal is van de sigmoïde, wat logisch is als je naar hun vormen kijkt.

• LogSumExp: Softplus is eigenlijk een speciaal geval van de LogSumExp-functie. Voor twee inputs geldt: LogSumExp(0, x) = ln(1 + e^x) = Softplus(x). Dit verbindt Softplus met numerieke-stabiliteitstechnieken die in machine learning worden gebruikt.

• Softmax: LogSumExp vormt de basis van Softmax, dus Softplus deelt die afkomst. Beide functies gebruiken de log-exp-truc voor numerieke stabiliteit.

• Logit-functie: De logit is de inverse van de sigmoïde. Omdat de sigmoïde de afgeleide van Softplus is, vormen deze drie functies een verwante familie in de kansrekening.

• Convexe geconjugeerde: In de convexe analyse is de convexe geconjugeerde van Softplus de negatieve binaire entropie. Dit verbindt Softplus met entropiemaximisatieprincipes die in de informatietheorie en probabilistische modellering worden gebruikt.

Als je met probabilistische modellen of Bayesiaanse raamwerken werkt, maakt deze entropieverbinding Softplus een logische keuze om ervoor te zorgen dat je activaties aansluiten bij maximum-entropieprincipes.

Voordelen van het gebruik van Softplus

Softplus lost specifieke problemen op die ReLU minder goed aankan. Hier zijn er vier.

Soepele en differentieerbare functie

Softplus is op elk punt van de curve soepel.

Dat betekent dat gradiënten tijdens backpropagation continu blijven stromen zonder plotselinge sprongen of onderbrekingen. Bij het trainen van een netwerk leidt een soepele gradiëntenstroom tot stabielere gewichtsupdates en beter convergentiegedrag.

De scherpe hoek van ReLU bij nul kan gradiëntonderbrekingen veroorzaken. Softplus heeft dit probleem niet.

Voorkomt dode neuronen

Softplus geeft nooit exact nul terug, zelfs niet voor grote negatieve inputs.

Dit betekent dat elke neuron kan blijven leren omdat gradiënten nooit volledig verdwijnen. Bij ReLU kan een neuron dat nul begint te outputten daar voor altijd vast blijven zitten – de gradiënt is nul, dus gewichtsupdates verplaatsen niets.

Softplus geeft je een vangnet. Neuronen kunnen herstellen van negatieve activaties en weer bijdragen aan het netwerk.

Output is altijd positief

Softplus garandeert niet-negatieve outputs voor elke input.

Dit is van belang wanneer je modellen bouwt die positieve voorspellingen nodig hebben. Poisson-regressie modelleert teldata (klanten, events, kliks) waarbij negatieve waarden geen zin hebben. Generatieve modellen hebben vaak positieve outputs nodig om waarschijnlijkheden of intensiteiten te representeren.

Beter geschikt voor bepaalde taken

Sommige taken profiteren van een soepel, continu activatiegedrag.

Regressietaken met soepele doelfuncties werken beter met soepele activaties. Als je continue waarden voorspelt zoals temperatuur, prijs of afstand, sluit Softplus beter aan bij de onderliggende soepelheid van je data.

Bayesiaanse modellen en probabilistische raamwerken geven ook de voorkeur aan soepele functies. Wanneer je onzekerheid modelleert of met kansverdelingen werkt, maken de continue afgeleiden van Softplus wiskundige bewerkingen schoner en stabieler.

Werk je in deze domeinen, dan biedt Softplus betere theoretische garanties en praktische resultaten dan de scherpe overgangen van ReLU.

Beperkingen en trade-offs

Er zijn een paar beperkingen die je moet kennen over Softplus voordat je ReLU voorgoed laat vallen. Hier zijn er drie.

Hogere rekenkosten

ReLU gebruikt een eenvoudige max-operatie: max(0, x).

Softplus berekent exponenten en logaritmes: ln(1 + e^x). Deze bewerkingen zijn trager, zeker als je ze miljoenen keren uitvoert in grote netwerken met duizenden neuronen.

Het verschil telt op. Deze rekenoverhead kan de trainingstijd verhogen.

Langzamere convergentie

Softplus heeft gladdere gradiënten, wat op papier goed klinkt.

Maar soepel betekent niet altijd snel. De scherpe overgangen van ReLU zorgen voor spaarzame activaties – veel neuronen geven exact nul. Deze spaarzaamheid helpt gradiënten sneller door het netwerk te propageren tijdens backpropagation.

Softplus heeft deze spaarzaamheid niet. Elk neuron geeft een niet-nulwaarde, wat meer rekenwerk betekent en mogelijk langzamere convergentie in diepe architecturen.

Minder gangbaar in de praktijk

ReLU domineert al jaren in deep learning.

Dat betekent meer documentatie, problemen/oplossingen en algemene resources eromheen. Softplus krijgt diezelfde behandeling niet. Minder mensen gebruiken het, dus er is minder community-kennis, minder Stack Overflow-antwoorden en minder voorgetrainde modellen die het gebruiken.

Als je Softplus kiest, kies je voor een pad met minder ondersteuning en mogelijk meer zelf debuggen.

Softplus in PyTorch

PyTorch maakt Softplus makkelijk te gebruiken met ingebouwde ondersteuning en twee parameters die het gedrag bepalen.

Ter referentie: dit is de versie van PyTorch die ik gebruik:

import torch
import torch.nn as nn

print(torch.__version__)Mogelijk gemaakt door

Hier is de basisimplementatie:

# Create a Softplus activation function
softplus = nn.Softplus(beta=1, threshold=20)

# Apply it to some input
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = softplus(x)

print(output)Mogelijk gemaakt door

Simpel genoeg. Maar die twee parameters – beta en threshold – bepalen hoe de functie zich gedraagt. Laten we ze uitgebreider bekijken.

De beta-parameter

De beta-parameter bepaalt de soepelheid van de Softplus-curve.

Wanneer je beta verhoogt, wordt de functie steiler en komt ze dichter bij ReLU. Als je die verlaagt, wordt de functie soepeler en geleidelijker. Zo ziet dat eruit in code:

x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])

# Steeper activation (closer to ReLU)
softplus_steep = nn.Softplus(beta=2, threshold=20)
output_steep = softplus_steep(x)

# Smoother activation
softplus_smooth = nn.Softplus(beta=0.5, threshold=20)
output_smooth = softplus_smooth(x)

print("Softplus - Steeper activation")
print(output_steep)

print()

print("Softplus - Smoother activation")
print(output_smooth)Mogelijk gemaakt door

De standaard beta=1 werkt in de meeste gevallen prima. Je verandert dit alleen als je de scherpte van de activatie voor specifieke taken wilt afstellen.

De threshold-parameter

De threshold-parameter voorkomt numerieke overflow voor grote inputs.

Weet je nog dat het berekenen van e^x kan exploderen voor grote x-waarden? Wanneer de input de drempel overschrijdt, schakelt PyTorch van het berekenen van de volledige Softplus-formule naar het direct teruggeven van de input:

softplus = nn.Softplus(beta=1, threshold=20)

# Large input bypasses the exponential
large_input = torch.tensor([25.0])
print(softplus(large_input))Mogelijk gemaakt door

De standaard threshold=20 werkt voor de meeste scenario’s. Op dat punt benadert Softplus toch al een lineaire functie, dus de omschakeling beïnvloedt de resultaten niet.

Wanneer gebruik je Softplus

Kies Softplus wanneer je soepele gradiënten nodig hebt voor optimalisatie. Gebruik je tweede-orde-optimalisatiemethoden of algoritmen die uitgaan van soepele verliesoppervlakken, dan levert Softplus de continue afgeleiden waarop die methoden vertrouwen.

Gebruik het wanneer je model niet-negatieve outputs vereist. Teldata, intensiteitswaarden en waarschijnlijkheidsparameters moeten allemaal positief blijven. Softplus handelt dit van nature af zonder extra beperkingen.

Ondiepe netwerken profiteren meer van Softplus dan diepe. Als je maar een paar lagen hebt, schaadt het verliezen van zelfs één neuron aan het dode-ReLU-probleem de prestaties. Softplus houdt alle neuronen actief en lerend.

Je kunt Softplus ook kiezen voor probabilistische modellen en Bayesiaanse raamwerken. De soepele gradiënten en entropieverbanden maken wiskundige bewerkingen schoner. Energiegebaseerde modellen profiteren ook van het continue karakter van Softplus.

Modellen waarbij je continue gradiënten wilt interpreteren werken beter met Softplus. Als je analyseert hoe je netwerk reageert op inputveranderingen of de gradiëntenstroom bestudeert, geven de soepele afgeleiden je helderdere inzichten dan de scherpe overgangen van ReLU.

Wanneer ReLU nog steeds beter is

Schakel niet over op Softplus alleen omdat het op papier beter klinkt of omdat het iets nieuws en glanzends is.

• Grote, diepe netwerken trainen sneller met ReLU. De rekenoverhead van Softplus telt op over honderden lagen en miljoenen parameters. De spaarzaamheid van ReLU helpt ook met geheugen en snelheid.
• Productiesystemen geven vaak de voorkeur aan ReLU omdat hardware-optimalisaties er specifiek op zijn gericht. Je training kan 10–20% langzamer zijn met Softplus op dezelfde hardware.
• Standaard computer vision- en NLP-taken profiteren doorgaans niet van Softplus. De community heeft jaren besteed aan het optimaliseren van architecturen rond ReLU, en het wisselen van activatiefuncties betekent dat je die kennis opnieuw moet opbouwen.

Begin voor de meeste projecten met ReLU. Schakel alleen over op Softplus wanneer je specifieke problemen tegenkomt die door de eigenschappen ervan worden opgelost.

Conclusie

Kortom, Softplus geeft je een soepele alternatieve activatie voor wanneer je die nodig hebt.

Het zal ReLU niet vervangen als standaardactivatiefunctie – en dat hoeft ook niet. Softplus lost specifieke problemen op: dode neuronen in ondiepe netwerken, modellen die niet-negatieve outputs nodig hebben en taken waarbij een soepele gradiëntenstroom belangrijk is voor optimalisatie.

Je krijgt betere wiskundige eigenschappen ten koste van rekensnelheid. Voor de meeste deep-learningprojecten winnen de eenvoud en snelheid van ReLU. Maar wanneer je werkt met probabilistische modellen, Bayesiaanse raamwerken of regressietaken met soepele doelfuncties, is Softplus de betere keuze.

Test beide. Voer experimenten uit. Laat je specifieke probleem de keuze bepalen.

Meer leren? Bekijk onze uitstekende resources:

• Deep Learning in Python
• Natural Language Processing in Python
• Software Engineering Principles in Python