De negatief-binomiale verdeling begrijpen: een volledige gids

In mijn tien jaar in de kwantitatieve finance ben ik talloze statistische verdelingen tegengekomen, maar weinig zijn zo intrigerend van naam en tegelijk zo praktisch waardevol als de negatief-binomiale verdeling. Tijdens het analyseren van handels patronen en risicomodellen ontdekte ik dat deze verdeling, ondanks zijn ogenschijnlijk pessimistische naam, inzicht biedt in telprocessen die veel eenvoudigere modellen niet kunnen vatten.

De negatief-binomiale verdeling biedt een verfijnd kader om dit soort scenario’s te modelleren en is flexibeler dan eenvoudiger tegenhangers zoals de Poissonverdeling. Ze is een natuurlijke uitbreiding van de binomiale verdeling en past zich aan situaties aan waarin we het aantal proeven willen modelleren tot een bepaald aantal successen optreedt, in plaats van het aantal successen in een vast aantal proeven.

In deze uitgebreide gids verkennen we de wiskundige basis, praktische toepassingen en implementatie in Python en R van de negatief-binomiale verdeling. We beginnen bij de basis en bouwen op naar geavanceerde toepassingen, zodat je een grondig begrip krijgt van dit krachtige statistische hulpmiddel.

Wat is de negatief-binomiale verdeling?

De negatief-binomiale verdeling vindt haar oorsprong in de 18e eeuw bij de studie van kansrekening in kansspelen. Deze discrete kansverdeling modelleert het aantal mislukkingen in een reeks onafhankelijke Bernoulli-proeven voordat een vooraf bepaald aantal successen wordt behaald. Elke proef moet onafhankelijk zijn en dezelfde succeskans hebben.

Om deze verdeling intuïtief te begrijpen, neem een eenvoudig experiment: kandidaten interviewen totdat je drie geschikte kandidaten voor een functie vindt. De verdeling modelleert het aantal onsuccesvolle interviews (mislukkingen) dat nodig is voordat je deze drie geschikte kandidaten (successen) vindt. Dit verschilt fundamenteel van de binomiale verdeling, die het aantal successen in een vast aantal proeven modelleert – zoals het aantal geschikte kandidaten in exact 20 interviews.

Je ziet dus: hoewel de naam "negatief-binomiaal" wenkbrauwen kan doen fronsen, betekent het niet iets negatiefs in de gewone zin. Het "negatieve" aspect komt voort uit de historische afleiding met negatieve exponenten.

Waar de negatief-binomiale verdeling wordt gebruikt

De negatief-binomiale verdeling kent veel toepassingen. In finance, waar ik haar het meest plaats, modelleert ze scenario’s zoals het aantal handelsdagen tot een doelwinst is behaald, of het aantal beoordeelde kredietaanvragen voordat je een bepaald aantal gekwalificeerde leners vindt.

Algemener is de negatief-binomiale verdeling waardevol bij het modelleren van telgegevens wanneer de variantie groter is dan het gemiddelde, een fenomeen dat overdispersie heet. Terwijl de Poissonverdeling veronderstelt dat gemiddelde en variantie gelijk zijn, vertonen telgegevens in de echte wereld vaak meer variatie. In de epidemiologie varieert bijvoorbeeld het aantal ziektegevallen vaker dan een Poissonmodel voorspelt, waardoor de negatief-binomiale verdeling geschikter is voor het modelleren van ziekteverspreiding.

Genetici vertrouwen op deze verdeling bij het analyseren van sequencingdata. In RNA-sequencingexperimenten vertonen genen uiteenlopende expressieniveaus met hoge variabiliteit. De negatief-binomiale verdeling modelleert het aantal sequentielezingen dat aan elk gen wordt toegewezen en houdt rekening met zowel technische als biologische variatie. Dit helpt om differentieel tot expressie komende genen nauwkeuriger te identificeren dan methoden die een constante variantie aannemen.

In ecologische studies wordt ze gebruikt om soortenaantallen te modelleren. Neem vogelpopulaties: sommige gebieden hebben weinig vogels, andere kennen grote clusters, wat leidt tot hogere variantie dan verwacht. De negatief-binomiale verdeling modelleert deze geclusterde verdelingen effectief, waardoor ecologen populatiedynamiek beter begrijpen en natuurbeschermingsmaatregelen kunnen plannen.

Kenmerken van de negatief-binomiale verdeling

De negatief-binomiale verdeling wordt gekenmerkt door twee sleutelparameters die de vorm en het gedrag bepalen. Inzicht in deze parameters en de wiskundige weergave helpt te begrijpen hoe deze verdeling verschijnselen uit de echte wereld modelleert. Laten we deze kenmerken systematisch verkennen.

Wiskundige weergave en parameters

De negatief-binomiale verdeling heeft twee fundamentele parameters:

1. r - Het beoogde aantal successen (een positief geheel getal)
2. p - De succeskans bij elke proef (tussen 0 en 1)

Deze parameters bepalen het gedrag van de verdeling. Stel dat je het aantal salescalls bijhoudt dat nodig is om vijf nieuwe klanten te werven (r = 5) wanneer elke call 20% kans op succes heeft (p = 0,2). De waarde van r bepaalt ons stoppunt, terwijl p beïnvloedt hoe lang we waarschijnlijk moeten blijven bellen.

Als we r verhogen terwijl p constant blijft, verschuift de verdeling naar rechts en wordt ze meer uitgespreid: er zijn immers meer proeven nodig om meer successen te behalen. Verhogen we p terwijl r constant blijft, dan verschuift de verdeling naar links en wordt ze meer geconcentreerd: als succes waarschijnlijker is, zijn er doorgaans minder proeven nodig.

Probability mass function (PMF) en cumulatieve verdelingsfunctie (CDF)

De probability mass function geeft de kans op precies k mislukkingen voordat r successen worden behaald. Voor de negatief-binomiale verdeling luidt de PMF als volgt:

Waarbij:

• X het aantal mislukkingen voorstelt voordat r successen zijn behaald
• (k+r-1 boven k) de binomiale coëfficiënt is, het aantal manieren om k mislukkingen en r-1 successen te rangschikken
• p de succeskans is
• r het gewenste aantal successen is
• K het aantal mislukkingen is

Voorbeeld: In kwaliteitscontrole, als we 3 defecte eenheden nodig hebben (r = 3) en elke eenheid 10% kans heeft om defect te zijn (p = 0,1), kunnen we specifieke kansen berekenen. De kans op precies 5 niet-defecte eenheden (k = 5) voordat we de derde defecte vinden, is bijvoorbeeld:

Deze berekening laat ongeveer 1,24% kans zien dat er precies 5 niet-defecte eenheden nodig zijn voordat de derde defecte wordt gevonden.

De cumulatieve verdelingsfunctie (CDF) bouwt voort op de PMF en geeft de kans dat er k of minder mislukkingen nodig zijn voordat we ons doel aantal successen behalen:

Dit betekent dat F(k) de kans geeft dat er hoogstens k niet-defecte eenheden nodig zijn voordat we onze derde defecte vinden. F(5) geeft bijvoorbeeld de kans dat er 5 of minder niet-defecte eenheden nodig zijn.

Gemiddelde en variantie

Het gemiddelde (verwachtingswaarde) en de variantie van de negatief-binomiale verdeling hebben elegante formules die belangrijke eigenschappen van het gemiddelde (μ) en de variantie (σ^²) onthullen.  

Deze formules laten zien waarom deze verdeling uitblinkt in het modelleren van overgedispergeerde data. Merk op dat de variantie altijd groter is dan het gemiddelde met een factor 1/p. Deze ingebouwde eigenschap maakt haar van nature geschikt voor datasets waarbij de variabiliteit het gemiddelde overstijgt.

Als we bijvoorbeeld klantenservicecalls modelleren waarbij we verwachten 5 zaken op te lossen (r = 5) met een succeskans van 20% per poging (p = 0,2), dan is het verwachte aantal mislukte pogingen:

• Gemiddelde = 5(1-0,2)/0,2 = 20 mislukkingen
• Variantie = 5(1-0,2)/0,2² = 100

Deze hogere variantie houdt rekening met de realiteit dat sommige zaken snel worden opgelost terwijl andere veel meer pogingen vergen, een patroon dat vaak in de praktijk wordt gezien.

Inzicht in deze kenmerken helpt ons te herkennen wanneer we de negatief-binomiale verdeling moeten toepassen en hoe we de resultaten effectief interpreteren. Deze wiskundige basis vormt de opstap naar praktische toepassingen en implementatie, die we in de volgende secties verkennen.

Implementatie in Python en R

Laten we ons eerdere voorbeeld valideren: de kans berekenen op precies 5 niet-defecte eenheden voordat we de derde defecte vinden (r=3, p=0,1).

Python-implementatie

import scipy.stats as stats
import math

def calculate_nb_pmf(k, r, p):
    # Calculate binomial coefficient (k+r-1 choose k)
    binom_coef = math.comb(k + r - 1, k)
    # Calculate p^r * (1-p)^k
    prob = (p ** r) * ((1 - p) ** k)
    return binom_coef * prob

# Our example parameters
k = 5  # failures (non-defective units)
r = 3  # successes (defective units)
p = 0.1  # probability of success (defective)

# Calculate using our function
prob_manual = calculate_nb_pmf(k, r, p)
print(f"Manual calculation: {prob_manual:.4f}")

# Verify using scipy
prob_scipy = stats.nbinom.pmf(k, r, p)
print(f"SciPy calculation: {prob_scipy:.4f}")Mogelijk gemaakt door

Bovenstaande codefragment zou het volgende moeten opleveren: 

Manual calculation: 0.0124
SciPy calculation: 0.0124Mogelijk gemaakt door

R-implementatie

# Calculate probability mass function
k <- 5  # failures (non-defective units)
r <- 3  # successes (defective units)
p <- 0.1  # probability of success (defective)

# Using dnbinom
prob_r <- dnbinom(k, size = r, prob = p)
print(sprintf("R calculation: %.4f", prob_r))

# Manual calculation for verification
manual_calc <- choose(k + r - 1, k) * p^r * (1-p)^k
print(sprintf("Manual calculation: %.4f", manual_calc))Mogelijk gemaakt door

Bovenstaand codefragment zou dezelfde getallen opleveren als in ons Python-voorbeeld:

R calculation: 0.0124
Manual Calculation: 0.0124Mogelijk gemaakt door

Beide implementaties bevestigen onze eerder berekende kans van ongeveer 0,0124 of 1,24%.

Relatie met andere verdelingen

Begrijpen hoe de negatief-binomiale verdeling zich verhoudt tot andere kansverdelingen helpt te verduidelijken wanneer je welke gebruikt. De negatief-binomiale verdeling heeft unieke verbanden met verschillende belangrijke verdelingen in de statistiek.

Negatief-binomiale verdeling vs. binomiale verdeling

De binomiale verdeling is een fundamenteel vertrekpunt. Terwijl de binomiale verdeling successen telt in een vast aantal proeven, draait de negatief-binomiale dit om door het aantal proeven te tellen dat nodig is voor een vast aantal successen. Deze verdelingen zijn complementair: wil je precies 3 successen en de kans weten om dit in precies 8 proeven te halen, gebruik dan de binomiale verdeling. Wil je de kans weten dat je precies 8 proeven nodig hebt om 3 successen te krijgen, gebruik dan de negatief-binomiale verdeling.

Negatief-binomiale verdeling vs. Poissonverdeling

De Poissonverdeling wordt vaak vergeleken met de negatief-binomiale bij het modelleren van telgegevens. Beide behandelen discrete gebeurtenissen, maar verschillen in hun aannames over de variantie. Het kenmerk van de Poissonverdeling is dat het gemiddelde gelijk is aan de variantie. In de praktijk treedt echter vaak overdispersie op, waarbij de variantie groter is dan het gemiddelde. De negatief-binomiale verdeling kan deze extra variatie van nature aan, waardoor ze geschikter is voor fenomenen zoals:

• Patronen van ziekte-uitbraken waarbij sommige gevallen veel meer besmettingen veroorzaken
• Data over klantklachten waarbij sommige issues meerdere verwante klachten uitlokken
• Pieken in websiteverkeer waarbij bepaalde gebeurtenissen verhoogde activiteit veroorzaken

Negatief-binomiale verdeling vs. geometrische verdeling

De geometrische verdeling ontstaat als speciaal geval van de negatief-binomiale wanneer we r=1 zetten, wat betekent dat we wachten op slechts één succes. Dit is ideaal voor het modelleren van scenario’s zoals:

• Aantal pogingen tot de eerste succes
• Tijd tot de eerste mislukking in betrouwbaarheidstesten
• Aantal proeven tot de eerste doorbraak in onderzoek

Negatief-binomiale verdeling als Gamma-Poisson-mengsel

Tot slot kan de negatief-binomiale worden afgeleid als een Gamma-Poisson-mengsel, wat een theoretische basis biedt voor haar vermogen om overdispersie te behandelen. Deze relatie helpt te verklaren waarom de negatief-binomiale verdeling goed werkt in hiërarchische modellen waarin individuele occurentieratio’s variëren volgens een gammaverdeling.

Voordelen en beperkingen

De negatief-binomiale verdeling biedt duidelijke voordelen die haar waardevol maken voor het modelleren van fenomenen in de echte wereld, maar kent ook belangrijke beperkingen waar data scientists rekening mee moeten houden.

Negatief-binomiale regressie breidt traditionele regressie uit naar telgegevens, vooral wanneer de data overdispersie vertoont. Terwijl Poissonregressie veronderstelt dat het gemiddelde gelijk is aan de variantie, laat negatief-binomiale regressie die beperking los, waardoor ze geschikter is voor toepassingen in de echte wereld.

Neem een callcenter: we willen het aantal klantenservicecalls per uur voorspellen. Onze voorspellers kunnen zijn:

• Tijdstip van de dag
• Dag van de week
• Feestdagstatus
• Marketingcampagne-activiteit
• Weersomstandigheden

Standaard Poissonregressie onderschat mogelijk de variatie in callvolumes, vooral tijdens piekuren of speciale gebeurtenissen. Negatief-binomiale regressie houdt rekening met deze extra variabiliteit en levert realistischer voorspellingen en betrouwbaarheidsintervallen op.

Conclusie

Dankzij het vermogen om complexe telgegevens te modelleren en overdispersie aan te kunnen, blijft de negatief-binomiale verdeling een essentieel hulpmiddel om fenomenen in de echte wereld te begrijpen en te voorspellen. Zoals je hebt gezien, blinkt ze uit in het modelleren van overgedispergeerde data, biedt ze flexibiliteit om talloze verschillende scenario’s te modelleren en leent ze zich zelfs natuurlijk voor regressieanalyse.

Als je je verder wilt verdiepen in kansverdelingen en hun toepassingen, bieden onze cursussen Probability and Statistics een volledige behandeling van deze onderwerpen. Onze cursussen bevatten hands-on oefeningen met real-world datasets, zodat je zowel de theorie als de praktische implementatie in Python en R onder de knie krijgt. Overweeg ook onze Machine Learning Scientist in Python-carrièreroute. Ik beloof dat je er veel van leert.