Capire la distribuzione binomiale negativa: guida completa

Nel mio decennio di esperienza nella finanza quantitativa, ho incontrato numerose distribuzioni statistiche, ma poche si sono rivelate dal nome tanto curioso quanto utili nella pratica come la distribuzione binomiale negativa. Analizzando pattern di trading e modelli di rischio, ho scoperto che questa distribuzione, nonostante il nome apparentemente pessimista, offre spunti sui processi di conteggio che molti modelli più semplici non riescono a catturare.

La distribuzione binomiale negativa fornisce un quadro sofisticato per modellare questi scenari, offrendo una flessibilità maggiore rispetto a controparti più semplici come la distribuzione di Poisson. È un'estensione naturale della distribuzione binomiale, adattandosi a situazioni in cui dobbiamo modellare il numero di prove fino al verificarsi di un certo numero di successi, invece del numero di successi in un numero fisso di prove.

In questa guida completa esploreremo le basi matematiche della distribuzione binomiale negativa, le applicazioni pratiche e l'implementazione in Python e R. Partendo dalle proprietà di base fino ad arrivare alle applicazioni avanzate, costruiremo una comprensione approfondita di questo potente strumento statistico.

Che cos'è la Distribuzione Binomiale Negativa?

La distribuzione binomiale negativa ha origine nel XVIII secolo dallo studio della probabilità nei giochi d'azzardo. Questa distribuzione di probabilità discreta modella il numero di fallimenti in una sequenza di prove di Bernoulli indipendenti prima di ottenere un numero predeterminato di successi. Ogni prova deve essere indipendente e avere la stessa probabilità di successo.

Per capire intuitivamente questa distribuzione, considera un esperimento semplice: intervistare candidati finché non se ne trovano tre qualificati per una posizione. La distribuzione modellerebbe il numero di colloqui infruttuosi (fallimenti) necessari prima di trovare questi tre candidati qualificati (successi). Questo si differenzia in modo fondamentale dalla distribuzione binomiale, che invece modella il numero di successi in un numero fisso di prove, ad esempio il numero di candidati qualificati trovati in esattamente 20 colloqui.

Come vedi, anche se il nome "binomiale negativa" può far alzare qualche sopracciglio, non implica nulla di negativo nel senso comune. L'aspetto "negativo" deriva dalla sua origine storica, che coinvolgeva esponenti negativi.

Dove si usa la Distribuzione Binomiale Negativa

La distribuzione binomiale negativa trova impiego in molti ambiti. È usata in finanza, dove la colloco più spesso, per modellare scenari come il numero di giorni di trading necessari per raggiungere un livello di profitto target, o il numero di richieste di credito da esaminare prima di trovare un certo numero di richiedenti qualificati.

Più in generale, la distribuzione binomiale negativa si è dimostrata preziosa per modellare dati di conteggio quando la varianza supera la media, un fenomeno noto come overdispersione. Mentre la distribuzione di Poisson assume che media e varianza coincidano, i dati di conteggio reali mostrano spesso una variabilità maggiore. Per esempio, in epidemiologia, il numero di casi di malattia spesso varia più di quanto prevederebbe un modello di Poisson, rendendo la distribuzione binomiale negativa più adatta per modellare la diffusione delle malattie.

I genetisti si affidano a questa distribuzione nell'analisi dei dati di sequenziamento. Negli esperimenti di RNA sequencing, i geni mostrano livelli di espressione variabili con elevata variabilità. La binomiale negativa modella il numero di letture di sequenza mappate su ciascun gene, tenendo conto sia della variazione tecnica sia di quella biologica. Questo aiuta a identificare in modo più accurato i geni a espressione differenziale rispetto a metodi che assumono varianza costante.

Negli studi ecologici, i ricercatori la usano per modellare l'abbondanza delle specie. Considera lo studio delle popolazioni di uccelli: alcune aree possono averne pochi, mentre altre mostrano grandi concentrazioni, generando una varianza più alta del previsto. La binomiale negativa modella efficacemente queste distribuzioni raggruppate, aiutando gli ecologi a comprendere le dinamiche di popolazione e a pianificare interventi di conservazione.

Caratteristiche della Distribuzione Binomiale Negativa

La distribuzione binomiale negativa è caratterizzata da due parametri chiave che ne determinano forma e comportamento. Comprendere questi parametri e la rappresentazione matematica ci aiuta a cogliere come questa distribuzione modelli fenomeni reali. Esploriamo sistematicamente queste caratteristiche.

Rappresentazione matematica e parametri

La distribuzione binomiale negativa ha due parametri fondamentali:

1. r - Il numero target di successi (un intero positivo)
2. p - La probabilità di successo in ciascuna prova (tra 0 e 1)

Questi parametri plasmano il comportamento della distribuzione. Considera di tenere traccia del numero di telefonate commerciali necessarie per acquisire cinque nuovi clienti (r = 5) quando ogni chiamata ha il 20% di probabilità di successo (p = 0,2). Il valore di r determina il nostro punto di arresto, mentre p influisce su quanto a lungo potremmo aspettarci di continuare a chiamare.

Quando aumentiamo r mantenendo p costante, la distribuzione si sposta a destra e si allarga, riflettendo che servono più prove per ottenere più successi. Al contrario, quando aumentiamo p mantenendo r costante, la distribuzione si sposta a sinistra e si concentra, indicando che in genere servono meno prove quando il successo è più probabile.

Funzione di massa di probabilità (PMF) e funzione di distribuzione cumulativa (CDF)

La funzione di massa di probabilità ci fornisce la probabilità di richiedere esattamente k fallimenti prima di ottenere r successi. Per la distribuzione binomiale negativa, la PMF è:

Dove:

• X rappresenta il numero di fallimenti prima di ottenere r successi
• (k+r-1 su k) è il coefficiente binomiale, che rappresenta il numero di modi per disporre k fallimenti e r-1 successi
• p è la probabilità di successo
• r è il numero desiderato di successi
• K è il numero di fallimenti

Esempio: nel controllo qualità, se ci servono 3 unità difettose (r = 3) e ogni unità ha il 10% di probabilità di essere difettosa (p = 0,1), possiamo calcolare probabilità specifiche. Per esempio, la probabilità di ottenere esattamente 5 unità non difettose (k = 5) prima di trovare la terza difettosa è:

Questo calcolo mostra circa l'1,24% di probabilità di aver bisogno esattamente di 5 unità non difettose prima di trovare la terza difettosa.

La funzione di distribuzione cumulativa (CDF) si basa sulla PMF, fornendoci la probabilità di richiedere k o meno fallimenti prima di raggiungere il nostro numero target di successi:

Questo significa che F(k) ci dà la probabilità di aver bisogno al massimo di k unità non difettose prima di trovare la terza difettosa. Per esempio, F(5) ci darebbe la probabilità di aver bisogno di 5 o meno unità non difettose.

Media e varianza

La media (valore atteso) e la varianza della distribuzione binomiale negativa hanno formule eleganti che rivelano proprietà importanti su media (μ) e varianza (σ^²).  

Queste formule mostrano perché questa distribuzione eccelle nel modellare dati sovradispersi. Nota che la varianza è sempre maggiore della media di un fattore pari a 1/p. Questa proprietà intrinseca la rende naturalmente adatta a dataset in cui la variabilità supera la media.

Per esempio, se stiamo modellando chiamate di assistenza clienti in cui ci aspettiamo di risolvere 5 casi (r = 5) con un tasso di successo per tentativo del 20% (p = 0,2), il numero atteso di tentativi falliti sarebbe:

• Media = 5(1-0,2)/0,2 = 20 fallimenti
• Varianza = 5(1-0,2)/0,2² = 100

Questa varianza elevata tiene conto del fatto che alcuni casi potrebbero risolversi rapidamente mentre altri richiedono molti più tentativi, un andamento spesso osservato negli scenari reali.

Comprendere queste caratteristiche ci aiuta a riconoscere quando applicare la distribuzione binomiale negativa e come interpretarne efficacemente i risultati. Queste basi matematiche preparano il terreno per le applicazioni pratiche e l'implementazione, che esploreremo nelle sezioni successive.

Implementazione in Python e R

Convalidiamo l'esempio precedente: calcolare la probabilità di ottenere esattamente 5 unità non difettose prima di trovare la terza difettosa (r=3, p=0,1).

Implementazione in Python

import scipy.stats as stats
import math

def calculate_nb_pmf(k, r, p):
    # Calculate binomial coefficient (k+r-1 choose k)
    binom_coef = math.comb(k + r - 1, k)
    # Calculate p^r * (1-p)^k
    prob = (p ** r) * ((1 - p) ** k)
    return binom_coef * prob

# Our example parameters
k = 5  # failures (non-defective units)
r = 3  # successes (defective units)
p = 0.1  # probability of success (defective)

# Calculate using our function
prob_manual = calculate_nb_pmf(k, r, p)
print(f"Manual calculation: {prob_manual:.4f}")

# Verify using scipy
prob_scipy = stats.nbinom.pmf(k, r, p)
print(f"SciPy calculation: {prob_scipy:.4f}")Offerto da

Il frammento di codice sopra dovrebbe produrre il seguente output: 

Manual calculation: 0.0124
SciPy calculation: 0.0124Offerto da

Implementazione in R

# Calculate probability mass function
k <- 5  # failures (non-defective units)
r <- 3  # successes (defective units)
p <- 0.1  # probability of success (defective)

# Using dnbinom
prob_r <- dnbinom(k, size = r, prob = p)
print(sprintf("R calculation: %.4f", prob_r))

# Manual calculation for verification
manual_calc <- choose(k + r - 1, k) * p^r * (1-p)^k
print(sprintf("Manual calculation: %.4f", manual_calc))Offerto da

Il frammento di codice sopra dovrebbe generare gli stessi numeri del nostro esempio in Python:

R calculation: 0.0124
Manual Calculation: 0.0124Offerto da

Entrambe le implementazioni confermano la probabilità calcolata in precedenza di circa 0,0124, ovvero 1,24%.

Relazione con altre distribuzioni

Capire come la distribuzione binomiale negativa si relazioni ad altre distribuzioni di probabilità aiuta a chiarire quando usare ciascuna. La distribuzione binomiale negativa ha collegamenti unici con diverse distribuzioni importanti in statistica.

Distribuzione binomiale negativa vs. distribuzione binomiale

La distribuzione binomiale è un punto di partenza fondamentale. Mentre la binomiale conta i successi in un numero fisso di prove, la binomiale negativa ribalta il concetto contando le prove necessarie per un numero fisso di successi. Queste distribuzioni sono complementari: se ti servono esattamente 3 successi e vuoi conoscere la probabilità di ottenerli in esattamente 8 prove, usa la distribuzione binomiale. Se vuoi conoscere la probabilità di aver bisogno esattamente di 8 prove per ottenere 3 successi, usa la binomiale negativa.

Distribuzione binomiale negativa vs. distribuzione di Poisson

La distribuzione di Poisson è spesso confrontata con la binomiale negativa nella modellazione di dati di conteggio. Entrambe gestiscono eventi discreti, ma differiscono nelle assunzioni sulla varianza. La caratteristica distintiva della Poisson è che la sua media è uguale alla varianza. Tuttavia, i dati reali di conteggio mostrano frequentemente overdispersione, cioè varianza superiore alla media. La distribuzione binomiale negativa accoglie naturalmente questa variabilità extra, rendendola più adatta per fenomeni come:

• Andamenti di focolai di malattie in cui alcuni casi generano molte più infezioni
• Dati di reclami dei clienti in cui alcuni problemi innescano reclami correlati multipli
• Picchi di traffico web in cui determinati eventi causano livelli di attività elevati

Distribuzione binomiale negativa vs. distribuzione geometrica

La distribuzione geometrica emerge come caso particolare della binomiale negativa quando impostiamo r=1, cioè stiamo aspettando un solo successo. Questo la rende perfetta per modellare scenari come:

• Numero di tentativi fino al primo successo
• Tempo fino al primo guasto nei test di affidabilità
• Numero di prove fino alla prima svolta in ricerca

Distribuzione binomiale negativa come miscela Gamma-Poisson

Infine, la binomiale negativa può essere derivata come una miscela Gamma-Poisson, fornendo un fondamento teorico alla sua capacità di gestire l'overdispersione. Questa relazione aiuta a spiegare perché la distribuzione binomiale negativa funziona bene in modelli gerarchici in cui i tassi di occorrenza individuali variano secondo una distribuzione gamma.

Vantaggi e limiti

La distribuzione binomiale negativa offre vantaggi distinti che la rendono preziosa per modellare fenomeni reali, pur avendo limiti importanti che i data scientist dovrebbero considerare.

La regressione binomiale negativa estende la regressione tradizionale ai dati di conteggio, in particolare quando mostrano overdispersione. Mentre la regressione di Poisson assume che media e varianza coincidano, la regressione binomiale negativa rilassa questo vincolo, rendendola più adatta alle applicazioni reali.

Considera uno scenario di call center: vogliamo prevedere il numero di chiamate di assistenza clienti per ora. I nostri predittori potrebbero includere:

• Fascia oraria
• Giorno della settimana
• Festività
• Attività di campagne marketing
• Condizioni meteo

La regressione di Poisson standard potrebbe sottostimare la variazione nei volumi di chiamate, specialmente durante le ore di punta o in eventi speciali. La regressione binomiale negativa tiene conto di questa variabilità extra, fornendo previsioni e intervalli di confidenza più realistici.

Conclusione

Grazie alla capacità di modellare dati di conteggio complessi e gestire l'overdispersione, la distribuzione binomiale negativa rimane uno strumento essenziale per comprendere e prevedere fenomeni reali. Come hai visto, eccelle nel modellare dati sovradispersi, offre flessibilità per rappresentare un'enorme varietà di scenari e si estende naturalmente anche all'analisi di regressione.

Se vuoi approfondire la tua comprensione delle distribuzioni di probabilità e delle loro applicazioni, i nostri corsi su Probabilità e Statistica offrono una copertura completa di questi argomenti. I corsi includono esercizi pratici con dataset reali, per aiutarti a padroneggiare sia i concetti teorici sia le implementazioni pratiche in Python e R. Valuta anche il nostro percorso Machine Learning Scientist in Python. Promesso: imparerai un sacco.