Scomposizione delle serie temporali: capisci trend, stagionalità e rumore

La scomposizione è una delle cose più interessanti nella data science. In sostanza, scomporre significa dividere qualcosa di complesso in parti più semplici e interpretabili. Questo può riguardare una matrice, un modello o un segnale. 

Poiché è un’idea generale, può assumere molte forme. In algebra lineare troviamo la decomposizione QR, l’eigendecomposizione, la decomposizione ai valori singolari e la decomposizione di Cholesky, per citarne alcune. In altri ambiti, c’è la trasformata di Fourier, l’analisi delle componenti principali e persino il topic modeling con metodi come LDA. La variabilità nei modelli di regressione può essere scomposta nelle componenti della somma dei quadrati: SST, SSR e SSE. Possiamo persino considerare gli alberi decisionali come una forma di scomposizione. 

Qui rivedremo una delle nostre preferite: la scomposizione delle serie temporali. Se alla fine avremo stuzzicato la tua curiosità, segui il nostro corso Forecasting in R con il professor Rob Hyndman.

Cos’è la scomposizione delle serie temporali?

La scomposizione delle serie temporali è un metodo che suddivide una serie temporale in componenti distinte chiamate trend o trend-ciclo, stagionalità e residui. Lo scopo della scomposizione è comprendere meglio gli schemi sottostanti e migliorare l’accuratezza delle previsioni.

Quali sono le componenti di una serie temporale?

Diamo un’occhiata alle componenti di una serie temporale. È probabilmente il modo migliore per capire l’idea.

Componente di trend

Il trend di una serie temporale (come suggerisce il nome) è il movimento di lungo periodo. Dovremmo dire che la componente di trend è spesso considerata in realtà come trend-ciclo, dove i cicli sono intesi come schemi lunghi e irregolari. Le vendite di auto erano storicamente considerate in cicli di sette anni (per qualunque motivo), anche se probabilmente, con il passaggio alle auto elettriche, non più.

La cosa principale che si ricava dal trend di solito è: i dati aumentano, diminuiscono o restano stabili nel lungo periodo? Un aumento globale delle temperature oceaniche negli ultimi decenni è un chiaro (leggi: negativo) trend.

Componente stagionale

La componente stagionale richiede un po’ più di tempo per essere spiegata perché è un po’ più complicata. La componente stagionale di una serie temporale sono i cicli a breve termine che si ripetono a intervalli regolari. Pensa a intervalli giornalieri, mensili, settimanali, trimestrali. La chiave qui è che gli intervalli devono essere abbastanza regolari. Potresti vedere, per esempio, che gli ordini in una caffetteria seguono una stagionalità settimanale se la domenica le persone preferiscono farsi il caffè a casa. (Esploreremo questa domanda sugli ordini delle caffetterie nella prossima sezione.)

La stagionalità può essere più complicata di quanto sembri. Pensa a come il numero di settimane in un anno non è un intero (~52,18). O a come i mesi non sono equidistanti: febbraio ha 28 (o 29) giorni, ma luglio ne ha sempre 31.

Inoltre, dato che ogni anno ha poco più di 52 settimane e che i mesi variano, non puoi suddividere la maggior parte dei mesi in settimane intere. Questo è ovvio quando guardi un calendario. Meno ovvio, per un analista, è che quando guardi i dati a livello settimanale e poi li aggreghi a livello mensile potresti vedere cose incoerenti, come un gennaio con quattro lunedì e il successivo con cinque.

La componente residua / irregolare / rimanente

Tutto ciò che rimane dopo aver rimosso trend-ciclo e componente stagionale lo chiamiamo, appropriatamente, componente residua, che include elementi anomali nei dati, come un grande evento, e il rumore casuale. Contrariamente a quanto si potrebbe pensare dal nome, la componente residua non è un artefatto inutile. Tutti i dati hanno variabilità inspiegata e quantificarne l’entità è importante. Interessantemente, i residui spesso assumono la forma di una distribuzione gaussiana in una serie ben comportata, nel qual caso potremmo valutare eventi cigno nero con test d’ipotesi.

Modelli di scomposizione delle serie temporali

Ora che abbiamo coperto le parti costitutive di una serie temporale, dobbiamo menzionare che esistono due tipi generali di scomposizione. Partiremo dal modello additivo.

Scomposizione additiva

Ecco la formula per la scomposizione additiva:

Nota i segni più. Questa formula dice che se prendi il trend e lo sommi alla componente stagionale, e poi sommi i residui, ottieni la serie temporale originale. In generale, usiamo una scomposizione additiva quando la variazione stagionale è costante nel tempo.

Scomposizione moltiplicativa

Ecco la formula per la scomposizione moltiplicativa. Nota i segni di moltiplicazione in questa versione. 

Usiamo un modello moltiplicativo quando la variazione stagionale si scala con il trend. Cioè, quando vedi che l’ampiezza degli effetti stagionali aumenta man mano che la serie complessiva sale o scende. Quello che stiamo descrivendo è in realtà una forma di eteroschedasticità.

Tecniche di scomposizione delle serie temporali

Finora abbiamo visto cosa entra in una scomposizione e i due principali tipi generali. Andando avanti, dobbiamo parlare dei due metodi più comuni. Ognuno di questi può essere applicato sia come modello additivo sia moltiplicativo. 

Scomposizione classica

La scomposizione classica è la più semplice da capire. Risale agli anni Venti, ma è ancora attuale. Per mostrare la scomposizione classica, usiamo Excel. La scomposizione classica, come la STL che vedremo dopo, può essere fatta con un modello additivo o moltiplicativo. In questo esempio, creeremo una versione additiva.

Se vuoi provare tu stesso, usa il CSV index_1 in questo interessantissimo dataset di vendite di caffè che trovi su Kaggle. Per riferimento, abbiamo aggregato e riassunto le vendite per giorno.

• Per prima cosa calcoliamo il trend-ciclo. Identifichiamo una stagionalità settimanale e ci sono sette giorni in una settimana, quindi il periodo stagionale è dispari, il che significa che la media mobile dovrebbe essere centrata usando una finestra simmetrica. Cioè, una media mobile a 7 giorni. Fai attenzione all’allineamento e al centraggio nel foglio Excel.

• Poi troviamo la serie detrended sottraendo il trend dall’originale.

• Quindi, per trovare la componente stagionale, facciamo la media dei valori detrended per ciascun periodo stagionale. Un’aggiunta importante: Vedrai che la componente stagionale probabilmente non somma esattamente a zero. Assicurati di correggere questo aspetto con la normalizzazione:

  • Calcola la media della tua componente stagionale.

  • Sottrai la media stagionale da ogni valore stagionale.

• Infine, per il rimanente, sottraiamo trend e periodo stagionale dalla serie originale. 

Se vedessimo che la nostra serie ha un effetto stagionale che cambia con il livello dei dati, prenderemmo in considerazione invece una scomposizione moltiplicativa. I passaggi sono simili, tranne per il fatto che usiamo la divisione invece della sottrazione. Nello specifico, troveremmo la serie detrended dividendo la serie originale per il trend-ciclo. Poi, più avanti, per trovare il rimanente, divideremmo la serie originale per il prodotto delle componenti di trend e stagionale. (In alternativa, avremmo potuto prendere il logaritmo naturale della serie originale e applicare una scomposizione additiva. Sarebbe sostanzialmente lo stesso.)

Scomposizione STL 

La scomposizione STL, che sta per Seasonal and Trend decomposition using LOESS, è una versione più moderna della scomposizione. È più difficile da spiegare, ma in genere è più flessibile del metodo classico. STL funziona usando un metodo chiamato LOESS, che adatta semplici modelli di regressione a piccoli segmenti sovrapposti dei dati. Applica questa regressione ponderata localmente per isolare separatamente le componenti di trend e stagionale.

Questo metodo affronta specifici limiti della scomposizione classica, ossia che, nella versione classica, non sono disponibili stime del trend-ciclo o del rimanente per le prime e ultime osservazioni. Lo puoi vedere negli spazi vuoti in Excel, nelle righe 3, 4, 5 e 20, 21 e 22, sopra.

Dovremmo anche dire che il trend-ciclo identificato dalla scomposizione classica appiana rialzi e ribassi rapidi, quindi potrebbe sorvolare su aspetti importanti della serie. Infine, la scomposizione classica dà per scontata l’idea che esista un pattern stagionale ma, con abbastanza dati, a volte possiamo vedere che tale pattern cambia.

Iniziamo creando un grafico temporale della serie originale. Come prima, come primo passo, aggreghiamo e riassumiamo il dataset di Kaggle per ottenere la serie che ci interessa.

coffee_sales_data <- read.csv("/Users/x/Desktop/index_1.csv")
coffee_sales_data <- as.data.frame(coffee_sales_data)Offerto da

library(dplyr)
library(ggplot2)

coffee_sales_data |>
  group_by(date) |>
  summarize(money = sum(money)) |>
  ggplot(aes(x = as.Date(date), y = money)) +
  geom_line(color = '#01ef63') +
  labs(title = "Coffee Sales") +
  labs(subtitle = "Time series")Offerto da

Successivamente, scomponiamo la serie in trend, stagionale e rimanente. Il riquadro in alto del grafico di scomposizione mostra la serie originale, seppur un po’ schiacciata.

coffee_sales_data |>
  group_by(date) |>
  summarize(money = sum(money)) |>
  mutate(date = as.Date(date)) |>
  as_tsibble() |>
  filter(date > '2024-02-28') |>
  filter(date < '2024-05-01') |>
  model(
      STL(money ~ season(window = "periodic"))
  ) |>
  components() |>
  autoplot(color = '#203147') +
  labs(title = "Coffee Sales") +
  labs(subtitle = "Classical additive decomposition")

coffee_sales_data |>
  group_by(date) |>
  summarize(money = sum(money)) |>
  mutate(date = as.Date(date)) |>
  as_tsibble() |>
  filter(date > '2024-02-28') |>
  filter(date < '2024-05-01') |>
  model(
      STL(money ~ season(window = "periodic"))
  ) |>
  components() -> ts_components

ts_components |>
  autoplot(color = '#203147') +
  labs(title = "Coffee Sales") +
  labs(subtitle = "Classical additive decomposition")Offerto da

Nota che, a differenza della scomposizione classica, il dataframe che otteniamo non ha vuoti all’inizio o alla fine.  

print(ts_components)Offerto da

Ci sono anche alcuni limiti con la scomposizione STL e, se ti interessa, abbiamo aggiunto queste informazioni nelle nostre FAQ. 

Scomposizione delle serie temporali e aggiustamenti stagionali

Spesso è utile creare una versione destagionalizzata dei dati. La scomposizione aiuta in questo. Per creare una versione destagionalizzata, sommiamo semplicemente trend e rimanente. Oppure possiamo sottrarre la componente stagionale dalla serie originale; entrambe le strade portano allo stesso risultato.

seasonally_adjusted <- components |>
  mutate(seasonally_adjusted = money - season_week)

season_adjust_data <- seasonally_adjusted |>
  select(date, money, season_adjust) |>
  pivot_longer(cols = c(money, season_adjust), names_to = "series", values_to = "value")

season_adjust_data |>
  autoplot() + facet_wrap(~series) +
  scale_color_manual(values = c(
    "money" = '#203147',          # blue
    "season_adjust" = '#01ef63'   # orange
  )) +
  facet_wrap(~series) +
  labs(title = "Coffee Sales: Original vs Seasonally Adjusted")Offerto da

Stiamo scoprendo che non c’è una stagionalità particolarmente forte in questo dataset specifico, il che è interessante di per sé.

La forza dei dati destagionalizzati è che possono aiutarci a capire certe caratteristiche della nostra serie. Possiamo vedere, per esempio, se il trend sottostante è il risultato della stagionalità. In secondo luogo, possiamo esaminare più da vicino le occorrenze insolite nei dati. Pensiamo che la nostra promozione del venerdì abbia funzionato perché era di venerdì o perché era una promozione? Ecco, usando la scomposizione e gli aggiustamenti stagionali, possiamo testare domande del genere.

Scomposizione delle serie temporali e forecasting

Potrebbe sorprenderti sapere che la scomposizione è utile anche per il forecasting. La consideriamo in due modi principali. Primo, vogliamo capire le componenti della serie per aiutarci a decidere quale modello di previsione usare. Se vediamo una forte stagionalità, potremmo orientarci verso modelli come l’esponenziale di Holt-Winters o i metodi ETS, costruiti specificamente per gestire sia trend sia stagionalità.

In secondo luogo, possiamo anche usare i dati scomposti come parte del forecasting, il che ci dà opzioni. Possiamo, per esempio, eseguire un modello non stagionale su una versione destagionalizzata dei dati. (Possiamo reintrodurre la componente stagionale in seguito.) L’aggiustamento stagionale è particolarmente utile quando vogliamo usare modelli flessibili, come gli ARIMA standard e la regressione lineare. 

Qui creiamo un semplice modello ARIMA per prevedere i dati destagionalizzati. 

season_adjust_data_filtered <- season_adjust_data |>
  filter(series == "season_adjust") |>
  as_tsibble(index = date)

seasonal_adjust_arima_model <- season_adjust_data_filtered |>
  model(
    ARIMA(value)
  )

seasonal_adjust_arima_model |>
  forecast(h = "14 days") |>  
  autoplot(season_adjust_data_filtered, color = '#01ef63') +
  labs(title = "Forecast of Seasonally Adjusted Coffee Sales",
       subtitle = "Simple ARIMA Model",
       y = "Money (Seasonally Adjusted)",
       x = "Date")Offerto da

Possiamo anche prevedere la serie destagionalizzata e aggiungere nuovamente la componente stagionale, ottenendo di fatto una previsione stagionale. Tutto questo è stato reso possibile dalla scomposizione iniziale.

# Build tagged historical and forecast data
historical_data <- components |>
  as_tibble() |>
  select(date, money) |>
  mutate(source = "historical")

forecast_data <- final_forecast |>
  as_tibble() |>
  transmute(date, money = money_forecast) |>
  mutate(source = "forecast")

# Bind and create tsibble
full_data <- bind_rows(historical_data, forecast_data) |>
  as_tsibble(index = date, validate = FALSE)

# Plot with color by source
full_data |>
  ggplot(aes(x = date, y = money, color = source)) +
  geom_line() +
  scale_color_manual(values = c(
    "historical" = "#203147",   # dark blue for real data
    "forecast" = "#01ef63"      # green for forecast
  )) +
  labs(
    title = "Coffee Sales: Actual and Forecast",
    subtitle = "Historical vs Forecast",
    y = "Money",
    x = "Date"
  )Offerto da

Considerazioni finali

Speriamo che il nostro articolo sulla scomposizione delle serie temporali ti sia piaciuto! Ricorda che la scomposizione è solo una parte dell’analisi delle serie temporali, quindi per diventare esperto iscriviti al nostro corso Forecasting in R con il professor Rob Hyndman, che ha contribuito a sviluppare i pacchetti R usati per le nostre visualizzazioni. Abbiamo anche un corso Visualizing Time Series Data in Python se hai trovato interessanti le idee di questo articolo ma preferisci Python, che è ottimo anche per questo tipo di lavoro.