Time Series Database (TSDB): una guida con esempi

Un paio d’anni fa, durante la mia prima settimana in un nuovo ruolo da software engineer, mi è stato chiesto di esplorare i time series databases (TSDB) per sostituire la nostra soluzione Postgres.

Non sapevo assolutamente nulla dell’argomento e avevo un sacco di domande. Cos’è esattamente un database di serie temporali? Come funziona? In cosa è diverso da un database tradizionale? Perché dovremmo usarne uno? Servono competenze specifiche?

Da allora ho imparato molto sui TSDB e ho applicato queste conoscenze in varie aziende per risolvere un’ampia gamma di problemi.

In questo articolo riassumo ciò che ho imparato negli ultimi anni per darti una buona idea di cosa sono i TSDB, come funzionano e per quali casi d’uso rendono al meglio. Ti guiderò anche tra alcuni dei TSDB attualmente sul mercato e ti darò consigli per scegliere quello più adatto alle tue esigenze.

Cosa sono i time series databases?

Immagina un termostato smart venduto dall’azienda X che registra le letture della temperatura ogni 30 secondi. In un solo giorno, questo dispositivo genera migliaia di punti dati. Ora moltiplica per centinaia o migliaia di dispositivi in una città, e il volume di dati con timestamp raccolti dall’azienda X diventa enorme.

Per archiviare questi dati in modo efficiente e analizzare le tendenze (come i cambiamenti di temperatura nel tempo o i picchi improvvisi), l’azienda X ha bisogno di un database in grado di gestire velocità di scrittura elevate e di effettuare query basate sul tempo in modo efficiente.

I database tradizionali tendono a faticare con questo tipo di carico perché non sono progettati per gestire scritture di dati ad alta frequenza o interrogare i dati in modo efficiente su intervalli temporali specifici. È qui che entrano in gioco i database di serie temporali.

I time series databases sono database specializzati progettati per gestire dati organizzati e indicizzati in base al tempo. A differenza dei database tradizionali, ottimizzati per l’archiviazione generica, i TSDB si concentrano sul memorizzare, interrogare e analizzare in modo efficiente sequenze di punti dati con timestamp.

I TSDB sono particolarmente adatti ad applicazioni che trattano flussi di dati continui, come IoT, monitoraggio DevOps e analisi finanziaria.

Caratteristiche dei time series databases

Ci sono alcune cose che i TSDB fanno in modo diverso rispetto ai database tradizionali.

Ottimizzati per dati con timestamp

Alla base, i TSDB sono costruiti per gestire dati con il timestamp come attributo fondamentale. Ogni punto dati in un TSDB include un timestamp, che funge da indice principale. Ciò consente a questi database di archiviare e recuperare in modo efficiente sequenze ordinate nel tempo e di fornire accesso rapido a tendenze storiche o eventi recenti.

La maggior parte dei TSDB usa la partizionamento basato sul tempo, ossia i dati vengono archiviati in partizioni basate su intervalli temporali (ad esempio, orari, giornalieri). Questo abilita il pruning efficiente, in cui le query ignorano del tutto le partizioni irrilevanti. 

Possono anche implementare i bucket temporali, raggruppando i dati in finestre temporali predefinite (ad esempio, 1 minuto, 1 ora) per aggregazioni più rapide.

Alti tassi di ingestione

I dati di serie temporali sono spesso generati a ritmo sostenuto: pensa a dispositivi IoT che inviano migliaia di punti dati al secondo o a uno strumento di monitoraggio che cattura metriche di sistema in tempo reale. I TSDB sono ottimizzati per questi alti tassi di scrittura e possono ingerire enormi quantità di dati senza rallentare o perdere informazioni.

Questo di solito si ottiene usando modelli di storage append-only e buffer in memoria per evitare lock o colli di bottiglia transazionali.

Query efficienti per intervalli temporali

Analizzare dati di serie temporali comporta spesso l’interrogazione di intervalli o finestre temporali specifiche, come “ultime 24 ore” o “quest’anno rispetto all’anno scorso”. I TSDB sono costruiti tenendo conto di ciò, offrendo funzionalità di query specializzate che consentono di recuperare rapidamente i dati su intervalli di tempo definiti. Supportano anche aggregazioni come medie, somme o trend per offrire analisi utili senza logiche di query complesse.

Le tecniche di ottimizzazione delle query includono:

• Dati pre-aggregati: i TSDB spesso pre-calcolano riepiloghi per intervalli comuni (ad esempio, medie orarie o giornaliere).
• Algoritmi a finestra mobile: aiutano a calcolare in modo efficiente metriche su finestre temporali mobili, come le medie mobili.

Compressione dei dati e policy di retention

Per gestire l’enorme quantità di dati di serie temporali generati nel tempo, i TSDB ricorrono a tecniche avanzate di compressione. Questi metodi riducono i requisiti di storage preservando al contempo le prestazioni delle query.

I TSDB includono di solito policy di retention per permettere agli utenti di definire per quanto tempo mantenere i dati. Per esempio, un sistema potrebbe conservare dati dettagliati per l’ultimo mese effettuando downsampling per i dati più vecchi. Il downsampling è il processo di riduzione della granularità dei dati nel tempo. Per esempio:

• Le letture grezze della temperatura potrebbero essere registrate ogni 10 secondi per gli ultimi 7 giorni.
• Per i dati più vecchi, il sistema potrebbe eseguire il downsampling a medie orarie per risparmiare spazio mantenendo comunque le tendenze storiche.

Esempi di tecniche avanzate di compressione includono:

• Codifica delta: memorizzare la differenza tra valori consecutivi invece del valore completo.
• Compressione Gorilla: un metodo usato per comprimere in modo efficiente dati di serie temporali in virgola mobile memorizzando le variazioni in formato binario.

Casi d’uso dei time series databases

I time series databases sono usati in molte applicazioni moderne data-driven e in settori diversi. Vediamo i principali casi d’uso.

1. Internet of Things (IoT)

Dispositivi IoT come termostati smart, sensori industriali e monitor ambientali generano flussi continui di dati con timestamp. I TSDB vengono usati per archiviare e analizzare questi dati e alimentare applicazioni come:

• Smart home: monitoraggio e controllo degli elettrodomestici in base a dati sensibili al tempo.
• Automazione industriale: tracciamento delle prestazioni delle macchine e rilevamento di anomalie in tempo reale per minimizzare i downtime.
• Monitoraggio ambientale: raccolta di dati dai sensori per monitorare qualità dell’aria, condizioni meteo o livelli dell’acqua nel tempo.

2. DevOps e monitoraggio dei sistemi

Nel mondo DevOps, i TSDB sono ampiamente usati per monitorare infrastrutture IT e applicazioni raccogliendo metriche come uso della CPU, consumo di memoria e throughput di rete. Consentono di:

• Monitorare le prestazioni: visualizzare in tempo reale lo stato del sistema e le metriche di performance.
• Rilevare anomalie: identificare pattern insoliti, come picchi di carico del server o latenze di rete.
• Capacity planning: usare le tendenze storiche per prevedere e allocare i bisogni di risorse future.

Strumenti come Prometheus e Grafana si integrano spesso con i TSDB per fornire funzionalità di visualizzazione e alerting ai team DevOps.

3. Mercati finanziari

I TSDB sono fondamentali per elaborare e analizzare le enormi quantità di dati ad alta frequenza generate dai mercati finanziari. Sono usati per:

• Trading algoritmico: memorizzare e analizzare i dati di mercato in millisecondi per eseguire operazioni basate su trend in tempo reale.
• Gestione del rischio: monitorare metriche finanziarie nel tempo per valutare e mitigare i rischi.
• Analisi di mercato: analizzare dati storici per individuare pattern, trend e anomalie nel comportamento del mercato.

4. Altre applicazioni

Sebbene i tre casi d’uso sopra siano molto comuni, i time series databases trovano applicazione anche in molti altri ambiti:

• Sanità: monitoraggio in tempo reale dei parametri vitali dei pazienti e analisi dei dati dei dispositivi medici.
• Ricerca scientifica: raccolta e analisi di dati per la modellazione climatica, osservazioni astronomiche e altri fenomeni dipendenti dal tempo.
• Business analytics: tracciamento del comportamento dei clienti, analisi delle tendenze di vendita e monitoraggio delle KPI nel tempo.

I migliori time series databases: panoramica comparativa

I time series databases esistono in varie forme, ciascuna pensata per casi d’uso specifici.

InfluxDB

InfluxDB è un popolare database di serie temporali open source sviluppato da InfluxData. È stato progettato specificamente per alti tassi di ingestione e query efficienti su dati con timestamp, rendendolo una soluzione comune per monitoraggio IoT, metriche DevOps e analytics in tempo reale.

TimescaleDB

TimescaleDB è un’estensione open source per PostgreSQL, progettata per combinare la potenza dei database relazionali con la funzionalità delle serie temporali. Ti permette di sfruttare SQL gestendo al contempo in modo efficiente i dati con timestamp. È particolarmente adatto a casi d’uso che richiedono l’integrazione di dati di serie temporali con dati relazionali, come business analytics o telemetria IoT.

Prometheus

Prometheus è un sistema di monitoraggio e alerting con un TSDB integrato, ampiamente adottato in DevOps per metriche di sistema in tempo reale, tracciamento delle prestazioni e gestione degli alert.

Clickhouse

ClickHouse è un database colonnare open source progettato per query analitiche ad alte prestazioni. Pur non essendo un TSDB tradizionale, la sua architettura lo rende eccezionalmente adatto ai dati di serie temporali, soprattutto quando le prestazioni delle query devono essere elevate.

Apache Cassandra

Apache Cassandra è un database NoSQL distribuito costruito per la scalabilità orizzontale e l’alta disponibilità. Pur non essendo esclusivamente un TSDB, può essere usato in modo efficace per workload di serie temporali, in particolare quando sono fondamentali durabilità e tolleranza ai guasti.

Amazon Timestream

Amazon Timestream è un servizio di database di serie temporali completamente gestito offerto da AWS. Costruito per scalabilità e semplicità, è ideale per le organizzazioni che già sfruttano l’infrastruttura AWS per IoT e monitoraggio applicativo.

Facciamo un rapido riepilogo con questa tabella: