学习路径
初级数据工程师 在 SQL 中
30 小时
几年前，我在新的软件工程岗位入职的第一周，就被要求研究时间序列数据库（TSDB），以替换我们的 Postgres 方案。
当时我对这个主题一无所知，问题一大堆。什么是时间序列数据库？它如何工作？它与传统数据库有何不同？为什么要用它？我是否需要特定技能？
自那以后，我对 TSDB 学到了很多，并在多家公司应用这些知识解决了各种问题。
在本文中，我将总结过去几年的所学，帮助您了解 TSDB 是什么、如何工作，以及它最适合哪些用例。我还会带您了解当前市面上一些 TSDB，并给出选型建议，助您选择最符合需求的产品。
什么是时间序列数据库？
想象一下，X 公司出售的一款智能恒温器每 30 秒记录一次温度读数。仅一天，这台设备就会产生成千上万个数据点。现在，把这个规模扩展到全城数百或上千台设备，X 公司收集的带时间戳的数据量就变得相当惊人。
为了高效存储这些数据并分析趋势（例如随时间的温度变化或突发峰值），X 公司需要一款能处理海量写入并高效执行基于时间查询的数据库。
传统数据库在这类负载下往往会吃力，因为它们并非为高频写入或在特定时间范围内高效查询而设计。这正是时间序列数据库的用武之地。
时间序列数据库是专门用于管理按时间组织与索引的数据的数据库。不同于为通用数据存储优化的传统数据库，TSDB 专注于高效存储、查询和分析带时间戳的数据点序列。
TSDB 特别适用于处理持续数据流的应用，例如 IoT、DevOps 监控和金融分析。
时间序列数据库的特性
TSDB 在多个方面与传统数据库不同。
为带时间戳的数据优化
从本质上讲，TSDB 天生用于处理以时间戳为基本属性的数据。TSDB 中的每个数据点都包含时间戳，并以此作为主索引。这使数据库能够高效存储和检索按时间排序的序列，并快速访问历史趋势或最新事件。
大多数 TSDB 采用基于时间的分区，即按时间区间（如每小时、每日）将数据存储在分区中。这便于高效裁剪，查询可直接忽略不相关的分区。
它们还可以实现时间桶（time buckets），将数据按预定义时间窗口（如 1 分钟、1 小时）分组，以加速聚合。
高写入吞吐
时间序列数据通常以极快速度产生——例如 IoT 设备每秒发送成千上万的数据点，或服务器监控工具实时采集系统指标。TSDB 针对此类高写入场景进行了优化，能够在不降速或不丢失信息的情况下摄取海量数据。
这通常通过仅追加的存储模型和内存缓冲来实现，以避免锁或事务瓶颈。
高效的时间范围查询
分析时间序列数据往往需要查询特定的时间区间或窗口，如“过去 24 小时”或“今年与去年对比”。TSDB 在设计时就考虑了这一点，提供了专门的查询能力，能快速检索定义时间范围内的数据。它们还支持平均值、求和或趋势等聚合，免去复杂的查询逻辑即可获得有价值的分析结果。
常见的查询优化技术包括：
- 预聚合数据：TSDB 常会为常见时间区间（如每小时或每日平均值）预计算汇总。
- 滑动窗口算法：有助于高效计算移动时间窗口上的指标，如滚动平均。
数据压缩与保留策略
为管理随时间累积的大量时间序列数据，TSDB 使用先进的数据压缩技术。这些方法在降低存储需求的同时，保持查询性能。
TSDB 通常内置数据保留策略，用户可以定义数据的保留时长。例如，系统可以对过去一个月的数据保留明细，同时对更早的数据进行降采样。降采样是指随时间降低数据粒度的过程。例如：
- 原始温度读数可在最近 7 天按每 10 秒记录一次。
- 对更早的数据，系统可降采样为每小时平均值，以节省空间，同时保留历史趋势。
高级压缩技术的示例包括：
- Delta 编码：存储相邻数值之间的差值，而非完整值。
- Gorilla 压缩：一种通过以二进制形式存储变化来高效压缩浮点时间序列数据的方法。
时间序列数据库的应用场景
时间序列数据库广泛应用于众多现代数据驱动型应用和各行各业。下面来看看主要用例。
1. 物联网（IoT）
IoT 设备（如智能恒温器、工业传感器和环境监测器）会持续产生带时间戳的数据流。TSDB 用于存储和分析这些数据，并驱动如下应用：
- 智能家居：基于时间敏感数据监控并控制家电。
- 工业自动化：实时追踪机器性能并检测异常，最大限度减少停机时间。
- 环境监测：采集传感器数据以跟踪空气质量、天气模式或水位的长期变化。
2. DevOps 与系统监控
在 DevOps 领域，TSDB 广泛用于监控 IT 基础设施和应用，收集 CPU 使用率、内存消耗、网络吞吐等指标。它们支持：
- 性能监控：实时可视化系统健康状况和性能指标。
- 异常检测：识别异常模式，如服务器负载或网络时延的突增。
- 容量规划：利用历史趋势预测并分配未来资源需求。
Prometheus 和Grafana等工具常与 TSDB 集成，为 DevOps 团队提供可视化与告警能力。
3. 金融市场
TSDB 对处理和分析金融市场产生的海量高频数据至关重要，常用于：
- 算法交易：以毫秒级存储与分析市场数据，基于实时趋势执行交易。
- 风险管理：持续监测金融指标以评估与缓释风险。
- 市场分析：分析历史数据以识别市场行为中的模式、趋势与异常。
4. 其他应用
尽管上述三类用例最为常见，时间序列数据库在其他诸多领域同样大有用武之地：
- 医疗健康：实时监测患者生命体征并分析医疗设备数据。
- 科学研究：采集并分析用于气候建模、天文观测等与时间相关的现象数据。
- 商业分析：跟踪客户行为，分析销售趋势，并随时间监测关键绩效指标。
最佳时间序列数据库：对比概览
时间序列数据库形式多样，各有侧重，适配不同用例。
InfluxDB
InfluxDB 是 InfluxData 开发的流行开源时间序列数据库。它专为高写入吞吐和高效查询带时间戳的数据而设计，常用于 IoT 监控、DevOps 指标和实时分析。
|
优点 |
缺点 |
|
可高吞吐摄取海量数据。 |
为获得最佳存储效果，需要手动管理保留策略。 |
|
类 SQL 的 InfluxQL 便于熟悉关系型数据库的分析师查询。 |
若无企业特性，超大数据集的可扩展性存在挑战。 |
|
易与 Grafana 等可视化工具集成。 |
与基于 SQL 的数据库相比，高级查询能力有限。 |
TimescaleDB
TimescaleDB 是 PostgreSQL 的开源扩展，旨在将关系型数据库的能力与时间序列功能相结合。它让您在高效处理带时间戳数据的同时，充分利用 SQL。这使其特别适合需要将时间序列数据与关系数据集成的用例，如商业分析或 IoT 遥测。
|
优点 |
缺点 |
|
完整的 SQL 支持，便于与现有 PostgreSQL 工具与流程集成。 |
搭建与运维需要 PostgreSQL 知识。 |
|
超表（Hypertables）：自动为时间序列数据分区，实现高效存储与查询。 |
摄取速度可能尚不及 InfluxDB 等专用 TSDB。 |
|
在同一数据库中融合关系型与时间序列数据。 |
Prometheus
Prometheus 是一款内置 TSDB 的监控与告警系统，广泛用于 DevOps 的实时系统指标、性能追踪与告警管理。
|
优点 |
缺点 |
|
轻量且易于部署，尤其适配 Kubernetes。 |
若无外部方案，长期存储受限。 |
|
基于拉取的指标抓取，确保仅采集相关数据。 |
可扩展性依赖 Thanos 或 Cortex 等附加工具。 |
|
PromQL 提供强大的查询能力。 |
专注于指标，可能不适合所有通用 TSDB 需求。 |
Clickhouse
ClickHouse 是一款开源列式数据库，面向高性能分析型查询。尽管并非传统 TSDB，但其架构使其非常适合处理时间序列数据，尤其在需要极快查询性能的场景。
|
优点 |
缺点 |
|
针对分析型负载具备高查询性能。 |
对初学者而言，搭建与维护较为复杂。 |
|
列式存储可降低查询延迟。 |
并非专为 TSDB 设计（可能需要变通方案）。 |
Apache Cassandra
Apache Cassandra 是一款分布式 NoSQL 数据库，面向水平扩展与高可用而构建。尽管并非专用 TSDB，但在需要耐久性与容错性至关重要的时间序列负载中也能有效使用。
|
优点 |
缺点 |
|
卓越的水平扩展能力。 |
缺乏原生的时间序列查询与聚合功能，不做额外优化时查询会较繁琐。 |
|
具备容错性且高可用。 |
Amazon Timestream
Amazon Timestream 是 AWS 提供的全托管时间序列数据库服务。其为可扩展性与简便性而构建，特别适合已使用 AWS 基础设施进行 IoT 与应用监控的组织。
|
优点 |
缺点 |
|
无服务器架构，简化管理。 |
在 AWS 生态外功能受限。 |
|
可自动扩展以处理海量数据。 |
在高数据摄取速率下成本可能攀升。 |
让我们用下表快速回顾：
如何处理时间序列数据中的不规则间隔或不同时区？
我可以把时间序列数据存储在非关系型数据库中吗？
在我的项目中，该如何在关系型数据库与专用时间序列数据库之间做选择？
Author
Marie Fayard
主题