Tracks
AWS 云从业者（CLF-C02）
10小时
数据科学家、ML 工程师和 LLM 工程师各有侧重，但我们对基础设施的共同诉求很简单：能少就少。没人愿意花数小时配置云环境或摸索复杂的 AWS 服务。理想状态是点两下按钮，打开终端或 Jupyter Notebook，选个模板，就开始训练、微调或上线服务。
本指南所选的服务商正是基于这一点考虑。它们提供易用的仪表盘、预配置环境、notebook、终端、容器模板以及清晰的上手指南；即使默认不带 Jupyter，大多也能在几分钟内安装好。
当然，它们并非面向同一类用户。有的主打价格与硬件选择的“市场”，有的提供可预期的虚拟机、无服务器 GPU 执行、托管推理，或适合分布式训练的企业级集群。我们将从四类场景对十个平台进行比较：GPU 市场与灵活容量网络、自助式 AI GPU 云、企业级 AI 云，以及开发者优先、Notebook 友好的平台。
GPU 市场与灵活容量网络
GPU 市场旨在灵活获取分布式 GPU 资源。它们适用于实验、批处理作业、短期微调，以及在硬件选择与成本最重要的场景。
1. Vast.ai
Vast.ai 是我最常用来寻找用于模型服务与 LLM 微调的高性价比 GPU 的平台。
它的市场提供大量 GPU 机器可选，您可以按硬件、显存、稳定性、地域和价格对比。每个条目都会清晰拆分计算与存储成本，让您明白钱花在哪。
实例支持 Jupyter Notebook、基于浏览器的终端、SSH 和 VS Code 连接。做快速测试时，我常常只花几美分就关机了。不过，由于硬件来自不同的市场托管方，机器的可用性与稳定性会有波动。
最适合： 低成本试验、模型服务、LoRA 微调与批量推理。
2. RunPod
RunPod 是我最喜欢的 GPU 平台，我已在其上为 LLM 微调与推理花费了数百美元。
相较 Vast.ai，它更快更易上手，不过将计算与存储成本一并考虑后，优质机器的价格可能并不便宜。RunPod 开箱即用，提供现成模板、JupyterLab、网页终端、SSH 与 VS Code 集成。
我最近唯一的问题是 GPU 供给。热门机型有时会缺货，迫使我等待或选择更贵的方案。尽管如此，RunPod 依然是数据科学家无需学习复杂云基建即可训练或部署模型的最佳平台之一。
我在最近两篇教程中使用了 RunPod，微调 DiffusionGemma 以用于生物医学问答以及微调 Gemma 4，两者都在一台 RunPod GPU pod 上从头到尾完成。
最适合： 初学者、数据科学家、LLM 微调、模型服务，以及希望“即插即用”GPU 环境的用户。
3. Spheron Network
Spheron 是无需接入 AWS 或签长期合同即可获得高性价比高端 GPU 的不错选择。
它将多家数据中心提供商的 GPU 能力汇聚到一个面板中，提供 VM 与裸金属机器、完整的 root SSH 访问、透明定价与按分钟计费。
涵盖从 RTX 4090、A100 到 H100、H200、B200 的全线产品。对于更大负载，您还可以部署具备 NVLink、InfiniBand 或 RoCE 网络的多 GPU、多节点集群。与 RunPod 相比，它略偏向基础设施，但为严肃开展分布式训练的 LLM 团队提供了更大的灵活性。
最适合： 高性价比高端 GPU、多 GPU LLM 训练、分布式工作负载，以及需要 VM 或裸金属访问的团队。
4. TensorDock
TensorDock 是一个实惠的 GPU 市场，用于启动完整虚拟机。
您可以选择 GPU、CPU、内存、存储、位置与操作系统，并获得一台具有 root 访问权限的机器。硬件范围很广，从更便宜的消费级 GPU 到性能强劲的 A100 与 H100 机器。
它没有 RunPod 那么“现成”。通常需要通过 SSH 连接并自行配置环境，尽管 Docker 已包含在其 VM 模板中，且可通过开放端口设置 Jupyter。这样更可控，但您需要熟悉自行安装与管理工具。
最适合： 经济型 GPU 虚拟机、自定义 PyTorch 训练，以及自管的 vLLM 或 TGI 部署。
自助式 AI GPU 云
这些平台更像是租一台正经的云主机，而非开放市场。您选择 GPU，启动 VM，通过 SSH 或 VS Code 连接，搭建自己的训练、微调或模型服务环境。
5. Hyperstack
Hyperstack 在不将您绑死于 AWS、Azure 或复杂企业合同时，为您提供可预期的 GPU 基础设施。
您选择 GPU 规格、区域、系统镜像与 SSH 公钥，然后在数分钟内启动完整虚拟机。它在多个数据中心区域提供按需、竞价与预留容量。
当您需要一台可靠机器来跑较长训练任务或自管推理部署时，这是不错的选择。仍需自行配置环境，但体验远比在传统三大云上从零搭建直观得多。
最适合： 可预期的 GPU VM、长时间训练作业、自定义环境与自管模型服务。
6. Hyperbolic
我在 Hyperbolic 上花了数百美元，到现在依然很喜欢用。对我而言，它常常是获取高端 GPU 的最快且最便宜方式之一。机器可靠、启动迅速，并且可以直接通过 VS Code 连接，几乎就像本地开发的体验。
Hyperbolic 提供按需 GPU 实例、预留集群、私有云基础设施以及兼容 OpenAI 的推理 API。也就是说，您可以用它做一次快速微调试验，之后无需更换平台即可转向专用容量或托管推理。
我最大的问题在于可用性。过去更容易找到单卡且价格实惠的 H100 或 A100。最近，这些更便宜的选项在我需要时经常不可用。偶尔能找到单卡 H200，但许多可用配置是 4 卡或 8 卡集群，对我的日常负载来说过于昂贵且性能过剩。
最适合： 高性价比高端 GPU 计算、LLM 微调、VS Code 用户、托管推理，以及未来可能需要预留集群的团队。
企业级 AI 云
这些服务商面向严肃的 AI 负载。包括专用 GPU 集群、高速网络、可扩展存储、预留容量，以及可稳定运行数月而非数小时的基础设施。
7. Nebius
我很喜欢 Nebius。我主要将其 Token Factory 用于推理，速度快、可靠性高，并且通过兼容 OpenAI 的 API 极其易用。它提供 60 多个开源模型的访问权限，无需您管理底层基础设施。
我最近开始探索其 GPU 云，同样令人印象深刻。您可以启动单机 GPU，或基于托管 Kubernetes、存储与高速网络构建长时间运行的集群。Nebius 也为数月期的大型集群预留提供折扣。
这并非仅用于小型实验的平台。大型公司已在其上运行严肃负载。例如，Revolut 在 Nebius 上使用 200 多块 NVIDIA H100 进行训练与推理，而 Recraft 则在该平台上训练了其 200 亿参数模型。
最适合： 可靠推理、长时间运行的 GPU 集群、分布式训练、托管 Kubernetes，以及生产级 AI 工作负载。
8. Together AI
Together AI 远不止是一个推理 API。它在同一平台上提供托管推理、微调、专用端点与自助式 GPU 集群。您可以训练、定制并部署开源权重模型，无需在多个服务商之间切换。
其 GPU 集群包含 H100、H200、B200、GB200 等高端硬件，配备 InfiniBand 网络、持久化存储，并支持 Kubernetes 和 Slurm。集群可按需启动，或为长时负载进行预留。
如果您只是做一次性的小成本试验，这可能有些“杀鸡用牛刀”。但对于希望在规模上训练、微调与服务模型并要求可靠基础设施的公司而言，它非常合适。
最适合： 企业级 GPU 集群、大规模模型训练、托管微调、专用推理，以及构建生产级 AI 系统的公司。
开发者优先、Notebook 友好的平台
这些平台为开发者而建，让您专注代码，而不是花数小时打理云基础设施。它们提供 notebook、VS Code 等熟悉工具，并在幕后处理大量 GPU 资源调度。
9. Modal
Modal 与租用普通 GPU 机器截然不同。您编写 Python 代码，选择所需 GPU，Modal 会在无服务器容器中运行。它能从 0 自动扩展到多块 GPU，按您的代码实际占用资源的时间计费。
它非常适合部署推理 API、运行评估流水线、微调模型，以及应对突增的 GPU 需求。Modal 还提供可在数秒内启动的 GPU notebook，支持自定义环境，最多可使用八块 A100 或 H100 GPU。
唯一需要转变的是思维方式。您不再是打开一台 VM 像远程电脑那样使用，而是在 Python 中定义基础设施。起初可能不习惯，但一旦理解，将会非常强大。
最适合： 无服务器推理、模型评估、自动化流水线、微调，以及需要自动弹性伸缩的负载。
10. Thunder Compute
Thunder Compute 基本就是许多数据科学家心目中的理想 GPU 云。您启动一台机器，然后直接通过 VS Code、Cursor、Windsurf、命令行或 Jupyter Notebook 连接。JupyterLab 已预装，几乎不用折腾环境就能开始实验。
我尤其喜欢其 VS Code 插件的理念。您无需在云端面板、SSH 终端与本地编辑器间来回切换，而是直接在编辑器内创建并以远程工作区方式打开 GPU 实例。体验更接近本地，只是您现在拥有强大的云端 GPU。
Thunder Compute 提供独立的原型与生产模式。您可以先用简单机器做实验，之后迁移到具备持久化存储与多 GPU 支持的生产配置。
最适合： 基于 Jupyter 的研究、VS Code 用户、模型试验、交互式数据科学工作，以及希望找到比 Google Colab 更强替代方案的用户。
如何选择合适的 GPU 服务商
不存在单一“最佳”的 GPU 服务商。正确选择取决于 GPU 可用性、价格、易用性、存储成本，以及您是否需要 notebook、VM、无服务器推理或完整 GPU 集群：
- 当您需要灵活容量、广泛 GPU 选择与有竞争力的价格时，选择 Vast.ai、RunPod、Spheron 或 TensorDock。
- 当您需要更可靠的云 VM 来进行训练、notebook 或自托管推理时，选择 Hyperbolic 或 Hyperstack。
- 当您需要专用集群、分布式训练、预留容量或生产级基础设施时，选择 Nebius 或 Together AI。
- 当易用性最重要时，选择 Modal 或 Thunder Compute。Modal 适合无服务器工作负载，Thunder Compute 则更贴合熟悉的 VS Code 与 Jupyter 工作流。
结语
我主要使用 Vast.ai、RunPod、Hyperbolic 与 Modal，因为它们易用、灵活且相对实惠。Vast.ai 通常是我寻找最便宜机器的首选；RunPod 最易用；在有货时 Hyperbolic 又快又稳；Modal 非常适合无服务器推理与自动化工作负载。
对于非常小的实验，我仍会用 Google Colab 或本地 Jupyter Notebook。但 Colab 有局限，常常较慢，也并不适合严肃的 LLM 微调、模型服务或长时间训练作业。
归根结底，最好的平台是能让您快速开始工作，而无需先成为云基础设施工程师的平台。如果您仍然想了解这方面（或想知道幕后在发生什么），建议从我们的 Understanding Cloud Computing 课程开始。