Tracks
Chuyên gia Đám mây AWS (CLF-C02)
10 giờ
Các nhà khoa học dữ liệu, kỹ sư ML và kỹ sư LLM rất khác nhau, nhưng hầu hết chúng ta đều muốn điều tương tự từ hạ tầng: càng ít phải lo càng tốt. Chúng ta không muốn tốn hàng giờ để cấu hình môi trường đám mây hay mò mẫm qua các dịch vụ AWS phức tạp. Chúng ta muốn bấm vài nút, mở terminal hoặc Jupyter Notebook, chọn một mẫu và bắt đầu huấn luyện, tinh chỉnh hoặc phục vụ mô hình.
Các nhà cung cấp trong hướng dẫn này được chọn với tiêu chí đó. Họ cung cấp bảng điều khiển thân thiện, môi trường cấu hình sẵn, notebook, terminal, mẫu container và hướng dẫn thiết lập rõ ràng; nơi Jupyter không có sẵn theo mặc định, phần lớn đều cho phép bạn cài đặt trong vài phút.
Tuy vậy, họ không phục vụ cùng một nhóm người dùng. Một số là marketplace xoay quanh giá và lựa chọn phần cứng; số khác cung cấp máy ảo ổn định, chạy GPU kiểu serverless, suy luận quản lý, hoặc cụm ở quy mô doanh nghiệp cho huấn luyện phân tán. Chúng tôi so sánh mười nền tảng theo bốn nhóm: marketplace GPU và mạng dung lượng linh hoạt, đám mây GPU AI tự phục vụ, đám mây AI quy mô doanh nghiệp, và nền tảng ưu tiên nhà phát triển, thân thiện với notebook.
GPU Marketplaces và Mạng Dung Lượng Linh Hoạt
Marketplace GPT được thiết kế xoay quanh khả năng truy cập linh hoạt tới dung lượng GPU phân tán. Chúng hữu ích cho thử nghiệm, tác vụ theo lô, tinh chỉnh ngắn hạn, và bất cứ khi nào lựa chọn phần cứng và chi phí là yếu tố quan trọng nhất.
1. Vast.ai
Vast.ai là nền tảng tôi dùng thường xuyên nhất để tìm GPU giá phải chăng cho phục vụ mô hình và tinh chỉnh LLM.
Marketplace của họ cung cấp nhiều máy GPU để bạn so sánh theo phần cứng, VRAM, độ tin cậy, vị trí và giá thành. Mỗi tin rao đều phân tách rõ ràng chi phí tính toán và lưu trữ, nên bạn biết chính xác mình trả cho điều gì.
Instance hỗ trợ Jupyter Notebook, terminal trên trình duyệt, SSH và kết nối VS Code. Với các thử nghiệm nhanh, tôi thường chỉ tốn vài cent trước khi tắt máy. Tuy nhiên, tính sẵn có và độ tin cậy của máy có thể thay đổi vì phần cứng đến từ nhiều máy chủ trong marketplace.
Phù hợp nhất cho: Thử nghiệm giá rẻ, phục vụ mô hình, tinh chỉnh LoRA và suy luận theo lô.
2. RunPod
RunPod là nền tảng GPU tôi yêu thích nhất, và tôi đã chi hàng trăm đô để tinh chỉnh và suy luận LLM trên đó.
Nó nhanh và dễ dùng hơn Vast.ai, dù các máy tốt có thể đắt khi tính cả chi phí tính toán và lưu trữ. RunPod hoạt động gần như hoàn hảo ngay từ đầu, với template dựng sẵn, JupyterLab, terminal web, SSH và tích hợp VS Code.
Vấn đề gần đây duy nhất của tôi là tính sẵn có GPU. Các máy phổ biến đôi khi không có, buộc tôi phải chờ hoặc chọn phương án đắt hơn. Dù vậy, RunPod vẫn là một trong những nền tảng tốt nhất cho các nhà khoa học dữ liệu muốn huấn luyện hay phục vụ mô hình mà không cần học hạ tầng đám mây phức tạp.
Tôi đã dùng RunPod trong hai hướng dẫn gần đây của chúng tôi, tinh chỉnh DiffusionGemma cho H&A y sinh và tinh chỉnh Gemma 4, cả hai đều chạy trọn vẹn từ đầu đến cuối trên một pod GPU RunPod duy nhất.
Phù hợp nhất cho: Người mới bắt đầu, nhà khoa học dữ liệu, tinh chỉnh LLM, phục vụ mô hình và bất kỳ ai muốn một môi trường GPU “cắm là chạy”.
3. Spheron Network
Spheron là lựa chọn tốt để truy cập GPU cao cấp giá phải chăng mà không phải động đến AWS hay hợp đồng dài hạn.
Nó gom dung lượng GPU từ nhiều nhà cung cấp trung tâm dữ liệu vào một bảng điều khiển, với máy VM và bare-metal, quyền root SSH đầy đủ, giá công khai và tính tiền theo phút.
Nó cung cấp mọi thứ từ máy RTX 4090 và A100 đến GPU H100, H200 và B200. Với khối lượng công việc lớn hơn, bạn cũng có thể triển khai cụm đa GPU và đa nút với mạng NVLink, InfiniBand hoặc RoCE. Nó thiên về hạ tầng hơn RunPod một chút, nhưng cho các đội ngũ LLM nghiêm túc sự linh hoạt lớn hơn nhiều cho huấn luyện phân tán.
Phù hợp nhất cho: GPU cao cấp giá phải chăng, huấn luyện LLM đa GPU, khối lượng phân tán và các đội cần truy cập VM hoặc bare-metal.
4. TensorDock
TensorDock là marketplace GPU giá rẻ để khởi chạy máy ảo hoàn chỉnh.
Bạn chọn GPU, CPU, RAM, lưu trữ, địa điểm và hệ điều hành, và bạn sẽ có một máy với quyền root. Nó cung cấp dải phần cứng rất rộng, từ GPU tiêu dùng rẻ hơn đến máy mạnh như A100 và H100.
Nó không “sẵn sàng dùng” như RunPod. Thông thường bạn kết nối qua SSH và tự cấu hình môi trường, dù Docker có đi kèm với các mẫu VM của nó, và Jupyter có thể được thiết lập qua các cổng sẵn có. Điều này cho bạn nhiều quyền kiểm soát hơn, nhưng bạn nên thoải mái với việc cài đặt và quản lý công cụ của riêng mình.
Phù hợp nhất cho: Máy ảo GPU giá rẻ, huấn luyện PyTorch tùy chỉnh và triển khai vLLM hoặc TGI tự quản lý.
Đám mây GPU AI Tự Phục Vụ
Những nền tảng này ít giống marketplace mở và giống việc thuê một máy đám mây đúng nghĩa hơn. Bạn chọn GPU, khởi chạy VM, kết nối qua SSH hoặc VS Code, và tự tạo môi trường để huấn luyện, tinh chỉnh hoặc phục vụ mô hình.
5. Hyperstack
Hyperstack cung cấp hạ tầng GPU dự đoán được mà không ép bạn vào AWS, Azure hay hợp đồng doanh nghiệp phức tạp.
Bạn chọn cấu hình GPU, khu vực, ảnh hệ điều hành và khóa SSH, sau đó khởi chạy máy ảo hoàn chỉnh trong vài phút. Nó cung cấp dung lượng theo yêu cầu, spot và đặt trước trên nhiều khu vực trung tâm dữ liệu.
Đây là lựa chọn tốt khi bạn muốn một máy đáng tin cậy cho tác vụ huấn luyện dài hoặc triển khai suy luận tự quản. Bạn vẫn cần cấu hình môi trường, nhưng trải nghiệm đơn giản hơn nhiều so với tự xây qua các hyperscaler truyền thống.
Phù hợp nhất cho: VM GPU dự đoán được, tác vụ huấn luyện chạy lâu, môi trường tùy chỉnh và phục vụ mô hình tự quản.
6. Hyperbolic
Tôi đã chi hàng trăm đô trên Hyperbolic, và tôi vẫn rất thích sử dụng. Với tôi, đây thường là một trong những cách nhanh và rẻ nhất để truy cập GPU cao cấp. Máy đáng tin cậy, khởi chạy nhanh, và tôi có thể kết nối trực tiếp qua VS Code, khiến trải nghiệm gần như làm việc cục bộ.
Hyperbolic cung cấp instance GPU theo yêu cầu, cụm đặt trước, hạ tầng đám mây riêng và API suy luận tương thích OpenAI. Nghĩa là bạn có thể dùng cho thử nghiệm tinh chỉnh nhanh rồi sau đó chuyển sang dung lượng chuyên dụng hoặc suy luận quản lý mà không cần đổi nền tảng.
Vấn đề lớn nhất của tôi là tính sẵn có. Trước đây dễ tìm máy H100 hay A100 đơn lẻ giá phải chăng hơn. Gần đây, các lựa chọn rẻ đó thường không có khi tôi cần. Tôi có thể tìm được H200 đơn lẻ, nhưng nhiều cấu hình sẵn có là cụm 4x hoặc 8x GPU, quá đắt và quá mạnh cho khối lượng công việc thông thường của tôi.
Phù hợp nhất cho: Tính toán GPU cao cấp giá rẻ, tinh chỉnh LLM, người dùng VS Code, suy luận quản lý và các đội có thể cần cụm đặt trước sau này.
Đám mây AI Quy Mô Doanh Nghiệp
Những nhà cung cấp này dành cho khối lượng công việc AI nghiêm túc. Chúng ta đang nói về cụm GPU chuyên dụng, mạng tốc độ cao, lưu trữ có thể mở rộng, dung lượng đặt trước và hạ tầng có thể chạy ổn định nhiều tháng thay vì vài giờ.
7. Nebius
Tôi rất thích Nebius. Tôi chủ yếu dùng Token Factory của họ cho suy luận, và nó nhanh, ổn định, cực kỳ dễ dùng qua API tương thích OpenAI. Bạn có thể truy cập hơn 60 mô hình mở mà không cần quản lý hạ tầng bên dưới.
Tôi chỉ mới bắt đầu khám phá phần GPU cloud gần đây, và nó cũng ấn tượng không kém. Bạn có thể khởi chạy máy GPU đơn lẻ hoặc xây cụm chạy lâu dài với Kubernetes quản lý, lưu trữ và mạng tốc độ cao. Nebius cũng có chiết khấu khi đặt trước cụm lớn trong vài tháng.
Đây không chỉ là nền tảng cho những thử nghiệm nhỏ. Nhiều công ty lớn đã dùng cho khối lượng công việc nghiêm túc. Ví dụ, Revolut chạy huấn luyện và suy luận trên hơn 200 GPU NVIDIA H100 tại Nebius, trong khi Recraft đã huấn luyện mô hình 20 tỷ tham số bằng nền tảng này.
Phù hợp nhất cho: Suy luận ổn định, cụm GPU chạy lâu, huấn luyện phân tán, Kubernetes quản lý và khối lượng AI ở quy mô sản xuất.
8. Together AI
Together AI không chỉ là một API suy luận. Nó cung cấp suy luận quản lý, tinh chỉnh, endpoint chuyên dụng và cụm GPU tự phục vụ trên cùng một nền tảng. Bạn có thể huấn luyện, tùy biến và triển khai mô hình open-weight mà không cần di chuyển giữa nhiều nhà cung cấp khác nhau.
Các cụm GPU của họ bao gồm phần cứng cao cấp như H100, H200, B200 và GB200, với mạng InfiniBand, lưu trữ bền vững và hỗ trợ Kubernetes và Slurm. Có thể khởi chạy cụm theo yêu cầu hoặc đặt trước cho tác vụ dài.
Điều này có lẽ là quá mức cho ai chỉ cần một GPU giá rẻ cho thử nghiệm nhanh. Tuy nhiên, nó rất hợp lý cho các công ty muốn hạ tầng tin cậy để huấn luyện, tinh chỉnh và phục vụ mô hình ở quy mô lớn.
Phù hợp nhất cho: Cụm GPU doanh nghiệp, huấn luyện mô hình quy mô lớn, tinh chỉnh quản lý, suy luận chuyên dụng và các công ty xây dựng hệ thống AI sản xuất.
Nền tảng Ưu Tiên Nhà Phát Triển và Thân Thiện với Notebook
Những nền tảng này được xây cho nhà phát triển muốn tập trung vào code thay vì tốn hàng giờ quản lý hạ tầng đám mây. Họ cung cấp các công cụ quen thuộc như notebook và VS Code, trong khi xử lý phần lớn việc cấp phát GPU ở hậu trường.
9. Modal
Modal hoàn toàn khác với việc thuê một máy GPU thông thường. Bạn viết mã Python, chọn GPU cần dùng và Modal chạy nó bên trong container serverless. Nó có thể tự động mở rộng từ 0 lên nhiều GPU, và bạn được tính phí dựa trên thời gian mã của bạn thực sự dùng tài nguyên.
Nó rất phù hợp để triển khai API suy luận, chạy pipeline đánh giá, tinh chỉnh mô hình và xử lý các khối lượng công việc đột ngột cần nhiều GPU hơn. Modal cũng cung cấp GPU notebook khởi chạy trong vài giây, hỗ trợ môi trường tùy chỉnh và có thể dùng tới tám GPU A100 hoặc H100.
Điều duy nhất cần hiểu là Modal đòi hỏi một cách nghĩ khác. Bạn không chỉ đơn giản mở một VM và dùng như máy tính từ xa. Bạn định nghĩa hạ tầng bằng Python, có thể thấy lạ lúc đầu, nhưng trở nên cực kỳ mạnh mẽ khi bạn nắm vững.
Phù hợp nhất cho: Suy luận serverless, đánh giá mô hình, pipeline tự động, tinh chỉnh và khối lượng công việc cần tự động co giãn.
10. Thunder Compute
Thunder Compute gần như đúng với những gì nhiều nhà khoa học dữ liệu muốn từ một GPU cloud. Bạn khởi chạy máy và kết nối trực tiếp qua VS Code, Cursor, Windsurf, dòng lệnh hoặc Jupyter Notebook. JupyterLab đã được cài sẵn, nên bạn có thể bắt đầu thử nghiệm mà không tốn hàng giờ cấu hình môi trường.
Tôi đặc biệt thích ý tưởng về tiện ích mở rộng VS Code của họ. Thay vì liên tục chuyển qua lại giữa bảng điều khiển đám mây, terminal SSH và trình soạn thảo cục bộ, bạn có thể tạo và mở instance GPU như một workspace từ xa trực tiếp bên trong editor. Cảm giác gần giống làm việc trên máy của bạn, chỉ khác là giờ bạn có GPU đám mây mạnh mẽ.
Thunder Compute cung cấp chế độ nguyên mẫu và sản xuất riêng biệt. Bạn có thể bắt đầu với một máy đơn giản để thử nghiệm rồi chuyển sang cấu hình sản xuất với lưu trữ bền vững và hỗ trợ nhiều GPU.
Phù hợp nhất cho: Nghiên cứu dựa trên Jupyter, người dùng VS Code, thử nghiệm mô hình, công việc dữ liệu tương tác và bất kỳ ai tìm kiếm lựa chọn mạnh hơn Google Colab.
Cách chọn nhà cung cấp GPU phù hợp
Không có nhà cung cấp GPU “tốt nhất” duy nhất. Lựa chọn đúng phụ thuộc vào tính sẵn có GPU, giá, mức dễ sử dụng, chi phí lưu trữ, và việc bạn cần notebook, VM, suy luận serverless hay cụm GPU hoàn chỉnh:
- Chọn Vast.ai, RunPod, Spheron hoặc TensorDock khi bạn muốn dung lượng linh hoạt, nhiều lựa chọn GPU và giá cạnh tranh.
- Chọn Hyperbolic hoặc Hyperstack khi bạn muốn VM đám mây ổn định hơn cho huấn luyện, notebook hoặc suy luận tự lưu trữ.
- Chọn Nebius hoặc Together AI khi bạn cần cụm chuyên dụng, huấn luyện phân tán, dung lượng đặt trước hoặc hạ tầng ở quy mô sản xuất.
- Chọn Modal hoặc Thunder Compute khi dễ sử dụng là ưu tiên. Modal lý tưởng cho khối lượng serverless, còn Thunder Compute phù hợp hơn với quy trình quen thuộc dùng VS Code và Jupyter.
Kết luận
Tôi chủ yếu dùng Vast.ai, RunPod, Hyperbolic và Modal vì chúng dễ dùng, linh hoạt và tương đối phải chăng. Vast.ai thường là lựa chọn đầu tiên của tôi để tìm máy rẻ nhất. RunPod là nền tảng dễ dùng nhất, Hyperbolic nhanh và ổn định khi có GPU sẵn, còn Modal xuất sắc cho suy luận serverless và khối lượng công việc tự động.
Với các thử nghiệm rất nhỏ, tôi vẫn dùng Google Colab hoặc Jupyter Notebook cục bộ. Tuy nhiên, Colab bị hạn chế, thường chậm và không phải thứ tôi khuyên dùng cho tinh chỉnh LLM nghiêm túc, phục vụ mô hình hay các tác vụ huấn luyện chạy lâu.
Nền tảng tốt nhất rốt cuộc là nền tảng cho phép bạn bắt tay vào làm nhanh chóng mà không buộc bạn trở thành kỹ sư hạ tầng đám mây. Trong trường hợp bạn vẫn muốn trở thành một người như vậy (hoặc muốn biết chuyện gì diễn ra phía sau), tôi khuyên bắt đầu với khóa học Understanding Cloud Computing của chúng tôi.