Track
AWS Cloud Practitioner (CLF-C02)
10 godz.
Data scientistki i data scientiści, inżynierowie ML oraz inżynierowie LLM to zupełnie różne bestie, ale większość z nas oczekuje od infrastruktury jednego: żeby było jej jak najmniej. Nie chcemy spędzać godzin na konfigurowaniu środowisk chmurowych czy przeklikiwaniu się przez złożone usługi AWS. Chcemy kliknąć parę przycisków, otworzyć terminal albo Jupyter Notebook, wybrać szablon i zacząć trenować, dostrajać lub serwować model.
Dostawcy w tym przewodniku zostali wybrani właśnie z tą myślą. Oferują przyjazne pulpity, prekonfigurowane środowiska, notebooki, terminale, szablony kontenerów i jasne instrukcje konfiguracji; tam, gdzie Jupyter nie jest dostępny domyślnie, najczęściej zainstalujesz go w kilka minut.
Mimo to nie wszyscy obsługują tych samych użytkowników. Jedni budują marketplace’y wokół ceny i wyboru sprzętu; inni oferują przewidywalne maszyny wirtualne, bezserwerowe uruchamianie GPU, zarządzaną inferencję albo klastry w skali enterprise do rozproszonego trenowania. Porównujemy dziesięciu dostawców w czterech kategoriach: marketplace’y GPU i elastyczne sieci mocy obliczeniowej, samoobsługowe chmury GPU dla AI, chmury AI w skali enterprise oraz platformy „developer-first”, przyjazne notebookom.
Marketplace’y GPU i elastyczne sieci mocy
Marketplace’y GPU zaprojektowano z myślą o elastycznym dostępie do rozproszonej mocy GPU. Sprawdzają się w eksperymentach, zadaniach wsadowych, krótkotrwałym dostrajaniu i wszędzie tam, gdzie najbardziej liczy się wybór sprzętu oraz koszt.
1. Vast.ai
Vast.ai to platforma, z której najczęściej korzystam, aby znaleźć przystępne cenowo GPU do serwowania modeli i dostrajania LLM-ów.
Marketplace oferuje duży wybór maszyn GPU, które możesz porównać pod kątem sprzętu, VRAM-u, niezawodności, lokalizacji i ceny. Każda oferta jasno rozbija koszty obliczeń i storage’u, więc wiesz, za co płacisz.
Instancje wspierają Jupyter Notebook, terminal w przeglądarce, SSH i połączenia z VS Code. Do szybkich testów często wydaję tylko kilka centów, zanim wyłączę instancję. Trzeba jednak pamiętać, że dostępność i niezawodność maszyn mogą się różnić, bo sprzęt pochodzi od różnych hostów marketplace’u.
Najlepsze do: niedrogich eksperymentów, serwowania modeli, dostrajania LoRA i inferencji wsadowej.
2. RunPod
RunPod to moja ulubiona platforma GPU i wydałem na niej setki dolarów na dostrajanie i inferencję LLM-ów.
Jest szybsza i łatwiejsza w użyciu niż Vast.ai, choć dobre maszyny mogą być drogie po doliczeniu kosztów obliczeń i storage’u. RunPod działa niemal idealnie od razu po starcie, z gotowymi szablonami, JupyterLab, terminalem webowym, SSH i integracją z VS Code.
Jedyny problem, jaki ostatnio miałem, to dostępność GPU. Popularne maszyny bywają niedostępne, co zmusza mnie do czekania lub wyboru droższej opcji. Mimo to RunPod pozostaje jedną z najlepszych platform dla data scientistów, którzy chcą trenować lub serwować modele bez nauki złożonej infrastruktury chmurowej.
Wykorzystałem RunPod w dwóch naszych ostatnich tutorialach: dostrajaniu DiffusionGemma do zadań biomedycznych QA oraz dostrajaniu Gemma 4 — oba z których działają od początku do końca na pojedynczym podzie GPU RunPod.
Najlepsze do: początkujących, data scientistów, dostrajania LLM-ów, serwowania modeli i dla każdego, kto chce środowiska GPU, które po prostu działa.
3. Spheron Network
Spheron to dobra opcja, gdy chcesz uzyskać dostęp do przystępnych cenowo, wydajnych GPU bez bawienia się w AWS czy długoterminowe umowy.
Zbiera moc GPU od wielu dostawców centrów danych w jednym panelu, z maszynami VM i bare metal, pełnym dostępem root przez SSH, przejrzystymi cenami i rozliczaniem za minutę.
Oferuje wszystko — od maszyn z RTX 4090 i A100 po H100, H200 i B200. Przy większych obciążeniach możesz wdrażać klastry wielo-GPU i wielowęzłowe z sieciami NVLink, InfiniBand lub RoCE. Jest nieco bardziej „infra” niż RunPod, ale daje zespołom LLM znacznie większą elastyczność w trenowaniu rozproszonym.
Najlepsze do: niedrogich, wydajnych GPU, trenowania LLM-ów na wielu GPU, obciążeń rozproszonych i zespołów potrzebujących dostępu VM lub bare metal.
4. TensorDock
TensorDock to niedrogi marketplace GPU do uruchamiania kompletnych maszyn wirtualnych.
Wybierasz GPU, CPU, RAM, storage, lokalizację i system operacyjny, a dostajesz maszynę z dostępem root. Oferta obejmuje szeroki zakres sprzętu — od tańszych kart konsumenckich po wydajne maszyny A100 i H100.
Nie jest to tak „gotowe” jak RunPod. Zwykle łączysz się przez SSH i konfigurujesz własne środowisko, choć Docker jest dołączony do szablonów VM, a Jupytera da się uruchomić przez dostępne porty. Daje to większą kontrolę, ale powinieneś czuć się swobodnie w instalowaniu i zarządzaniu własnymi narzędziami.
Najlepsze do: niedrogich maszyn wirtualnych GPU, własnego trenowania PyTorch i samodzielnie zarządzanych wdrożeń vLLM lub TGI.
Samoobsługowe chmury GPU dla AI
Te platformy mniej przypominają otwarte marketplace’y, a bardziej wynajem porządnej maszyny w chmurze. Wybierasz GPU, uruchamiasz VM, łączysz się przez SSH lub VS Code i tworzysz własne środowisko do trenowania, dostrajania albo serwowania modelu.
5. Hyperstack
Hyperstack daje ci przewidywalną infrastrukturę GPU bez wpychania cię w AWS, Azure czy skomplikowaną umowę enterprise.
Wybierasz konfigurację GPU, region, obraz systemu operacyjnego i klucz SSH, po czym w kilka minut uruchamiasz kompletną maszynę wirtualną. Dostępna jest pojemność on-demand, spot i rezerwowana w wielu regionach centrów danych.
To dobra opcja, gdy potrzebujesz niezawodnej maszyny do dłuższego zadania treningowego albo samodzielnie zarządzanej inferencji. Nadal musisz skonfigurować środowisko, ale doświadczenie jest dużo prostsze niż budowanie wszystkiego u tradycyjnego hiperskalera.
Najlepsze do: przewidywalnych VM-ów GPU, długich zadań treningowych, własnych środowisk i samodzielnie zarządzanego serwowania modeli.
6. Hyperbolic
Wydałem setki dolarów na Hyperbolic i wciąż lubię z niego korzystać. Dla mnie to często najszybszy i najtańszy sposób na dostęp do wydajnych GPU. Maszyny są niezawodne, szybko się uruchamiają, a ja mogę łączyć się bezpośrednio przez VS Code, co sprawia, że całość przypomina pracę lokalną.
Hyperbolic oferuje instancje GPU on-demand, klastry rezerwowane, infrastrukturę prywatnej chmury i zgodne z OpenAI API do inferencji. Dzięki temu możesz użyć go do szybkiego eksperymentu z dostrajaniem, a później przejść na dedykowaną pojemność albo zarządzaną inferencję bez zmiany platformy.
Mój największy problem to dostępność. Kiedyś łatwiej było znaleźć przystępne cenowo pojedyncze maszyny H100 lub A100. Ostatnio te tańsze opcje często są niedostępne, gdy ich potrzebuję. Zdarza się znaleźć pojedynczą H200, ale wiele dostępnych konfiguracji to klastry 4× lub 8× GPU, które są zbyt drogie i zbyt mocne jak na moje typowe obciążenia.
Najlepsze do: niedrogiej, wydajnej mocy GPU, dostrajania LLM-ów, użytkowników VS Code, zarządzanej inferencji i zespołów, które mogą później potrzebować klastrów rezerwowanych.
Chmury AI w skali enterprise
Ci dostawcy są dla poważnych obciążeń AI. Mówimy o dedykowanych klastrach GPU, szybkich sieciach, skalowalnym storage’u, rezerwowanej pojemności i infrastrukturze, która może działać niezawodnie przez miesiące, a nie tylko kilka godzin.
7. Nebius
Uwielbiam Nebius. Głównie korzystałem z ich Token Factory do inferencji — jest szybkie, niezawodne i bardzo łatwe w użyciu przez zgodne z OpenAI API. Zyskujesz dostęp do ponad 60 otwartych modeli bez potrzeby zarządzania infrastrukturą pod spodem.
Dopiero niedawno zacząłem eksplorować część chmurową GPU i jest równie imponująca. Możesz uruchamiać pojedyncze maszyny GPU lub budować długotrwałe klastry z zarządzanym Kubernetesem, storage’em i szybką siecią. Nebius oferuje też zniżki za rezerwację dużych klastrów na kilka miesięcy.
To nie jest tylko platforma do małych eksperymentów. Duże firmy już z niej korzystają przy poważnych obciążeniach. Na przykład Revolut prowadzi trenowanie i inferencję na ponad 200 GPU NVIDIA H100 w Nebius, a Recraft wytrenował swój model z 20 miliardami parametrów na tej platformie.
Najlepsze do: niezawodnej inferencji, długotrwałych klastrów GPU, trenowania rozproszonego, zarządzanego Kubernetesa i obciążeń AI w skali produkcyjnej.
8. Together AI
Together AI to znacznie więcej niż API do inferencji. Na jednej platformie zapewnia zarządzaną inferencję, dostrajanie, dedykowane endpointy i samoobsługowe klastry GPU. Możesz trenować, dostosowywać i wdrażać modele z otwartymi wagami bez przenoszenia się między różnymi dostawcami.
Ich klastry GPU obejmują wysokiej klasy sprzęt, taki jak H100, H200, B200 i GB200, z siecią InfiniBand, trwałym storage’em oraz wsparciem dla Kubernetesa i Slurma. Klastry można uruchamiać on-demand lub rezerwować na dłuższe obciążenia.
Dla kogoś, kto potrzebuje tylko jednego taniego GPU do szybkiego eksperymentu, to pewnie za dużo. Ale dla firm, które chcą niezawodnej infrastruktury do trenowania, dostrajania i serwowania modeli na skalę, ma to sporo sensu.
Najlepsze do: klastrów GPU dla enterprise, trenowania modeli na dużą skalę, zarządzanego dostrajania, dedykowanej inferencji i firm budujących systemy AI w produkcji.
Platformy developer-first i przyjazne notebookom
Te platformy powstały z myślą o deweloperach, którzy wolą skupić się na kodzie zamiast spędzać godziny na zarządzaniu infrastrukturą chmurową. Zapewniają znajome narzędzia — jak notebooki i VS Code — a dużą część provisioning’u GPU biorą na siebie.
9. Modal
Modal diametralnie różni się od wynajmu zwykłej maszyny GPU. Piszesz kod w Pythonie, wybierasz potrzebne GPU, a Modal uruchamia go w bezserwerowym kontenerze. Może automatycznie skalować się od zera do wielu GPU, a opłata naliczana jest za czas faktycznego użycia zasobów przez twój kod.
Świetnie nadaje się do wdrażania API inferencyjnych, uruchamiania pipeline’ów ewaluacyjnych, dostrajania modeli i obsługi obciążeń, które nagle potrzebują więcej GPU. Modal oferuje też notebooki GPU uruchamiające się w sekundy, obsługujące własne środowiska i mogące korzystać nawet z ośmiu GPU A100 lub H100.
Jedyne, co trzeba zrozumieć, to że Modal wymaga innego sposobu myślenia. Nie otwierasz po prostu VM-ki i nie używasz jej jak zdalnego komputera. Definiujesz infrastrukturę w Pythonie — może to początkowo wydawać się nietypowe, ale staje się niezwykle potężne, gdy już to ogarniesz.
Najlepsze do: bezserwerowej inferencji, ewaluacji modeli, zautomatyzowanych pipeline’ów, dostrajania i obciążeń, które muszą automatycznie skalować się w górę i w dół.
10. Thunder Compute
Thunder Compute to niemal dokładnie to, czego wielu data scientistów oczekuje od chmury GPU. Uruchamiasz maszynę i łączysz się z nią bezpośrednio przez VS Code, Cursor, Windsurf, wiersz poleceń lub Jupyter Notebook. JupyterLab jest już zainstalowany, więc możesz zacząć eksperymentować bez godzin konfiguracji środowiska.
Szczególnie podoba mi się pomysł rozszerzenia do VS Code. Zamiast ciągłego przełączania się między panelem chmurowym, terminalem SSH i lokalnym edytorem, możesz utworzyć i otworzyć instancję GPU jako zdalne środowisko pracy bezpośrednio w edytorze. To dużo bliższe pracy na własnym komputerze — z tą różnicą, że masz dostęp do mocnego GPU w chmurze.
Thunder Compute oferuje oddzielne tryby: prototypowania i produkcyjny. Możesz zacząć od prostej maszyny do eksperymentów, a później przejść do konfiguracji produkcyjnych z trwałym storage’em i wsparciem dla wielu GPU.
Najlepsze do: badań w Jupyterze, użytkowników VS Code, eksperymentów z modelami, interaktywnej pracy data science i dla każdego, kto szuka mocniejszej alternatywy dla Google Colab.
Jak wybrać właściwego dostawcę GPU
Nie ma jednego „najlepszego” dostawcy GPU. Wybór zależy od dostępności GPU, ceny, łatwości użycia, kosztów storage’u i tego, czy potrzebujesz notebooka, VM-ki, bezserwerowej inferencji czy pełnego klastra GPU:
- Wybierz Vast.ai, RunPod, Spheron lub TensorDock, gdy chcesz elastycznej pojemności, szerokiego wyboru GPU i konkurencyjnych cen.
- Wybierz Hyperbolic lub Hyperstack, gdy zależy ci na bardziej niezawodnej chmurowej VM-ce do trenowania, notebooków lub samohostowanej inferencji.
- Wybierz Nebius lub Together AI, gdy potrzebujesz dedykowanych klastrów, trenowania rozproszonego, rezerwowanej pojemności lub infrastruktury w skali produkcyjnej.
- Wybierz Modal lub Thunder Compute, gdy najbardziej liczy się łatwość użycia. Modal jest idealny do bezserwerowych obciążeń, a Thunder Compute lepiej pasuje do znanych workflowów w VS Code i Jupyterze.
Na koniec
Najczęściej używam Vast.ai, RunPod, Hyperbolic i Modal, bo są łatwe w użyciu, elastyczne i względnie niedrogie. Vast.ai to zwykle mój pierwszy wybór, gdy szukam najtańszej maszyny. RunPod jest najłatwiejszy w obsłudze, Hyperbolic jest szybki i niezawodny, gdy GPU są dostępne, a Modal świetnie sprawdza się przy bezserwerowej inferencji i zautomatyzowanych obciążeniach.
Do bardzo małych eksperymentów wciąż używam Google Colab albo lokalnego Jupyter Notebooka. Jednak Colab jest ograniczony, często wolny i nie poleciłbym go do poważnego dostrajania LLM-ów, serwowania modeli czy długotrwałych zadań treningowych.
Najlepsza platforma to ostatecznie ta, która pozwala ci szybko zacząć pracę, nie zmuszając do zostania inżynierem infrastruktury chmurowej. A jeśli i tak chcesz nim zostać (albo zrozumieć, co dzieje się pod spodem), polecam zacząć od naszego kursu Understanding Cloud Computing.