Lernpfad
AWS Cloud Practitioner (CLF-C02)
10 Std.
Data Scientists, ML Engineers und LLM Engineers sind sehr unterschiedliche Typen – aber bei der Infrastruktur wollen wir alle dasselbe: so wenig wie möglich davon. Wir wollen keine Stunden damit verbringen, Cloud-Umgebungen zu konfigurieren oder uns durch komplexe AWS-Services zu kämpfen. Wir wollen ein paar Mal klicken, ein Terminal oder Jupyter Notebook öffnen, ein Template auswählen und mit dem Training, Fine-Tuning oder Serving eines Modells loslegen.
Die Anbieter in diesem Guide wurden genau dafür ausgewählt. Sie bieten benutzerfreundliche Dashboards, vorkonfigurierte Umgebungen, Notebooks, Terminals, Container-Templates und klare Setup-Guides. Wo Jupyter nicht standardmäßig verfügbar ist, lässt es sich meist in wenigen Minuten installieren.
Dennoch richten sie sich nicht alle an die gleichen Nutzer. Einige sind Marktplätze mit Fokus auf Preis und Hardwareauswahl; andere bieten berechenbare virtuelle Maschinen, serverloses GPU-Computing, gemanagte Inferenz oder Enterprise-Cluster für verteiltes Training. Wir vergleichen zehn davon in vier Kategorien: GPU-Marktplätze und flexible Kapazitätsnetzwerke, Self-Serve-AI-GPU-Clouds, KI-Clouds im Enterprise-Maßstab sowie entwicklerfreundliche, notebook-orientierte Plattformen.
GPU-Marktplätze und flexible Kapazitätsnetzwerke
GPU-Marktplätze sind auf den flexiblen Zugriff auf verteilte GPU-Kapazitäten ausgelegt. Sie eignen sich für Experimente, Batch-Jobs, kurzfristiges Fine-Tuning und immer dann, wenn Hardwareauswahl und Kosten im Vordergrund stehen.
1. Vast.ai
Vast.ai ist die Plattform, die ich am häufigsten nutze, um eine bezahlbare GPU für Model Serving und LLM-Fine-Tuning zu finden.
Der Marktplatz bietet eine große Auswahl an GPU-Maschinen, die du nach Hardware, VRAM, Zuverlässigkeit, Standort und Preis vergleichen kannst. Jede Anzeige legt die Compute- und Speicherkosten klar offen, damit du genau weißt, wofür du zahlst.
Instanzen unterstützen Jupyter Notebook, browserbasierte Terminals, SSH und Verbindungen mit VS Code. Für schnelle Tests gebe ich oft nur ein paar Cent aus, bevor ich die Instanz wieder stoppe. Verfügbarkeit und Zuverlässigkeit können jedoch schwanken, da die Hardware von unterschiedlichen Marktplatzanbietern stammt.
Am besten geeignet für: Günstige Experimente, Model Serving, LoRA-Fine-Tuning und Batch-Inferenz.
2. RunPod
RunPod ist meine Lieblings-GPU-Plattform, und ich habe dort bereits Hunderte Dollar für LLM-Fine-Tuning und Inferenz ausgegeben.
Sie ist schneller und einfacher zu bedienen als Vast.ai, auch wenn gute Maschinen teuer werden können, sobald Compute- und Speicherkosten einfließen. RunPod funktioniert nahezu perfekt out of the box – mit fertigen Templates, JupyterLab, einem Webterminal, SSH und VS-Code-Integration.
Mein einziges aktuelles Problem ist die GPU-Verfügbarkeit. Beliebte Maschinen sind manchmal ausgebucht, sodass ich warten oder eine teurere Option wählen muss. Trotz allem bleibt RunPod eine der besten Plattformen für Data Scientists, die Modelle trainieren oder bereitstellen wollen, ohne sich in komplexe Cloud-Infrastruktur einarbeiten zu müssen.
Ich habe RunPod in zwei unserer neueren Tutorials eingesetzt: Fine-Tuning von DiffusionGemma für biomedizinisches QA und Fine-Tuning von Gemma 4 – beide laufen von Anfang bis Ende auf einem einzigen RunPod-GPU-Pod.
Am besten geeignet für: Einsteiger, Data Scientists, LLM-Fine-Tuning, Model Serving und alle, die eine GPU-Umgebung wollen, die einfach funktioniert.
3. Spheron Network
Spheron ist eine gute Option, um günstigen Zugang zu High-End-GPUs zu bekommen – ohne AWS oder langfristige Verträge.
Es bündelt GPU-Kapazitäten mehrerer Rechenzentrumsanbieter in einem Dashboard – mit VM- und Bare-Metal-Maschinen, vollem Root-SSH-Zugriff, transparenter Preisgestaltung und minutengenauer Abrechnung.
Hier gibt es alles – von RTX-4090- und A100-Maschinen bis hin zu H100, H200 und B200 GPUs. Für größere Workloads kannst du auch Multi-GPU- und Multi-Node-Cluster mit NVLink-, InfiniBand- oder RoCE-Netzwerken bereitstellen. Es ist etwas stärker infrastrukturorientiert als RunPod, bietet ernsthaften LLM-Teams aber deutlich mehr Flexibilität für verteiltes Training.
Am besten geeignet für: Günstige High-End-GPUs, Multi-GPU-LLM-Training, verteilte Workloads und Teams, die VM- oder Bare-Metal-Zugriff brauchen.
4. TensorDock
TensorDock ist ein günstiger GPU-Marktplatz zum Starten kompletter virtueller Maschinen.
Du wählst GPU, CPU, RAM, Speicher, Standort und Betriebssystem – und bekommst eine Maschine mit Root-Zugriff. Die Hardwareauswahl ist riesig, von günstigeren Consumer-GPUs bis hin zu leistungsstarken A100- und H100-Maschinen.
Es ist nicht so fertig vorkonfiguriert wie RunPod. In der Regel verbindest du dich per SSH und konfigurierst deine eigene Umgebung, wobei Docker in den VM-Templates bereits enthalten ist und Jupyter über die verfügbaren Ports eingerichtet werden kann. Das gibt dir mehr Kontrolle, setzt aber voraus, dass du dich mit Installation und Verwaltung deiner Tools wohlfühlst.
Am besten geeignet für: Günstige GPU-VMs, individuelles PyTorch-Training sowie selbstverwaltete vLLM- oder TGI-Deployments.
Self-Serve-AI-GPU-Clouds
Diese Plattformen sind weniger offene Marktplätze und eher wie das Mieten einer echten Cloud-Maschine. Du wählst die GPU, startest eine VM, verbindest dich per SSH oder VS Code und richtest deine eigene Umgebung für Training, Fine-Tuning oder Model Serving ein.
5. Hyperstack
Hyperstack liefert berechenbare GPU-Infrastruktur, ohne dich in AWS, Azure oder komplizierte Enterprise-Verträge zu zwingen.
Du wählst GPU-Konfiguration, Region, Betriebssystem-Image und SSH-Key und startest innerhalb weniger Minuten eine vollständige VM. Es gibt On-Demand-, Spot- und reservierte Kapazitäten über mehrere Rechenzentrumsregionen.
Eine gute Option, wenn du für längere Trainingsjobs oder selbstverwaltete Inferenz eine verlässliche Maschine willst. Du musst deine Umgebung zwar selbst einrichten, aber das ist deutlich unkomplizierter, als alles bei einem klassischen Hyperscaler aufzubauen.
Am besten geeignet für: Berechenbare GPU-VMs, langlaufende Trainingsjobs, individuelle Umgebungen und selbstverwaltetes Model Serving.
6. Hyperbolic
Ich habe bei Hyperbolic bereits Hunderte Dollar ausgegeben, und ich nutze es immer noch sehr gern. Für mich war es oft einer der schnellsten und günstigsten Wege, um High-End-GPUs zu bekommen. Die Maschinen sind zuverlässig, starten schnell, und ich kann mich direkt über VS Code verbinden – das fühlt sich fast an wie lokal arbeiten.
Hyperbolic bietet On-Demand-GPU-Instanzen, reservierte Cluster, Private-Cloud-Infrastruktur und eine OpenAI-kompatible Inferenz-API. So kannst du mit einem schnellen Fine-Tuning-Experiment starten und später zu dedizierter Kapazität oder gemanagter Inferenz wechseln – ohne die Plattform zu verlassen.
Mein größtes Problem ist die Verfügbarkeit. Früher war es deutlich einfacher, bezahlbare einzelne H100- oder A100-Maschinen zu finden. In letzter Zeit sind diese günstigeren Optionen oft nicht verfügbar, wenn ich sie brauche. Manchmal finde ich eine einzelne H200, aber viele verfügbare Konfigurationen sind 4x- oder 8x-GPU-Cluster – viel zu teuer und zu leistungsstark für meine üblichen Workloads.
Am besten geeignet für: Günstiges High-End-GPU-Compute, LLM-Fine-Tuning, VS-Code-Nutzer, gemanagte Inferenz und Teams, die später reservierte Cluster benötigen könnten.
KI-Clouds im Enterprise-Maßstab
Diese Anbieter sind für ernsthafte KI-Workloads gedacht. Gemeint sind dedizierte GPU-Cluster, Hochgeschwindigkeitsnetzwerke, skalierbarer Speicher, reservierte Kapazitäten und Infrastruktur, die nicht nur ein paar Stunden, sondern monatelang stabil läuft.
7. Nebius
Ich liebe Nebius. Ich habe vor allem die Token Factory für Inferenz genutzt – schnell, zuverlässig und extrem einfach über die OpenAI-kompatible API. Du bekommst Zugriff auf mehr als 60 offene Modelle, ohne die zugrunde liegende Infrastruktur managen zu müssen.
Erst kürzlich habe ich die GPU-Cloud-Seite erkundet – ebenfalls sehr beeindruckend. Du kannst einzelne GPU-Maschinen starten oder langlaufende Cluster mit gemanagtem Kubernetes, Storage und Hochgeschwindigkeitsnetzwerk aufbauen. Nebius bietet zudem Rabatte, wenn du große Cluster für mehrere Monate reservierst.
Das ist nicht nur eine Plattform für kleine Experimente. Große Unternehmen nutzen sie bereits für ernsthafte Workloads. Zum Beispiel betreibt Revolut Training und Inferenz auf mehr als 200 NVIDIA H100 GPUs bei Nebius, während Recraft sein 20-Milliarden-Parameter-Modell auf der Plattform trainiert hat.
Am besten geeignet für: Zuverlässige Inferenz, langlaufende GPU-Cluster, verteiltes Training, gemanagtes Kubernetes und KI-Workloads im Produktionsmaßstab.
8. Together AI
Together AI ist viel mehr als nur eine Inferenz-API. Es vereint gemanagte Inferenz, Fine-Tuning, dedizierte Endpunkte und Self-Service-GPU-Cluster auf einer Plattform. Du kannst Open-Weight-Modelle trainieren, anpassen und bereitstellen, ohne zwischen mehreren Anbietern zu wechseln.
Die GPU-Cluster bieten High-End-Hardware wie H100, H200, B200 und GB200 GPUs, mit InfiniBand-Netzwerk, persistentem Speicher und Support für Kubernetes und Slurm. Cluster lassen sich on demand starten oder für längere Workloads reservieren.
Für jemanden, der nur schnell eine günstige Einzel-GPU für ein Experiment braucht, ist das vermutlich zu viel. Für Unternehmen, die zuverlässige Infrastruktur für Training, Fine-Tuning und Serving im großen Stil wollen, ergibt es jedoch viel Sinn.
Am besten geeignet für: Enterprise-GPU-Cluster, großskaliges Modelltraining, gemanagtes Fine-Tuning, dedizierte Inferenz und Unternehmen, die produktive KI-Systeme bauen.
Developer-First- und Notebook-freundliche Plattformen
Diese Plattformen sind für Developer gedacht, die sich auf Code konzentrieren wollen, statt stundenlang Cloud-Infrastruktur zu verwalten. Sie liefern vertraute Tools wie Notebooks und VS Code und übernehmen viel von der GPU-Bereitstellung im Hintergrund.
9. Modal
Modal unterscheidet sich komplett vom Mieten einer normalen GPU-Maschine. Du schreibst Python-Code, wählst die benötigte GPU, und Modal führt ihn in einem serverlosen Container aus. Es kann automatisch von null auf mehrere GPUs skalieren, und abgerechnet wird nach der Zeit, in der dein Code die Ressourcen tatsächlich nutzt.
Ideal zum Bereitstellen von Inferenz-APIs, für Evaluations-Pipelines, Fine-Tuning und Workloads, die plötzlich mehr GPUs brauchen. Modal bietet außerdem GPU-Notebooks, die in Sekunden starten, individuelle Umgebungen unterstützen und bis zu acht A100- oder H100-GPUs nutzen können.
Wichtig ist nur: Modal erfordert ein anderes Mindset. Du öffnest nicht einfach eine VM und nutzt sie wie einen Remote-Rechner. Du definierst deine Infrastruktur in Python. Das wirkt anfangs ungewohnt, wird aber extrem mächtig, sobald du es verinnerlicht hast.
Am besten geeignet für: Serverlose Inferenz, Modellevaluation, automatisierte Pipelines, Fine-Tuning und Workloads, die automatisch hoch- und herunterskalieren müssen.
10. Thunder Compute
Thunder Compute liefert fast genau das, was sich viele Data Scientists von einer GPU-Cloud wünschen. Du startest eine Maschine und verbindest dich direkt über VS Code, Cursor, Windsurf, die Befehlszeile oder Jupyter Notebook. JupyterLab ist bereits installiert – du kannst also direkt loslegen, statt Stunden mit dem Einrichten zu verbringen.
Besonders gefällt mir die Idee der VS-Code-Erweiterung. Anstatt ständig zwischen Cloud-Dashboard, SSH-Terminal und lokalem Editor zu wechseln, kannst du die GPU-Instanz direkt in deinem Editor als Remote-Workspace erstellen und öffnen. Das fühlt sich viel näher an lokales Arbeiten an – nur eben mit einer starken Cloud-GPU.
Thunder Compute bietet getrennte Modi für Prototyping und Produktion. Du startest mit einer einfachen Maschine für Experimente und wechselst später zu Produktions-Setups mit persistentem Speicher und Support für mehrere GPUs.
Am besten geeignet für: Jupyter-basiertes Research, VS-Code-Nutzer, Modell-Experimente, interaktive Data-Science-Arbeit und alle, die eine leistungsstärkere Alternative zu Google Colab suchen.
So wählst du den richtigen GPU-Anbieter
Den einen besten GPU-Anbieter gibt es nicht. Die richtige Wahl hängt ab von GPU-Verfügbarkeit, Preis, Bedienbarkeit, Speicherkosten und davon, ob du ein Notebook, eine VM, serverlose Inferenz oder einen kompletten GPU-Cluster brauchst:
- Wähle Vast.ai, RunPod, Spheron oder TensorDock, wenn du flexible Kapazität, große GPU-Auswahl und wettbewerbsfähige Preise möchtest.
- Wähle Hyperbolic oder Hyperstack, wenn du eine zuverlässigere Cloud-VM für Training, Notebooks oder selbstgehostete Inferenz willst.
- Wähle Nebius oder Together AI, wenn du dedizierte Cluster, verteiltes Training, reservierte Kapazität oder Infrastruktur im Produktionsmaßstab brauchst.
- Wähle Modal oder Thunder Compute, wenn Benutzerfreundlichkeit am wichtigsten ist. Modal ist ideal für serverlose Workloads, Thunder Compute eignet sich besser für vertraute VS-Code- und Jupyter-Workflows.
Fazit
Ich nutze vor allem Vast.ai, RunPod, Hyperbolic und Modal, weil sie einfach, flexibel und relativ günstig sind. Vast.ai ist meist meine erste Wahl, um die billigste Maschine zu finden. RunPod ist die benutzerfreundlichste Plattform, Hyperbolic ist schnell und zuverlässig, wenn GPUs verfügbar sind, und Modal ist hervorragend für serverlose Inferenz und automatisierte Workloads.
Für sehr kleine Experimente nutze ich weiterhin Google Colab oder ein lokales Jupyter Notebook. Colab ist jedoch eingeschränkt, oft langsam und nichts, was ich für ernsthaftes LLM-Fine-Tuning, Model Serving oder langlaufende Trainingsjobs empfehlen würde.
Die beste Plattform ist letztlich die, mit der du schnell loslegen kannst, ohne erst Cloud-Infrastrukturingenieur zu werden. Falls du es trotzdem werden willst (oder wissen möchtest, was hinter den Kulissen passiert), empfehle ich unseren Kurs Understanding Cloud Computing.