Programma
Esperto di cloud AWS (CLF-C02)
10 h
Data scientist, ML engineer e LLM engineer sono professioni molto diverse, ma quasi tutti vogliamo la stessa cosa dall’infrastruttura: il meno possibile. Non vogliamo passare ore a configurare ambienti cloud o a destreggiarci tra servizi AWS complessi. Vogliamo cliccare un paio di pulsanti, aprire un terminale o un Jupyter Notebook, scegliere un template e iniziare ad addestrare, fare fine-tuning o servire un modello.
I provider di questa guida sono stati scelti con questo in mente. Offrono dashboard facili da usare, ambienti preconfigurati, notebook, terminali, template di container e guide di configurazione chiare; dove Jupyter non è disponibile di default, quasi tutti permettono di installarlo in pochi minuti.
Detto ciò, non sono tutti pensati per lo stesso tipo di utente. Alcuni sono marketplace costruiti su prezzo e scelta dell’hardware; altri offrono macchine virtuali prevedibili, esecuzione GPU serverless, inferenza gestita o cluster a livello enterprise per training distribuito. Ne confrontiamo dieci in quattro categorie: marketplace di GPU e reti a capacità flessibile, cloud AI con GPU self-service, cloud AI per scala enterprise e piattaforme developer-first, amiche dei notebook.
Marketplace di GPU e reti a capacità flessibile
I marketplace GPT sono pensati per un accesso flessibile a capacità GPU distribuita. Sono utili per esperimenti, job batch, fine-tuning di breve durata e in generale quando contano soprattutto la scelta dell’hardware e il costo.
1. Vast.ai
Vast.ai è la piattaforma che uso più spesso per trovare una GPU economica per il serving di modelli e il fine-tuning di LLM.
Il suo marketplace offre un’ampia selezione di macchine GPU che puoi confrontare per hardware, VRAM, affidabilità, località e prezzo. Ogni annuncio suddivide chiaramente i costi di calcolo e storage, così sai esattamente cosa stai pagando.
Le istanze supportano Jupyter Notebook, terminali nel browser, SSH e connessioni con VS Code. Per test veloci, spesso spendo solo pochi centesimi prima di spegnere l’istanza. Tuttavia, disponibilità e affidabilità delle macchine possono variare perché l’hardware proviene da diversi host del marketplace.
Ideale per: sperimentazione a basso costo, serving di modelli, fine-tuning con LoRA e inferenza batch.
2. RunPod
RunPod è la mia piattaforma GPU preferita, e ci ho speso centinaia di dollari per il fine-tuning e l’inferenza di LLM.
È più veloce e semplice da usare rispetto a Vast.ai, anche se le macchine migliori possono risultare costose una volta considerati i costi di calcolo e storage. RunPod funziona quasi perfettamente out of the box, con template pronti, JupyterLab, un terminale web, SSH e integrazione con VS Code.
Il mio unico problema recente è stata la disponibilità di GPU. Le macchine più richieste a volte non sono disponibili, costringendomi ad aspettare o a scegliere un’opzione più costosa. Nonostante ciò, RunPod resta una delle migliori piattaforme per data scientist che vogliono addestrare o servire modelli senza dover imparare infrastrutture cloud complesse.
Ho usato RunPod in due delle nostre recenti guide, fine-tuning di DiffusionGemma per QA biomedico e fine-tuning di Gemma 4, entrambe eseguite dall’inizio alla fine su un singolo pod GPU di RunPod.
Ideale per: principianti, data scientist, fine-tuning di LLM, serving di modelli e chiunque desideri un ambiente GPU che semplicemente funzioni.
3. Spheron Network
Spheron è una buona opzione per accedere a GPU di fascia alta a prezzi contenuti senza dover affrontare AWS o contratti a lungo termine.
Riunisce capacità GPU di più provider di data center in un’unica dashboard, con macchine VM e bare metal, accesso root completo via SSH, prezzi trasparenti e fatturazione al minuto.
Offre di tutto, dalle macchine RTX 4090 e A100 alle GPU H100, H200 e B200. Per carichi più grandi, puoi anche distribuire cluster multi-GPU e multi-nodo con networking NVLink, InfiniBand o RoCE. È leggermente più orientato all’infrastruttura rispetto a RunPod, ma offre alle squadre LLM serie molta più flessibilità per il training distribuito.
Ideale per: GPU di fascia alta economiche, training LLM multi-GPU, workload distribuiti e team che necessitano accesso VM o bare metal.
4. TensorDock
TensorDock è un marketplace di GPU economico per avviare macchine virtuali complete.
Selezioni GPU, CPU, RAM, storage, località e sistema operativo, e ottieni una macchina con accesso root. Offre una vasta gamma di hardware, da GPU consumer più economiche a potenti macchine A100 e H100.
Non è pronto all’uso come RunPod. In genere ti connetti via SSH e configuri il tuo ambiente, anche se Docker è incluso nei template delle VM e Jupyter può essere configurato tramite le porte disponibili. Questo ti dà più controllo, ma dovresti sentirti a tuo agio nell’installare e gestire i tuoi strumenti.
Ideale per: macchine virtuali GPU economiche, training personalizzato con PyTorch e deployment self-managed di vLLM o TGI.
Cloud AI con GPU self-service
Queste piattaforme sono meno simili a marketplace aperti e più vicine al noleggio di una vera macchina cloud. Selezioni la GPU, avvii una VM, ti connetti via SSH o VS Code e crei il tuo ambiente per training, fine-tuning o serving del modello.
5. Hyperstack
Hyperstack ti offre un’infrastruttura GPU prevedibile senza costringerti su AWS, Azure o in un complicato contratto enterprise.
Selezioni la configurazione GPU, la regione, l’immagine del sistema operativo e la chiave SSH, quindi avvii una VM completa in pochi minuti. Offre capacità on-demand, spot e riservata in più regioni di data center.
È una buona opzione quando vuoi una macchina affidabile per un job di training più lungo o un deployment di inferenza gestito da te. Devi comunque configurare l’ambiente, ma l’esperienza è molto più lineare rispetto a costruire tutto su un hyperscaler tradizionale.
Ideale per: VM GPU prevedibili, job di training di lunga durata, ambienti personalizzati e serving di modelli self-managed.
6. Hyperbolic
Ho speso centinaia di dollari su Hyperbolic e continuo ad amarlo. Per me, è spesso uno dei modi più veloci ed economici per accedere a GPU di fascia alta. Le macchine sono affidabili, si avviano rapidamente e posso connettermi direttamente tramite VS Code, il che rende l’esperienza molto simile al lavoro in locale.
Hyperbolic offre istanze GPU on-demand, cluster riservati, infrastruttura private cloud e un’API di inferenza compatibile con OpenAI. Ciò significa che puoi usarlo per un rapido esperimento di fine-tuning e poi passare a capacità dedicata o inferenza gestita senza cambiare piattaforma.
Il mio problema principale è la disponibilità. Era molto più facile trovare singole macchine H100 o A100 a prezzi accessibili. Di recente, quelle opzioni economiche spesso non sono disponibili quando mi servono. Posso trovare un singolo H200, ma molte configurazioni disponibili sono cluster da 4 o 8 GPU, troppo costosi e potenti per il mio carico tipico.
Ideale per: compute GPU di fascia alta economico, fine-tuning di LLM, utenti VS Code, inferenza gestita e team che potrebbero in seguito richiedere cluster riservati.
Cloud AI a scala enterprise
Questi provider sono per carichi AI seri. Parliamo di cluster GPU dedicati, networking ad alta velocità, storage scalabile, capacità riservata e infrastrutture che possono funzionare in modo affidabile per mesi, non per poche ore.
7. Nebius
Adoro Nebius. Ho usato principalmente il suo Token Factory per l’inferenza, ed è veloce, affidabile ed estremamente semplice da usare tramite la sua API compatibile con OpenAI. Ti dà accesso a oltre 60 modelli open senza dover gestire l’infrastruttura sottostante.
Ho iniziato solo di recente a esplorare il lato GPU cloud, ed è altrettanto impressionante. Puoi avviare singole macchine GPU o costruire cluster di lunga durata con Kubernetes gestito, storage e networking ad alta velocità. Nebius offre anche sconti per la prenotazione di grandi cluster per diversi mesi.
Non è solo una piattaforma per piccoli esperimenti. Grandi aziende la usano già per carichi seri. Per esempio, Revolut esegue training e inferenza su oltre 200 GPU NVIDIA H100 su Nebius, mentre Recraft ha addestrato il suo modello da 20 miliardi di parametri usando la piattaforma.
Ideale per: inferenza affidabile, cluster GPU di lunga durata, training distribuito, Kubernetes gestito e workload AI in produzione.
8. Together AI
Together AI è molto di più di un’API di inferenza. Fornisce inferenza gestita, fine-tuning, endpoint dedicati e cluster GPU self-service su un’unica piattaforma. Puoi addestrare, personalizzare e distribuire modelli open-weight senza dover passare tra più provider diversi.
I suoi cluster GPU includono hardware di fascia alta come H100, H200, B200 e GB200, con networking InfiniBand, storage persistente e supporto per Kubernetes e Slurm. I cluster possono essere avviati on demand o riservati per carichi più lunghi.
Probabilmente è eccessivo per chi ha bisogno solo di una GPU economica per un esperimento rapido. Tuttavia, ha molto senso per aziende che vogliono un’infrastruttura affidabile per addestrare, fare fine-tuning e servire modelli su larga scala.
Ideale per: cluster GPU enterprise, training di modelli su larga scala, fine-tuning gestito, inferenza dedicata e aziende che costruiscono sistemi AI di produzione.
Piattaforme developer-first e amiche dei notebook
Queste piattaforme sono pensate per gli sviluppatori che vogliono concentrarsi sul codice anziché passare ore a gestire l’infrastruttura cloud. Offrono strumenti familiari come notebook e VS Code, occupandosi di gran parte del provisioning GPU dietro le quinte.
9. Modal
Modal è completamente diverso dal noleggiare una normale macchina GPU. Scrivi codice Python, selezioni la GPU che ti serve e Modal lo esegue dentro un container serverless. Può scalare automaticamente da zero a più GPU e paghi in base al tempo in cui il tuo codice utilizza effettivamente le risorse.
È ottimo per distribuire API di inferenza, eseguire pipeline di valutazione, fare fine-tuning di modelli e gestire workload che all’improvviso richiedono più GPU. Modal offre anche notebook GPU che si avviano in pochi secondi, supportano ambienti personalizzati e possono usare fino a otto GPU A100 o H100.
L’unica cosa da capire è che Modal richiede un cambio di mentalità. Non stai semplicemente aprendo una VM e usandola come un computer remoto. Definisci la tua infrastruttura in Python, cosa che può sembrare insolita all’inizio, ma diventa estremamente potente una volta compresa.
Ideale per: inferenza serverless, valutazione di modelli, pipeline automatiche, fine-tuning e workload che devono scalare su e giù automaticamente.
10. Thunder Compute
Thunder Compute è quasi esattamente ciò che molti data scientist desiderano da un cloud GPU. Avvii una macchina e ti connetti direttamente tramite VS Code, Cursor, Windsurf, la riga di comando o Jupyter Notebook. JupyterLab è già installato, quindi puoi iniziare a sperimentare senza passare ore a configurare l’ambiente.
Mi piace in particolare l’idea della sua estensione per VS Code. Invece di passare continuamente tra una dashboard cloud, un terminale SSH e l’editor locale, puoi creare e aprire l’istanza GPU come workspace remoto direttamente dentro l’editor. La sensazione è molto più vicina a lavorare sul tuo computer, con in più una potente GPU nel cloud.
Thunder Compute offre modalità separate per prototipazione e produzione. Puoi iniziare con una macchina semplice per sperimentare e poi passare a configurazioni di produzione con storage persistente e supporto per più GPU.
Ideale per: ricerca basata su Jupyter, utenti VS Code, sperimentazione sui modelli, lavoro interattivo di data science e chiunque cerchi un’alternativa più potente a Google Colab.
Come scegliere il provider GPU giusto
Non esiste un unico miglior provider di GPU. La scelta giusta dipende da disponibilità delle GPU, prezzo, facilità d’uso, costi di storage e dal fatto che ti serva un notebook, una VM, inferenza serverless o un cluster GPU completo:
- Scegli Vast.ai, RunPod, Spheron o TensorDock quando vuoi capacità flessibile, ampia scelta di GPU e prezzi competitivi.
- Scegli Hyperbolic o Hyperstack quando vuoi una VM cloud più affidabile per training, notebook o inferenza self-hosted.
- Scegli Nebius o Together AI quando ti servono cluster dedicati, training distribuito, capacità riservata o un’infrastruttura di produzione.
- Scegli Modal o Thunder Compute quando conta soprattutto la facilità d’uso. Modal è ideale per workload serverless, mentre Thunder Compute è migliore per workflow familiari con VS Code e Jupyter.
Considerazioni finali
Uso soprattutto Vast.ai, RunPod, Hyperbolic e Modal perché sono facili da usare, flessibili e relativamente economici. Vast.ai è di solito la mia prima scelta per trovare la macchina più economica. RunPod è la piattaforma più semplice da usare, Hyperbolic è veloce e affidabile quando le GPU sono disponibili e Modal è eccellente per inferenza serverless e workload automatizzati.
Per esperimenti molto piccoli, uso ancora Google Colab o un Jupyter Notebook locale. Tuttavia, Colab è limitato, spesso lento e non è qualcosa che consiglierei per fine-tuning serio di LLM, serving di modelli o job di training di lunga durata.
La piattaforma migliore, in definitiva, è quella che ti permette di iniziare a lavorare rapidamente senza costringerti a diventare un ingegnere di infrastrutture cloud. Nel caso volessi comunque diventarlo (o capire cosa succede dietro le quinte), ti consiglio di iniziare con il nostro corso Understanding Cloud Computing.