Program
AWS Cloud Practitioner (CLF-C02)
10 Hr
Data scientist, engineer ML, dan engineer LLM punya kebutuhan yang berbeda-beda, tetapi sebagian besar dari kita menginginkan hal yang sama dari infrastruktur: sesedikit mungkin kerepotan. Kita tidak ingin menghabiskan waktu berjam-jam mengonfigurasi lingkungan cloud atau menavigasi layanan AWS yang rumit. Kita ingin mengklik beberapa tombol, membuka terminal atau Jupyter Notebook, memilih templat, lalu mulai melatih, menyetel halus, atau menyajikan model.
Penyedia dalam panduan ini dipilih dengan pemikiran itu. Mereka menawarkan dasbor yang ramah pengguna, lingkungan prakonfigurasi, notebook, terminal, templat kontainer, dan panduan penyiapan yang jelas; jika Jupyter tidak tersedia secara bawaan, sebagian besar memungkinkan Anda memasangnya dalam hitungan menit.
Namun, mereka tidak semuanya melayani pengguna yang sama. Beberapa adalah marketplace yang berfokus pada harga dan pilihan perangkat keras; lainnya menawarkan mesin virtual yang dapat diprediksi, eksekusi GPU tanpa server, inferensi terkelola, atau kluster berskala enterprise untuk pelatihan terdistribusi. Kami membandingkan sepuluh di antaranya dalam empat kategori: marketplace GPU dan jaringan kapasitas fleksibel, cloud GPU AI swalayang, cloud AI berskala enterprise, serta platform yang ramah pengembang dan nyaman untuk notebook.
Marketplace GPU dan Jaringan Kapasitas Fleksibel
Marketplace GPT dirancang untuk akses fleksibel ke kapasitas GPU terdistribusi. Mereka berguna untuk eksperimen, job batch, penyetelan halus jangka pendek, dan kapan pun pilihan perangkat keras serta biaya menjadi yang paling penting.
1. Vast.ai
Vast.ai adalah platform yang paling sering saya gunakan untuk menemukan GPU terjangkau bagi penyajian model dan penyetelan halus LLM.
Marketplace-nya menawarkan banyak pilihan mesin GPU yang dapat Anda bandingkan berdasarkan perangkat keras, VRAM, keandalan, lokasi, dan harga. Setiap listing jelas merinci biaya komputasi dan penyimpanan, sehingga Anda tahu apa yang Anda bayarkan.
Instance mendukung Jupyter Notebook, terminal berbasis peramban, SSH, dan koneksi VS Code. Untuk uji cepat, saya sering hanya menghabiskan beberapa sen sebelum mematikan instance. Namun, ketersediaan dan keandalan mesin dapat bervariasi karena perangkat keras berasal dari host marketplace yang berbeda-beda.
Terbaik untuk: Eksperimen terjangkau, penyajian model, penyetelan halus LoRA, dan inferensi batch.
2. RunPod
RunPod adalah platform GPU favorit saya, dan saya telah menghabiskan ratusan dolar untuk penyetelan halus dan inferensi LLM dengannya.
Platform ini lebih cepat dan lebih mudah digunakan dibanding Vast.ai, meski mesin yang bagus bisa menjadi mahal setelah biaya komputasi dan penyimpanan diperhitungkan. RunPod hampir sempurna langsung digunakan, dengan templat siap pakai, JupyterLab, terminal web, SSH, dan integrasi VS Code.
Satu-satunya masalah terbaru saya adalah ketersediaan GPU. Mesin populer terkadang tidak tersedia, memaksa saya menunggu atau memilih opsi yang lebih mahal. Meski begitu, RunPod tetap menjadi salah satu platform terbaik bagi data scientist yang ingin melatih atau menyajikan model tanpa perlu mempelajari infrastruktur cloud yang rumit.
Saya menggunakan RunPod dalam dua tutorial kami baru-baru ini, penyetelan halus DiffusionGemma untuk QA biomedis dan penyetelan halus Gemma 4, yang keduanya dijalankan dari awal hingga akhir pada satu pod GPU RunPod.
Terbaik untuk: Pemula, data scientist, penyetelan halus LLM, penyajian model, dan siapa pun yang menginginkan lingkungan GPU yang langsung berfungsi.
3. Spheron Network
Spheron adalah opsi yang baik untuk mengakses GPU kelas atas yang terjangkau tanpa harus berurusan dengan AWS atau kontrak jangka panjang.
Platform ini menghadirkan kapasitas GPU dari banyak penyedia pusat data dalam satu dasbor, dengan mesin VM dan bare-metal, akses root SSH penuh, harga transparan, dan penagihan per menit.
Spheron menawarkan segala sesuatu mulai dari mesin RTX 4090 dan A100 hingga GPU H100, H200, dan B200. Untuk beban kerja yang lebih besar, Anda juga dapat menerapkan kluster multi-GPU dan multi-node dengan jaringan NVLink, InfiniBand, atau RoCE. Platform ini sedikit lebih berfokus pada infrastruktur dibanding RunPod, tetapi memberi tim LLM serius fleksibilitas jauh lebih besar untuk pelatihan terdistribusi.
Terbaik untuk: GPU kelas atas yang terjangkau, pelatihan LLM multi-GPU, beban kerja terdistribusi, dan tim yang memerlukan akses VM atau bare-metal.
4. TensorDock
TensorDock adalah marketplace GPU terjangkau untuk meluncurkan mesin virtual lengkap.
Anda memilih GPU, CPU, RAM, penyimpanan, lokasi, dan sistem operasi, lalu Anda mendapatkan mesin dengan akses root. Pilihan perangkat kerasnya sangat beragam, dari GPU konsumen yang lebih murah hingga mesin A100 dan H100 yang bertenaga.
Platform ini tidak sestandar RunPod. Biasanya Anda terhubung melalui SSH dan mengonfigurasi lingkungan Anda sendiri, meskipun Docker sudah disertakan pada templat VM-nya, dan Jupyter bisa diatur melalui port yang tersedia. Ini memberi Anda lebih banyak kontrol, tetapi Anda harus nyaman memasang dan mengelola alat Anda sendiri.
Terbaik untuk: Mesin virtual GPU terjangkau, pelatihan PyTorch kustom, dan penerapan vLLM atau TGI yang dikelola sendiri.
Cloud GPU AI Swalayang
Platform ini kurang seperti marketplace terbuka dan lebih seperti menyewa mesin cloud yang sesungguhnya. Anda memilih GPU, meluncurkan VM, terhubung melalui SSH atau VS Code, lalu membuat lingkungan Anda sendiri untuk pelatihan, penyetelan halus, atau penyajian model.
5. Hyperstack
Hyperstack memberi Anda infrastruktur GPU yang dapat diprediksi tanpa memaksa Anda masuk ke AWS, Azure, atau kontrak enterprise yang rumit.
Anda memilih konfigurasi GPU, wilayah, citra sistem operasi, dan kunci SSH, lalu meluncurkan mesin virtual lengkap dalam hitungan menit. Platform ini menawarkan kapasitas on-demand, spot, dan reserved di berbagai wilayah pusat data.
Ini adalah opsi yang baik ketika Anda menginginkan mesin andal untuk job pelatihan yang lebih lama atau penerapan inferensi yang dikelola sendiri. Anda tetap perlu mengonfigurasi lingkungan, tetapi pengalamannya jauh lebih lugas dibanding membangun semuanya melalui hyperscaler tradisional.
Terbaik untuk: VM GPU yang dapat diprediksi, job pelatihan berdurasi lama, lingkungan kustom, dan penyajian model yang dikelola sendiri.
6. Hyperbolic
Saya telah menghabiskan ratusan dolar di Hyperbolic, dan saya masih senang menggunakannya. Bagi saya, ini sering kali menjadi salah satu cara tercepat dan termurah untuk mengakses GPU kelas atas. Mesinnya andal, diluncurkan dengan cepat, dan saya dapat terhubung langsung melalui VS Code, yang membuat seluruh pengalaman terasa hampir seperti bekerja secara lokal.
Hyperbolic menawarkan instance GPU on-demand, kluster reserved, infrastruktur private-cloud, dan API inferensi yang kompatibel dengan OpenAI. Artinya, Anda dapat menggunakannya untuk eksperimen penyetelan halus cepat dan kemudian beralih ke kapasitas khusus atau inferensi terkelola tanpa ganti platform.
Masalah terbesar saya adalah ketersediaan. Dulu jauh lebih mudah menemukan mesin H100 atau A100 tunggal yang terjangkau. Belakangan ini, opsi yang lebih murah itu sering tidak tersedia saat saya membutuhkannya. Saya mungkin menemukan satu H200, tetapi banyak konfigurasi yang tersedia adalah kluster 4x atau 8x GPU, yang terlalu mahal dan terlalu bertenaga untuk beban kerja normal saya.
Terbaik untuk: Komputasi GPU kelas atas yang terjangkau, penyetelan halus LLM, pengguna VS Code, inferensi terkelola, dan tim yang mungkin nanti memerlukan kluster reserved.
Cloud AI Berskala Enterprise
Penyedia ini ditujukan untuk beban kerja AI yang serius. Kita berbicara tentang kluster GPU khusus, jaringan berkecepatan tinggi, penyimpanan yang skalabel, kapasitas reserved, dan infrastruktur yang dapat berjalan andal selama berbulan-bulan, bukan beberapa jam.
7. Nebius
Saya menyukai Nebius. Saya telah terutama menggunakan Token Factory-nya untuk inferensi, dan platform ini cepat, andal, serta sangat mudah digunakan melalui API yang kompatibel dengan OpenAI. Anda mendapatkan akses ke lebih dari 60 model terbuka tanpa perlu mengelola infrastruktur yang mendasarinya.
Saya baru-baru ini mulai mengeksplorasi sisi cloud GPU, dan hasilnya sama mengesankan. Anda dapat meluncurkan mesin GPU individual atau membangun kluster berdurasi panjang dengan Kubernetes terkelola, penyimpanan, dan jaringan berkecepatan tinggi. Nebius juga menawarkan diskon untuk pemesanan kluster besar selama beberapa bulan.
Ini bukan sekadar platform untuk eksperimen kecil. Perusahaan besar sudah menggunakannya untuk beban kerja serius. Misalnya, Revolut menjalankan pelatihan dan inferensi di lebih dari 200 GPU NVIDIA H100 di Nebius, sementara Recraft melatih model 20 miliar parameternya menggunakan platform ini.
Terbaik untuk: Inferensi andal, kluster GPU jangka panjang, pelatihan terdistribusi, Kubernetes terkelola, dan beban kerja AI skala produksi.
8. Together AI
Together AI jauh lebih dari sekadar API inferensi. Platform ini menyediakan inferensi terkelola, penyetelan halus, endpoint khusus, dan kluster GPU swalayang dalam satu platform. Anda dapat melatih, menyesuaikan, dan menerapkan model open-weight tanpa berpindah-pindah antarpenyedia.
Kluster GPU-nya mencakup perangkat keras kelas atas seperti H100, H200, B200, dan GB200, dengan jaringan InfiniBand, penyimpanan persisten, dan dukungan untuk Kubernetes serta Slurm. Kluster dapat diluncurkan sesuai permintaan atau dipesan untuk beban kerja yang lebih lama.
Ini mungkin terlalu berlebihan bagi seseorang yang hanya membutuhkan satu GPU terjangkau untuk eksperimen cepat. Namun, sangat masuk akal bagi perusahaan yang menginginkan infrastruktur andal untuk melatih, menyetel halus, dan menyajikan model dalam skala besar.
Terbaik untuk: Kluster GPU enterprise, pelatihan model skala besar, penyetelan halus terkelola, inferensi khusus, dan perusahaan yang membangun sistem AI produksi.
Platform yang Mengutamakan Pengembang dan Ramah Notebook
Platform ini dibuat untuk pengembang yang ingin fokus pada kode mereka alih-alih menghabiskan waktu berjam-jam mengelola infrastruktur cloud. Mereka menyediakan alat yang familier seperti notebook dan VS Code sambil menangani sebagian besar penyediaan GPU di balik layar.
9. Modal
Modal sama sekali berbeda dari menyewa mesin GPU biasa. Anda menulis kode Python, memilih GPU yang dibutuhkan, dan Modal menjalankannya di dalam kontainer tanpa server. Platform ini dapat menskalakan otomatis dari nol ke banyak GPU, dan Anda ditagih berdasarkan waktu ketika kode Anda benar-benar menggunakan sumber daya.
Platform ini sangat cocok untuk menerapkan API inferensi, menjalankan pipeline evaluasi, menyetel halus model, dan menangani beban kerja yang tiba-tiba membutuhkan lebih banyak GPU. Modal juga menawarkan notebook GPU yang diluncurkan dalam hitungan detik, mendukung lingkungan kustom, dan dapat menggunakan hingga delapan GPU A100 atau H100.
Satu hal yang perlu dipahami adalah bahwa Modal memerlukan pola pikir yang berbeda. Anda tidak sekadar membuka VM dan menggunakannya seperti komputer jarak jauh. Anda mendefinisikan infrastruktur Anda dalam Python, yang mungkin terasa tidak biasa pada awalnya, tetapi menjadi sangat kuat setelah Anda memahaminya.
Terbaik untuk: Inferensi tanpa server, evaluasi model, pipeline otomatis, penyetelan halus, dan beban kerja yang perlu naik-turun skala secara otomatis.
10. Thunder Compute
Thunder Compute hampir persis seperti yang diinginkan banyak data scientist dari cloud GPU. Anda meluncurkan mesin dan terhubung langsung melalui VS Code, Cursor, Windsurf, baris perintah, atau Jupyter Notebook. JupyterLab sudah terpasang, sehingga Anda dapat mulai bereksperimen tanpa menghabiskan waktu berjam-jam mengonfigurasi lingkungan.
Saya sangat menyukai gagasan ekstensi VS Code-nya. Alih-alih terus-menerus berpindah antara dasbor cloud, terminal SSH, dan editor lokal, Anda dapat membuat dan membuka instance GPU sebagai workspace jarak jauh langsung di dalam editor Anda. Rasanya jauh lebih mirip bekerja di komputer sendiri, hanya saja kini Anda memiliki akses ke GPU cloud yang bertenaga.
Thunder Compute menawarkan mode prototyping dan produksi yang terpisah. Anda dapat memulai dengan mesin sederhana untuk eksperimen dan kemudian beralih ke konfigurasi produksi dengan penyimpanan persisten dan dukungan untuk beberapa GPU.
Terbaik untuk: Riset berbasis Jupyter, pengguna VS Code, eksperimen model, pekerjaan data science interaktif, dan siapa pun yang mencari alternatif lebih bertenaga daripada Google Colab.
Cara Memilih Penyedia GPU yang Tepat
Tidak ada satu penyedia GPU yang terbaik. Pilihan yang tepat bergantung pada ketersediaan GPU, harga, kemudahan penggunaan, biaya penyimpanan, dan apakah Anda membutuhkan notebook, VM, inferensi tanpa server, atau kluster GPU lengkap:
- Pilih Vast.ai, RunPod, Spheron, atau TensorDock saat Anda menginginkan kapasitas yang fleksibel, pilihan GPU yang luas, dan harga yang kompetitif.
- Pilih Hyperbolic atau Hyperstack saat Anda menginginkan VM cloud yang lebih andal untuk pelatihan, notebook, atau inferensi yang di-host sendiri.
- Pilih Nebius atau Together AI saat Anda memerlukan kluster khusus, pelatihan terdistribusi, kapasitas reserved, atau infrastruktur skala produksi.
- Pilih Modal atau Thunder Compute saat kemudahan penggunaan yang paling penting. Modal ideal untuk beban kerja tanpa server, sementara Thunder Compute lebih baik untuk alur kerja VS Code dan Jupyter yang familier.
Penutup
Saya paling sering menggunakan Vast.ai, RunPod, Hyperbolic, dan Modal karena mudah digunakan, fleksibel, dan relatif terjangkau. Vast.ai biasanya menjadi pilihan pertama saya untuk menemukan mesin termurah. RunPod adalah platform yang paling mudah digunakan, Hyperbolic cepat dan andal saat GPU tersedia, dan Modal sangat baik untuk inferensi tanpa server dan beban kerja otomatis.
Untuk eksperimen yang sangat kecil, saya masih menggunakan Google Colab atau Jupyter Notebook lokal. Namun, Colab terbatas, sering lambat, dan bukan sesuatu yang akan saya rekomendasikan untuk penyetelan halus LLM yang serius, penyajian model, atau job pelatihan berdurasi panjang.
Pada akhirnya, platform terbaik adalah yang memungkinkan Anda mulai bekerja dengan cepat tanpa memaksa Anda menjadi engineer infrastruktur cloud. Jika Anda tetap ingin menjadi engineer (atau memahami apa yang terjadi di balik layar), saya sarankan mulai dengan kursus Understanding Cloud Computing kami.