Program
AWS Bulut Uygulayıcısı (CLF-C02)
10 sa
Veri bilimcileri, ML mühendisleri ve LLM mühendisleri farklı profiller olsa da, altyapıdan çoğumuzun istediği aynıdır: mümkün olduğunca az uğraş. Bulut ortamlarını saatlerce yapılandırmak veya AWS’nin karmaşık hizmetlerinde yolumuzu bulmak istemiyoruz. Birkaç düğmeye tıklayıp bir terminal ya da Jupyter Notebook açmak, bir şablon seçmek ve modeli eğitmeye, ince ayar yapmaya veya sunmaya başlamak istiyoruz.
Bu rehberdeki sağlayıcılar bu düşünceyle seçildi. Kullanıcı dostu paneller, önceden yapılandırılmış ortamlar, not defterleri, terminaller, konteyner şablonları ve net kurulum rehberleri sunuyorlar; Jupyter varsayılan olarak yoksa bile çoğunda dakikalar içinde kurabiliyorsunuz.
Yine de hepsi aynı kullanıcıya hitap etmiyor. Bazıları fiyat ve donanım seçimi etrafında kurulu pazar yerleri; diğerleri öngörülebilir sanal makineler, sunucusuz GPU çalıştırma, yönetilen çıkarım veya dağıtık eğitim için kurumsal ölçekli kümeler sunuyor. On tanesini dört kategoride karşılaştırıyoruz: GPU pazar yerleri ve esnek kapasite ağları, self-servis AI GPU bulutları, kurumsal ölçekli AI bulutları ve geliştirici odaklı, not defteri dostu platformlar.
GPU Pazar Yerleri ve Esnek Kapasite Ağları
GPT pazar yerleri, dağıtık GPU kapasitesine esnek erişim etrafında tasarlanmıştır. Deneyler, toplu işler, kısa süreli ince ayar süreçleri ve donanım seçimi ile maliyetin en kritik olduğu durumlarda faydalıdır.
1. Vast.ai
Vast.ai, model sunumu ve LLM ince ayarı için uygun fiyatlı GPU bulmak amacıyla en sık kullandığım platform.
Pazar yeri; donanım, VRAM, güvenilirlik, konum ve fiyat kriterlerine göre karşılaştırabileceğiniz geniş bir GPU makine seçkisi sunar. Her ilanda hesaplama ve depolama maliyetleri açıkça ayrıştırılır, böylece neye ödeme yaptığınızı bilirsiniz.
Sunucular Jupyter Notebook, tarayıcı tabanlı terminaller, SSH ve VS Code bağlantılarını destekler. Hızlı testler için çoğu zaman yalnızca birkaç sent harcayıp örneği kapatıyorum. Ancak donanım farklı pazar yeri sağlayıcılarından geldiği için makine bulunabilirliği ve güvenilirliği değişkenlik gösterebilir.
En uygun alanlar: Uygun maliyetli denemeler, model sunumu, LoRA ile ince ayar ve toplu çıkarım.
2. RunPod
RunPod favori GPU platformum ve LLM ince ayarı ile çıkarımı için yüzlerce dolar harcadım.
Vast.ai’den daha hızlı ve kullanımı daha kolaydır; ancak iyi makineler, hesaplama ve depolama maliyetleri dahil edildiğinde pahalıya gelebilir. RunPod, hazır şablonlar, JupyterLab, web terminali, SSH ve VS Code entegrasyonuyla neredeyse kutudan çıkar çıkmaz sorunsuz çalışır.
Son dönemde tek sorunum GPU bulunabilirliği oldu. Popüler makineler bazen müsait olmuyor; bu da beklemeye ya da daha pahalı bir seçeneği tercih etmeye zorluyor. Buna rağmen, karmaşık bulut altyapısını öğrenmeden model eğitmek veya sunmak isteyen veri bilimciler için RunPod en iyi platformlardan biri.
RunPod’u yakın zamanda yayımladığımız iki eğitimde kullandım: biyomedikal S&C için DiffusionGemma’ya ince ayar ve Gemma 4’e ince ayar; her ikisi de baştan sona tek bir RunPod GPU pod’unda çalışıyor.
En uygun alanlar: Yeni başlayanlar, veri bilimciler, LLM ince ayarı, model sunumu ve sorunsuz çalışan bir GPU ortamı isteyen herkes.
3. Spheron Network
Spheron, AWS’le veya uzun vadeli sözleşmelerle uğraşmadan uygun fiyatlı, üst düzey GPU’lara erişmek için iyi bir seçenek.
Birden fazla veri merkezi sağlayıcısından GPU kapasitesini tek bir panele taşır; VM ve çıplak metal makineler, tam kök SSH erişimi, şeffaf fiyatlandırma ve dakikalık faturalandırma sunar.
RTX 4090 ve A100 makinelerden H100, H200 ve B200 GPU’lara kadar her şeyi sunar. Daha büyük iş yükleri için NVLink, InfiniBand veya RoCE ağlarıyla çoklu GPU ve çok düğümlü kümeler de dağıtabilirsiniz. RunPod’a kıyasla biraz daha altyapı odaklıdır; ancak ciddi LLM ekiplerine dağıtık eğitim için çok daha fazla esneklik sağlar.
En uygun alanlar: Uygun maliyetli üst düzey GPU’lar, çoklu GPU ile LLM eğitimi, dağıtık iş yükleri ve VM ya da çıplak metal erişime ihtiyaç duyan ekipler.
4. TensorDock
TensorDock, tam teşekküllü sanal makineler başlatmak için uygun fiyatlı bir GPU pazar yeridir.
GPU, CPU, RAM, depolama, konum ve işletim sistemini seçersiniz; size kök erişimi olan bir makine sunar. Daha ucuz tüketici GPU’lardan güçlü A100 ve H100 makinelerine kadar çok geniş bir donanım yelpazesi vardır.
RunPod kadar hazır değil. Genellikle SSH ile bağlanıp kendi ortamınızı yapılandırırsınız; ancak Docker VM şablonlarıyla birlikte gelir ve Jupyter mevcut portlar üzerinden kurulabilir. Bu yaklaşım size daha fazla kontrol sağlar; fakat araçları kurup yönetme konusunda rahat olmanız gerekir.
En uygun alanlar: Uygun maliyetli GPU sanal makineleri, özelleştirilmiş PyTorch eğitimi ve kendi yönettiğiniz vLLM veya TGI dağıtımları.
Self-Servis AI GPU Bulutları
Bu platformlar, açık pazar yerlerinden ziyade gerçek bir bulut makinesi kiralamaya benzer. GPU’yu seçer, bir VM başlatır, SSH veya VS Code ile bağlanır ve eğitim, ince ayar ya da model sunumu için kendi ortamınızı oluşturursunuz.
5. Hyperstack
Hyperstack, sizi AWS, Azure veya karmaşık bir kurumsal sözleşmeye zorlamadan öngörülebilir GPU altyapısı sunar.
GPU konfigürasyonunu, bölgeyi, işletim sistemi imajını ve SSH anahtarını seçer, ardından dakikalar içinde tam bir sanal makine başlatırsınız. Birden çok veri merkezi bölgesinde isteğe bağlı, spot ve rezerve kapasite seçenekleri bulunur.
Daha uzun eğitim işleri veya kendi yönettiğiniz çıkarım dağıtımları için güvenilir bir makine istediğinizde iyi bir seçenektir. Ortamınızı yine de yapılandırmanız gerekir; ancak deneyim, geleneksel bir hiperbüyüyen sağlayıcıda her şeyi sıfırdan kurmaktan çok daha yalındır.
En uygun alanlar: Öngörülebilir GPU VM’leri, uzun süreli eğitim işleri, özel ortamlar ve kendi yönettiğiniz model sunumu.
6. Hyperbolic
Hyperbolic üzerinde yüzlerce dolar harcadım ve kullanmaktan hâlâ keyif alıyorum. Benim için çoğu zaman üst düzey GPU’lara erişmenin en hızlı ve en ucuz yollarından biri oldu. Makineler güvenilir, hızla başlıyor ve doğrudan VS Code üzerinden bağlanabiliyorum; bu da tüm deneyimi neredeyse yerel çalışmaya dönüştürüyor.
Hyperbolic, isteğe bağlı GPU örnekleri, rezerve kümeler, özel bulut altyapısı ve OpenAI uyumlu bir çıkarım API’si sunuyor. Bu sayede hızlı bir ince ayar deneyi için kullanabilir, daha sonra platform değiştirmeden ayrılmış kapasiteye veya yönetilen çıkarıma geçebilirsiniz.
En büyük sorunum bulunabilirlik. Eskiden uygun fiyatlı tekli H100 veya A100 makineleri bulmak daha kolaydı. Son zamanlarda, bu daha ucuz seçenekler ihtiyacım olduğunda sık sık müsait olmuyor. Bazen tek bir H200 bulabiliyorum; ancak mevcut konfigürasyonların çoğu 4x veya 8x GPU kümeleri ve bunlar olağan iş yüküm için fazla güçlü ve pahalı.
En uygun alanlar: Uygun maliyetli üst düzey GPU hesaplama, LLM ince ayarı, VS Code kullanıcıları, yönetilen çıkarım ve ileride rezerve küme gerekebilecek ekipler.
Kurumsal Ölçekli AI Bulutları
Bu sağlayıcılar ciddi AI iş yükleri içindir. Saatler değil aylar boyunca güvenilir şekilde çalışabilen ayrılmış GPU kümeleri, yüksek hızlı ağlar, ölçeklenebilir depolama, rezerve kapasite ve sağlam altyapıdan bahsediyoruz.
7. Nebius
Nebius’u seviyorum. Çoğunlukla çıkarım için Token Factory’sini kullandım; hızlı, güvenilir ve OpenAI uyumlu API’si sayesinde son derece kolay. Altyapıyı yönetmeye gerek kalmadan 60’tan fazla açık modele erişim sağlıyor.
GPU bulut tarafını yeni yeni keşfetmeye başladım ve o da aynı derecede etkileyici. Tekil GPU makineleri başlatabilir veya yönetilen Kubernetes, depolama ve yüksek hızlı ağlarla uzun süre çalışacak kümeler kurabilirsiniz. Nebius, birkaç ay boyunca büyük kümeleri rezerve etmeniz halinde indirimler de sunuyor.
Bu yalnızca küçük deneyler için bir platform değil. Büyük şirketler zaten ciddi iş yükleri için kullanıyor. Örneğin, Revolut Nebius üzerinde 200’den fazla NVIDIA H100 GPU ile eğitim ve çıkarım çalıştırıyor; Recraft ise 20 milyar parametreli modelini bu platformda eğitti.
En uygun alanlar: Güvenilir çıkarım, uzun süreli GPU kümeleri, dağıtık eğitim, yönetilen Kubernetes ve üretim ölçekli AI iş yükleri.
8. Together AI
Together AI, bir çıkarım API’sinden çok daha fazlası. Tek platformda yönetilen çıkarım, ince ayar, ayrılmış uç noktalar ve self-servis GPU kümeleri sağlar. Açık ağırlıklı modelleri birkaç farklı sağlayıcı arasında gidip gelmeden eğitebilir, özelleştirebilir ve dağıtabilirsiniz.
GPU kümeleri H100, H200, B200 ve GB200 gibi üst düzey donanımları; InfiniBand ağlarını, kalıcı depolamayı ve Kubernetes ile Slurm desteğini içerir. Kümeler isteğe bağlı olarak başlatılabilir veya uzun iş yükleri için rezerve edilebilir.
Sadece hızlı bir deney için uygun fiyatlı tek bir GPU’ya ihtiyacı olanlar için muhtemelen fazla kapsamlıdır. Ancak eğitim, ince ayar ve modeli ölçekli olarak sunmak için güvenilir altyapı isteyen şirketler açısından çok mantıklıdır.
En uygun alanlar: Kurumsal GPU kümeleri, büyük ölçekli model eğitimi, yönetilen ince ayar, ayrılmış çıkarım ve üretim AI sistemleri kuran şirketler.
Geliştirici Öncelikli ve Not Defteri Dostu Platformlar
Bu platformlar, bulut altyapısını yönetmeye saatler harcamak yerine koduna odaklanmak isteyen geliştiriciler için tasarlanmıştır. Arkada GPU sağlama işlerinin çoğunu üstlenirken not defterleri ve VS Code gibi tanıdık araçlar sunarlar.
9. Modal
Modal, normal bir GPU makinesi kiralamaktan tamamen farklıdır. Python kodu yazarsınız, ihtiyaç duyduğunuz GPU’yu seçersiniz ve Modal bunu sunucusuz bir konteyner içinde çalıştırır. Sıfırdan birden çok GPU’ya otomatik ölçeklenebilir ve ücret, kodunuzun kaynakları gerçekten kullandığı süreye göre hesaplanır.
Çıkarım API’leri dağıtmak, değerlendirme hatlarını çalıştırmak, modellere ince ayar yapmak ve aniden daha fazla GPU gerektiren iş yüklerini yönetmek için harikadır. Modal ayrıca saniyeler içinde açılan, özel ortamları destekleyen ve sekiz adede kadar A100 veya H100 GPU kullanabilen GPU not defterleri sunar.
Anlaşılması gereken tek nokta, Modal’ın farklı bir zihniyet gerektirmesidir. Basitçe bir VM açıp onu uzak bir bilgisayar gibi kullanmazsınız. Altyapınızı Python ile tanımlarsınız; bu ilk başta alışılmadık gelebilir, ancak benimsediğinizde son derece güçlü hale gelir.
En uygun alanlar: Sunucusuz çıkarım, model değerlendirme, otomatik hatlar, ince ayar ve otomatik olarak ölçeklenip küçülebilen iş yükleri.
10. Thunder Compute
Thunder Compute, birçok veri bilimcinin bir GPU bulutundan istediğinin neredeyse aynısı. Bir makine başlatır ve ona doğrudan VS Code, Cursor, Windsurf, komut satırı veya Jupyter Notebook üzerinden bağlanırsınız. JupyterLab zaten kurulu olduğundan, ortamı yapılandırmaya saatler harcamadan denemelere başlayabilirsiniz.
Özellikle VS Code uzantısı fikrini beğeniyorum. Sürekli bir bulut paneli, SSH terminali ve yerel düzenleyici arasında geçiş yapmak yerine, GPU örneğini doğrudan düzenleyiciniz içinde uzak bir çalışma alanı olarak oluşturup açabilirsiniz. Kendi bilgisayarınızda çalışmaya çok daha yakın hissettiriyor; tek fark, artık güçlü bir bulut GPU’suna erişiminiz olması.
Thunder Compute, prototipleme ve üretim için ayrı modlar sunar. Denemeler için basit bir makineyle başlayabilir, daha sonra kalıcı depolama ve çoklu GPU desteği sunan üretim konfigürasyonlarına geçebilirsiniz.
En uygun alanlar: Jupyter tabanlı araştırma, VS Code kullanıcıları, model denemeleri, etkileşimli veri bilimi çalışmaları ve Google Colab’e daha güçlü bir alternatif arayanlar.
Doğru GPU Sağlayıcısını Nasıl Seçersiniz?
Tek bir en iyi GPU sağlayıcısı yok. Doğru seçim; GPU bulunabilirliği, fiyat, kullanım kolaylığı, depolama maliyetleri ve bir not defterine, VM’e, sunucusuz çıkarıma veya tam bir GPU kümesine ihtiyacınız olup olmadığına bağlıdır:
- Esnek kapasite, geniş GPU seçeneği ve rekabetçi fiyatlar istediğinizde Vast.ai, RunPod, Spheron veya TensorDock tercih edin.
- Eğitim, not defterleri veya kendi barındırdığınız çıkarım için daha güvenilir bir bulut VM istediğinizde Hyperbolic veya Hyperstack tercih edin.
- Ayrılmış kümeler, dağıtık eğitim, rezerve kapasite veya üretim ölçekli altyapıya ihtiyacınız olduğunda Nebius veya Together AI tercih edin.
- Kullanım kolaylığı en önemlisi olduğunda Modal veya Thunder Compute tercih edin. Modal sunucusuz iş yükleri için idealken Thunder Compute, tanıdık VS Code ve Jupyter iş akışları için daha uygundur.
Son Düşünceler
Ben çoğunlukla Vast.ai, RunPod, Hyperbolic ve Modal kullanıyorum; çünkü kullanımları kolay, esnek ve nispeten uygun fiyatlılar. Vast.ai genellikle en ucuz makineyi bulmak için ilk tercihim. RunPod kullanımı en kolay platform, Hyperbolic GPU’lar mevcut olduğunda hızlı ve güvenilir, Modal ise sunucusuz çıkarım ve otomasyonlu iş yüklerinde mükemmel.
Çok küçük deneyler için hâlâ Google Colab veya yerel bir Jupyter Notebook kullanıyorum. Ancak Colab sınırlı, sıklıkla yavaş ve ciddi LLM ince ayarı, model sunumu veya uzun süreli eğitim işleri için önermem.
En iyi platform, sizi bir bulut altyapısı mühendisi olmaya zorlamadan hızlıca çalışmaya başlamanıza olanak tanıyan platformdur. Yine de biri olmak (ya da arka planda neler döndüğünü bilmek) isterseniz, Understanding Cloud Computing kursumuzla başlamanızı öneririm.
