tracks
AWS 클라우드 실무자(CLF-C02)
10
데이터 과학자, ML 엔지니어, LLM 엔지니어는 하는 일이 꽤 다르지만, 인프라에서 원하는 바는 대체로 같습니다. 가능한 한 적게 신경 쓰는 것입니다. 복잡한 AWS 서비스를 파고들거나 클라우드 환경을 몇 시간씩 설정하고 싶지 않습니다. 버튼 몇 번 클릭하고, 터미널이나 주피터 노트북을 열어 템플릿을 고른 뒤 곧바로 학습·미세 조정·서빙을 시작하고 싶습니다.
이 가이드의 제공업체는 그런 점을 기준으로 엄선했습니다. 사용자 친화적인 대시보드, 사전 구성된 환경, 노트북, 터미널, 컨테이너 템플릿, 명확한 설정 가이드를 제공합니다. 기본으로 주피터가 없더라도 대부분 몇 분 내로 설치할 수 있습니다.
다만 모두가 같은 사용자층을 겨냥하는 것은 아닙니다. 가격과 하드웨어 선택에 초점을 맞춘 마켓플레이스도 있고, 예측 가능한 가상 머신, 서버리스 GPU 실행, 관리형 추론, 분산 학습을 위한 엔터프라이즈 규모의 클러스터를 제공하는 곳도 있습니다. 본 가이드는 이를 네 가지 범주로 나누어 10개 제공업체를 비교합니다: GPU 마켓플레이스 및 유연한 용량 네트워크, 셀프 서비스 AI GPU 클라우드, 엔터프라이즈 규모 AI 클라우드, 개발자 친화적 노트북 중심 플랫폼.
GPU 마켓플레이스 및 유연한 용량 네트워크
GPT 마켓플레이스는 분산 GPU 용량에 유연하게 접근하도록 설계되어 있습니다. 실험, 배치 작업, 단기 미세 조정, 그리고 하드웨어 선택과 비용이 가장 중요할 때 유용합니다.
1. Vast.ai
Vast.ai는 모델 서빙과 LLM 미세 조정을 위해 합리적인 가격의 GPU를 찾을 때 제가 가장 자주 사용하는 플랫폼입니다.
마켓플레이스에는 하드웨어, VRAM, 신뢰성, 지역, 가격별로 비교할 수 있는 다양한 GPU 머신이 있습니다. 각 목록은 컴퓨트와 스토리지 비용을 명확히 분리해 보여 주므로 무엇에 비용을 지불하는지 알 수 있습니다.
인스턴스는 주피터 노트북, 브라우저 기반 터미널, SSH, VS Code 연결을 지원합니다. 간단한 테스트라면 인스턴스를 종료하기 전까지 몇 센트만 쓰는 경우도 많습니다. 다만 하드웨어가 여러 마켓플레이스 호스트에서 제공되므로 머신의 가용성과 신뢰성은 다소 변동될 수 있습니다.
적합한 용도: 합리적인 비용의 실험, 모델 서빙, LoRA 미세 조정, 배치 추론.
2. RunPod
RunPod은 제가 가장 좋아하는 GPU 플랫폼으로, LLM 미세 조정과 추론에 수백 달러를 사용했습니다.
Vast.ai보다 더 빠르고 사용이 쉽지만, 컴퓨트와 스토리지 비용을 합치면 좋은 머신은 비쌀 수 있습니다. RunPod는 템플릿, JupyterLab, 웹 터미널, SSH, VS Code 통합을 기본 제공해 거의 즉시 사용할 수 있습니다.
최근 유일한 문제는 GPU 가용성이었습니다. 인기 있는 머신이 가끔 없어서 기다리거나 더 비싼 옵션을 골라야 할 때가 있었습니다. 그럼에도 불구하고 RunPod는 복잡한 클라우드 인프라를 배우지 않고도 모델을 학습하거나 서빙하려는 데이터 과학자에게 최고의 플랫폼 중 하나입니다.
저희의 최근 튜토리얼 두 편에서 RunPod를 활용했습니다. 생의학 QA를 위한 DiffusionGemma 미세 조정과 Gemma 4 미세 조정으로, 두 작업 모두 시작부터 끝까지 단일 RunPod GPU 팟에서 실행됩니다.
적합한 용도: 초보자, 데이터 과학자, LLM 미세 조정, 모델 서빙, 간편하게 작동하는 GPU 환경이 필요한 모든 분.
3. Spheron Network
Spheron은 AWS나 장기 계약 없이 합리적인 비용으로 고급 GPU를 이용하기 좋은 선택지입니다.
여러 데이터 센터 제공업체의 GPU 용량을 하나의 대시보드로 통합해 VM과 베어메탈 머신, 루트 SSH 접근, 투명한 가격, 분당 과금을 제공합니다.
RTX 4090, A100부터 H100, H200, B200 GPU까지 모두 제공합니다. 대규모 워크로드의 경우 NVLink, InfiniBand, RoCE 네트워킹을 갖춘 멀티 GPU·멀티 노드 클러스터도 배포할 수 있습니다. RunPod보다 약간 인프라 지향적이지만, 분산 학습이 필요한 본격적인 LLM 팀에게 훨씬 더 유연성을 제공합니다.
적합한 용도: 합리적인 비용의 고급 GPU, 멀티 GPU LLM 학습, 분산 워크로드, VM 또는 베어메탈 접근이 필요한 팀.
4. TensorDock
TensorDock은 완전한 가상 머신을 실행하기 위한 합리적인 가격의 GPU 마켓플레이스입니다.
GPU, CPU, RAM, 스토리지, 위치, 운영체제를 선택하면 루트 접근 권한이 있는 머신을 제공합니다. 저렴한 소비자용 GPU부터 강력한 A100, H100 머신까지 다양한 하드웨어를 폭넓게 제공합니다.
RunPod만큼 즉시 사용 가능한 형태는 아닙니다. 일반적으로 SSH로 접속해 직접 환경을 구성해야 합니다. 다만 VM 템플릿에는 Docker가 포함되어 있고, 제공 포트를 통해 주피터를 설정할 수 있습니다. 더 많은 제어권을 얻는 대신, 도구 설치와 관리를 직접 할 수 있어야 합니다.
적합한 용도: 저렴한 GPU 가상 머신, 커스텀 PyTorch 학습, 자체 관리형 vLLM 또는 TGI 배포.
셀프 서비스 AI GPU 클라우드
이들 플랫폼은 오픈 마켓플레이스라기보다 제대로 된 클라우드 머신을 임대하는 것에 가깝습니다. GPU를 선택하고 VM을 실행한 다음 SSH나 VS Code로 접속해 학습, 미세 조정, 모델 서빙을 위한 환경을 직접 만듭니다.
5. Hyperstack
Hyperstack은 AWS, Azure 또는 복잡한 엔터프라이즈 계약에 얽매이지 않고도 예측 가능한 GPU 인프라를 제공합니다.
GPU 구성, 리전, 운영체제 이미지, SSH 키를 선택하면 몇 분 안에 완전한 가상 머신을 실행할 수 있습니다. 여러 데이터 센터 리전에 걸쳐 온디맨드, 스팟, 예약 용량을 제공합니다.
장시간 학습 작업이나 자체 관리형 추론 배포에 신뢰할 수 있는 머신이 필요할 때 좋은 선택입니다. 환경은 여전히 직접 구성해야 하지만, 전통적인 하이퍼스케일러에서 모든 것을 구축하는 것보다 훨씬 간단합니다.
적합한 용도: 예측 가능한 GPU VM, 장시간 학습 작업, 커스텀 환경, 자체 관리형 모델 서빙.
6. Hyperbolic
저는 Hyperbolic에 수백 달러를 썼는데, 여전히 만족스럽습니다. 제 경험상 고급 GPU에 가장 빠르고 저렴하게 접근하는 방법 중 하나였습니다. 머신은 신뢰성이 높고 빠르게 실행되며, VS Code로 바로 연결할 수 있어 거의 로컬에서 작업하는 듯한 경험을 제공합니다.
Hyperbolic은 온디맨드 GPU 인스턴스, 예약 클러스터, 프라이빗 클라우드 인프라, OpenAI 호환 추론 API를 제공합니다. 즉, 빠른 미세 조정 실험에 사용한 뒤에도 플랫폼을 바꾸지 않고 전용 용량이나 관리형 추론으로 확장할 수 있습니다.
가장 큰 어려움은 가용성입니다. 예전에는 합리적인 가격의 단일 H100 또는 A100 머신을 찾기가 훨씬 쉬웠습니다. 최근에는 필요할 때 그 저렴한 옵션이 자주 없었습니다. 개별 H200을 찾을 때도 있지만, 사용 가능한 구성의 상당수는 4개 또는 8개 GPU 클러스터여서 제 일반적인 워크로드에는 너무 비싸고 과도한 경우가 많습니다.
적합한 용도: 저렴한 고급 GPU 컴퓨트, LLM 미세 조정, VS Code 사용자, 관리형 추론, 이후 예약 클러스터가 필요할 수 있는 팀.
엔터프라이즈 규모 AI 클라우드
이 제공업체들은 본격적인 AI 워크로드를 위한 곳입니다. 전용 GPU 클러스터, 고속 네트워킹, 확장 가능한 스토리지, 예약 용량, 몇 시간이 아니라 수개월 동안 안정적으로 운영할 수 있는 인프라를 말합니다.
7. Nebius
저는 Nebius를 좋아합니다. 주로 추론을 위해 Token Factory를 사용했는데, OpenAI 호환 API로 빠르고 신뢰할 수 있으며 매우 사용하기 쉽습니다. 기본 인프라를 직접 관리하지 않고도 60개가 넘는 오픈 모델에 접근할 수 있습니다.
최근에야 GPU 클라우드 측면을 살펴보기 시작했는데, 역시 인상적입니다. 개별 GPU 머신을 실행하거나 관리형 Kubernetes, 스토리지, 고속 네트워킹과 함께 장기 클러스터를 구축할 수 있습니다. 대규모 클러스터를 수개월간 예약하면 할인도 제공합니다.
이곳은 작은 실험만을 위한 플랫폼이 아닙니다. 이미 대기업이 본격적인 워크로드에 사용 중입니다. 예를 들어 Revolut는 Nebius에서 NVIDIA H100 200개 이상으로 학습과 추론을 수행하고, Recraft는 이 플랫폼으로 200억 매개변수 모델을 학습했습니다.
적합한 용도: 신뢰할 수 있는 추론, 장기 GPU 클러스터, 분산 학습, 관리형 Kubernetes, 프로덕션 규모 AI 워크로드.
8. Together AI
Together AI는 단순한 추론 API를 훨씬 뛰어넘습니다. 하나의 플랫폼에서 관리형 추론, 미세 조정, 전용 엔드포인트, 셀프 서비스 GPU 클러스터를 제공합니다. 여러 제공업체를 오갈 필요 없이 오픈 웨이트 모델을 학습·커스터마이즈·배포할 수 있습니다.
GPU 클러스터는 H100, H200, B200, GB200 같은 고급 하드웨어와 InfiniBand 네트워킹, 영구 스토리지, Kubernetes 및 Slurm 지원을 포함합니다. 클러스터는 온디맨드로 실행하거나 장기 워크로드용으로 예약할 수 있습니다.
빠른 실험을 위해 저렴한 GPU 한 대만 필요하다면 과한 선택일 수 있습니다. 하지만 대규모로 모델을 학습·미세 조정·서빙할 안정적 인프라가 필요한 기업에게는 매우 타당한 선택입니다.
적합한 용도: 엔터프라이즈 GPU 클러스터, 대규모 모델 학습, 관리형 미세 조정, 전용 추론, 프로덕션 AI 시스템 구축 기업.
개발자 우선·노트북 친화적 플랫폼
이 플랫폼은 클라우드 인프라 관리에 시간을 들이기보다 코드에 집중하고자 하는 개발자를 위해 만들어졌습니다. 친숙한 노트북과 VS Code 같은 도구를 제공하고, 백그라운드에서 GPU 프로비저닝을 상당 부분 처리합니다.
9. Modal
Modal은 일반적인 GPU 머신을 임대하는 방식과는 전혀 다릅니다. 파이썬 코드를 작성하고 필요한 GPU를 선택하면, Modal이 서버리스 컨테이너 안에서 코드를 실행합니다. 0에서 여러 GPU로 자동 확장할 수 있으며, 실제로 자원을 사용한 시간에 따라 과금됩니다.
추론 API 배포, 평가 파이프라인 실행, 모델 미세 조정, 갑자기 GPU가 더 많이 필요한 워크로드에 훌륭합니다. Modal은 또한 몇 초 안에 실행되는 GPU 노트북을 제공하며, 커스텀 환경을 지원하고 최대 8개의 A100 또는 H100 GPU를 사용할 수 있습니다.
한 가지 이해해야 할 점은 Modal이 다른 사고방식을 요구한다는 것입니다. 단순히 VM을 열어 원격 컴퓨터처럼 쓰는 것이 아닙니다. 파이썬으로 인프라를 정의해야 하며, 처음에는 낯설 수 있지만 익숙해지면 매우 강력해집니다.
적합한 용도: 서버리스 추론, 모델 평가, 자동화 파이프라인, 미세 조정, 자동으로 스케일 인·아웃이 필요한 워크로드.
10. Thunder Compute
Thunder Compute는 많은 데이터 과학자가 GPU 클라우드에서 원하던 것에 거의 가깝습니다. 머신을 실행하고 VS Code, Cursor, Windsurf, 커맨드 라인, 주피터 노트북으로 바로 연결합니다. JupyterLab이 이미 설치되어 있어 환경 설정에 몇 시간을 쓰지 않고 바로 실험을 시작할 수 있습니다.
특히 VS Code 확장 아이디어가 마음에 듭니다. 클라우드 대시보드, SSH 터미널, 로컬 에디터 사이를 계속 오갈 필요 없이, 에디터 안에서 바로 GPU 인스턴스를 원격 워크스페이스로 생성하고 열 수 있습니다. 마치 자신의 컴퓨터에서 작업하는 듯한 느낌에 가까우면서도 강력한 클라우드 GPU에 접근할 수 있습니다.
Thunder Compute는 프로토타이핑과 프로덕션 모드를 분리해 제공합니다. 간단한 머신으로 실험을 시작한 뒤, 나중에 영구 스토리지와 멀티 GPU를 지원하는 프로덕션 구성으로 전환할 수 있습니다.
적합한 용도: 주피터 기반 연구, VS Code 사용자, 모델 실험, 인터랙티브 데이터 사이언스 작업, Google Colab의 더 강력한 대안을 찾는 분.
적합한 GPU 제공업체를 고르는 방법
단 하나의 최고 GPU 제공업체는 없습니다. 정답은 GPU 가용성, 가격, 사용 편의성, 스토리지 비용, 그리고 노트북·VM·서버리스 추론·전체 GPU 클러스터 중 무엇이 필요한지에 달려 있습니다.
- 유연한 용량, 폭넓은 GPU 선택지, 경쟁력 있는 가격을 원한다면 Vast.ai, RunPod, Spheron, TensorDock을 선택하세요.
- 학습, 노트북, 자체 호스팅 추론을 위한 더 신뢰할 수 있는 클라우드 VM을 원한다면 Hyperbolic 또는 Hyperstack을 선택하세요.
- 전용 클러스터, 분산 학습, 예약 용량 또는 프로덕션 규모 인프라가 필요하다면 Nebius 또는 Together AI를 선택하세요.
- 사용 편의성이 가장 중요하다면 Modal 또는 Thunder Compute를 선택하세요. Modal은 서버리스 워크로드에, Thunder Compute는 익숙한 VS Code와 주피터 워크플로에 적합합니다.
마무리
저는 주로 Vast.ai, RunPod, Hyperbolic, Modal을 사용합니다. 사용이 쉽고 유연하며 비교적 저렴하기 때문입니다. Vast.ai는 가장 저렴한 머신을 찾을 때 보통 첫 선택입니다. RunPod는 가장 사용하기 쉬운 플랫폼이고, Hyperbolic은 GPU가 있을 때 빠르고 신뢰할 만하며, Modal은 서버리스 추론과 자동화된 워크로드에 뛰어납니다.
아주 작은 실험에는 여전히 Google Colab이나 로컬 주피터 노트북을 씁니다. 하지만 Colab은 한계가 있고 종종 느리며, 본격적인 LLM 미세 조정, 모델 서빙, 장시간 학습 작업에는 권하지 않습니다.
궁극적으로 최고의 플랫폼은 클라우드 인프라 엔지니어가 되지 않아도 빠르게 작업을 시작하게 해주는 곳입니다. 그래도 엔지니어가 되기를 원하시거나(혹은 백그라운드에서 무슨 일이 일어나는지 알고 싶다면) 저희의 Understanding Cloud Computing 과정을 추천합니다.