Tracks
AWS Cloud Practitioner (CLF-C02)
10 ชม.
นักวิทยาศาสตร์ข้อมูล วิศวกร ML และวิศวกร LLM มีความต่างกันพอสมควร แต่ส่วนใหญ่ต้องการสิ่งเดียวกันจากโครงสร้างพื้นฐาน: ให้น้อยที่สุดเท่าที่จะเป็นไปได้ เราไม่อยากเสียชั่วโมงไปกับการตั้งค่าสภาพแวดล้อมคลาวด์หรือไล่ดูบริการ AWS ที่ซับซ้อน แค่อยากคลิกไม่กี่ปุ่ม เปิดเทอร์มินัลหรือ Jupyter Notebook เลือกเทมเพลต แล้วเริ่มฝึก ปรับแต่ง หรือให้บริการโมเดลได้ทันที
ผู้ให้บริการในคู่มือนี้ถูกคัดเลือกด้วยแนวคิดดังกล่าว พวกเขามีแดชบอร์ดที่ใช้งานง่าย สภาพแวดล้อมที่ตั้งค่าพร้อมใช้งาน โน้ตบุ๊ก เทอร์มินัล เทมเพลตคอนเทนเนอร์ และคู่มือการตั้งค่าที่ชัดเจน หาก Jupyter ไม่ได้มีมาโดยค่าเริ่มต้น ส่วนใหญ่ก็สามารถติดตั้งได้ภายในไม่กี่นาที
อย่างไรก็ดี แต่ละเจ้าก็ไม่ได้ตอบโจทย์ผู้ใช้กลุ่มเดียวกันทั้งหมด บางเจ้าคือมาร์เก็ตเพลสที่เน้นราคาและทางเลือกฮาร์ดแวร์ ขณะที่บางเจ้ามอบ VM ที่คาดการณ์ได้ การประมวลผล GPU แบบเซิร์ฟเวอร์เลส บริการอนุมานแบบจัดการให้ หรือคลัสเตอร์ระดับองค์กรสำหรับการฝึกแบบกระจาย เราเปรียบเทียบทั้งสิบเจ้าในสี่หมวด: มาร์เก็ตเพลส GPU และเครือข่ายความจุยืดหยุ่น คลาวด์ GPU แบบบริการตนเอง คลาวด์ AI ระดับองค์กร และแพลตฟอร์มที่เป็นมิตรกับนักพัฒนาและโน้ตบุ๊ก
มาร์เก็ตเพลส GPU และเครือข่ายความจุยืดหยุ่น
มาร์เก็ตเพลส GPU ออกแบบมาเพื่อการเข้าถึงความจุ GPU แบบกระจายที่ยืดหยุ่น เหมาะสำหรับการทดลอง งานแบบแบตช์ การปรับแต่งระยะสั้น และกรณีที่ทางเลือกฮาร์ดแวร์กับต้นทุนสำคัญที่สุด
1. Vast.ai
Vast.ai คือแพลตฟอร์มที่ฉันใช้บ่อยที่สุดในการหา GPU ราคาคุ้มค่าสำหรับให้บริการโมเดลและปรับแต่ง LLM
มาร์เก็ตเพลสมีเครื่อง GPU ให้เลือกจำนวนมาก สามารถเปรียบเทียบตามฮาร์ดแวร์ VRAM ความน่าเชื่อถือ สถานที่ และราคา รายการแต่ละรายการแยกต้นทุนคอมพิวต์และสตอเรจอย่างชัดเจน จึงรู้ได้ว่าจ่ายค่าอะไรบ้าง
อินสแตนซ์รองรับ Jupyter Notebook เทอร์มินัลบนเบราว์เซอร์ SSH และการเชื่อมต่อ VS Code สำหรับการทดสอบอย่างรวดเร็ว ฉันมักใช้เงินแค่ไม่กี่เซนต์ก่อนปิดเครื่อง อย่างไรก็ตาม ความพร้อมใช้งานและความเสถียรของเครื่องอาจผันผวน เพราะฮาร์ดแวร์มาจากโฮสต์ต่างๆ ในมาร์เก็ตเพลส
เหมาะสำหรับ: การทดลองที่ประหยัด การให้บริการโมเดล การปรับแต่ง LoRA และการอนุมานแบบแบตช์
2. RunPod
RunPod เป็นแพลตฟอร์ม GPU ที่ฉันชื่นชอบ และฉันใช้เงินไปหลายร้อยดอลลาร์เพื่อปรับแต่งและอนุมาน LLM บนแพลตฟอร์มนี้
ใช้งานได้เร็วและง่ายกว่า Vast.ai แม้ว่าเครื่องดีๆ อาจแพงเมื่อรวมต้นทุนคอมพิวต์และสตอเรจ RunPod ใช้งานแทบจะได้ทันทีด้วยเทมเพลตพร้อมใช้ JupyterLab เว็บเทอร์มินัล SSH และการผสาน VS Code
ปัญหาเดียวช่วงหลังคือความพร้อมของ GPU เครื่องยอดนิยมมักไม่ว่าง ทำให้ต้องรอหรือเลือกตัวเลือกที่แพงกว่า แม้กระนั้น RunPod ก็ยังเป็นแพลตฟอร์มที่ยอดเยี่ยมสำหรับนักวิทยาศาสตร์ข้อมูลที่อยากฝึกหรือให้บริการโมเดลโดยไม่ต้องเรียนรู้โครงสร้างพื้นฐานคลาวด์ที่ซับซ้อน
ฉันใช้ RunPod ในบทความสอนล่าสุดสองชิ้นของเราได้แก่ การปรับแต่ง DiffusionGemma สำหรับถามตอบด้านชีวการแพทย์ และ การปรับแต่ง Gemma 4 ซึ่งทั้งสองงานรันตั้งแต่ต้นจนจบบน GPU pod ของ RunPod เพียงตัวเดียว
เหมาะสำหรับ: ผู้เริ่มต้น นักวิทยาศาสตร์ข้อมูล การปรับแต่ง LLM การให้บริการโมเดล และผู้ที่ต้องการสภาพแวดล้อม GPU ที่ใช้งานได้ทันที
3. Spheron Network
Spheron เป็นทางเลือกที่ดีสำหรับการเข้าถึง GPU ระดับสูงราคาคุ้มค่าโดยไม่ต้องยุ่งกับ AWS หรือสัญญาระยะยาว
มันรวบรวมความจุ GPU จากผู้ให้บริการดาต้าเซ็นเตอร์หลายเจ้ามาไว้ในแดชบอร์ดเดียว มีทั้งเครื่อง VM และเบียร์เมทัล เข้าถึง root ผ่าน SSH ได้ ราคาชัดเจน และคิดค่าบริการเป็นนาที
มีทุกอย่างตั้งแต่เครื่อง RTX 4090 และ A100 ไปจนถึง H100 H200 และ B200 สำหรับงานขนาดใหญ่ ยังสามารถดีพลอยคลัสเตอร์แบบหลาย GPU และหลายโหนด พร้อมเครือข่าย NVLink, InfiniBand หรือ RoCE แพลตฟอร์มนี้จะเน้นโครงสร้างพื้นฐานมากกว่า RunPod เล็กน้อย แต่ให้ความยืดหยุ่นอย่างมากสำหรับทีม LLM ที่ต้องการฝึกแบบกระจาย
เหมาะสำหรับ: GPU ระดับไฮเอนด์ราคาคุ้มค่า การฝึก LLM แบบหลาย GPU งานแบบกระจาย และทีมที่ต้องการเข้าถึงแบบ VM หรือเบียร์เมทัล
4. TensorDock
TensorDock เป็นมาร์เก็ตเพลส GPU ที่ราคาย่อมเยาสำหรับเปิดใช้เวอร์ชวลแมชชีนแบบสมบูรณ์
คุณเลือก GPU, CPU, RAM, สตอเรจ, ทำเล และระบบปฏิบัติการ แล้วจะได้เครื่องที่มีสิทธิ์ root มีฮาร์ดแวร์ให้เลือกกว้างตั้งแต่ GPU ระดับคอนซูเมอร์ราคาถูกไปจนถึงเครื่อง A100 และ H100 ที่ทรงพลัง
ไม่ได้พร้อมใช้เท่า RunPod โดยทั่วไปคุณจะเชื่อมต่อผ่าน SSH และตั้งค่าสภาพแวดล้อมเอง แม้ว่า Docker จะถูกรวมไว้ในเทมเพลต VM และสามารถตั้งค่า Jupyter ผ่านพอร์ตที่มีได้ วิธีนี้ให้การควบคุมมากขึ้น แต่ควรคุ้นเคยกับการติดตั้งและจัดการเครื่องมือของตนเอง
เหมาะสำหรับ: เวอร์ชวลแมชชีน GPU ราคาคุ้มค่า การฝึก PyTorch แบบคัสตอม และการดีพลอย vLLM หรือ TGI แบบจัดการเอง
คลาวด์ GPU สำหรับ AI แบบบริการตนเอง
แพลตฟอร์มเหล่านี้ไม่ใช่มาร์เก็ตเพลสแบบเปิดมากนัก แต่เหมือนการเช่าเครื่องคลาวด์จริงๆ มากกว่า คุณเลือก GPU เปิด VM เชื่อมต่อผ่าน SSH หรือ VS Code แล้วสร้างสภาพแวดล้อมของตนเองสำหรับการฝึก การปรับแต่ง หรือการให้บริการโมเดล
5. Hyperstack
Hyperstack ให้โครงสร้างพื้นฐาน GPU ที่คาดการณ์ได้ โดยไม่บังคับให้ใช้ AWS, Azure หรือสัญญาองค์กรที่ซับซ้อน
เลือกคอนฟิก GPU ภูมิภาค อิมเมจระบบปฏิบัติการ และคีย์ SSH จากนั้นเปิดเวอร์ชวลแมชชีนที่สมบูรณ์ภายในไม่กี่นาที มีทั้งความจุแบบออนดีมานด์ สปอต และสำรอง ลัดผ่านหลายภูมิภาคดาต้าเซ็นเตอร์
เป็นตัวเลือกที่ดีเมื่ออยากได้เครื่องที่เชื่อถือได้สำหรับงานฝึกยาวๆ หรือการอนุมานแบบจัดการเอง ต้องตั้งค่าสภาพแวดล้อมเองอยู่ดี แต่ประสบการณ์ใช้งานเรียบง่ายกว่าการสร้างทุกอย่างบนผู้ให้บริการไฮเปอร์สเกลแบบดั้งเดิมมาก
เหมาะสำหรับ: VM GPU ที่คาดการณ์ได้ งานฝึกที่รันยาว สภาพแวดล้อมแบบคัสตอม และการให้บริการโมเดลแบบจัดการเอง
6. Hyperbolic
ฉันใช้เงินหลายร้อยดอลลาร์กับ Hyperbolic และยังคงชอบใช้อยู่ สำหรับฉัน มันมักเป็นวิธีที่เร็วและถูกในการเข้าถึง GPU ระดับสูง เครื่องมีความเสถียร เปิดได้รวดเร็ว และเชื่อมต่อผ่าน VS Code ได้โดยตรง ทำให้ประสบการณ์ทั้งหมดรู้สึกเหมือนทำงานบนเครื่องตัวเอง
Hyperbolic มีอินสแตนซ์ GPU แบบออนดีมานด์ คลัสเตอร์แบบสำรอง โครงสร้างพื้นฐานคลาวด์ส่วนตัว และ API อนุมานที่ใช้งานร่วมกับ OpenAI ได้ ซึ่งหมายความว่าสามารถใช้สำหรับการทดลองปรับแต่งอย่างรวดเร็ว และต่อมาย้ายไปใช้ความจุแบบจองหรืออนุมานแบบจัดการได้โดยไม่ต้องเปลี่ยนแพลตฟอร์ม
ปัญหาใหญ่สุดคือความพร้อมใช้งาน เมื่อก่อนหาเครื่อง H100 หรือ A100 เดี่ยวๆ ราคาย่อมเยาได้ง่ายกว่านี้ ช่วงหลังตัวเลือกเหล่านั้นมักไม่ว่างในเวลาที่ต้องการ อาจพอหา H200 เดี่ยวได้ แต่คอนฟิกที่มีมักเป็นคลัสเตอร์ 4x หรือ 8x GPU ซึ่งแพงและทรงพลังเกินไปสำหรับงานทั่วไปของฉัน
เหมาะสำหรับ: คอมพิวต์ GPU ระดับไฮเอนด์ราคาประหยัด การปรับแต่ง LLM ผู้ใช้ VS Code อนุมานแบบจัดการ และทีมที่อาจต้องใช้คลัสเตอร์แบบสำรองในภายหลัง
คลาวด์ AI ระดับองค์กร
ผู้ให้บริการเหล่านี้เหมาะกับงาน AI ระดับจริงจัง เรากำลังพูดถึงคลัสเตอร์ GPU แบบเฉพาะ เครือข่ายความเร็วสูง สตอเรจที่ปรับขนาดได้ ความจุแบบสำรอง และโครงสร้างพื้นฐานที่รันได้อย่างเสถียรเป็นเดือน ไม่ใช่แค่ไม่กี่ชั่วโมง
7. Nebius
ฉันชอบ Nebius มาก ฉันใช้งาน Token Factory ของมันสำหรับอนุมานเป็นหลัก รวดเร็ว เชื่อถือได้ และใช้งานง่ายมากผ่าน API ที่เข้ากันได้กับ OpenAI ให้เข้าถึงโมเดลเปิดมากกว่า 60 ตัว โดยไม่ต้องจัดการโครงสร้างพื้นฐานเบื้องหลัง
เพิ่งเริ่มลองด้านคลาวด์ GPU ไม่นาน และก็น่าประทับใจไม่แพ้กัน สามารถเปิดเครื่อง GPU เดี่ยวหรือสร้างคลัสเตอร์ระยะยาวด้วย Kubernetes แบบจัดการ สตอเรจ และเครือข่ายความเร็วสูง Nebius ยังมีส่วนลดเมื่อจองคลัสเตอร์ขนาดใหญ่หลายเดือน
นี่ไม่ใช่แพลตฟอร์มสำหรับการทดลองเล็กๆ เท่านั้น บริษัทขนาดใหญ่ใช้งานสำหรับเวิร์กโหลดจริงจังแล้ว ตัวอย่างเช่น Revolut รันการฝึกและอนุมานบน NVIDIA H100 กว่า 200 ตัวบน Nebius ขณะที่ Recraft ฝึกโมเดล 20 พันล้านพารามิเตอร์โดยใช้แพลตฟอร์มนี้
เหมาะสำหรับ: อนุมานที่เชื่อถือได้ คลัสเตอร์ GPU ระยะยาว การฝึกแบบกระจาย Kubernetes แบบจัดการ และเวิร์กโหลด AI ระดับโปรดักชัน
8. Together AI
Together AI ไม่ได้เป็นเพียง API อนุมานเท่านั้น แต่มอบการอนุมานแบบจัดการ การปรับแต่ง เอ็นด์พอยท์เฉพาะ และคลัสเตอร์ GPU แบบบริการตนเองในแพลตฟอร์มเดียว คุณจึงฝึก ปรับแต่ง และดีพลอยโมเดลน้ำหนักเปิดได้โดยไม่ต้องย้ายผู้ให้บริการหลายเจ้า
คลัสเตอร์ GPU ของมันมีฮาร์ดแวร์ระดับสูงอย่าง H100, H200, B200 และ GB200 พร้อมเครือข่าย InfiniBand สตอเรจถาวร และรองรับ Kubernetes และ Slurm คลัสเตอร์สามารถเปิดใช้แบบออนดีมานด์หรือจองสำหรับงานที่ยาวกว่า
แพลตฟอร์มนี้อาจจะมากเกินความจำเป็นสำหรับผู้ที่ต้องการ GPU ราคาประหยัดเพียงตัวเดียวเพื่อทดลองอย่างรวดเร็ว แต่มีเหตุผลมากสำหรับบริษัทที่ต้องการโครงสร้างพื้นฐานที่เชื่อถือได้สำหรับการฝึก ปรับแต่ง และให้บริการโมเดลในสเกลใหญ่
เหมาะสำหรับ: คลัสเตอร์ GPU ระดับองค์กร การฝึกโมเดลขนาดใหญ่ การปรับแต่งแบบจัดการ อนุมานแบบเฉพาะ และบริษัทที่สร้างระบบ AI ระดับโปรดักชัน
แพลตฟอร์มที่เน้นนักพัฒนาและเป็นมิตรกับโน้ตบุ๊ก
แพลตฟอร์มเหล่านี้ถูกสร้างมาเพื่อให้นักพัฒนาโฟกัสกับโค้ด โดยไม่ต้องเสียเวลาหลายชั่วโมงกับการจัดการโครงสร้างพื้นฐานคลาวด์ มีเครื่องมือคุ้นเคยอย่างโน้ตบุ๊กและ VS Code ขณะที่การจัดสรร GPU จำนวนมากถูกจัดการเบื้องหลัง
9. Modal
Modal แตกต่างจากการเช่าเครื่อง GPU ปกติอย่างสิ้นเชิง เขียนโค้ด Python เลือก GPU ที่ต้องการ แล้ว Modal จะรันโค้ดนั้นในคอนเทนเนอร์แบบเซิร์ฟเวอร์เลส สามารถสเกลจากศูนย์ขึ้นไปหลาย GPU ได้อัตโนมัติ และคิดค่าบริการตามเวลาที่โค้ดใช้ทรัพยากรจริง
ยอดเยี่ยมสำหรับการดีพลอย API อนุมาน รันไปป์ไลน์ประเมินผล ปรับแต่งโมเดล และรองรับเวิร์กโหลดที่ต้องใช้ GPU เพิ่มขึ้นกะทันหัน Modal ยังมีโน้ตบุ๊ก GPU ที่เปิดภายในไม่กี่วินาที รองรับสภาพแวดล้อมแบบคัสตอม และใช้ได้สูงสุดแปด GPU รุ่น A100 หรือ H100
สิ่งเดียวที่ต้องทำความเข้าใจคือ Modal ต้องใช้วิธีคิดที่ต่างออกไป คุณไม่ได้แค่เปิด VM แล้วใช้เหมือนคอมพิวเตอร์ระยะไกล แต่กำหนดโครงสร้างพื้นฐานด้วย Python ซึ่งอาจรู้สึกแปลกในตอนแรก แต่จะทรงพลังมากเมื่อเข้าใจ
เหมาะสำหรับ: อนุมานแบบเซิร์ฟเวอร์เลส การประเมินโมเดล ไปป์ไลน์อัตโนมัติ การปรับแต่ง และเวิร์กโหลดที่ต้องสเกลขึ้นลงอัตโนมัติ
10. Thunder Compute
Thunder Compute แทบจะตรงกับสิ่งที่นักวิทยาศาสตร์ข้อมูลจำนวนมากต้องการจากคลาวด์ GPU เปิดเครื่องแล้วเชื่อมต่อได้โดยตรงผ่าน VS Code Cursor Windsurf คำสั่งบรรทัด หรือ Jupyter Notebook มี JupyterLab ติดตั้งมาแล้ว จึงเริ่มทดลองได้โดยไม่ต้องเสียเวลาหลายชั่วโมงกับการตั้งค่าสภาพแวดล้อม
ส่วนที่ฉันชอบเป็นพิเศษคือแนวคิดส่วนขยาย VS Code แทนที่จะต้องสลับไปมาระหว่างแดชบอร์ดคลาวด์ เทอร์มินัล SSH และเอดิเตอร์บนเครื่อง สามารถสร้างและเปิดอินสแตนซ์ GPU เป็นเวิร์กสเปซระยะไกลได้โดยตรงในเอดิเตอร์ รู้สึกคล้ายทำงานบนคอมพิวเตอร์ของตัวเองมาก เพียงแต่เข้าถึง GPU บนคลาวด์ที่ทรงพลังได้
Thunder Compute มีโหมดแยกระหว่างการสร้างต้นแบบและโปรดักชัน เริ่มจากเครื่องง่ายๆ เพื่อทดลอง แล้วค่อยย้ายไปคอนฟิกโปรดักชันที่มีสตอเรจถาวรและรองรับหลาย GPU ได้ภายหลัง
เหมาะสำหรับ: งานวิจัยที่ใช้ Jupyter ผู้ใช้ VS Code การทดลองโมเดล งานข้อมูลเชิงโต้ตอบ และผู้ที่มองหาทางเลือกที่ทรงพลังยิ่งกว่า Google Colab
วิธีเลือกผู้ให้บริการ GPU ที่เหมาะสม
ไม่มีผู้ให้บริการ GPU รายใดดีที่สุดเพียงรายเดียว การเลือกที่เหมาะสมขึ้นอยู่กับความพร้อมของ GPU ราคา ความง่ายในการใช้งาน ต้นทุนสตอเรจ และว่าต้องการโน้ตบุ๊ก VM อนุมานแบบเซิร์ฟเวอร์เลส หรือคลัสเตอร์ GPU แบบเต็มรูปแบบ:
- เลือก Vast.ai, RunPod, Spheron หรือ TensorDock เมื่ออยากได้ความจุที่ยืดหยุ่น ตัวเลือก GPU กว้าง และราคาที่แข่งขันได้
- เลือก Hyperbolic หรือ Hyperstack เมื่ออยากได้ VM คลาวด์ที่เชื่อถือได้มากขึ้นสำหรับการฝึก โน้ตบุ๊ก หรืออนุมานแบบโฮสต์เอง
- เลือก Nebius หรือ Together AI เมื่อจำเป็นต้องมีคลัสเตอร์เฉพาะ การฝึกแบบกระจาย ความจุสำรอง หรือโครงสร้างพื้นฐานระดับโปรดักชัน
- เลือก Modal หรือ Thunder Compute เมื่อความง่ายในการใช้งานสำคัญที่สุด Modal เหมาะกับเวิร์กโหลดแบบเซิร์ฟเวอร์เลส ขณะที่ Thunder Compute เหมาะกับเวิร์กโฟลว์ VS Code และ Jupyter ที่คุ้นเคย
ข้อคิดทิ้งท้าย
ฉันใช้ Vast.ai, RunPod, Hyperbolic และ Modal เป็นหลัก เพราะใช้ง่าย ยืดหยุ่น และค่อนข้างคุ้มค่า Vast.ai มักเป็นตัวเลือกแรกเมื่อมองหาเครื่องที่ถูกที่สุด RunPod ใช้ง่ายที่สุด Hyperbolic เร็วและเชื่อถือได้เมื่อหา GPU ได้ และ Modal เหมาะมากสำหรับอนุมานแบบเซิร์ฟเวอร์เลสและเวิร์กโหลดอัตโนมัติ
สำหรับการทดลองเล็กจิ๋ว ฉันยังใช้ Google Colab หรือ Jupyter Notebook บนเครื่อง แต่ Colab มีข้อจำกัด มักช้า และไม่ใช่สิ่งที่จะแนะนำสำหรับการปรับแต่ง LLM อย่างจริงจัง การให้บริการโมเดล หรือการฝึกงานที่รันยาว
ท้ายที่สุด แพลตฟอร์มที่ดีที่สุดคือแพลตฟอร์มที่ให้เริ่มลงมือทำได้เร็ว โดยไม่บังคับให้กลายเป็นวิศวกรโครงสร้างพื้นฐานคลาวด์ หากต้องการเรียนรู้อยู่ดี (หรืออยากรู้ว่าเบื้องหลังเกิดอะไรขึ้น) ขอแนะนำให้เริ่มจากคอร์ส Understanding Cloud Computing ของเรา