KTransformers๋ ์คํ ์์ค ์ถ๋ก ํ๋ ์์ํฌ๋ก, ์ถ๋ก ์ค์ CPU์ GPU๊ฐ ์๋ก ๋ค๋ฅธ ์ ๋ฌธ๊ฐ(expert)๋ฅผ ์ ๊ทน์ ์ผ๋ก ์คํํ ์ ์๊ฒ ํด MoE(Mixture-of-Experts) ๋ชจ๋ธ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ณด๋ค ํจ์ฌ ํฐ ๊ท๋ชจ๋ก๋ ์คํํ ์ ์์ต๋๋ค. vLLM ๊ฐ์ ํ๋ ์์ํฌ๋ ๊ฐ์ค์น๋ฅผ CPU ๋ฉ๋ชจ๋ฆฌ๋ก ์คํ๋ก๋ฉํ ์ ์์ง๋ง, KTransformers๋ MoE ๋ชจ๋ธ์ ํฌ์ ๊ตฌ์กฐ์ ๋ง์ถฐ ํน๋ณํ ์ค๊ณ๋์์ต๋๋ค.
์ด ํํ ๋ฆฌ์ผ์์๋ KTransformers์ SGLang์ ์ฌ์ฉํด 192 GB์ VRAM์๋ ๋ค์ด๊ฐ์ง ์๋ 320B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ธ GLM-5.3-Flash๋ฅผ ์คํํฉ๋๋ค. CPU์ GPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํ๊ณ , ์ ๋ฌธ๊ฐ ๋ฐฐ์น๋ฅผ ์คํํ๋ฉฐ, OpenAI ํธํ API๋ฅผ ํ
์คํธํ ๋ค, ๋ชจ๋ธ์ Pi์ ์ฐ๊ฒฐํด ๋ก์ปฌ ์ฝ๋ฉ ์์ด์ ํธ๋ก ํ์ฉํด ๋ณด๊ฒ ์ต๋๋ค.
ํต์ฌ ์์ด๋์ด๋ ๋จ์ํฉ๋๋ค. CPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋จ์ํ ์ค๋ฒํ๋ก ์คํ ๋ฆฌ์ง๋ก ์ทจ๊ธํ๋ ๋์ , KTransformers๋ ์ถ๋ก ์ค CPU ์ฐ์ฐ๊ณผ GPU ์ฐ์ฐ์ ํจ๊ป ํ์ฉํฉ๋๋ค.
์์ฝ
- KTransformers๋ ๋ํ MoE ๋ชจ๋ธ์ GPU VRAM๊ณผ ์์คํ
RAM ์ ๋ฐ์ ๊ฑธ์ณ ์คํํ๋ฉฐ, RAM์ ์์ฃผํ๋ ์ ๋ฌธ๊ฐ๋ CPU๊ฐ ์ฐ์ฐํฉ๋๋ค.
- GLM-5.3-Flash์ ๊ธฐ๋ณธ FP8 ๊ฐ์ค์น๋ ์ฝ 306 GiB๋ฅผ ์ฐจ์งํ๋ฏ๋ก, ๊ณต์ ๊ฐ์ด๋๋ ์ต์ 350 GB์ ์ฌ์ฉ ๊ฐ๋ฅํ ์์คํ
๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ถ์ฅํฉ๋๋ค.
- ์ฐ๋ฆฌ๋ RTX PRO 6000 GPU 2๊ฐ(์ด 192 GB VRAM)์์ 32K ์ปจํ
์คํธ ์๋์ฐ๋ก ์ ์ฒด ๋ชจ๋ธ์ ์คํํด ์ด๋น ์ฝ 11 ํ ํฐ์ ์๋๋ฅผ ์ป์์ต๋๋ค.
- ์๋ฒ๋ OpenAI ํธํ API๋ฅผ ์ ๊ณตํ๋ฏ๋ก, Pi ๊ฐ์ ์ฝ๋ฉ ์์ด์ ํธ๊ฐ ๋ชจ๋ธ์ ์ง์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
KTransformers๋ ์คํ ์์ค ์ถ๋ก ํ๋ ์์ํฌ๋ก, GPU VRAM๊ณผ CPU RAM์ ์กฐํฉํด ์ด๋ํ ์ธ์ด ๋ชจ๋ธ์ ์คํํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ๋ํ ๋ชจ๋ธ์ ์๋นํ๋ ค๋ฉด ๋๋ถ๋ถ์ ๊ฐ์ค์น๋ฅผ GPU ๋ฉ๋ชจ๋ฆฌ์ ์ ์ฌํด์ผ ํ๋ฉฐ, GLM-5.3-Flash ๊ฐ์ ๋ชจ๋ธ ๊ท๋ชจ์์๋ ๊ธ์ธ ๋น์ฉ์ด ์ปค์ง๋๋ค.
KTransformers๋ ๋ค๋ฅธ ์ ๊ทผ์ ์ทจํฉ๋๋ค. ๋ค์์ MoE ์ ๋ฌธ๊ฐ ๊ฐ์ค์น๋ฅผ ์์คํ
๋ฉ๋ชจ๋ฆฌ์ ์ ์งํ๊ณ , GPU ๊ฐ์์ ์ด์ ์ ๊ฐ์ฅ ํฌ๊ฒ ๋ฐ๋ ์ถ๋ก ๊ฒฝ๋ก์ GPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ ๋นํฉ๋๋ค.
์ด ๋ฐฉ์์ ๋ชจ๋ ํ ํฐ์์ ๋ชจ๋ ์ ๋ฌธ๊ฐ๊ฐ ์ฌ์ฉ๋์ง ์๋ MoE ๋ชจ๋ธ์ ํนํ ์ ๋ง์ต๋๋ค. ์๋ฅผ ๋ค์ด GLM-5.3-Flash์๋ 288๊ฐ์ ๋ผ์ฐํ
์ ๋ฌธ๊ฐ๊ฐ ์์ง๋ง, ๋ผ์ฐํฐ๋ ํ ํฐ๋ง๋ค 8๊ฐ(๊ณต์ ์ ๋ฌธ๊ฐ 1๊ฐ ํฌํจ)๋ฅผ ์ ํํฉ๋๋ค. ๋ฐ๋ผ์ KTransformers๋ ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ CPU์ GPU์ ๋ถ์ฐํ ์ ์์ต๋๋ค.

KT-Kernel๊ณผ SGLang์ ํ์
๋ฐฉ์
ํ์ฌ KTransformers ์คํ์ ์ด์ข
CPU-GPU ์ถ๋ก ์ ์ํด KT-Kernel๊ณผ SGLang์ ํตํฉํฉ๋๋ค. ๊ฐ ๊ตฌ์ฑ ์์๋ ์ญํ ์ด ๋ค๋ฆ
๋๋ค.
- SGLang์ ์๋น ๋ฐํ์์ ์ ๊ณตํฉ๋๋ค. API ์์ฒญ, ๋ฐฐ์นญ, ์์ฒญ ์ค์ผ์ค๋ง, KV ์บ์ ๊ด๋ฆฌ, GPU ๋ณ๋ ฌํ๋ฅผ ๋ด๋นํฉ๋๋ค.
- KT-Kernel์ ํ์ค MoE ์คํ ๊ฒฝ๋ก๋ฅผ CPU-GPU ์ธ์งํ ์ ๋ฌธ๊ฐ ์คํ์ผ๋ก ๋์ฒดํฉ๋๋ค. ์ ํ๋ ์ ๋ฌธ๊ฐ๋ GPU์์ ์คํ๋๊ณ , ๋๋จธ์ง๋ CPU ๋ฉ๋ชจ๋ฆฌ์ ์์ฃผํ๋ฉฐ CPU์์ ์ฐ์ฐํฉ๋๋ค.
KTransformers๋ ๋ํ ์ํฌ๋ก๋ ํจํด์ ๋ฐ๋ผ ์ ๋ฌธ๊ฐ ๋ฐฐ์น๋ฅผ ๋ณ๊ฒฝํ๋ ๊ธฐ๋ฅ์ ์ง์ํ๋ฉฐ, ์ด๋ ์ ๋ฌธ๊ฐ ์ค์ผ์ค๋ง ํํ ๋ฆฌ์ผ์ ์ค๋ช
๋์ด ์์ต๋๋ค.
์ฆ, KTransformers๋ ์ ์ฒด ๋ชจ๋ธ์ด GPU VRAM์ ๋ค์ด๊ฐ์ผ ํ๋ค๊ณ ์๊ตฌํ๋ ๋์ , CPU ๋ฉ๋ชจ๋ฆฌ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ๋์ ์ถ๋ก ์์คํ
์ผ๋ก ์ทจ๊ธํฉ๋๋ค. ์ด๊ฒ์ด ๋งค์ฐ ํฐ MoE ๋ชจ๋ธ์ ๋ณดํต ํ์๋ก ํ๋ GPU ๋ฉ๋ชจ๋ฆฌ๋ณด๋ค ํจ์ฌ ์ ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ก๋ ์คํํ ์ ์๊ฒ ํด์ค๋๋ค.
GLM-5.3-Flash๋ ๋ฌด์์ธ๊ฐ์?
GLM-5.3-Flash๋ Z.ai๊ฐ 2026๋
8์ MIT ๋ผ์ด์ ์ค๋ก ๊ณต๊ฐํ ์คํ ์จ์ดํธ, ๋ค์ดํฐ๋ธ ๋ฉํฐ๋ชจ๋ฌ MoE ๋ชจ๋ธ์
๋๋ค. ์ด๋ฆ์ "Flash"๊ฐ ๋ค์ด๊ฐ์ง๋ง ๊ท๋ชจ๋ ํฝ๋๋ค. ์ด 320B ํ๋ผ๋ฏธํฐ์ด๋ฉฐ, ํ ํฐ๋น ํ์ฑ ํ๋ผ๋ฏธํฐ๋ ์ฝ 18B์
๋๋ค.
๋ก์ปฌ ์ถ๋ก ์ ์ค์ํ ์ฌ์์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ์ ๋ฌธ๊ฐ: ํ-8 ๋ผ์ฐํ
์ ์ฌ์ฉํ๋ 288๊ฐ์ ๋ผ์ฐํ
์ ๋ฌธ๊ฐ + ๊ณต์ ์ ๋ฌธ๊ฐ 1๊ฐ
- ๊ฐ์ค์น: ๊ณต์ FP8 ์ฒดํฌํฌ์ธํธ(
zai-org/GLM-5.3-Flash) ๊ธฐ์ค ์ฝ 306 GiB
- ์ปจํ
์คํธ ์๋์ฐ: ์ต๋ 1M ํ ํฐ
- ์
๋ ฅ: ํ
์คํธ, ์ด๋ฏธ์ง, ๋น๋์ค ์ง์, ์ถ๋ก ๊ณผ ๋๊ตฌ ํธ์ถ ์ง์
KTransformers๋ ๊ณต์ FP8 ๊ฐ์ค์น๋ฅผ ์ง์ ์ฝ์ผ๋ฏ๋ก ๋ณํ์ด๋ ์ถ๊ฐ ์์ํ ๋จ๊ณ๊ฐ ํ์ ์์ต๋๋ค. ๋ฒค์น๋งํฌ์ ์ ์ฒด ๋ชจ๋ธ ๊ฐ์๋ GLM-5.3-Flash ๊ฐ์ด๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
GLM-5.3-Flash ํ๋์จ์ด ์๊ตฌ ์ฌํญ
GLM-5.3-Flash์ ๊ฒฝ์ฐ ํ๋์จ์ด๋ ์ฃผ๋ก ์์คํ
RAM ์ฉ๋์ด ๊ด๊ฑด์
๋๋ค. ๊ณต์ KTransformers GLM-5.3-Flash ํํ ๋ฆฌ์ผ์ ์ต์ 350 GB์ ์ฌ์ฉ ๊ฐ๋ฅํ ์์คํ
๋ฉ๋ชจ๋ฆฌ ํ๋ณด๋ฅผ ๊ถ์ฅํฉ๋๋ค.
๊ถ์ฅ ๊ตฌ์ฑ: RTX PRO 6000 2๊ฐ
์ด ํํ ๋ฆฌ์ผ์์๋ ๋๋ต ๋ค์๊ณผ ๊ฐ์ ์ฌ์์ RunPod ์ธ์คํด์ค๋ฅผ ์ฌ์ฉํฉ๋๋ค.
GPU: 2ร RTX PRO 6000
VRAM: 96 GB each
Total VRAM: 192 GB
System RAM: 350 GB+
Storage: 500 GB+
Python: 3.11์ ๊ณต

GLM-5.3-Flash์ ๊ณต์ FP8 ์ฒดํฌํฌ์ธํธ๋ ์ฝ 306 GiB(์ฝ 329 GB)์ด๊ณ , ์ฐ๋ฆฌ์ ๋ GPU๋ ์ด 192 GB์ VRAM์ ์ ๊ณตํฉ๋๋ค. ๋ฐ๋ผ์ ์ ์ฒด ๋ชจ๋ธ์ GPU ๋ฉ๋ชจ๋ฆฌ์ ๋จ์ ์ ์ฌํ๋ ๊ฒ์ ๋ถ๊ฐ๋ฅํฉ๋๋ค.
๋์ KTransformers๋ MoE ๊ฐ์ค์น์ ์๋น ๋ถ๋ถ์ ์์คํ
RAM์ ์ ์งํ๊ณ , ๊ฐ์ฅ ์ ์ฉํ ์ฐ์ฐ์ GPU๋ก ์ด๋ํฉ๋๋ค. 350 GB ๊ถ์ฅ์ ๋ชจ๋ธ ๊ฐ์ค์น์ ๋ฐํ์ ์ค๋ฒํค๋๋ฅผ ๊ฐ์ํ ์ฌ์ ๋ฅผ ์ ๊ณตํฉ๋๋ค.
GPU ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ง๋ค๊ณ ํด์ ์ด ๊ตฌ์ฑ์์ RAM ํ์์ฑ์ด ์ฌ๋ผ์ง์ง๋ ์์ต๋๋ค. CPU ๋ฉ๋ชจ๋ฆฌ๋ KTransformers์ ์ด์ข
์ถ๋ก ์ค๊ณ์์ ์๋๋ ์์์
๋๋ค. ์ ๋ฌธ๊ฐ ๊ฐ์ค์น๋ RAM์ ๋จ๊ณ , GPU๋ ๊ฐ์์ ์ด์ ์ ๊ฐ์ฅ ํฌ๊ฒ ๋ฐ๋ ๋ชจ๋ธ ๋ถ๋ถ์ ์ฒ๋ฆฌํฉ๋๋ค.
ํ์ฌ GLM-5.3-Flash ๊ตฌํ์๋ ๋ค์๊ณผ ๊ฐ์ CPU ๋ฐ GPU ์๊ตฌ ์ฌํญ๋ ์์ต๋๋ค.
- GPU: NVIDIA SM89 ๋๋ SM120 ์ํคํ
์ฒ(RTX 40 ์๋ฆฌ์ฆ, RTX 50 ์๋ฆฌ์ฆ, RTX PRO 6000 ๊ฐ์ Blackwell ์ํฌ์คํ
์ด์
์นด๋ ํฌํจ)
- CPU: AVX-512 ์ง์(FP8 CPU ์ ๋ฌธ๊ฐ ์ปค๋์ด ์ด์ ์์กด)
๋จ์ผ GPU๋ก GLM-5.3-Flash๋ฅผ ์คํํ ์ ์๋์?
๊ฐ๋ฅํฉ๋๋ค. ์ถฉ๋ถํ ์์คํ
RAM๊ณผ ์ง์๋๋ CPU๊ฐ ์๋ค๋ฉด ๋ฉ๋๋ค. ๊ณต์ ํํ ๋ฆฌ์ผ์๋ --kt-num-gpu-experts 0์ ์ค์ ํ๋ ๋จ์ผ GPU ๊ตฌ์ฑ์ด ํฌํจ๋์ด ์์ด, MoE ์ ๋ฌธ๊ฐ๋ CPU ์ธก์์ ์ฒ๋ฆฌ๋ฉ๋๋ค.
์ฌ๊ธฐ์๋ RTX PRO 6000 GPU 2๊ฐ๋ฅผ ์ฌ์ฉํ์ง๋ง, ์ด๋ ์๊ฒฉํ ์ต์ ์๊ตฌ ์ฌํญ์ด ์๋๋๋ค. ๋ ๋ฒ์งธ GPU๋ VRAM๊ณผ ์ฌ์ ๊ณต๊ฐ์ ๋ํด, ๊ฐ๋ฅํ ์ต์ ํ๋์จ์ด์ ๋ง์ถฐ ์ธํ
์ ๊ทนํ๊น์ง ์กฐ์ ํ๊ธฐ๋ณด๋ค ๋น๊ต์ ์ ๊ตฌํ์ธ KTransformers๋ฅผ ์คํํ ๋ ์์ ์ ์ผ๋ก ํ
์คํธํ๊ธฐ ์ํจ์
๋๋ค.
๊นจ๋ํ Python 3.11 ํ๊ฒฝ์ ๋ง๋ค๊ณ SGLang ์ง์๊ณผ ํจ๊ป KTransformers๋ฅผ ์ค์นํฉ๋๋ค.
python3.11 -m venv /workspace/kt
source /workspace/kt/bin/activate
pip install --upgrade pip
pip install "ktransformers[sglang]"์ ๊ณต
KTransformers, KT-Kernel, SGLang, CUDA๊ฐ ์ฌ๋ฐ๋ฅด๊ฒ ๊ฐ์ง๋๋์ง ํ์ธํฉ๋๋ค.
kt version์ ๊ณต
๋ค์๊ณผ ์ ์ฌํ ์ถ๋ ฅ์ด ํ์๋ฉ๋๋ค.
KTransformers CLI v0.7.0.post4
Python 3.11.13
Platform Linux 6.8.0-136-generic
CUDA 13.0
Packages:
kt-kernel 0.7.0.post4
sglang-kt 0.7.0.post4์ ๊ณต
์ด๋ KTransformers ๋ฐํ์๊ณผ SGLang ๋ฐฑ์๋๊ฐ ์ค์น๋์ด ์ฌ์ฉํ ์ค๋น๊ฐ ๋์์์ ์๋ฏธํฉ๋๋ค.
2๋จ๊ณ: Hugging Face์์ GLM-5.3-Flash ๋ค์ด๋ก๋
์๋ฒ๋ฅผ ์์ํ๊ธฐ ์ ์ Hugging Face์์ ๊ณต์ GLM-5.3-Flash ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ค์ด๋ก๋ํฉ๋๋ค.
hf download zai-org/GLM-5.3-Flash \
--local-dir /workspace/GLM-5.3-Flash์ ๊ณต

์ฒดํฌํฌ์ธํธ๋ ์ฝ 306 GiB์ด๋ฏ๋ก, ๋์ญํญ์ ๋ฐ๋ผ ๋ค์ด๋ก๋์ ์๊ฐ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค.
๊ทธ๋ค์ KTransformers์ ๋ก์ปฌ ๋ชจ๋ธ ๊ฒฝ๋ก๋ฅผ ์ง์ ํฉ๋๋ค.
export MODEL_PATH=/workspace/GLM-5.3-Flash์ ๊ณต
3๋จ๊ณ: SGLang์ผ๋ก GLM-5.3-Flash ์๋ฒ ์คํ
์ด์ RTX PRO 6000 ๋ ๊ฐ๋ฅผ ๋ชจ๋ ์ฌ์ฉํ๋ 2-way ํ
์ ๋ณ๋ ฌ๋ก GLM-5.3-Flash๋ฅผ ์คํํฉ๋๋ค. ๋ชจ๋ธ์ ์ต๋ 1M ํ ํฐ์ ์ปจํ
์คํธ๋ฅผ ์ง์ํ๋ฉฐ, ๊ณต์ ์์๋ ๊ฒ์ฆ๋ 501,025 ํ ํฐ ๊ตฌ์ฑ์ ์ฌ์ฉํฉ๋๋ค. ์ฌ๊ธฐ์๋ ํ
์คํธ ๋์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์์ธก ๊ฐ๋ฅํ๊ฒ ์ ์งํ๊ธฐ ์ํด 32K ์ปจํ
์คํธ ์๋์ฐ๋ก ์์ํฉ๋๋ค.
CUDA_VISIBLE_DEVICES=0,1 \
python -m sglang.launch_server \
--model-path "$MODEL_PATH" \
--kt-weight-path "$MODEL_PATH" \
--served-model-name GLM-5.3-flash \
--host 0.0.0.0 \
--port 30000 \
--tp-size 2 \
--context-length 32768 \
--max-total-tokens 32768 \
--mem-fraction-static 0.85 \
--chunked-prefill-size 2048 \
--kt-method FP8 \
--kt-cpuinfer 64 \
--kt-threadpool-count 2 \
--kt-num-gpu-experts 14 \
--kt-gpu-prefill-token-threshold 2048 \
--kt-expert-placement-strategy uniform \
--cuda-graph-bs 1 2 4 \
--enable-p2p-check \
--tool-call-parser glm47 \
--reasoning-parser glm45์ ๊ณต

์ด ๊ตฌ์ฑ์ ํฌํธ 30000์์ OpenAI ํธํ SGLang ์๋ฒ๋ฅผ ํตํด ๋ชจ๋ธ์ ๋
ธ์ถํฉ๋๋ค. ๋ GPU๋ --tp-size 2๋ก ์ฌ์ฉ๋๋ฉฐ, KTransformers๋ MoE ์ํฌ๋ก๋์ ์ผ๋ถ๋ฅผ CPU์ ์ ์งํ๊ณ ์ ํํ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํฉ๋๋ค.
์ฌ๊ธฐ ์ค์ ์ ์ฒซ ์คํ์ ๋ง์ถฐ ์๋์ ์ผ๋ก ๋ณด์์ ์
๋๋ค. 32K ์ปจํ
์คํธ, 85% ์ ์ GPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ, GPU ์ ๋ฌธ๊ฐ 14๋ช
, CPU ์ถ๋ก ์ค๋ ๋ 64๊ฐ์
๋๋ค. ์๋ฒ๊ฐ ์์ ํ๋๋ฉด ์ฒ๋ฆฌ๋ ํฅ์์ ์ํด ๋ ํฐ ์ปจํ
์คํธ ์๋์ฐ, ๋ ๋ง์ GPU ์ ๋ฌธ๊ฐ, ๋ค๋ฅธ ๋ฉ๋ชจ๋ฆฌ ์ค์ ์ ์คํํด ๋ณผ ์ ์์ต๋๋ค.
์ ํ๋๊ทธ ๋๋ถ๋ถ์ ํ์ค SGLang ์ต์
์
๋๋ค. ๋ค์์ KTransformers๊ฐ CPU์ GPU ๊ฐ์ ์์
์ ๋ถํ ํ๋ ๋ฐฉ์์ ์ ์ดํ๋ ํญ๋ชฉ์
๋๋ค.
| Flag | Value | ๊ธฐ๋ฅ |
|---|
--kt-method | FP8 | ์ ๋ฌธ๊ฐ ๊ฐ์ค์น์ ์ ๋ฐ๋๋ฅผ ์ค์ ํ๋ฉฐ, GLM-5.3-Flash์ ๋ค์ดํฐ๋ธ FP8 ์ฒดํฌํฌ์ธํธ์ ์ผ์นํฉ๋๋ค. |
--kt-cpuinfer | 64 | ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ ์ฌ์ฉํ CPU ์ค๋ ๋ ์์
๋๋ค. |
--kt-threadpool-count | 2 | CPU ์ค๋ ๋ ํ ์๋ก, ์ผ๋ฐ์ ์ผ๋ก NUMA ๋
ธ๋ ์์ ๋ง์ถฅ๋๋ค. |
--kt-num-gpu-experts | 14 | MoE ๋ ์ด์ด๋น GPU์ ๋ฐฐ์นํ ์ ๋ฌธ๊ฐ ์์
๋๋ค. |
--kt-expert-placement-strategy | uniform | GPU ์ ๋ฌธ๊ฐ๋ฅผ ์ ํํ๋ ๋ฐฉ์์
๋๋ค. ๋ค๋ฅธ ์ต์
์ผ๋ก๋ frequency, front-loading, random์ด ์์ต๋๋ค. |
--kt-gpu-prefill-token-threshold | 2048 | ํ๋กฌํํธ ๊ธธ์ด๊ฐ ์ด ๊ฐ์ ๋์ผ๋ฉด ํ๋ฆฌํ์ด GPU ์ธก ๋ ์ด์ด์์ด์ฆ ๊ฒฝ๋ก๋ก ์ ํ๋ฉ๋๋ค. |
4๋จ๊ณ: CPU-GPU ์คํ๋ก๋ฉ๊ณผ ์ ๋ฌธ๊ฐ ๋ฐฐ์น ํ
์คํธ
์๋ฒ๊ฐ ์คํ ์ค์ด๋ฏ๋ก ์ด์ KTransformers๊ฐ GPU VRAM๊ณผ ์์คํ
RAM์ ์ด๋ป๊ฒ ์ฌ์ฉํ๋์ง ํ์ธํ ๋ค, GPU ์์ฃผ ์ ๋ฌธ๊ฐ ์๋ฅผ ๋ณ๊ฒฝํด ์์ ์ฌ์ฉ๋๊ณผ ์ฑ๋ฅ ๋ณํ๋ฅผ ์ดํด๋ด
๋๋ค.
RunPod์์ free -h๋ ์ปจํ
์ด๋๊ฐ ํ๋์ ํ ๋น๋ ๋ฉ๋ชจ๋ฆฌ๊ฐ ์๋๋ผ ํธ์คํธ ๋จธ์ ์ ์ ์ฒด RAM์ ๋ณผ ์ ์์ด ์คํด์ ์์ง๊ฐ ์์ต๋๋ค. GPU ๋ฉ๋ชจ๋ฆฌ์ ์ปจํ
์ด๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋ณ๋๋ก ๋ชจ๋ํฐ๋งํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
GPU VRAM ์ฌ์ฉ๋ ๋ชจ๋ํฐ๋ง
์ ํฐ๋ฏธ๋์ ์ด๊ณ GPU ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํฉ๋๋ค.
watch -n 1 nvidia-smi์ ๊ณต

ํ์ฌ ๊ตฌ์ฑ์์๋ ๋ชจ๋ธ์ด ์์ ํ ์ ์ฌ๋์ด๋ GPU๋น ์ฝ 48 GB๋ง ์ฌ์ฉ๋์ด, ๋ง์ VRAM์ด ๋จ์ต๋๋ค. ์ด๋ ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํ๊ฑฐ๋ ์ถฉ๋ถํ ์์คํ
RAM์ด ์๋ค๋ฉด ๋จ์ผ GPU ๊ตฌ์ฑ๋ ์ํํด ๋ณผ ์ฌ์ง๊ฐ ์์์ ์์ฌํฉ๋๋ค.
RunPod์์ ์ปจํ
์ด๋ RAM ๋ชจ๋ํฐ๋ง
์ปจํ
์ด๋ RAM์ cgroup ๋ฉ๋ชจ๋ฆฌ ์นด์ดํฐ๋ฅผ ์ง์ ํ์ธํ์ธ์.
watch -n 1 'echo -n "Used: "; awk "{printf \"%.1f GiB\n\", \$1/1024/1024/1024}" /sys/fs/cgroup/memory.current; echo -n "Limit: "; awk "{printf \"%.1f GiB\n\", \$1/1024/1024/1024}" /sys/fs/cgroup/memory.max'์ ๊ณต

์ฌ์ฉ ๊ฐ๋ฅํ ์์คํ
RAM ์ค ์๋น ๋ถ๋ถ์ด ๋ชจ๋ธ ๊ฐ์ค์น์ CPU ์ธก ์ ๋ฌธ๊ฐ๊ฐ ์ฐจ์งํ๋ ๊ฒ์ ๋ณผ ์ ์์ ๊ฒ์
๋๋ค. ์ด๋ ์ ์์
๋๋ค. KTransformers๋ ๋ชจ๋ ์ ๋ฌธ๊ฐ๊ฐ VRAM์ ์์ด์ผ ํ๋ค๊ณ ์๊ตฌํ๋ ๋์ , ๋ง์ MoE ์ ๋ฌธ๊ฐ๋ฅผ RAM์ ์๋์ ์ผ๋ก ์ ์งํฉ๋๋ค.
--kt-num-gpu-experts ํ๋
๋ค์์ผ๋ก --kt-num-gpu-experts ๊ฐ์ ๋ฐ๊ฟ ์๋ฒ๋ฅผ ์ฌ์์ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ๋ค์์ ๋น๊ตํด ๋ณด์ธ์.
0
10
20์ ๊ณต
--kt-num-gpu-experts๋ MoE ๋ ์ด์ด๋น GPU์ ๋ฐฐ์นํ ์ ๋ฌธ๊ฐ ์๋ฅผ ์ ์ดํฉ๋๋ค. 0์ด๋ฉด ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ CPU ์ธก์ ๋จธ๋ฌผ๊ณ , ๊ฐ์ ๋์ด๋ฉด ๋ ๋ง์ ์ ๋ฌธ๊ฐ๊ฐ GPU ๋ฉ๋ชจ๋ฆฌ๋ก ์ด๋ํฉ๋๋ค.
๊ตฌ์ฑ๋ง๋ค GPU VRAM ์ฌ์ฉ๋, ์ปจํ
์ด๋ RAM ์ฌ์ฉ๋, ์ด๋น ํ ํฐ ์, ์ฒซ ํ ํฐ๊น์ง์ ์๊ฐ์ ๋น๊ตํ์ธ์. ์ผ๋ฐ์ ์ผ๋ก GPU ์ ๋ฌธ๊ฐ๋ฅผ ๋๋ฆฌ๋ฉด VRAM ์ฌ์ฉ๋์ ์ฆ๊ฐํ์ง๋ง CPU ์ธก ์ ๋ฌธ๊ฐ ์คํ์ด ์ค์ด๋ค์ด, ์ถฉ๋ถํ VRAM์ด ์์ ๋ ์ถ๋ก ์ฑ๋ฅ์ด ํฅ์๋ ์ ์์ต๋๋ค.
๊ณต์ ํํ ๋ฆฌ์ผ์ ํ ๊ฐ์ง ์ฃผ์์ : GLM-5.3-Flash์์ Layerwise Prefill์ด ํ์ฑํ๋ ๊ฒฝ์ฐ, ํ์ฌ ๊ตฌํ์ ์์ฃผ GPU ์ ๋ฌธ๊ฐ ์๋ฅผ 0์ผ๋ก ์ ๊ทํํฉ๋๋ค. ์คํ ๊ฐ VRAM ์ฌ์ฉ๋ ๋ณํ๊ฐ ๊ฑฐ์ ์๋ค๋ฉด ์ด ๋๋ฌธ์ผ ๊ฐ๋ฅ์ฑ์ด ํฝ๋๋ค.
์ด ์คํ์ KTransformers์ ํต์ฌ ์ฅ์ ์ ๋ณด์ฌ์ค๋๋ค. CPU RAM๊ณผ GPU VRAM์ ํ๋์ ์ถ๋ก ์์คํ
๋ด์์ ์กฐ์ ๊ฐ๋ฅํ ์์๋ก ๋ง๋ค์ด, ์ ์ฒด MoE ๋ชจ๋ธ์ด GPU์ ์ ๋ถ ๋ค์ด๊ฐ์ผ ํ๋ ์๊ตฌ ๋์ ๋ฉ๋ชจ๋ฆฌ ๋ฐฐ์น์ ์๋ ๊ฐ์ ๊ท ํ์ ์ ํํ ์ ์๊ฒ ํฉ๋๋ค.
5๋จ๊ณ: OpenAI ํธํ API ํ
์คํธ
์๋ฒ๊ฐ ์คํ ์ค์ด๋ฏ๋ก ์ด์ ๋ชจ๋ธ์ด ์ฌ์ฉ ๊ฐ๋ฅํ์ง ํ์ธํ๊ณ SGLang์ OpenAI ํธํ API๋ฅผ ํตํด ์ค์ ์์ฒญ์ ๋ณด๋
๋๋ค.
๋จผ์ ๋ชจ๋ธ์ด ๋ฑ๋ก๋์๋์ง ํ์ธํฉ๋๋ค.
curl http://localhost:30000/v1/models์ ๊ณต
์ด์ด์ ํ
์คํธ ํ๋กฌํํธ๋ฅผ ๋ณด๋
๋๋ค.
curl http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "GLM-5.3-flash",
"messages": [
{
"role": "user",
"content": "Create a FastAPI application with a health endpoint."
}
],
"max_tokens": 500
}'์ ๊ณต

๊ตฌ์ฑ์ด ์ ๋๋ก ๋์ํ๋ค๋ฉด, ์๋ฒ๋ ์์ฑ๋ ์ฝ๋์ ์ฌ์ฉ ํต๊ณ๋ฅผ ํฌํจํ ์ผ๋ฐ์ ์ธ ์ฑํ
์์ฑ ์๋ต์ ๋ฐํํฉ๋๋ค.
6๋จ๊ณ: Pi๋ก GLM-5.3-Flash๋ฅผ ๋ก์ปฌ ์ฝ๋ฉ ์์ด์ ํธ๋ก ์ฌ์ฉ
Pi๋ ์ด๋ค OpenAI ํธํ ๋ชจ๋ธ๋ ๋ฐฑ์๋๋ก ์ฌ์ฉํ ์ ์๋ ๊ฒฝ๋ ์ฝ๋ฉ ์์ด์ ํธ์
๋๋ค. ์ด๋ฅผ ํตํด GLM-5.3-Flash๋ฅผ ํ๋กฌํํธ ์๋ต๋ฟ ์๋๋ผ ์ค์ ์ฝ๋ฉ ์์
์ ์ง์ ํ์ฉํ ์ ์์ต๋๋ค.
Pi ์ค์น
์ค์น ์คํฌ๋ฆฝํธ๋ก Pi๋ฅผ ์ค์นํฉ๋๋ค.
curl -fsSL https://pi.dev/install.sh | sh์ ๊ณต

๊ทธ๋ค์ PATH์ Pi๋ฅผ ์ถ๊ฐํฉ๋๋ค.
echo 'export PATH="/root/.local/share/pi-node/current/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc์ ๊ณต
Pi๊ฐ ๋ก์ปฌ KTransformers ์๋ฒ๋ฅผ ๊ฐ๋ฆฌํค๋๋ก ๋ชจ๋ธ ๊ตฌ์ฑ์ ๋ง๋ญ๋๋ค.
mkdir -p ~/.pi/agent && cat > ~/.pi/agent/models.json <<'EOF'
{
"providers": {
"ktransformers": {
"baseUrl": "http://localhost:30000/v1",
"api": "openai-completions",
"apiKey": "local",
"models": [
{
"id": "GLM-5.3-flash",
"name": "GLM-5.3-Flash",
"reasoning": true,
"input": ["text"],
"contextWindow": 32768,
"maxTokens": 8192,
"cost": {
"input": 0,
"output": 0,
"cacheRead": 0,
"cacheWrite": 0
}
}
]
}
}
}
EOF์ ๊ณต
Pi๋ฅผ ์์ํฉ๋๋ค.
pi์ ๊ณต
๊ทธ๋ค์ ๋ชจ๋ธ ์ ํ๊ธฐ๋ฅผ ์ฝ๋๋ค.
/model์ ๊ณต

GLM-5.3-Flash๋ก ์ฝ๋ฉ ์์
์คํ
GLM-5.3-Flash๋ฅผ ์ ํํ๊ณ ์ค์ ์ฝ๋ฉ ์์
์ ์๋ํด ๋ณด์ธ์.
Build a FastAPI service with /health and /users endpoints.
Add pytest tests and run them.์ ๊ณต

๋ช ์ด ๋ด์ Pi๊ฐ ํ์ผ์ ์์ฑํ๊ณ , API๋ฅผ ์์ฑํ๋ฉฐ, ํ
์คํธ๋ฅผ ์คํํ๊ณ , ์์
์ ์งํํ๋ฉด์ ๋ฌธ์ ๋ฅผ ์์ ํ๊ธฐ ์์ํ ๊ฒ์
๋๋ค.

SGLang ์๋ฒ๊ฐ ์คํ ์ค์ธ ์ฒซ ๋ฒ์งธ ํฐ๋ฏธ๋์ ์ง์ผ๋ด๋ ๋ฉ๋๋ค. ์ฐ๋ฆฌ์ ํ
์คํธ์์ ์์ฑ ์๋๋ ์ด๋น ์ฝ 11 ํ ํฐ์ด์์ต๋๋ค. ์ด๋ ์๋นํ CPU ์คํ๋ก๋ฉ๊ณผ ํจ๊ป ์ด ์ ๋ ๊ท๋ชจ์ ๋ชจ๋ธ์ ์คํํ ๋ ํฉ๋ฆฌ์ ์ธ ์์น์ด๋ฉฐ, ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ฅผ GPU๋ก ์ฎ๊ฒจ ์ถ๊ฐ๋ก ํ๋ํ ์ ์์ต๋๋ค.

๋ช ๋ถ ์์ ๋ชจ๋ธ์ ์๋ํฌ์ธํธ๋ฅผ ๋ง๋ค๊ณ , ํ
์คํธ๋ฅผ ์์ฑ ๋ฐ ์คํํ๋ฉฐ, ์ค๋ชจํฌ ํ
์คํธ๋ฅผ ์ํํ๊ณ , ํ๋ก์ ํธ ์คํ ๋ฐฉ๋ฒ์ ์ค๋ช
ํ๋ ๊ฐ๋จํ ์์ฝ์ ์์ฑํ์ต๋๋ค.
ํฅ๋ฏธ๋ก์ด ์ ์ ๊ฐ์ค์น๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ GPU VRAM๋ณด๋ค ํจ์ฌ ํฐ๋ฐ๋ ์ ์ฒด ๋ชจ๋ธ์ด ๋ก์ปฌ์์ ์คํ๋๊ณ ์๋ค๋ ์ฌ์ค์
๋๋ค. ์ฝ๋ฉ ์์ด์ ํธ ๋ฃจํ๋ Pi๊ฐ ์ฒ๋ฆฌํ๊ณ , ์ค์ ๋ชจ๋ธ ์ถ๋ก ์ SGLang๊ณผ KTransformers๊ฐ ๋ด๋นํฉ๋๋ค.
VRAM๋ณด๋ค ํฐ ๋ชจ๋ธ์ ์คํํ๋ ๋ฐฉ๋ฒ์ KTransformers๋ง ์๋ ๊ฒ์ด ์๋๋๋ค. vLLM๊ณผ llama.cpp๋ CPU ์คํ๋ก๋ฉ์ ์ง์ํ์ง๋ง, ์์
์ ๋ถํ ํ๋ ๋ฐฉ์์ด ๋ค๋ฆ
๋๋ค.
| ํ๋ ์์ํฌ | CPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ ๋ฐฉ์ | ์ ๋ฌธ๊ฐ ์ฐ์ฐ ์์น | ์ ํฉํ ์ฉ๋ |
|---|
| vLLM | ๊ฐ์ค์น ์ผ๋ถ๋ฅผ CPU RAM์ผ๋ก ์คํ๋ก๋ฉ(--cpu-offload-gb)ํ๊ณ ํ์ ์ GPU๋ก ์ ์ก | GPU | ๋ชจ๋ธ์ด ๋๋ถ๋ถ VRAM์ ๋ค์ด๊ฐ ๋ ๊ณ ์ฒ๋ฆฌ๋ ์๋น |
| llama.cpp | ๋ ์ด์ด๋ฅผ CPU์ GPU๋ก ๋ถํ ํ๊ณ , MoE ์ ๋ฌธ๊ฐ ํ
์๋ฅผ RAM์ ์ ์ง ๊ฐ๋ฅ(--n-cpu-moe) | CPU์ GPU | ์๋น์์ฉ ํ๋์จ์ด์์์ ์์ํ GGUF ๋ชจ๋ธ |
| KTransformers + SGLang | ๋๋ถ๋ถ์ ์ ๋ฌธ๊ฐ๋ฅผ RAM์ ๋๊ณ ๋ ์ด์ด๋น ์ผ์ ์์ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์น | CPU์ GPU(AVX-512 ์ต์ ํ ์ ๋ฌธ๊ฐ ์ปค๋) | ์๋ฐฑ GB RAM์ ๊ฐ์ถ ๋จธ์ ์์ ๋ค์ดํฐ๋ธ ์ ๋ฐ๋ MoE ๋ชจ๋ธ |
์ด ๊ตฌ์ฑ์์ SGLang๊ณผ KTransformers๋ ๊ฒฝ์ ๊ด๊ณ๊ฐ ์๋๋๋ค. SGLang์ ์๋น์, KTransformers๋ ์ด์ข
CPU-GPU MoE ์คํ์ ๋ด๋นํฉ๋๋ค.
๋ง๋ฌด๋ฆฌ
์ด ๊ตฌ์ฑ์์ ๊ฐ์ฅ ๋ง์์ ๋ค์๋ ์ ์ KTransformers๊ฐ ํํ ์ถ๋ก ์คํ๊ณผ๋ ์กฐ๊ธ ๋ค๋ฅด๊ฒ ์ ๊ทผํ๋ค๋ ๊ฒ์
๋๋ค. ๋ชจ๋ธ ๋ ์ด์ด๋ง์ ๊ด์ ์ผ๋ก ๋ณด์ง ์๊ณ , ๊ฐ๋ณ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํ๋ ํํธ ๋ค๋ฅธ ์ ๋ฌธ๊ฐ๋ ์์คํ
RAM์ ๋ก๋๋ค. ๊ทธ๋ฆฌ๊ณ CPU๊ฐ ์ค์ ๋ก ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ ์ฐธ์ฌํฉ๋๋ค. CPU๋ฅผ ๋จ์ํ ์ค๋ฒํ๋ก ์คํ ๋ฆฌ์ง๋ก๋ง ์ฐ์ง ์์ต๋๋ค.
์ด ํํ ๋ฆฌ์ผ์์๋ ๊ฐ์ค์น๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ VRAM๋ณด๋ค ํจ์ฌ ํฌ์ง๋ง, RTX PRO 6000 GPU ๋ ๊ฐ๋ก ์ ์ฒด GLM-5.3-Flash ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ์ต๋๋ค.
๊ฐ์ฅ ๋น ๋ฅธ ๊ตฌ์ฑ์ ์๋๋๋ค. ์ด๋น ์ฝ 11 ํ ํฐ ์ ๋์๊ณ , GPU ์ ๋ฌธ๊ฐ ์์ ๋ฐฐ์น๋ฅผ ๋ ์กฐ์ ํ ์ฌ์ง๊ฐ ๋ง์ต๋๋ค. ์ถฉ๋ถํ RAM์ด ์๋ค๋ฉด ๋จ์ผ GPU๋ก๋ ์คํํ ์ ์์ต๋๋ค. ์ฌ๊ธฐ์๋ ์ฌ์ ๋ฅผ ๋๊ธฐ ์ํด GPU ๋ ๊ฐ๋ฅผ ์ฌ์ฉํ์ต๋๋ค.
๊ฐ์ธ์ ์ผ๋ก ์ด ๊ฐ์ด๋์ ํต์ฌ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. KTransformers๊ฐ CPU ์คํ๋ก๋ฉ์ ์ฒ์ ๋์
ํด์ ํน๋ณํ ๊ฒ ์๋๋ผ, MoE ๋ชจ๋ธ์ ํฌ์ ๊ตฌ์กฐ๋ฅผ ์ค์ฌ์ผ๋ก CPU RAM, CPU ์ฐ์ฐ, GPU ์ฐ์ฐ์ด ํจ๊ป ์๋ํ๋๋ก ๋ง๋ ์ ์ด ํน๋ณํฉ๋๋ค.
KTransformers๋ ์คํ ์์ค ์ถ๋ก ํ๋ ์์ํฌ๋ก, ์ถ๋ก ์ค์ CPU์ GPU๊ฐ ์๋ก ๋ค๋ฅธ ์ ๋ฌธ๊ฐ(expert)๋ฅผ ์ ๊ทน์ ์ผ๋ก ์คํํ ์ ์๊ฒ ํด MoE(Mixture-of-Experts) ๋ชจ๋ธ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ณด๋ค ํจ์ฌ ํฐ ๊ท๋ชจ๋ก๋ ์คํํ ์ ์์ต๋๋ค. vLLM ๊ฐ์ ํ๋ ์์ํฌ๋ ๊ฐ์ค์น๋ฅผ CPU ๋ฉ๋ชจ๋ฆฌ๋ก ์คํ๋ก๋ฉํ ์ ์์ง๋ง, KTransformers๋ MoE ๋ชจ๋ธ์ ํฌ์ ๊ตฌ์กฐ์ ๋ง์ถฐ ํน๋ณํ ์ค๊ณ๋์์ต๋๋ค.
์ด ํํ ๋ฆฌ์ผ์์๋ KTransformers์ SGLang์ ์ฌ์ฉํด 192 GB์ VRAM์๋ ๋ค์ด๊ฐ์ง ์๋ 320B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ธ GLM-5.3-Flash๋ฅผ ์คํํฉ๋๋ค. CPU์ GPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํ๊ณ , ์ ๋ฌธ๊ฐ ๋ฐฐ์น๋ฅผ ์คํํ๋ฉฐ, OpenAI ํธํ API๋ฅผ ํ ์คํธํ ๋ค, ๋ชจ๋ธ์ Pi์ ์ฐ๊ฒฐํด ๋ก์ปฌ ์ฝ๋ฉ ์์ด์ ํธ๋ก ํ์ฉํด ๋ณด๊ฒ ์ต๋๋ค.
ํต์ฌ ์์ด๋์ด๋ ๋จ์ํฉ๋๋ค. CPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋จ์ํ ์ค๋ฒํ๋ก ์คํ ๋ฆฌ์ง๋ก ์ทจ๊ธํ๋ ๋์ , KTransformers๋ ์ถ๋ก ์ค CPU ์ฐ์ฐ๊ณผ GPU ์ฐ์ฐ์ ํจ๊ป ํ์ฉํฉ๋๋ค.
์์ฝ
KTransformers๋ ๋ฌด์์ธ๊ฐ์?
KTransformers๋ ์คํ ์์ค ์ถ๋ก ํ๋ ์์ํฌ๋ก, GPU VRAM๊ณผ CPU RAM์ ์กฐํฉํด ์ด๋ํ ์ธ์ด ๋ชจ๋ธ์ ์คํํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ๋ํ ๋ชจ๋ธ์ ์๋นํ๋ ค๋ฉด ๋๋ถ๋ถ์ ๊ฐ์ค์น๋ฅผ GPU ๋ฉ๋ชจ๋ฆฌ์ ์ ์ฌํด์ผ ํ๋ฉฐ, GLM-5.3-Flash ๊ฐ์ ๋ชจ๋ธ ๊ท๋ชจ์์๋ ๊ธ์ธ ๋น์ฉ์ด ์ปค์ง๋๋ค.
KTransformers๋ ๋ค๋ฅธ ์ ๊ทผ์ ์ทจํฉ๋๋ค. ๋ค์์ MoE ์ ๋ฌธ๊ฐ ๊ฐ์ค์น๋ฅผ ์์คํ ๋ฉ๋ชจ๋ฆฌ์ ์ ์งํ๊ณ , GPU ๊ฐ์์ ์ด์ ์ ๊ฐ์ฅ ํฌ๊ฒ ๋ฐ๋ ์ถ๋ก ๊ฒฝ๋ก์ GPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ ๋นํฉ๋๋ค.
์ด ๋ฐฉ์์ ๋ชจ๋ ํ ํฐ์์ ๋ชจ๋ ์ ๋ฌธ๊ฐ๊ฐ ์ฌ์ฉ๋์ง ์๋ MoE ๋ชจ๋ธ์ ํนํ ์ ๋ง์ต๋๋ค. ์๋ฅผ ๋ค์ด GLM-5.3-Flash์๋ 288๊ฐ์ ๋ผ์ฐํ ์ ๋ฌธ๊ฐ๊ฐ ์์ง๋ง, ๋ผ์ฐํฐ๋ ํ ํฐ๋ง๋ค 8๊ฐ(๊ณต์ ์ ๋ฌธ๊ฐ 1๊ฐ ํฌํจ)๋ฅผ ์ ํํฉ๋๋ค. ๋ฐ๋ผ์ KTransformers๋ ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ CPU์ GPU์ ๋ถ์ฐํ ์ ์์ต๋๋ค.
KT-Kernel๊ณผ SGLang์ ํ์ ๋ฐฉ์
ํ์ฌ KTransformers ์คํ์ ์ด์ข CPU-GPU ์ถ๋ก ์ ์ํด KT-Kernel๊ณผ SGLang์ ํตํฉํฉ๋๋ค. ๊ฐ ๊ตฌ์ฑ ์์๋ ์ญํ ์ด ๋ค๋ฆ ๋๋ค.
KTransformers๋ ๋ํ ์ํฌ๋ก๋ ํจํด์ ๋ฐ๋ผ ์ ๋ฌธ๊ฐ ๋ฐฐ์น๋ฅผ ๋ณ๊ฒฝํ๋ ๊ธฐ๋ฅ์ ์ง์ํ๋ฉฐ, ์ด๋ ์ ๋ฌธ๊ฐ ์ค์ผ์ค๋ง ํํ ๋ฆฌ์ผ์ ์ค๋ช ๋์ด ์์ต๋๋ค.
์ฆ, KTransformers๋ ์ ์ฒด ๋ชจ๋ธ์ด GPU VRAM์ ๋ค์ด๊ฐ์ผ ํ๋ค๊ณ ์๊ตฌํ๋ ๋์ , CPU ๋ฉ๋ชจ๋ฆฌ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ๋์ ์ถ๋ก ์์คํ ์ผ๋ก ์ทจ๊ธํฉ๋๋ค. ์ด๊ฒ์ด ๋งค์ฐ ํฐ MoE ๋ชจ๋ธ์ ๋ณดํต ํ์๋ก ํ๋ GPU ๋ฉ๋ชจ๋ฆฌ๋ณด๋ค ํจ์ฌ ์ ์ GPU ๋ฉ๋ชจ๋ฆฌ๋ก๋ ์คํํ ์ ์๊ฒ ํด์ค๋๋ค.
GLM-5.3-Flash๋ ๋ฌด์์ธ๊ฐ์?
GLM-5.3-Flash๋ Z.ai๊ฐ 2026๋ 8์ MIT ๋ผ์ด์ ์ค๋ก ๊ณต๊ฐํ ์คํ ์จ์ดํธ, ๋ค์ดํฐ๋ธ ๋ฉํฐ๋ชจ๋ฌ MoE ๋ชจ๋ธ์ ๋๋ค. ์ด๋ฆ์ "Flash"๊ฐ ๋ค์ด๊ฐ์ง๋ง ๊ท๋ชจ๋ ํฝ๋๋ค. ์ด 320B ํ๋ผ๋ฏธํฐ์ด๋ฉฐ, ํ ํฐ๋น ํ์ฑ ํ๋ผ๋ฏธํฐ๋ ์ฝ 18B์ ๋๋ค.
๋ก์ปฌ ์ถ๋ก ์ ์ค์ํ ์ฌ์์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
zai-org/GLM-5.3-Flash) ๊ธฐ์ค ์ฝ 306 GiBKTransformers๋ ๊ณต์ FP8 ๊ฐ์ค์น๋ฅผ ์ง์ ์ฝ์ผ๋ฏ๋ก ๋ณํ์ด๋ ์ถ๊ฐ ์์ํ ๋จ๊ณ๊ฐ ํ์ ์์ต๋๋ค. ๋ฒค์น๋งํฌ์ ์ ์ฒด ๋ชจ๋ธ ๊ฐ์๋ GLM-5.3-Flash ๊ฐ์ด๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
GLM-5.3-Flash ํ๋์จ์ด ์๊ตฌ ์ฌํญ
GLM-5.3-Flash์ ๊ฒฝ์ฐ ํ๋์จ์ด๋ ์ฃผ๋ก ์์คํ RAM ์ฉ๋์ด ๊ด๊ฑด์ ๋๋ค. ๊ณต์ KTransformers GLM-5.3-Flash ํํ ๋ฆฌ์ผ์ ์ต์ 350 GB์ ์ฌ์ฉ ๊ฐ๋ฅํ ์์คํ ๋ฉ๋ชจ๋ฆฌ ํ๋ณด๋ฅผ ๊ถ์ฅํฉ๋๋ค.
๊ถ์ฅ ๊ตฌ์ฑ: RTX PRO 6000 2๊ฐ
์ด ํํ ๋ฆฌ์ผ์์๋ ๋๋ต ๋ค์๊ณผ ๊ฐ์ ์ฌ์์ RunPod ์ธ์คํด์ค๋ฅผ ์ฌ์ฉํฉ๋๋ค.
GLM-5.3-Flash์ ๊ณต์ FP8 ์ฒดํฌํฌ์ธํธ๋ ์ฝ 306 GiB(์ฝ 329 GB)์ด๊ณ , ์ฐ๋ฆฌ์ ๋ GPU๋ ์ด 192 GB์ VRAM์ ์ ๊ณตํฉ๋๋ค. ๋ฐ๋ผ์ ์ ์ฒด ๋ชจ๋ธ์ GPU ๋ฉ๋ชจ๋ฆฌ์ ๋จ์ ์ ์ฌํ๋ ๊ฒ์ ๋ถ๊ฐ๋ฅํฉ๋๋ค.
๋์ KTransformers๋ MoE ๊ฐ์ค์น์ ์๋น ๋ถ๋ถ์ ์์คํ RAM์ ์ ์งํ๊ณ , ๊ฐ์ฅ ์ ์ฉํ ์ฐ์ฐ์ GPU๋ก ์ด๋ํฉ๋๋ค. 350 GB ๊ถ์ฅ์ ๋ชจ๋ธ ๊ฐ์ค์น์ ๋ฐํ์ ์ค๋ฒํค๋๋ฅผ ๊ฐ์ํ ์ฌ์ ๋ฅผ ์ ๊ณตํฉ๋๋ค.
GPU ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ง๋ค๊ณ ํด์ ์ด ๊ตฌ์ฑ์์ RAM ํ์์ฑ์ด ์ฌ๋ผ์ง์ง๋ ์์ต๋๋ค. CPU ๋ฉ๋ชจ๋ฆฌ๋ KTransformers์ ์ด์ข ์ถ๋ก ์ค๊ณ์์ ์๋๋ ์์์ ๋๋ค. ์ ๋ฌธ๊ฐ ๊ฐ์ค์น๋ RAM์ ๋จ๊ณ , GPU๋ ๊ฐ์์ ์ด์ ์ ๊ฐ์ฅ ํฌ๊ฒ ๋ฐ๋ ๋ชจ๋ธ ๋ถ๋ถ์ ์ฒ๋ฆฌํฉ๋๋ค.
ํ์ฌ GLM-5.3-Flash ๊ตฌํ์๋ ๋ค์๊ณผ ๊ฐ์ CPU ๋ฐ GPU ์๊ตฌ ์ฌํญ๋ ์์ต๋๋ค.
๋จ์ผ GPU๋ก GLM-5.3-Flash๋ฅผ ์คํํ ์ ์๋์?
๊ฐ๋ฅํฉ๋๋ค. ์ถฉ๋ถํ ์์คํ RAM๊ณผ ์ง์๋๋ CPU๊ฐ ์๋ค๋ฉด ๋ฉ๋๋ค. ๊ณต์ ํํ ๋ฆฌ์ผ์๋
--kt-num-gpu-experts 0์ ์ค์ ํ๋ ๋จ์ผ GPU ๊ตฌ์ฑ์ด ํฌํจ๋์ด ์์ด, MoE ์ ๋ฌธ๊ฐ๋ CPU ์ธก์์ ์ฒ๋ฆฌ๋ฉ๋๋ค.์ฌ๊ธฐ์๋ RTX PRO 6000 GPU 2๊ฐ๋ฅผ ์ฌ์ฉํ์ง๋ง, ์ด๋ ์๊ฒฉํ ์ต์ ์๊ตฌ ์ฌํญ์ด ์๋๋๋ค. ๋ ๋ฒ์งธ GPU๋ VRAM๊ณผ ์ฌ์ ๊ณต๊ฐ์ ๋ํด, ๊ฐ๋ฅํ ์ต์ ํ๋์จ์ด์ ๋ง์ถฐ ์ธํ ์ ๊ทนํ๊น์ง ์กฐ์ ํ๊ธฐ๋ณด๋ค ๋น๊ต์ ์ ๊ตฌํ์ธ KTransformers๋ฅผ ์คํํ ๋ ์์ ์ ์ผ๋ก ํ ์คํธํ๊ธฐ ์ํจ์ ๋๋ค.
1๋จ๊ณ: SGLang๊ณผ ํจ๊ป KTransformers ์ค์น
๊นจ๋ํ Python 3.11 ํ๊ฒฝ์ ๋ง๋ค๊ณ SGLang ์ง์๊ณผ ํจ๊ป KTransformers๋ฅผ ์ค์นํฉ๋๋ค.
KTransformers, KT-Kernel, SGLang, CUDA๊ฐ ์ฌ๋ฐ๋ฅด๊ฒ ๊ฐ์ง๋๋์ง ํ์ธํฉ๋๋ค.
๋ค์๊ณผ ์ ์ฌํ ์ถ๋ ฅ์ด ํ์๋ฉ๋๋ค.
์ด๋ KTransformers ๋ฐํ์๊ณผ SGLang ๋ฐฑ์๋๊ฐ ์ค์น๋์ด ์ฌ์ฉํ ์ค๋น๊ฐ ๋์์์ ์๋ฏธํฉ๋๋ค.
2๋จ๊ณ: Hugging Face์์ GLM-5.3-Flash ๋ค์ด๋ก๋
์๋ฒ๋ฅผ ์์ํ๊ธฐ ์ ์ Hugging Face์์ ๊ณต์ GLM-5.3-Flash ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ค์ด๋ก๋ํฉ๋๋ค.
์ฒดํฌํฌ์ธํธ๋ ์ฝ 306 GiB์ด๋ฏ๋ก, ๋์ญํญ์ ๋ฐ๋ผ ๋ค์ด๋ก๋์ ์๊ฐ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค.
๊ทธ๋ค์ KTransformers์ ๋ก์ปฌ ๋ชจ๋ธ ๊ฒฝ๋ก๋ฅผ ์ง์ ํฉ๋๋ค.
3๋จ๊ณ: SGLang์ผ๋ก GLM-5.3-Flash ์๋ฒ ์คํ
์ด์ RTX PRO 6000 ๋ ๊ฐ๋ฅผ ๋ชจ๋ ์ฌ์ฉํ๋ 2-way ํ ์ ๋ณ๋ ฌ๋ก GLM-5.3-Flash๋ฅผ ์คํํฉ๋๋ค. ๋ชจ๋ธ์ ์ต๋ 1M ํ ํฐ์ ์ปจํ ์คํธ๋ฅผ ์ง์ํ๋ฉฐ, ๊ณต์ ์์๋ ๊ฒ์ฆ๋ 501,025 ํ ํฐ ๊ตฌ์ฑ์ ์ฌ์ฉํฉ๋๋ค. ์ฌ๊ธฐ์๋ ํ ์คํธ ๋์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์์ธก ๊ฐ๋ฅํ๊ฒ ์ ์งํ๊ธฐ ์ํด 32K ์ปจํ ์คํธ ์๋์ฐ๋ก ์์ํฉ๋๋ค.
์ด ๊ตฌ์ฑ์ ํฌํธ
30000์์ OpenAI ํธํ SGLang ์๋ฒ๋ฅผ ํตํด ๋ชจ๋ธ์ ๋ ธ์ถํฉ๋๋ค. ๋ GPU๋--tp-size 2๋ก ์ฌ์ฉ๋๋ฉฐ, KTransformers๋ MoE ์ํฌ๋ก๋์ ์ผ๋ถ๋ฅผ CPU์ ์ ์งํ๊ณ ์ ํํ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํฉ๋๋ค.์ฌ๊ธฐ ์ค์ ์ ์ฒซ ์คํ์ ๋ง์ถฐ ์๋์ ์ผ๋ก ๋ณด์์ ์ ๋๋ค. 32K ์ปจํ ์คํธ, 85% ์ ์ GPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ, GPU ์ ๋ฌธ๊ฐ 14๋ช , CPU ์ถ๋ก ์ค๋ ๋ 64๊ฐ์ ๋๋ค. ์๋ฒ๊ฐ ์์ ํ๋๋ฉด ์ฒ๋ฆฌ๋ ํฅ์์ ์ํด ๋ ํฐ ์ปจํ ์คํธ ์๋์ฐ, ๋ ๋ง์ GPU ์ ๋ฌธ๊ฐ, ๋ค๋ฅธ ๋ฉ๋ชจ๋ฆฌ ์ค์ ์ ์คํํด ๋ณผ ์ ์์ต๋๋ค.
์ฃผ์ KTransformers ์คํ ํ๋๊ทธ ์ค๋ช
์ ํ๋๊ทธ ๋๋ถ๋ถ์ ํ์ค SGLang ์ต์ ์ ๋๋ค. ๋ค์์ KTransformers๊ฐ CPU์ GPU ๊ฐ์ ์์ ์ ๋ถํ ํ๋ ๋ฐฉ์์ ์ ์ดํ๋ ํญ๋ชฉ์ ๋๋ค.
--kt-methodFP8--kt-cpuinfer64--kt-threadpool-count2--kt-num-gpu-experts14--kt-expert-placement-strategyuniformfrequency,front-loading,random์ด ์์ต๋๋ค.--kt-gpu-prefill-token-threshold20484๋จ๊ณ: CPU-GPU ์คํ๋ก๋ฉ๊ณผ ์ ๋ฌธ๊ฐ ๋ฐฐ์น ํ ์คํธ
์๋ฒ๊ฐ ์คํ ์ค์ด๋ฏ๋ก ์ด์ KTransformers๊ฐ GPU VRAM๊ณผ ์์คํ RAM์ ์ด๋ป๊ฒ ์ฌ์ฉํ๋์ง ํ์ธํ ๋ค, GPU ์์ฃผ ์ ๋ฌธ๊ฐ ์๋ฅผ ๋ณ๊ฒฝํด ์์ ์ฌ์ฉ๋๊ณผ ์ฑ๋ฅ ๋ณํ๋ฅผ ์ดํด๋ด ๋๋ค.
RunPod์์
free -h๋ ์ปจํ ์ด๋๊ฐ ํ๋์ ํ ๋น๋ ๋ฉ๋ชจ๋ฆฌ๊ฐ ์๋๋ผ ํธ์คํธ ๋จธ์ ์ ์ ์ฒด RAM์ ๋ณผ ์ ์์ด ์คํด์ ์์ง๊ฐ ์์ต๋๋ค. GPU ๋ฉ๋ชจ๋ฆฌ์ ์ปจํ ์ด๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋ณ๋๋ก ๋ชจ๋ํฐ๋งํ๋ ๊ฒ์ด ์ข์ต๋๋ค.GPU VRAM ์ฌ์ฉ๋ ๋ชจ๋ํฐ๋ง
์ ํฐ๋ฏธ๋์ ์ด๊ณ GPU ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํฉ๋๋ค.
ํ์ฌ ๊ตฌ์ฑ์์๋ ๋ชจ๋ธ์ด ์์ ํ ์ ์ฌ๋์ด๋ GPU๋น ์ฝ 48 GB๋ง ์ฌ์ฉ๋์ด, ๋ง์ VRAM์ด ๋จ์ต๋๋ค. ์ด๋ ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํ๊ฑฐ๋ ์ถฉ๋ถํ ์์คํ RAM์ด ์๋ค๋ฉด ๋จ์ผ GPU ๊ตฌ์ฑ๋ ์ํํด ๋ณผ ์ฌ์ง๊ฐ ์์์ ์์ฌํฉ๋๋ค.
RunPod์์ ์ปจํ ์ด๋ RAM ๋ชจ๋ํฐ๋ง
์ปจํ ์ด๋ RAM์ cgroup ๋ฉ๋ชจ๋ฆฌ ์นด์ดํฐ๋ฅผ ์ง์ ํ์ธํ์ธ์.
์ฌ์ฉ ๊ฐ๋ฅํ ์์คํ RAM ์ค ์๋น ๋ถ๋ถ์ด ๋ชจ๋ธ ๊ฐ์ค์น์ CPU ์ธก ์ ๋ฌธ๊ฐ๊ฐ ์ฐจ์งํ๋ ๊ฒ์ ๋ณผ ์ ์์ ๊ฒ์ ๋๋ค. ์ด๋ ์ ์์ ๋๋ค. KTransformers๋ ๋ชจ๋ ์ ๋ฌธ๊ฐ๊ฐ VRAM์ ์์ด์ผ ํ๋ค๊ณ ์๊ตฌํ๋ ๋์ , ๋ง์ MoE ์ ๋ฌธ๊ฐ๋ฅผ RAM์ ์๋์ ์ผ๋ก ์ ์งํฉ๋๋ค.
--kt-num-gpu-expertsํ๋๋ค์์ผ๋ก
--kt-num-gpu-experts๊ฐ์ ๋ฐ๊ฟ ์๋ฒ๋ฅผ ์ฌ์์ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ๋ค์์ ๋น๊ตํด ๋ณด์ธ์.--kt-num-gpu-experts๋ MoE ๋ ์ด์ด๋น GPU์ ๋ฐฐ์นํ ์ ๋ฌธ๊ฐ ์๋ฅผ ์ ์ดํฉ๋๋ค.0์ด๋ฉด ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ CPU ์ธก์ ๋จธ๋ฌผ๊ณ , ๊ฐ์ ๋์ด๋ฉด ๋ ๋ง์ ์ ๋ฌธ๊ฐ๊ฐ GPU ๋ฉ๋ชจ๋ฆฌ๋ก ์ด๋ํฉ๋๋ค.๊ตฌ์ฑ๋ง๋ค GPU VRAM ์ฌ์ฉ๋, ์ปจํ ์ด๋ RAM ์ฌ์ฉ๋, ์ด๋น ํ ํฐ ์, ์ฒซ ํ ํฐ๊น์ง์ ์๊ฐ์ ๋น๊ตํ์ธ์. ์ผ๋ฐ์ ์ผ๋ก GPU ์ ๋ฌธ๊ฐ๋ฅผ ๋๋ฆฌ๋ฉด VRAM ์ฌ์ฉ๋์ ์ฆ๊ฐํ์ง๋ง CPU ์ธก ์ ๋ฌธ๊ฐ ์คํ์ด ์ค์ด๋ค์ด, ์ถฉ๋ถํ VRAM์ด ์์ ๋ ์ถ๋ก ์ฑ๋ฅ์ด ํฅ์๋ ์ ์์ต๋๋ค.
๊ณต์ ํํ ๋ฆฌ์ผ์ ํ ๊ฐ์ง ์ฃผ์์ : GLM-5.3-Flash์์ Layerwise Prefill์ด ํ์ฑํ๋ ๊ฒฝ์ฐ, ํ์ฌ ๊ตฌํ์ ์์ฃผ GPU ์ ๋ฌธ๊ฐ ์๋ฅผ 0์ผ๋ก ์ ๊ทํํฉ๋๋ค. ์คํ ๊ฐ VRAM ์ฌ์ฉ๋ ๋ณํ๊ฐ ๊ฑฐ์ ์๋ค๋ฉด ์ด ๋๋ฌธ์ผ ๊ฐ๋ฅ์ฑ์ด ํฝ๋๋ค.
์ด ์คํ์ KTransformers์ ํต์ฌ ์ฅ์ ์ ๋ณด์ฌ์ค๋๋ค. CPU RAM๊ณผ GPU VRAM์ ํ๋์ ์ถ๋ก ์์คํ ๋ด์์ ์กฐ์ ๊ฐ๋ฅํ ์์๋ก ๋ง๋ค์ด, ์ ์ฒด MoE ๋ชจ๋ธ์ด GPU์ ์ ๋ถ ๋ค์ด๊ฐ์ผ ํ๋ ์๊ตฌ ๋์ ๋ฉ๋ชจ๋ฆฌ ๋ฐฐ์น์ ์๋ ๊ฐ์ ๊ท ํ์ ์ ํํ ์ ์๊ฒ ํฉ๋๋ค.
5๋จ๊ณ: OpenAI ํธํ API ํ ์คํธ
์๋ฒ๊ฐ ์คํ ์ค์ด๋ฏ๋ก ์ด์ ๋ชจ๋ธ์ด ์ฌ์ฉ ๊ฐ๋ฅํ์ง ํ์ธํ๊ณ SGLang์ OpenAI ํธํ API๋ฅผ ํตํด ์ค์ ์์ฒญ์ ๋ณด๋ ๋๋ค.
๋จผ์ ๋ชจ๋ธ์ด ๋ฑ๋ก๋์๋์ง ํ์ธํฉ๋๋ค.
์ด์ด์ ํ ์คํธ ํ๋กฌํํธ๋ฅผ ๋ณด๋ ๋๋ค.
๊ตฌ์ฑ์ด ์ ๋๋ก ๋์ํ๋ค๋ฉด, ์๋ฒ๋ ์์ฑ๋ ์ฝ๋์ ์ฌ์ฉ ํต๊ณ๋ฅผ ํฌํจํ ์ผ๋ฐ์ ์ธ ์ฑํ ์์ฑ ์๋ต์ ๋ฐํํฉ๋๋ค.
6๋จ๊ณ: Pi๋ก GLM-5.3-Flash๋ฅผ ๋ก์ปฌ ์ฝ๋ฉ ์์ด์ ํธ๋ก ์ฌ์ฉ
Pi๋ ์ด๋ค OpenAI ํธํ ๋ชจ๋ธ๋ ๋ฐฑ์๋๋ก ์ฌ์ฉํ ์ ์๋ ๊ฒฝ๋ ์ฝ๋ฉ ์์ด์ ํธ์ ๋๋ค. ์ด๋ฅผ ํตํด GLM-5.3-Flash๋ฅผ ํ๋กฌํํธ ์๋ต๋ฟ ์๋๋ผ ์ค์ ์ฝ๋ฉ ์์ ์ ์ง์ ํ์ฉํ ์ ์์ต๋๋ค.
Pi ์ค์น
์ค์น ์คํฌ๋ฆฝํธ๋ก Pi๋ฅผ ์ค์นํฉ๋๋ค.
๊ทธ๋ค์
PATH์ Pi๋ฅผ ์ถ๊ฐํฉ๋๋ค.Pi๋ฅผ KTransformers ์๋ฒ์ ์ฐ๊ฒฐ
Pi๊ฐ ๋ก์ปฌ KTransformers ์๋ฒ๋ฅผ ๊ฐ๋ฆฌํค๋๋ก ๋ชจ๋ธ ๊ตฌ์ฑ์ ๋ง๋ญ๋๋ค.
Pi๋ฅผ ์์ํฉ๋๋ค.
๊ทธ๋ค์ ๋ชจ๋ธ ์ ํ๊ธฐ๋ฅผ ์ฝ๋๋ค.
GLM-5.3-Flash๋ก ์ฝ๋ฉ ์์ ์คํ
GLM-5.3-Flash๋ฅผ ์ ํํ๊ณ ์ค์ ์ฝ๋ฉ ์์ ์ ์๋ํด ๋ณด์ธ์.
๋ช ์ด ๋ด์ Pi๊ฐ ํ์ผ์ ์์ฑํ๊ณ , API๋ฅผ ์์ฑํ๋ฉฐ, ํ ์คํธ๋ฅผ ์คํํ๊ณ , ์์ ์ ์งํํ๋ฉด์ ๋ฌธ์ ๋ฅผ ์์ ํ๊ธฐ ์์ํ ๊ฒ์ ๋๋ค.
SGLang ์๋ฒ๊ฐ ์คํ ์ค์ธ ์ฒซ ๋ฒ์งธ ํฐ๋ฏธ๋์ ์ง์ผ๋ด๋ ๋ฉ๋๋ค. ์ฐ๋ฆฌ์ ํ ์คํธ์์ ์์ฑ ์๋๋ ์ด๋น ์ฝ 11 ํ ํฐ์ด์์ต๋๋ค. ์ด๋ ์๋นํ CPU ์คํ๋ก๋ฉ๊ณผ ํจ๊ป ์ด ์ ๋ ๊ท๋ชจ์ ๋ชจ๋ธ์ ์คํํ ๋ ํฉ๋ฆฌ์ ์ธ ์์น์ด๋ฉฐ, ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ฅผ GPU๋ก ์ฎ๊ฒจ ์ถ๊ฐ๋ก ํ๋ํ ์ ์์ต๋๋ค.
๋ช ๋ถ ์์ ๋ชจ๋ธ์ ์๋ํฌ์ธํธ๋ฅผ ๋ง๋ค๊ณ , ํ ์คํธ๋ฅผ ์์ฑ ๋ฐ ์คํํ๋ฉฐ, ์ค๋ชจํฌ ํ ์คํธ๋ฅผ ์ํํ๊ณ , ํ๋ก์ ํธ ์คํ ๋ฐฉ๋ฒ์ ์ค๋ช ํ๋ ๊ฐ๋จํ ์์ฝ์ ์์ฑํ์ต๋๋ค.
ํฅ๋ฏธ๋ก์ด ์ ์ ๊ฐ์ค์น๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ GPU VRAM๋ณด๋ค ํจ์ฌ ํฐ๋ฐ๋ ์ ์ฒด ๋ชจ๋ธ์ด ๋ก์ปฌ์์ ์คํ๋๊ณ ์๋ค๋ ์ฌ์ค์ ๋๋ค. ์ฝ๋ฉ ์์ด์ ํธ ๋ฃจํ๋ Pi๊ฐ ์ฒ๋ฆฌํ๊ณ , ์ค์ ๋ชจ๋ธ ์ถ๋ก ์ SGLang๊ณผ KTransformers๊ฐ ๋ด๋นํฉ๋๋ค.
KTransformers vs vLLM vs llama.cpp
VRAM๋ณด๋ค ํฐ ๋ชจ๋ธ์ ์คํํ๋ ๋ฐฉ๋ฒ์ KTransformers๋ง ์๋ ๊ฒ์ด ์๋๋๋ค. vLLM๊ณผ llama.cpp๋ CPU ์คํ๋ก๋ฉ์ ์ง์ํ์ง๋ง, ์์ ์ ๋ถํ ํ๋ ๋ฐฉ์์ด ๋ค๋ฆ ๋๋ค.
--cpu-offload-gb)ํ๊ณ ํ์ ์ GPU๋ก ์ ์ก--n-cpu-moe)์ด ๊ตฌ์ฑ์์ SGLang๊ณผ KTransformers๋ ๊ฒฝ์ ๊ด๊ณ๊ฐ ์๋๋๋ค. SGLang์ ์๋น์, KTransformers๋ ์ด์ข CPU-GPU MoE ์คํ์ ๋ด๋นํฉ๋๋ค.
๋ง๋ฌด๋ฆฌ
์ด ๊ตฌ์ฑ์์ ๊ฐ์ฅ ๋ง์์ ๋ค์๋ ์ ์ KTransformers๊ฐ ํํ ์ถ๋ก ์คํ๊ณผ๋ ์กฐ๊ธ ๋ค๋ฅด๊ฒ ์ ๊ทผํ๋ค๋ ๊ฒ์ ๋๋ค. ๋ชจ๋ธ ๋ ์ด์ด๋ง์ ๊ด์ ์ผ๋ก ๋ณด์ง ์๊ณ , ๊ฐ๋ณ ์ ๋ฌธ๊ฐ๋ฅผ GPU์ ๋ฐฐ์นํ๋ ํํธ ๋ค๋ฅธ ์ ๋ฌธ๊ฐ๋ ์์คํ RAM์ ๋ก๋๋ค. ๊ทธ๋ฆฌ๊ณ CPU๊ฐ ์ค์ ๋ก ์ ๋ฌธ๊ฐ ์ฐ์ฐ์ ์ฐธ์ฌํฉ๋๋ค. CPU๋ฅผ ๋จ์ํ ์ค๋ฒํ๋ก ์คํ ๋ฆฌ์ง๋ก๋ง ์ฐ์ง ์์ต๋๋ค.
์ด ํํ ๋ฆฌ์ผ์์๋ ๊ฐ์ค์น๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ VRAM๋ณด๋ค ํจ์ฌ ํฌ์ง๋ง, RTX PRO 6000 GPU ๋ ๊ฐ๋ก ์ ์ฒด GLM-5.3-Flash ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ์ต๋๋ค.
๊ฐ์ฅ ๋น ๋ฅธ ๊ตฌ์ฑ์ ์๋๋๋ค. ์ด๋น ์ฝ 11 ํ ํฐ ์ ๋์๊ณ , GPU ์ ๋ฌธ๊ฐ ์์ ๋ฐฐ์น๋ฅผ ๋ ์กฐ์ ํ ์ฌ์ง๊ฐ ๋ง์ต๋๋ค. ์ถฉ๋ถํ RAM์ด ์๋ค๋ฉด ๋จ์ผ GPU๋ก๋ ์คํํ ์ ์์ต๋๋ค. ์ฌ๊ธฐ์๋ ์ฌ์ ๋ฅผ ๋๊ธฐ ์ํด GPU ๋ ๊ฐ๋ฅผ ์ฌ์ฉํ์ต๋๋ค.
๊ฐ์ธ์ ์ผ๋ก ์ด ๊ฐ์ด๋์ ํต์ฌ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. KTransformers๊ฐ CPU ์คํ๋ก๋ฉ์ ์ฒ์ ๋์ ํด์ ํน๋ณํ ๊ฒ ์๋๋ผ, MoE ๋ชจ๋ธ์ ํฌ์ ๊ตฌ์กฐ๋ฅผ ์ค์ฌ์ผ๋ก CPU RAM, CPU ์ฐ์ฐ, GPU ์ฐ์ฐ์ด ํจ๊ป ์๋ํ๋๋ก ๋ง๋ ์ ์ด ํน๋ณํฉ๋๋ค.