๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

KTransformers ํŠœํ† ๋ฆฌ์–ผ: GLM-5.3-Flash ๋กœ์ปฌ ์‹คํ–‰

GPU VRAM, ์‹œ์Šคํ…œ RAM, SGLang, KTransformers๋ฅผ ๊ฒฐํ•ฉํ•ด ์ด์ข… CPU-GPU ์ถ”๋ก ์œผ๋กœ ์ดˆ๋Œ€ํ˜• MoE ๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜์„ธ์š”.
ยท 11๋ถ„ ์ฝ๊ธฐ

AI์™€ ํƒํ—˜ํ•ด ๋ณด์„ธ์š”

KTransformers๋Š” ์˜คํ”ˆ ์†Œ์Šค ์ถ”๋ก  ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ์ถ”๋ก  ์ค‘์— CPU์™€ GPU๊ฐ€ ์„œ๋กœ ๋‹ค๋ฅธ ์ „๋ฌธ๊ฐ€(expert)๋ฅผ ์ ๊ทน์ ์œผ๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด MoE(Mixture-of-Experts) ๋ชจ๋ธ์„ GPU ๋ฉ”๋ชจ๋ฆฌ๋ณด๋‹ค ํ›จ์”ฌ ํฐ ๊ทœ๋ชจ๋กœ๋„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. vLLM ๊ฐ™์€ ํ”„๋ ˆ์ž„์›Œํฌ๋„ ๊ฐ€์ค‘์น˜๋ฅผ CPU ๋ฉ”๋ชจ๋ฆฌ๋กœ ์˜คํ”„๋กœ๋”ฉํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, KTransformers๋Š” MoE ๋ชจ๋ธ์˜ ํฌ์†Œ ๊ตฌ์กฐ์— ๋งž์ถฐ ํŠน๋ณ„ํžˆ ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

์ด ํŠœํ† ๋ฆฌ์–ผ์—์„œ๋Š” KTransformers์™€ SGLang์„ ์‚ฌ์šฉํ•ด 192 GB์˜ VRAM์—๋„ ๋“ค์–ด๊ฐ€์ง€ ์•Š๋Š” 320B ํŒŒ๋ผ๋ฏธํ„ฐ ๋ชจ๋ธ์ธ GLM-5.3-Flash๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. CPU์™€ GPU ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์„ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๊ณ , ์ „๋ฌธ๊ฐ€ ๋ฐฐ์น˜๋ฅผ ์‹คํ—˜ํ•˜๋ฉฐ, OpenAI ํ˜ธํ™˜ API๋ฅผ ํ…Œ์ŠคํŠธํ•œ ๋’ค, ๋ชจ๋ธ์„ Pi์— ์—ฐ๊ฒฐํ•ด ๋กœ์ปฌ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ๋กœ ํ™œ์šฉํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

ํ•ต์‹ฌ ์•„์ด๋””์–ด๋Š” ๋‹จ์ˆœํ•ฉ๋‹ˆ๋‹ค. CPU ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๋‹จ์ˆœํ•œ ์˜ค๋ฒ„ํ”Œ๋กœ ์Šคํ† ๋ฆฌ์ง€๋กœ ์ทจ๊ธ‰ํ•˜๋Š” ๋Œ€์‹ , KTransformers๋Š” ์ถ”๋ก  ์ค‘ CPU ์—ฐ์‚ฐ๊ณผ GPU ์—ฐ์‚ฐ์„ ํ•จ๊ป˜ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.

์š”์•ฝ

  • KTransformers๋Š” ๋Œ€ํ˜• MoE ๋ชจ๋ธ์„ GPU VRAM๊ณผ ์‹œ์Šคํ…œ RAM ์ „๋ฐ˜์— ๊ฑธ์ณ ์‹คํ–‰ํ•˜๋ฉฐ, RAM์— ์ƒ์ฃผํ•˜๋Š” ์ „๋ฌธ๊ฐ€๋Š” CPU๊ฐ€ ์—ฐ์‚ฐํ•ฉ๋‹ˆ๋‹ค.
  • GLM-5.3-Flash์˜ ๊ธฐ๋ณธ FP8 ๊ฐ€์ค‘์น˜๋Š” ์•ฝ 306 GiB๋ฅผ ์ฐจ์ง€ํ•˜๋ฏ€๋กœ, ๊ณต์‹ ๊ฐ€์ด๋“œ๋Š” ์ตœ์†Œ 350 GB์˜ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค.
  • ์šฐ๋ฆฌ๋Š” RTX PRO 6000 GPU 2๊ฐœ(์ด 192 GB VRAM)์—์„œ 32K ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ๋กœ ์ „์ฒด ๋ชจ๋ธ์„ ์‹คํ–‰ํ•ด ์ดˆ๋‹น ์•ฝ 11 ํ† ํฐ์˜ ์†๋„๋ฅผ ์–ป์—ˆ์Šต๋‹ˆ๋‹ค.
  • ์„œ๋ฒ„๋Š” OpenAI ํ˜ธํ™˜ API๋ฅผ ์ œ๊ณตํ•˜๋ฏ€๋กœ, Pi ๊ฐ™์€ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ๊ฐ€ ๋ชจ๋ธ์„ ์ง์ ‘ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

KTransformers๋ž€ ๋ฌด์—‡์ธ๊ฐ€์š”?

KTransformers๋Š” ์˜คํ”ˆ ์†Œ์Šค ์ถ”๋ก  ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, GPU VRAM๊ณผ CPU RAM์„ ์กฐํ•ฉํ•ด ์ดˆ๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ์„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ผ๋ฐ˜์ ์œผ๋กœ ๋Œ€ํ˜• ๋ชจ๋ธ์„ ์„œ๋น™ํ•˜๋ ค๋ฉด ๋Œ€๋ถ€๋ถ„์˜ ๊ฐ€์ค‘์น˜๋ฅผ GPU ๋ฉ”๋ชจ๋ฆฌ์— ์ ์žฌํ•ด์•ผ ํ•˜๋ฉฐ, GLM-5.3-Flash ๊ฐ™์€ ๋ชจ๋ธ ๊ทœ๋ชจ์—์„œ๋Š” ๊ธˆ์„ธ ๋น„์šฉ์ด ์ปค์ง‘๋‹ˆ๋‹ค.

KTransformers๋Š” ๋‹ค๋ฅธ ์ ‘๊ทผ์„ ์ทจํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์ˆ˜์˜ MoE ์ „๋ฌธ๊ฐ€ ๊ฐ€์ค‘์น˜๋ฅผ ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ์— ์œ ์ง€ํ•˜๊ณ , GPU ๊ฐ€์†์˜ ์ด์ ์„ ๊ฐ€์žฅ ํฌ๊ฒŒ ๋ฐ›๋Š” ์ถ”๋ก  ๊ฒฝ๋กœ์— GPU ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ํ• ๋‹นํ•ฉ๋‹ˆ๋‹ค.

์ด ๋ฐฉ์‹์€ ๋ชจ๋“  ํ† ํฐ์—์„œ ๋ชจ๋“  ์ „๋ฌธ๊ฐ€๊ฐ€ ์‚ฌ์šฉ๋˜์ง€ ์•Š๋Š” MoE ๋ชจ๋ธ์— ํŠนํžˆ ์ž˜ ๋งž์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด GLM-5.3-Flash์—๋Š” 288๊ฐœ์˜ ๋ผ์šฐํŒ… ์ „๋ฌธ๊ฐ€๊ฐ€ ์žˆ์ง€๋งŒ, ๋ผ์šฐํ„ฐ๋Š” ํ† ํฐ๋งˆ๋‹ค 8๊ฐœ(๊ณต์œ  ์ „๋ฌธ๊ฐ€ 1๊ฐœ ํฌํ•จ)๋ฅผ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ KTransformers๋Š” ์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ์„ CPU์™€ GPU์— ๋ถ„์‚ฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

MoE ์ „๋ฌธ๊ฐ€๊ฐ€ CPU์™€ GPU๋กœ ๋ถ„ํ• ๋œ KTransformers ์›Œํฌํ”Œ๋กœ ๋‹ค์ด์–ด๊ทธ๋žจ

KT-Kernel๊ณผ SGLang์˜ ํ˜‘์—… ๋ฐฉ์‹

ํ˜„์žฌ KTransformers ์Šคํƒ์€ ์ด์ข… CPU-GPU ์ถ”๋ก ์„ ์œ„ํ•ด KT-Kernel๊ณผ SGLang์„ ํ†ตํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๊ฐ ๊ตฌ์„ฑ ์š”์†Œ๋Š” ์—ญํ• ์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

  • SGLang์€ ์„œ๋น™ ๋Ÿฐํƒ€์ž„์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. API ์š”์ฒญ, ๋ฐฐ์นญ, ์š”์ฒญ ์Šค์ผ€์ค„๋ง, KV ์บ์‹œ ๊ด€๋ฆฌ, GPU ๋ณ‘๋ ฌํ™”๋ฅผ ๋‹ด๋‹นํ•ฉ๋‹ˆ๋‹ค.
  • KT-Kernel์€ ํ‘œ์ค€ MoE ์‹คํ–‰ ๊ฒฝ๋กœ๋ฅผ CPU-GPU ์ธ์ง€ํ˜• ์ „๋ฌธ๊ฐ€ ์‹คํ–‰์œผ๋กœ ๋Œ€์ฒดํ•ฉ๋‹ˆ๋‹ค. ์„ ํƒ๋œ ์ „๋ฌธ๊ฐ€๋Š” GPU์—์„œ ์‹คํ–‰๋˜๊ณ , ๋‚˜๋จธ์ง€๋Š” CPU ๋ฉ”๋ชจ๋ฆฌ์— ์ƒ์ฃผํ•˜๋ฉฐ CPU์—์„œ ์—ฐ์‚ฐํ•ฉ๋‹ˆ๋‹ค.

KTransformers๋Š” ๋˜ํ•œ ์›Œํฌ๋กœ๋“œ ํŒจํ„ด์— ๋”ฐ๋ผ ์ „๋ฌธ๊ฐ€ ๋ฐฐ์น˜๋ฅผ ๋ณ€๊ฒฝํ•˜๋Š” ๊ธฐ๋Šฅ์„ ์ง€์›ํ•˜๋ฉฐ, ์ด๋Š” ์ „๋ฌธ๊ฐ€ ์Šค์ผ€์ค„๋ง ํŠœํ† ๋ฆฌ์–ผ์— ์„ค๋ช…๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

์ฆ‰, KTransformers๋Š” ์ „์ฒด ๋ชจ๋ธ์ด GPU VRAM์— ๋“ค์–ด๊ฐ€์•ผ ํ•œ๋‹ค๊ณ  ์š”๊ตฌํ•˜๋Š” ๋Œ€์‹ , CPU ๋ฉ”๋ชจ๋ฆฌ์™€ GPU ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ํ•˜๋‚˜์˜ ์ถ”๋ก  ์‹œ์Šคํ…œ์œผ๋กœ ์ทจ๊ธ‰ํ•ฉ๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ๋งค์šฐ ํฐ MoE ๋ชจ๋ธ์„ ๋ณดํ†ต ํ•„์š”๋กœ ํ•˜๋Š” GPU ๋ฉ”๋ชจ๋ฆฌ๋ณด๋‹ค ํ›จ์”ฌ ์ ์€ GPU ๋ฉ”๋ชจ๋ฆฌ๋กœ๋„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ค๋‹ˆ๋‹ค.

GLM-5.3-Flash๋ž€ ๋ฌด์—‡์ธ๊ฐ€์š”?

GLM-5.3-Flash๋Š” Z.ai๊ฐ€ 2026๋…„ 8์›” MIT ๋ผ์ด์„ ์Šค๋กœ ๊ณต๊ฐœํ•œ ์˜คํ”ˆ ์›จ์ดํŠธ, ๋„ค์ดํ‹ฐ๋ธŒ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ MoE ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด๋ฆ„์— "Flash"๊ฐ€ ๋“ค์–ด๊ฐ€์ง€๋งŒ ๊ทœ๋ชจ๋Š” ํฝ๋‹ˆ๋‹ค. ์ด 320B ํŒŒ๋ผ๋ฏธํ„ฐ์ด๋ฉฐ, ํ† ํฐ๋‹น ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๋Š” ์•ฝ 18B์ž…๋‹ˆ๋‹ค.

๋กœ์ปฌ ์ถ”๋ก ์— ์ค‘์š”ํ•œ ์‚ฌ์–‘์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  • ์ „๋ฌธ๊ฐ€: ํƒ‘-8 ๋ผ์šฐํŒ…์„ ์‚ฌ์šฉํ•˜๋Š” 288๊ฐœ์˜ ๋ผ์šฐํŒ… ์ „๋ฌธ๊ฐ€ + ๊ณต์œ  ์ „๋ฌธ๊ฐ€ 1๊ฐœ
  • ๊ฐ€์ค‘์น˜: ๊ณต์‹ FP8 ์ฒดํฌํฌ์ธํŠธ(zai-org/GLM-5.3-Flash) ๊ธฐ์ค€ ์•ฝ 306 GiB
  • ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ: ์ตœ๋Œ€ 1M ํ† ํฐ
  • ์ž…๋ ฅ: ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ๋น„๋””์˜ค ์ง€์›, ์ถ”๋ก ๊ณผ ๋„๊ตฌ ํ˜ธ์ถœ ์ง€์›

KTransformers๋Š” ๊ณต์‹ FP8 ๊ฐ€์ค‘์น˜๋ฅผ ์ง์ ‘ ์ฝ์œผ๋ฏ€๋กœ ๋ณ€ํ™˜์ด๋‚˜ ์ถ”๊ฐ€ ์–‘์žํ™” ๋‹จ๊ณ„๊ฐ€ ํ•„์š” ์—†์Šต๋‹ˆ๋‹ค. ๋ฒค์น˜๋งˆํฌ์™€ ์ „์ฒด ๋ชจ๋ธ ๊ฐœ์š”๋Š” GLM-5.3-Flash ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

GLM-5.3-Flash ํ•˜๋“œ์›จ์–ด ์š”๊ตฌ ์‚ฌํ•ญ

GLM-5.3-Flash์˜ ๊ฒฝ์šฐ ํ•˜๋“œ์›จ์–ด๋Š” ์ฃผ๋กœ ์‹œ์Šคํ…œ RAM ์šฉ๋Ÿ‰์ด ๊ด€๊ฑด์ž…๋‹ˆ๋‹ค. ๊ณต์‹ KTransformers GLM-5.3-Flash ํŠœํ† ๋ฆฌ์–ผ์€ ์ตœ์†Œ 350 GB์˜ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ ํ™•๋ณด๋ฅผ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค.

๊ถŒ์žฅ ๊ตฌ์„ฑ: RTX PRO 6000 2๊ฐœ

์ด ํŠœํ† ๋ฆฌ์–ผ์—์„œ๋Š” ๋Œ€๋žต ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์‚ฌ์–‘์˜ RunPod ์ธ์Šคํ„ด์Šค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

GPU:         2ร— RTX PRO 6000
VRAM:        96 GB each
Total VRAM:  192 GB

System RAM:  350 GB+
Storage:     500 GB+
Python:      3.11

RTX PRO 6000 GPU 2๊ฐœ๋กœ RunPod ํŒŒ๋“œ๋ฅผ ์‹œ์ž‘ํ•˜๋Š” ํ™”๋ฉด

GLM-5.3-Flash์˜ ๊ณต์‹ FP8 ์ฒดํฌํฌ์ธํŠธ๋Š” ์•ฝ 306 GiB(์•ฝ 329 GB)์ด๊ณ , ์šฐ๋ฆฌ์˜ ๋‘ GPU๋Š” ์ด 192 GB์˜ VRAM์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ „์ฒด ๋ชจ๋ธ์„ GPU ๋ฉ”๋ชจ๋ฆฌ์— ๋‹จ์ˆœ ์ ์žฌํ•˜๋Š” ๊ฒƒ์€ ๋ถˆ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๋Œ€์‹  KTransformers๋Š” MoE ๊ฐ€์ค‘์น˜์˜ ์ƒ๋‹น ๋ถ€๋ถ„์„ ์‹œ์Šคํ…œ RAM์— ์œ ์ง€ํ•˜๊ณ , ๊ฐ€์žฅ ์œ ์šฉํ•œ ์—ฐ์‚ฐ์„ GPU๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค. 350 GB ๊ถŒ์žฅ์€ ๋ชจ๋ธ ๊ฐ€์ค‘์น˜์™€ ๋Ÿฐํƒ€์ž„ ์˜ค๋ฒ„ํ—ค๋“œ๋ฅผ ๊ฐ์•ˆํ•œ ์—ฌ์œ ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

GPU ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ ๋งŽ๋‹ค๊ณ  ํ•ด์„œ ์ด ๊ตฌ์„ฑ์—์„œ RAM ํ•„์š”์„ฑ์ด ์‚ฌ๋ผ์ง€์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. CPU ๋ฉ”๋ชจ๋ฆฌ๋Š” KTransformers์˜ ์ด์ข… ์ถ”๋ก  ์„ค๊ณ„์—์„œ ์˜๋„๋œ ์š”์†Œ์ž…๋‹ˆ๋‹ค. ์ „๋ฌธ๊ฐ€ ๊ฐ€์ค‘์น˜๋Š” RAM์— ๋‚จ๊ณ , GPU๋Š” ๊ฐ€์†์˜ ์ด์ ์„ ๊ฐ€์žฅ ํฌ๊ฒŒ ๋ฐ›๋Š” ๋ชจ๋ธ ๋ถ€๋ถ„์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

ํ˜„์žฌ GLM-5.3-Flash ๊ตฌํ˜„์—๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ CPU ๋ฐ GPU ์š”๊ตฌ ์‚ฌํ•ญ๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

  • GPU: NVIDIA SM89 ๋˜๋Š” SM120 ์•„ํ‚คํ…์ฒ˜(RTX 40 ์‹œ๋ฆฌ์ฆˆ, RTX 50 ์‹œ๋ฆฌ์ฆˆ, RTX PRO 6000 ๊ฐ™์€ Blackwell ์›Œํฌ์Šคํ…Œ์ด์…˜ ์นด๋“œ ํฌํ•จ)
  • CPU: AVX-512 ์ง€์›(FP8 CPU ์ „๋ฌธ๊ฐ€ ์ปค๋„์ด ์ด์— ์˜์กด)

๋‹จ์ผ GPU๋กœ GLM-5.3-Flash๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋‚˜์š”?

๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ์ถฉ๋ถ„ํ•œ ์‹œ์Šคํ…œ RAM๊ณผ ์ง€์›๋˜๋Š” CPU๊ฐ€ ์žˆ๋‹ค๋ฉด ๋ฉ๋‹ˆ๋‹ค. ๊ณต์‹ ํŠœํ† ๋ฆฌ์–ผ์—๋Š” --kt-num-gpu-experts 0์„ ์„ค์ •ํ•˜๋Š” ๋‹จ์ผ GPU ๊ตฌ์„ฑ์ด ํฌํ•จ๋˜์–ด ์žˆ์–ด, MoE ์ „๋ฌธ๊ฐ€๋Š” CPU ์ธก์—์„œ ์ฒ˜๋ฆฌ๋ฉ๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์„œ๋Š” RTX PRO 6000 GPU 2๊ฐœ๋ฅผ ์‚ฌ์šฉํ•˜์ง€๋งŒ, ์ด๋Š” ์—„๊ฒฉํ•œ ์ตœ์†Œ ์š”๊ตฌ ์‚ฌํ•ญ์ด ์•„๋‹™๋‹ˆ๋‹ค. ๋‘ ๋ฒˆ์งธ GPU๋Š” VRAM๊ณผ ์—ฌ์œ  ๊ณต๊ฐ„์„ ๋”ํ•ด, ๊ฐ€๋Šฅํ•œ ์ตœ์†Œ ํ•˜๋“œ์›จ์–ด์— ๋งž์ถฐ ์„ธํŒ…์„ ๊ทนํ•œ๊นŒ์ง€ ์กฐ์ •ํ•˜๊ธฐ๋ณด๋‹ค ๋น„๊ต์  ์ƒˆ ๊ตฌํ˜„์ธ KTransformers๋ฅผ ์‹คํ—˜ํ•  ๋•Œ ์•ˆ์ •์ ์œผ๋กœ ํ…Œ์ŠคํŠธํ•˜๊ธฐ ์œ„ํ•จ์ž…๋‹ˆ๋‹ค.

1๋‹จ๊ณ„: SGLang๊ณผ ํ•จ๊ป˜ KTransformers ์„ค์น˜

๊นจ๋—ํ•œ Python 3.11 ํ™˜๊ฒฝ์„ ๋งŒ๋“ค๊ณ  SGLang ์ง€์›๊ณผ ํ•จ๊ป˜ KTransformers๋ฅผ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.

python3.11 -m venv /workspace/kt
source /workspace/kt/bin/activate

pip install --upgrade pip
pip install "ktransformers[sglang]"

KTransformers, KT-Kernel, SGLang, CUDA๊ฐ€ ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ๊ฐ์ง€๋˜๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

kt version

๋‹ค์Œ๊ณผ ์œ ์‚ฌํ•œ ์ถœ๋ ฅ์ด ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

KTransformers CLI v0.7.0.post4

Python      3.11.13
Platform    Linux 6.8.0-136-generic
CUDA        13.0

Packages:
kt-kernel   0.7.0.post4
sglang-kt   0.7.0.post4

์ด๋Š” KTransformers ๋Ÿฐํƒ€์ž„๊ณผ SGLang ๋ฐฑ์—”๋“œ๊ฐ€ ์„ค์น˜๋˜์–ด ์‚ฌ์šฉํ•  ์ค€๋น„๊ฐ€ ๋˜์—ˆ์Œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.

2๋‹จ๊ณ„: Hugging Face์—์„œ GLM-5.3-Flash ๋‹ค์šด๋กœ๋“œ

์„œ๋ฒ„๋ฅผ ์‹œ์ž‘ํ•˜๊ธฐ ์ „์— Hugging Face์—์„œ ๊ณต์‹ GLM-5.3-Flash ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋‹ค์šด๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค.

hf download zai-org/GLM-5.3-Flash \
  --local-dir /workspace/GLM-5.3-Flash

Hugging Face์—์„œ zai-org/GLM-5.3-Flash ๋ชจ๋ธ์„ ๋‹ค์šด๋กœ๋“œ

์ฒดํฌํฌ์ธํŠธ๋Š” ์•ฝ 306 GiB์ด๋ฏ€๋กœ, ๋Œ€์—ญํญ์— ๋”ฐ๋ผ ๋‹ค์šด๋กœ๋“œ์— ์‹œ๊ฐ„์ด ๊ฑธ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ทธ๋‹ค์Œ KTransformers์— ๋กœ์ปฌ ๋ชจ๋ธ ๊ฒฝ๋กœ๋ฅผ ์ง€์ •ํ•ฉ๋‹ˆ๋‹ค.

export MODEL_PATH=/workspace/GLM-5.3-Flash

3๋‹จ๊ณ„: SGLang์œผ๋กœ GLM-5.3-Flash ์„œ๋ฒ„ ์‹คํ–‰

์ด์ œ RTX PRO 6000 ๋‘ ๊ฐœ๋ฅผ ๋ชจ๋‘ ์‚ฌ์šฉํ•˜๋Š” 2-way ํ…์„œ ๋ณ‘๋ ฌ๋กœ GLM-5.3-Flash๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ตœ๋Œ€ 1M ํ† ํฐ์˜ ์ปจํ…์ŠคํŠธ๋ฅผ ์ง€์›ํ•˜๋ฉฐ, ๊ณต์‹ ์˜ˆ์‹œ๋Š” ๊ฒ€์ฆ๋œ 501,025 ํ† ํฐ ๊ตฌ์„ฑ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋Š” ํ…Œ์ŠคํŠธ ๋™์•ˆ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์„ ์˜ˆ์ธก ๊ฐ€๋Šฅํ•˜๊ฒŒ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด 32K ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ๋กœ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.

CUDA_VISIBLE_DEVICES=0,1 \
python -m sglang.launch_server \
  --model-path "$MODEL_PATH" \
  --kt-weight-path "$MODEL_PATH" \
  --served-model-name GLM-5.3-flash \
  --host 0.0.0.0 \
  --port 30000 \
  --tp-size 2 \
  --context-length 32768 \
  --max-total-tokens 32768 \
  --mem-fraction-static 0.85 \
  --chunked-prefill-size 2048 \
  --kt-method FP8 \
  --kt-cpuinfer 64 \
  --kt-threadpool-count 2 \
  --kt-num-gpu-experts 14 \
  --kt-gpu-prefill-token-threshold 2048 \
  --kt-expert-placement-strategy uniform \
  --cuda-graph-bs 1 2 4 \
  --enable-p2p-check \
  --tool-call-parser glm47 \
  --reasoning-parser glm45

SGLang๊ณผ KTransformers๋กœ zai-org/GLM-5.3-Flash ๋ชจ๋ธ ์‹คํ–‰

์ด ๊ตฌ์„ฑ์€ ํฌํŠธ 30000์—์„œ OpenAI ํ˜ธํ™˜ SGLang ์„œ๋ฒ„๋ฅผ ํ†ตํ•ด ๋ชจ๋ธ์„ ๋…ธ์ถœํ•ฉ๋‹ˆ๋‹ค. ๋‘ GPU๋Š” --tp-size 2๋กœ ์‚ฌ์šฉ๋˜๋ฉฐ, KTransformers๋Š” MoE ์›Œํฌ๋กœ๋“œ์˜ ์ผ๋ถ€๋ฅผ CPU์— ์œ ์ง€ํ•˜๊ณ  ์„ ํƒํ•œ ์ „๋ฌธ๊ฐ€๋ฅผ GPU์— ๋ฐฐ์น˜ํ•ฉ๋‹ˆ๋‹ค.

์—ฌ๊ธฐ ์„ค์ •์€ ์ฒซ ์‹คํ–‰์— ๋งž์ถฐ ์˜๋„์ ์œผ๋กœ ๋ณด์ˆ˜์ ์ž…๋‹ˆ๋‹ค. 32K ์ปจํ…์ŠคํŠธ, 85% ์ •์  GPU ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ, GPU ์ „๋ฌธ๊ฐ€ 14๋ช…, CPU ์ถ”๋ก  ์Šค๋ ˆ๋“œ 64๊ฐœ์ž…๋‹ˆ๋‹ค. ์„œ๋ฒ„๊ฐ€ ์•ˆ์ •ํ™”๋˜๋ฉด ์ฒ˜๋ฆฌ๋Ÿ‰ ํ–ฅ์ƒ์„ ์œ„ํ•ด ๋” ํฐ ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ, ๋” ๋งŽ์€ GPU ์ „๋ฌธ๊ฐ€, ๋‹ค๋ฅธ ๋ฉ”๋ชจ๋ฆฌ ์„ค์ •์„ ์‹คํ—˜ํ•ด ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์š” KTransformers ์‹คํ–‰ ํ”Œ๋ž˜๊ทธ ์„ค๋ช…

์œ„ ํ”Œ๋ž˜๊ทธ ๋Œ€๋ถ€๋ถ„์€ ํ‘œ์ค€ SGLang ์˜ต์…˜์ž…๋‹ˆ๋‹ค. ๋‹ค์Œ์€ KTransformers๊ฐ€ CPU์™€ GPU ๊ฐ„์— ์ž‘์—…์„ ๋ถ„ํ• ํ•˜๋Š” ๋ฐฉ์‹์„ ์ œ์–ดํ•˜๋Š” ํ•ญ๋ชฉ์ž…๋‹ˆ๋‹ค.

FlagValue๊ธฐ๋Šฅ
--kt-methodFP8์ „๋ฌธ๊ฐ€ ๊ฐ€์ค‘์น˜์˜ ์ •๋ฐ€๋„๋ฅผ ์„ค์ •ํ•˜๋ฉฐ, GLM-5.3-Flash์˜ ๋„ค์ดํ‹ฐ๋ธŒ FP8 ์ฒดํฌํฌ์ธํŠธ์™€ ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค.
--kt-cpuinfer64์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ์— ์‚ฌ์šฉํ•  CPU ์Šค๋ ˆ๋“œ ์ˆ˜์ž…๋‹ˆ๋‹ค.
--kt-threadpool-count2CPU ์Šค๋ ˆ๋“œ ํ’€ ์ˆ˜๋กœ, ์ผ๋ฐ˜์ ์œผ๋กœ NUMA ๋…ธ๋“œ ์ˆ˜์™€ ๋งž์ถฅ๋‹ˆ๋‹ค.
--kt-num-gpu-experts14MoE ๋ ˆ์ด์–ด๋‹น GPU์— ๋ฐฐ์น˜ํ•  ์ „๋ฌธ๊ฐ€ ์ˆ˜์ž…๋‹ˆ๋‹ค.
--kt-expert-placement-strategyuniformGPU ์ „๋ฌธ๊ฐ€๋ฅผ ์„ ํƒํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ์˜ต์…˜์œผ๋กœ๋Š” frequency, front-loading, random์ด ์žˆ์Šต๋‹ˆ๋‹ค.
--kt-gpu-prefill-token-threshold2048ํ”„๋กฌํ”„ํŠธ ๊ธธ์ด๊ฐ€ ์ด ๊ฐ’์„ ๋„˜์œผ๋ฉด ํ”„๋ฆฌํ•„์ด GPU ์ธก ๋ ˆ์ด์–ด์™€์ด์ฆˆ ๊ฒฝ๋กœ๋กœ ์ „ํ™˜๋ฉ๋‹ˆ๋‹ค.

4๋‹จ๊ณ„: CPU-GPU ์˜คํ”„๋กœ๋”ฉ๊ณผ ์ „๋ฌธ๊ฐ€ ๋ฐฐ์น˜ ํ…Œ์ŠคํŠธ

์„œ๋ฒ„๊ฐ€ ์‹คํ–‰ ์ค‘์ด๋ฏ€๋กœ ์ด์ œ KTransformers๊ฐ€ GPU VRAM๊ณผ ์‹œ์Šคํ…œ RAM์„ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉํ•˜๋Š”์ง€ ํ™•์ธํ•œ ๋’ค, GPU ์ƒ์ฃผ ์ „๋ฌธ๊ฐ€ ์ˆ˜๋ฅผ ๋ณ€๊ฒฝํ•ด ์ž์› ์‚ฌ์šฉ๋Ÿ‰๊ณผ ์„ฑ๋Šฅ ๋ณ€ํ™”๋ฅผ ์‚ดํŽด๋ด…๋‹ˆ๋‹ค.

RunPod์—์„œ free -h๋Š” ์ปจํ…Œ์ด๋„ˆ๊ฐ€ ํŒŒ๋“œ์— ํ• ๋‹น๋œ ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ ์•„๋‹ˆ๋ผ ํ˜ธ์ŠคํŠธ ๋จธ์‹ ์˜ ์ „์ฒด RAM์„ ๋ณผ ์ˆ˜ ์žˆ์–ด ์˜คํ•ด์˜ ์†Œ์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. GPU ๋ฉ”๋ชจ๋ฆฌ์™€ ์ปจํ…Œ์ด๋„ˆ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๋ณ„๋„๋กœ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

GPU VRAM ์‚ฌ์šฉ๋Ÿ‰ ๋ชจ๋‹ˆํ„ฐ๋ง

์ƒˆ ํ„ฐ๋ฏธ๋„์„ ์—ด๊ณ  GPU ์‚ฌ์šฉ๋Ÿ‰์„ ๋ชจ๋‹ˆํ„ฐ๋งํ•ฉ๋‹ˆ๋‹ค.

watch -n 1 nvidia-smi

KTransformers๋กœ GLM-5.3-Flash ์‹คํ–‰ ์ค‘ GPU VRAM ์‚ฌ์šฉ๋Ÿ‰ ๋ชจ๋‹ˆํ„ฐ๋ง

ํ˜„์žฌ ๊ตฌ์„ฑ์—์„œ๋Š” ๋ชจ๋ธ์ด ์™„์ „ํžˆ ์ ์žฌ๋˜์–ด๋„ GPU๋‹น ์•ฝ 48 GB๋งŒ ์‚ฌ์šฉ๋˜์–ด, ๋งŽ์€ VRAM์ด ๋‚จ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋” ๋งŽ์€ ์ „๋ฌธ๊ฐ€๋ฅผ GPU์— ๋ฐฐ์น˜ํ•˜๊ฑฐ๋‚˜ ์ถฉ๋ถ„ํ•œ ์‹œ์Šคํ…œ RAM์ด ์žˆ๋‹ค๋ฉด ๋‹จ์ผ GPU ๊ตฌ์„ฑ๋„ ์‹œํ—˜ํ•ด ๋ณผ ์—ฌ์ง€๊ฐ€ ์žˆ์Œ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

RunPod์—์„œ ์ปจํ…Œ์ด๋„ˆ RAM ๋ชจ๋‹ˆํ„ฐ๋ง

์ปจํ…Œ์ด๋„ˆ RAM์€ cgroup ๋ฉ”๋ชจ๋ฆฌ ์นด์šดํ„ฐ๋ฅผ ์ง์ ‘ ํ™•์ธํ•˜์„ธ์š”.

watch -n 1 'echo -n "Used: "; awk "{printf \"%.1f GiB\n\", \$1/1024/1024/1024}" /sys/fs/cgroup/memory.current; echo -n "Limit: "; awk "{printf \"%.1f GiB\n\", \$1/1024/1024/1024}" /sys/fs/cgroup/memory.max'

RunPod์—์„œ ์ปจํ…Œ์ด๋„ˆ ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ ๋ชจ๋‹ˆํ„ฐ๋ง

์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ์Šคํ…œ RAM ์ค‘ ์ƒ๋‹น ๋ถ€๋ถ„์ด ๋ชจ๋ธ ๊ฐ€์ค‘์น˜์™€ CPU ์ธก ์ „๋ฌธ๊ฐ€๊ฐ€ ์ฐจ์ง€ํ•˜๋Š” ๊ฒƒ์„ ๋ณผ ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋Š” ์ •์ƒ์ž…๋‹ˆ๋‹ค. KTransformers๋Š” ๋ชจ๋“  ์ „๋ฌธ๊ฐ€๊ฐ€ VRAM์— ์žˆ์–ด์•ผ ํ•œ๋‹ค๊ณ  ์š”๊ตฌํ•˜๋Š” ๋Œ€์‹ , ๋งŽ์€ MoE ์ „๋ฌธ๊ฐ€๋ฅผ RAM์— ์˜๋„์ ์œผ๋กœ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

--kt-num-gpu-experts ํŠœ๋‹

๋‹ค์Œ์œผ๋กœ --kt-num-gpu-experts ๊ฐ’์„ ๋ฐ”๊ฟ” ์„œ๋ฒ„๋ฅผ ์žฌ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๋‹ค์Œ์„ ๋น„๊ตํ•ด ๋ณด์„ธ์š”.

0
10
20

--kt-num-gpu-experts๋Š” MoE ๋ ˆ์ด์–ด๋‹น GPU์— ๋ฐฐ์น˜ํ•  ์ „๋ฌธ๊ฐ€ ์ˆ˜๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค. 0์ด๋ฉด ์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ์€ CPU ์ธก์— ๋จธ๋ฌผ๊ณ , ๊ฐ’์„ ๋†’์ด๋ฉด ๋” ๋งŽ์€ ์ „๋ฌธ๊ฐ€๊ฐ€ GPU ๋ฉ”๋ชจ๋ฆฌ๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.

๊ตฌ์„ฑ๋งˆ๋‹ค GPU VRAM ์‚ฌ์šฉ๋Ÿ‰, ์ปจํ…Œ์ด๋„ˆ RAM ์‚ฌ์šฉ๋Ÿ‰, ์ดˆ๋‹น ํ† ํฐ ์ˆ˜, ์ฒซ ํ† ํฐ๊นŒ์ง€์˜ ์‹œ๊ฐ„์„ ๋น„๊ตํ•˜์„ธ์š”. ์ผ๋ฐ˜์ ์œผ๋กœ GPU ์ „๋ฌธ๊ฐ€๋ฅผ ๋Š˜๋ฆฌ๋ฉด VRAM ์‚ฌ์šฉ๋Ÿ‰์€ ์ฆ๊ฐ€ํ•˜์ง€๋งŒ CPU ์ธก ์ „๋ฌธ๊ฐ€ ์‹คํ–‰์ด ์ค„์–ด๋“ค์–ด, ์ถฉ๋ถ„ํ•œ VRAM์ด ์žˆ์„ ๋•Œ ์ถ”๋ก  ์„ฑ๋Šฅ์ด ํ–ฅ์ƒ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ณต์‹ ํŠœํ† ๋ฆฌ์–ผ์˜ ํ•œ ๊ฐ€์ง€ ์ฃผ์˜์ : GLM-5.3-Flash์—์„œ Layerwise Prefill์ด ํ™œ์„ฑํ™”๋œ ๊ฒฝ์šฐ, ํ˜„์žฌ ๊ตฌํ˜„์€ ์ƒ์ฃผ GPU ์ „๋ฌธ๊ฐ€ ์ˆ˜๋ฅผ 0์œผ๋กœ ์ •๊ทœํ™”ํ•ฉ๋‹ˆ๋‹ค. ์‹คํ–‰ ๊ฐ„ VRAM ์‚ฌ์šฉ๋Ÿ‰ ๋ณ€ํ™”๊ฐ€ ๊ฑฐ์˜ ์—†๋‹ค๋ฉด ์ด ๋•Œ๋ฌธ์ผ ๊ฐ€๋Šฅ์„ฑ์ด ํฝ๋‹ˆ๋‹ค.

์ด ์‹คํ—˜์€ KTransformers์˜ ํ•ต์‹ฌ ์žฅ์ ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. CPU RAM๊ณผ GPU VRAM์„ ํ•˜๋‚˜์˜ ์ถ”๋ก  ์‹œ์Šคํ…œ ๋‚ด์—์„œ ์กฐ์ ˆ ๊ฐ€๋Šฅํ•œ ์š”์†Œ๋กœ ๋งŒ๋“ค์–ด, ์ „์ฒด MoE ๋ชจ๋ธ์ด GPU์— ์ „๋ถ€ ๋“ค์–ด๊ฐ€์•ผ ํ•˜๋Š” ์š”๊ตฌ ๋Œ€์‹  ๋ฉ”๋ชจ๋ฆฌ ๋ฐฐ์น˜์™€ ์†๋„ ๊ฐ„์˜ ๊ท ํ˜•์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

5๋‹จ๊ณ„: OpenAI ํ˜ธํ™˜ API ํ…Œ์ŠคํŠธ

์„œ๋ฒ„๊ฐ€ ์‹คํ–‰ ์ค‘์ด๋ฏ€๋กœ ์ด์ œ ๋ชจ๋ธ์ด ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ์ง€ ํ™•์ธํ•˜๊ณ  SGLang์˜ OpenAI ํ˜ธํ™˜ API๋ฅผ ํ†ตํ•ด ์‹ค์ œ ์š”์ฒญ์„ ๋ณด๋ƒ…๋‹ˆ๋‹ค.

๋จผ์ € ๋ชจ๋ธ์ด ๋“ฑ๋ก๋˜์—ˆ๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

curl http://localhost:30000/v1/models

์ด์–ด์„œ ํ…Œ์ŠคํŠธ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋ณด๋ƒ…๋‹ˆ๋‹ค.

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "GLM-5.3-flash",
    "messages": [
      {
        "role": "user",
        "content": "Create a FastAPI application with a health endpoint."
      }
    ],
    "max_tokens": 500
  }'

KTransformers OpenAI ํ˜ธํ™˜ API๋ฅผ ํ†ตํ•ด GLM-5.3-Flash๊ฐ€ ์ƒ์„ฑํ•œ ์ฑ„ํŒ… ์‘๋‹ต

๊ตฌ์„ฑ์ด ์ œ๋Œ€๋กœ ๋™์ž‘ํ•œ๋‹ค๋ฉด, ์„œ๋ฒ„๋Š” ์ƒ์„ฑ๋œ ์ฝ”๋“œ์™€ ์‚ฌ์šฉ ํ†ต๊ณ„๋ฅผ ํฌํ•จํ•œ ์ผ๋ฐ˜์ ์ธ ์ฑ„ํŒ… ์™„์„ฑ ์‘๋‹ต์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

6๋‹จ๊ณ„: Pi๋กœ GLM-5.3-Flash๋ฅผ ๋กœ์ปฌ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ๋กœ ์‚ฌ์šฉ

Pi๋Š” ์–ด๋–ค OpenAI ํ˜ธํ™˜ ๋ชจ๋ธ๋„ ๋ฐฑ์—”๋“œ๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒฝ๋Ÿ‰ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ์ž…๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด GLM-5.3-Flash๋ฅผ ํ”„๋กฌํ”„ํŠธ ์‘๋‹ต๋ฟ ์•„๋‹ˆ๋ผ ์‹ค์ œ ์ฝ”๋”ฉ ์ž‘์—…์— ์ง์ ‘ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Pi ์„ค์น˜

์„ค์น˜ ์Šคํฌ๋ฆฝํŠธ๋กœ Pi๋ฅผ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.

curl -fsSL https://pi.dev/install.sh | sh

Pi ์ฝ”๋”ฉ ์—์ด์ „ํŠธ ์„ค์น˜

๊ทธ๋‹ค์Œ PATH์— Pi๋ฅผ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

echo 'export PATH="/root/.local/share/pi-node/current/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Pi๋ฅผ KTransformers ์„œ๋ฒ„์— ์—ฐ๊ฒฐ

Pi๊ฐ€ ๋กœ์ปฌ KTransformers ์„œ๋ฒ„๋ฅผ ๊ฐ€๋ฆฌํ‚ค๋„๋ก ๋ชจ๋ธ ๊ตฌ์„ฑ์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

mkdir -p ~/.pi/agent && cat > ~/.pi/agent/models.json <<'EOF'
{
  "providers": {
    "ktransformers": {
      "baseUrl": "http://localhost:30000/v1",
      "api": "openai-completions",
      "apiKey": "local",
      "models": [
        {
          "id": "GLM-5.3-flash",
          "name": "GLM-5.3-Flash",
          "reasoning": true,
          "input": ["text"],
          "contextWindow": 32768,
          "maxTokens": 8192,
          "cost": {
            "input": 0,
            "output": 0,
            "cacheRead": 0,
            "cacheWrite": 0
          }
        }
      ]
    }
  }
}
EOF

Pi๋ฅผ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.

pi

๊ทธ๋‹ค์Œ ๋ชจ๋ธ ์„ ํƒ๊ธฐ๋ฅผ ์—ฝ๋‹ˆ๋‹ค.

/model

Pi์—์„œ KTransformers๊ฐ€ ์„œ๋น™ํ•˜๋Š” GLM-5.3-Flash ๋ชจ๋ธ ์„ ํƒ

GLM-5.3-Flash๋กœ ์ฝ”๋”ฉ ์ž‘์—… ์‹คํ–‰

GLM-5.3-Flash๋ฅผ ์„ ํƒํ•˜๊ณ  ์‹ค์ œ ์ฝ”๋”ฉ ์ž‘์—…์„ ์‹œ๋„ํ•ด ๋ณด์„ธ์š”.

Build a FastAPI service with /health and /users endpoints.
Add pytest tests and run them.

Pi ์ฝ”๋”ฉ ์—์ด์ „ํŠธ์—์„œ GLM-5.3-Flash๊ฐ€ FastAPI ์ฝ”๋”ฉ ์ž‘์—…์„ ์ˆ˜ํ–‰ ์ค‘

๋ช‡ ์ดˆ ๋‚ด์— Pi๊ฐ€ ํŒŒ์ผ์„ ์ƒ์„ฑํ•˜๊ณ , API๋ฅผ ์ž‘์„ฑํ•˜๋ฉฐ, ํ…Œ์ŠคํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ณ , ์ž‘์—…์„ ์ง„ํ–‰ํ•˜๋ฉด์„œ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ•˜๊ธฐ ์‹œ์ž‘ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

SGLang ๋ฐ KTransformers ์ถ”๋ก  ์„œ๋ฒ„ ๋กœ๊ทธ ๋ชจ๋‹ˆํ„ฐ๋ง

SGLang ์„œ๋ฒ„๊ฐ€ ์‹คํ–‰ ์ค‘์ธ ์ฒซ ๋ฒˆ์งธ ํ„ฐ๋ฏธ๋„์„ ์ง€์ผœ๋ด๋„ ๋ฉ๋‹ˆ๋‹ค. ์šฐ๋ฆฌ์˜ ํ…Œ์ŠคํŠธ์—์„œ ์ƒ์„ฑ ์†๋„๋Š” ์ดˆ๋‹น ์•ฝ 11 ํ† ํฐ์ด์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์ƒ๋‹นํ•œ CPU ์˜คํ”„๋กœ๋”ฉ๊ณผ ํ•จ๊ป˜ ์ด ์ •๋„ ๊ทœ๋ชจ์˜ ๋ชจ๋ธ์„ ์‹คํ–‰ํ•  ๋•Œ ํ•ฉ๋ฆฌ์ ์ธ ์ˆ˜์น˜์ด๋ฉฐ, ๋” ๋งŽ์€ ์ „๋ฌธ๊ฐ€๋ฅผ GPU๋กœ ์˜ฎ๊ฒจ ์ถ”๊ฐ€๋กœ ํŠœ๋‹ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

GLM-5.3-Flash๊ฐ€ FastAPI ์ž‘์—…์„ ์™„๋ฃŒํ•œ ๋’ค Pi ์ฝ”๋”ฉ ์—์ด์ „ํŠธ ์š”์•ฝ

๋ช‡ ๋ถ„ ์•ˆ์— ๋ชจ๋ธ์€ ์—”๋“œํฌ์ธํŠธ๋ฅผ ๋งŒ๋“ค๊ณ , ํ…Œ์ŠคํŠธ๋ฅผ ์ž‘์„ฑ ๋ฐ ์‹คํ–‰ํ•˜๋ฉฐ, ์Šค๋ชจํฌ ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ํ”„๋กœ์ ํŠธ ์‹คํ–‰ ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•˜๋Š” ๊ฐ„๋‹จํ•œ ์š”์•ฝ์„ ์ƒ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

ํฅ๋ฏธ๋กœ์šด ์ ์€ ๊ฐ€์ค‘์น˜๊ฐ€ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ GPU VRAM๋ณด๋‹ค ํ›จ์”ฌ ํฐ๋ฐ๋„ ์ „์ฒด ๋ชจ๋ธ์ด ๋กœ์ปฌ์—์„œ ์‹คํ–‰๋˜๊ณ  ์žˆ๋‹ค๋Š” ์‚ฌ์‹ค์ž…๋‹ˆ๋‹ค. ์ฝ”๋”ฉ ์—์ด์ „ํŠธ ๋ฃจํ”„๋Š” Pi๊ฐ€ ์ฒ˜๋ฆฌํ•˜๊ณ , ์‹ค์ œ ๋ชจ๋ธ ์ถ”๋ก ์€ SGLang๊ณผ KTransformers๊ฐ€ ๋‹ด๋‹นํ•ฉ๋‹ˆ๋‹ค.

KTransformers vs vLLM vs llama.cpp

VRAM๋ณด๋‹ค ํฐ ๋ชจ๋ธ์„ ์‹คํ–‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์€ KTransformers๋งŒ ์žˆ๋Š” ๊ฒƒ์ด ์•„๋‹™๋‹ˆ๋‹ค. vLLM๊ณผ llama.cpp๋„ CPU ์˜คํ”„๋กœ๋”ฉ์„ ์ง€์›ํ•˜์ง€๋งŒ, ์ž‘์—…์„ ๋ถ„ํ• ํ•˜๋Š” ๋ฐฉ์‹์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

ํ”„๋ ˆ์ž„์›ŒํฌCPU ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ ๋ฐฉ์‹์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ ์œ„์น˜์ ํ•ฉํ•œ ์šฉ๋„
vLLM๊ฐ€์ค‘์น˜ ์ผ๋ถ€๋ฅผ CPU RAM์œผ๋กœ ์˜คํ”„๋กœ๋”ฉ(--cpu-offload-gb)ํ•˜๊ณ  ํ•„์š” ์‹œ GPU๋กœ ์ „์†กGPU๋ชจ๋ธ์ด ๋Œ€๋ถ€๋ถ„ VRAM์— ๋“ค์–ด๊ฐˆ ๋•Œ ๊ณ ์ฒ˜๋ฆฌ๋Ÿ‰ ์„œ๋น™
llama.cpp๋ ˆ์ด์–ด๋ฅผ CPU์™€ GPU๋กœ ๋ถ„ํ• ํ•˜๊ณ , MoE ์ „๋ฌธ๊ฐ€ ํ…์„œ๋ฅผ RAM์— ์œ ์ง€ ๊ฐ€๋Šฅ(--n-cpu-moe)CPU์™€ GPU์†Œ๋น„์ž์šฉ ํ•˜๋“œ์›จ์–ด์—์„œ์˜ ์–‘์žํ™” GGUF ๋ชจ๋ธ
KTransformers + SGLang๋Œ€๋ถ€๋ถ„์˜ ์ „๋ฌธ๊ฐ€๋ฅผ RAM์— ๋‘๊ณ  ๋ ˆ์ด์–ด๋‹น ์ผ์ • ์ˆ˜์˜ ์ „๋ฌธ๊ฐ€๋ฅผ GPU์— ๋ฐฐ์น˜CPU์™€ GPU(AVX-512 ์ตœ์ ํ™” ์ „๋ฌธ๊ฐ€ ์ปค๋„)์ˆ˜๋ฐฑ GB RAM์„ ๊ฐ–์ถ˜ ๋จธ์‹ ์—์„œ ๋„ค์ดํ‹ฐ๋ธŒ ์ •๋ฐ€๋„ MoE ๋ชจ๋ธ

์ด ๊ตฌ์„ฑ์—์„œ SGLang๊ณผ KTransformers๋Š” ๊ฒฝ์Ÿ ๊ด€๊ณ„๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. SGLang์€ ์„œ๋น™์„, KTransformers๋Š” ์ด์ข… CPU-GPU MoE ์‹คํ–‰์„ ๋‹ด๋‹นํ•ฉ๋‹ˆ๋‹ค.

๋งˆ๋ฌด๋ฆฌ

์ด ๊ตฌ์„ฑ์—์„œ ๊ฐ€์žฅ ๋งˆ์Œ์— ๋“ค์—ˆ๋˜ ์ ์€ KTransformers๊ฐ€ ํ”ํ•œ ์ถ”๋ก  ์Šคํƒ๊ณผ๋Š” ์กฐ๊ธˆ ๋‹ค๋ฅด๊ฒŒ ์ ‘๊ทผํ•œ๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ชจ๋ธ ๋ ˆ์ด์–ด๋งŒ์„ ๊ด€์ ์œผ๋กœ ๋ณด์ง€ ์•Š๊ณ , ๊ฐœ๋ณ„ ์ „๋ฌธ๊ฐ€๋ฅผ GPU์— ๋ฐฐ์น˜ํ•˜๋Š” ํ•œํŽธ ๋‹ค๋ฅธ ์ „๋ฌธ๊ฐ€๋Š” ์‹œ์Šคํ…œ RAM์— ๋‘ก๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  CPU๊ฐ€ ์‹ค์ œ๋กœ ์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ์— ์ฐธ์—ฌํ•ฉ๋‹ˆ๋‹ค. CPU๋ฅผ ๋‹จ์ˆœํ•œ ์˜ค๋ฒ„ํ”Œ๋กœ ์Šคํ† ๋ฆฌ์ง€๋กœ๋งŒ ์“ฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ด ํŠœํ† ๋ฆฌ์–ผ์—์„œ๋Š” ๊ฐ€์ค‘์น˜๊ฐ€ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ VRAM๋ณด๋‹ค ํ›จ์”ฌ ํฌ์ง€๋งŒ, RTX PRO 6000 GPU ๋‘ ๊ฐœ๋กœ ์ „์ฒด GLM-5.3-Flash ๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค.

๊ฐ€์žฅ ๋น ๋ฅธ ๊ตฌ์„ฑ์€ ์•„๋‹™๋‹ˆ๋‹ค. ์ดˆ๋‹น ์•ฝ 11 ํ† ํฐ ์ •๋„์˜€๊ณ , GPU ์ „๋ฌธ๊ฐ€ ์ˆ˜์™€ ๋ฐฐ์น˜๋ฅผ ๋” ์กฐ์ •ํ•  ์—ฌ์ง€๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ์ถฉ๋ถ„ํ•œ RAM์ด ์žˆ๋‹ค๋ฉด ๋‹จ์ผ GPU๋กœ๋„ ์‹คํ—˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋Š” ์—ฌ์œ ๋ฅผ ๋‘๊ธฐ ์œ„ํ•ด GPU ๋‘ ๊ฐœ๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.

๊ฐœ์ธ์ ์œผ๋กœ ์ด ๊ฐ€์ด๋“œ์˜ ํ•ต์‹ฌ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. KTransformers๊ฐ€ CPU ์˜คํ”„๋กœ๋”ฉ์„ ์ฒ˜์Œ ๋„์ž…ํ•ด์„œ ํŠน๋ณ„ํ•œ ๊ฒŒ ์•„๋‹ˆ๋ผ, MoE ๋ชจ๋ธ์˜ ํฌ์†Œ ๊ตฌ์กฐ๋ฅผ ์ค‘์‹ฌ์œผ๋กœ CPU RAM, CPU ์—ฐ์‚ฐ, GPU ์—ฐ์‚ฐ์ด ํ•จ๊ป˜ ์ž‘๋™ํ•˜๋„๋ก ๋งŒ๋“  ์ ์ด ํŠน๋ณ„ํ•ฉ๋‹ˆ๋‹ค.

KTransformers์™€ GLM-5.3-Flash ์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ

KTransformers๋กœ GLM-5.3-Flash๋ฅผ ์‹คํ–‰ํ•˜๋ ค๋ฉด RAM์ด ์–ผ๋งˆ๋‚˜ ํ•„์š”ํ•˜๋‚˜์š”?

๊ณต์‹ KTransformers ํŠœํ† ๋ฆฌ์–ผ์€ ์ตœ์†Œ 350 GB์˜ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค. ๋„ค์ดํ‹ฐ๋ธŒ FP8 ๊ฐ€์ค‘์น˜๊ฐ€ ์•ฝ 306 GiB๋ฅผ ์ฐจ์ง€ํ•˜๋ฉฐ, ๋‚˜๋จธ์ง€๋Š” ๋Ÿฐํƒ€์ž„ ์˜ค๋ฒ„ํ—ค๋“œ๋ฅผ ์œ„ํ•œ ์šฉ๋Ÿ‰์ž…๋‹ˆ๋‹ค.

KTransformers๋Š” ๋‹จ์ผ GPU์—์„œ GLM-5.3-Flash๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋‚˜์š”?

๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ๊ณต์‹ ํŠœํ† ๋ฆฌ์–ผ์—๋Š” --kt-num-gpu-experts 0์„ ์‚ฌ์šฉํ•˜๋Š” ๋‹จ์ผ GPU ๊ตฌ์„ฑ์ด ํฌํ•จ๋˜์–ด ์žˆ์œผ๋ฉฐ, ์ด ๊ฒฝ์šฐ ์ „๋ฌธ๊ฐ€ ์—ฐ์‚ฐ์€ CPU์—์„œ ์ˆ˜ํ–‰๋ฉ๋‹ˆ๋‹ค. ์ถฉ๋ถ„ํ•œ ์‹œ์Šคํ…œ RAM๊ณผ AVX-512๋ฅผ ์ง€์›ํ•˜๋Š” CPU๋Š” ์—ฌ์ „ํžˆ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

GLM-5.3-Flash์šฉ KTransformers๊ฐ€ ์ง€์›ํ•˜๋Š” GPU์™€ CPU๋Š” ๋ฌด์—‡์ธ๊ฐ€์š”?

ํ˜„์žฌ ๊ตฌํ˜„์€ NVIDIA SM89 ๋ฐ SM120 GPU๋ฅผ ์ง€์›ํ•˜๋ฉฐ, ์—ฌ๊ธฐ์—๋Š” RTX 40 ์‹œ๋ฆฌ์ฆˆ, RTX 50 ์‹œ๋ฆฌ์ฆˆ, RTX PRO 6000์ด ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. CPU ์ธก์—์„œ๋Š” FP8 ์ „๋ฌธ๊ฐ€ ์ปค๋„์— AVX-512๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

KTransformers์—์„œ GLM-5.3-Flash ์†๋„๋Š” ์–ด๋А ์ •๋„์ธ๊ฐ€์š”?

RTX PRO 6000 ๋‘ ๊ฐœ, 32K ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ, ๋ ˆ์ด์–ด๋‹น GPU ์ „๋ฌธ๊ฐ€ 14๋ช… ๊ตฌ์„ฑ์—์„œ, ์ƒ์„ฑ ์†๋„๋Š” ์ดˆ๋‹น ์•ฝ 11 ํ† ํฐ์ด์—ˆ์Šต๋‹ˆ๋‹ค. ์†๋„๋Š” ์ฃผ๋กœ GPU์— ์ƒ์ฃผํ•˜๋Š” ์ „๋ฌธ๊ฐ€ ์ˆ˜, CPU ์„ฑ๋Šฅ, ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์— ์ขŒ์šฐ๋ฉ๋‹ˆ๋‹ค.

KTransformers๋Š” ๋‹ค๋ฅธ ์–ด๋–ค ๋ชจ๋ธ์„ ์ง€์›ํ•˜๋‚˜์š”?

KTransformers๋Š” GLM-5, GLM-5.2, Kimi K2.5, MiniMax-M2.5, Qwen3-235B-A22B ๋“ฑ ๋‹ค์–‘ํ•œ ๋Œ€ํ˜• MoE ๋ชจ๋ธ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์ตœ์‹  ๋ชฉ๋ก๊ณผ ๋ชจ๋ธ๋ณ„ ํŠœํ† ๋ฆฌ์–ผ์€ KTransformers GitHub ์ €์žฅ์†Œ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

์ฃผ์ œ