๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

2026๋…„ ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM: 9๊ฐœ ๋ชจ๋ธ ์ˆœ์œ„

2026๋…„ 9์›” ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM 9๊ฐœ๋ฅผ SWE-bench Pro์™€ Terminal-Bench๋ฅผ ๊ธฐ์ค€์œผ๋กœ, Claude Opus 5.5๋ถ€ํ„ฐ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ๊นŒ์ง€ ์ˆœ์œ„ํ™”ํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ฌด๋ฃŒ ๊ณ„์ • ๋งŒ๋“ค๊ธฐ

์‹ค์Šต ๋ฌธ์ œํ•˜๊ณ  ํŠธ๋ž™ํ•˜์„ธ์š”.

Google๋กœ ๊ณ„์†ํ•˜๊ธฐ๊ณ„์† ์ง„ํ–‰ํ•˜์‹œ๋ฉด ๋‹ค์Œ ์‚ฌํ•ญ์— ๋™์˜ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผ๋ฉ๋‹ˆ๋‹ค: ์ด์šฉ์•ฝ๊ด€ ๋ฐ ๊ฐœ์ธ์ •๋ณด ์ฒ˜๋ฆฌ๋ฐฉ์นจ ๊ทธ๋ฆฌ๊ณ  ๊ท€ํ•˜์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ๋ฏธ๊ตญ์— ์ €์žฅ๋œ๋‹ค๋Š” ์ ์— ๋™์˜ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผ๋ฉ๋‹ˆ๋‹ค.

2025๋…„ 2์›”, Claude 3.7 Sonnet์ด SWE-bench Verified์—์„œ 62.3%๋ฅผ ๊ธฐ๋กํ–ˆ๊ณ , ์ปค์Šคํ…€ ์Šค์บํด๋“œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด 70.3%์˜€์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ์‹œ๊ธฐ ์ตœ๊ณ ์˜ ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์ด๋˜ DeepSeek-R1์€ ๋…ผ๋ฌธ์—์„œ 49.2%๋ฅผ ๋ณด๊ณ ํ–ˆ์Šต๋‹ˆ๋‹ค.

์Šค์บํด๋”ฉ์„ ์–ผ๋งˆ๋‚˜ ๊ด€๋Œ€ํ•˜๊ฒŒ ์ ์šฉํ•˜๋А๋ƒ์— ๋”ฐ๋ผ 13~21ํฌ์ธํŠธ์˜ ๊ฒฉ์ฐจ๊ฐ€ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

2026๋…„ 9์›” ๊ธฐ์ค€, ๋…๋ฆฝ ๊ธฐ๊ด€์ธ Vals AI์˜ SWE-bench Verified ๋ณด๋“œ๋Š” Claude Opus 5๋ฅผ 97.0%, ์˜คํ”ˆ ์›จ์ดํŠธ์ธ DeepSeek V4 Pro 0813์„ 96.4%๋กœ ๊ธฐ๋กํ–ˆ๊ณ , ๋ฒค์น˜๋งˆํฌ๊ฐ€ ํฌํ™”๋˜์–ด ์•„์นด์ด๋ธŒ ์ฒ˜๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

ํ”„๋Ÿฐํ‹ฐ์–ด๋Š” SWE-bench Pro์™€ Terminal-Bench 4.0 ๊ฐ™์€ ๋” ์–ด๋ ค์šด ์—์ด์ „ํŠธํ˜• ํ‰๊ฐ€๋กœ ์ด๋™ํ–ˆ๊ณ , ์˜คํ”ˆ ์›จ์ดํŠธ๋Š” ๊ธฐ์กด ๋ฒค์น˜๋งˆํฌ๋ฅผ ๋”ฐ๋ผ์žก์•˜์Šต๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ, โ€œ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLMโ€ ์งˆ๋ฌธ์€ โ€œ๋ฌด์—‡์„, ์–ด๋–ค ํ•˜๋“œ์›จ์–ด์—์„œ, ์–ผ๋งˆ์—โ€๋กœ ๋ฐ”๋€Œ์—ˆ์Šต๋‹ˆ๋‹ค.

์˜ค๋Š˜ ์‹ค์ œ๋กœ ์“ธ ๋ฒ•ํ•œ 9๊ฐœ ๋ชจ๋ธ์— ๋Œ€ํ•ด ๊ทธ ์งˆ๋ฌธ์— ๋‹ตํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ์š”์•ฝํ•˜๋ฉด ๋Œ€๋ถ€๋ถ„์˜ ํŒ€์€ Claude Opus 5.5๋กœ ์‹œ์ž‘ํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

์ˆœ์œ„์— ์•ž์„œ ํ•œ ๊ฐ€์ง€: ์ด ๊ธ€์€ ๋„๊ตฌ๊ฐ€ ์•„๋‹ˆ๋ผ ๋ชจ๋ธ ์ž์ฒด์— ๊ด€ํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค. Cursor, Copilot, Windsurf ๋น„๊ต๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋ฉด, 2026๋…„ ์ตœ๊ณ ์˜ AI ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ ๋ผ์šด๋“œ์—…์„ ์ฐธ๊ณ ํ•˜์„ธ์š”.

ํ•œ๋ˆˆ์— ๋ณด๊ธฐ: 2026๋…„ 9์›” ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM

Claude Opus 5.5๋Š” ๋Œ€๋ถ€๋ถ„์˜ ๋ฒค์น˜๋งˆํฌ์—์„œ ๊ฐ€์žฅ ๊ฐ•๋ ฅํ•œ ์ฝ”๋”ฉ ๋ชจ๋ธ์ด์ž, ๋Œ€๋ถ€๋ถ„์˜ ๊ฐœ๋ฐœ์ž๊ฐ€ ๊ธฐ๋ณธ๊ฐ’์œผ๋กœ ์„ ํƒํ•ด์•ผ ํ•  ๋ชจ๋ธ์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. Claude Fable 5.1์€ ๊ฐ€์žฅ ๊ธด ํ˜ธ๋ผ์ด์ฆŒ ์ž‘์—…์— ์ ํ•ฉํ•œ ์ƒํ–ฅ ๋ชจ๋ธ์ด๊ณ , Qwen3.8-27B๋Š” ๋‹จ์ผ GPU์—์„œ ์‹คํ–‰ํ•  ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์˜ ์ตœ์„ ์ž…๋‹ˆ๋‹ค. ๋ชฉ์ ๋ณ„ ์ถ”์ฒœ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  • ์ข…ํ•ฉ ๋ฒ ์ŠคํŠธ(์—์ด์ „ํŠธํ˜• ์ฝ”๋”ฉ): Claude Opus 5.5(Anthropic), SWE-bench Pro 89.9%, Terminal-Bench 4.0 66.4%, 100๋งŒ ํ† ํฐ๋‹น ์ž…๋ ฅ $4, ์ถœ๋ ฅ $20.
  • ๊ฐ€์žฅ ๊ธด ํ˜ธ๋ผ์ด์ฆŒ ์ž‘์—…์šฉ: Claude Fable 5.1(Anthropic), SWE-bench Pro 81.2%, Artificial Analysis์˜ Terminal-Bench 2.1 ์ตœ๊ณ ์ (91.4%), 100๋งŒ ํ† ํฐ๋‹น ์ž…๋ ฅ $10, ์ถœ๋ ฅ $50.
  • OpenAI ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ ๋ชจ๋ธ: GPT-6 Astra(OpenAI), tbench.ai Terminal-Bench 4.0 ์—์ด์ „ํŠธ ๋ฆฌ๋”๋ณด๋“œ 58.2% 1์œ„, Artificial Analysis ์‹คํ–‰์—์„œ Opus 5.5์™€ 59.6%๋กœ ๋™๋ฅ .
  • ํ”„๋Ÿฐํ‹ฐ์–ด ์—ฐ๊ตฌ์†Œ ๊ฐ€์„ฑ๋น„ ์ตœ๊ณ : Gemini 3.8 Flash(Google), Terminal-Bench 2.1 89.4%, 2026๋…„ 12์›” 31์ผ๊นŒ์ง€ 100๋งŒ ํ† ํฐ๋‹น ์ž…๋ ฅ $0.75, ์ถœ๋ ฅ $3.75.
  • API๋กœ ์“ฐ๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ์ตœ๊ณ : DeepSeek V4.1 Flash, MIT ๋ผ์ด์„ ์Šค, Terminal-Bench 2.1 90.6%, ๋น„ํ˜ผ์žก ์‹œ๊ฐ„ ์ถœ๋ ฅ 100๋งŒ ํ† ํฐ๋‹น $0.60.
  • ์ง‘์—์„œ๋Š” ๋Œ๋ฆด ์ˆ˜ ์—†๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ์ตœ๊ณ : Kimi K3(Moonshot AI), 2.8์กฐ ํŒŒ๋ผ๋ฏธํ„ฐ, Terminal-Bench 2.1 88.3%.
  • 24 GB GPU์—์„œ์˜ ๋กœ์ปฌ ์ตœ๊ณ : Qwen3.8-27B(Alibaba), Apache 2.0, Terminal-Bench 2.1 73.0%, UD-Q4_K_M์—์„œ 16.5 GB.
  • 128 GB ์›Œํฌ์Šคํ…Œ์ด์…˜์šฉ ๋กœ์ปฌ ์ตœ๊ณ : Laguna S 2.1(Poolside), 118B ํŒŒ๋ผ๋ฏธํ„ฐ ์ค‘ ํ™œ์„ฑ 8B, ์ปจํ…์ŠคํŠธ 100๋งŒ.
  • ๊ตฌํ˜• ํ•˜๋“œ์›จ์–ด์šฉ ๋น ๋ฅธ ๋กœ์ปฌ ๋ชจ๋ธ ์ตœ๊ณ : Qwen3-Coder-Next, ์ด 80B ์ค‘ ํ™œ์„ฑ 3B, SWE-bench Verified 70.6%.

์œ„ ์ ์ˆ˜๋Š” ๋ณ„๋„ ํ‘œ๊ธฐ๊ฐ€ ์—†์œผ๋ฉด ๋ชจ๋‘ ๋ฒค๋” ๋ฐœํ‘œ ์ˆ˜์น˜์ž…๋‹ˆ๋‹ค. ์ดํ•˜์—์„œ๋Š” ์ด ์ถ”์ฒœ์— ์ด๋ฅธ ๊ณผ์ •๊ณผ ๊ฐ ๋ชจ๋ธ์˜ ํ•œ๊ณ„๋ฅผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

์™œ ์ด ๋ชฉ๋ก์€ ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ๊ฐ€ ์•„๋‹ˆ๋ผ ๋ชจ๋ธ์— ๊ด€ํ•œ๊ฐ€์š”?

์ฝ”๋”ฉ LLM์€ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ฝ๊ณ  ํ† ํฐ์„ ์ƒ์„ฑํ•˜๋Š” ๋ชจ๋ธ์ด๊ณ , ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ๋Š” ํŒŒ์ผ์„ ์ œ๊ณตํ•˜๊ณ  ๋ช…๋ น์„ ์‹คํ–‰ํ•˜๋ฉฐ diff๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ํ•˜๋„ค์Šค์ž…๋‹ˆ๋‹ค.

Claude Code, Codex, Cursor, GitHub Copilot, Windsurf๋Š” ํ•˜๋„ค์Šค์ž…๋‹ˆ๋‹ค. Claude Opus 5.5, GPT-6 Astra, Qwen3.8-27B๋Š” ๋ชจ๋ธ์ด๋ฉฐ, ํ•˜๋„ค์Šค๋Š” ๋Œ€๋ถ€๋ถ„์˜ ์‚ฌ๋žŒ์ด ์˜ˆ์ƒํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค ์ ์ˆ˜์— ๋” ํฐ ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๋‹ค.

Anthropic์˜ Claude Opus 4.8 ์ถœ์‹œ ๊ธ€ ๊ฐ์ฃผ๊ฐ€ ์ด๋ฅผ ๊ตฌ์ฒดํ™”ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋“  ๋ชจ๋ธ์˜ Terminal-Bench 2.1 ์ ์ˆ˜๋ฅผ ๊ณต๊ฐœ Terminus-2 ํ•˜๋„ค์Šค์—์„œ ๋ณด๊ณ ํ•œ ๋’ค, GPT-5.5์˜ ์ ์ˆ˜๊ฐ€ OpenAI์˜ Codex CLI ๋‚ด๋ถ€์—์„œ๋Š” 83.4%๋กœ ์ƒ์Šนํ•œ๋‹ค๊ณ  ๋ฐํž™๋‹ˆ๋‹ค. ๋™์ผํ•œ ์›จ์ดํŠธ, ๋‹ค๋ฅธ ๋ฐฐ๊ด€, ๋‹ค๋ฅธ ๊ฒฐ๊ณผ์ž…๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์•„๋ž˜ ์ˆœ์œ„์—๋Š” ๊ฐ€๋Šฅํ•œ ๊ณณ์— ํ•˜๋„ค์Šค๋ฅผ ํ•จ๊ป˜ ํ‘œ๊ธฐํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์˜ ๋‚ด๋ถ€ ์ž‘๋™ ๋ฐฉ์‹์ด ๋‚ฏ์„ค๋‹ค๋ฉด, ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์ด๋ž€ ๋ฌด์—‡์ธ๊ฐ€์— ๋Œ€ํ•œ 15๋ถ„ ๊ฐ€์ด๋“œ๋ฅผ ๋จผ์ € ์ฝ์œผ๋ฉด ์ด ๊ธ€์„ ๋”ฐ๋ผ๊ฐ€๊ธฐ ์‰ฌ์›Œ์ง‘๋‹ˆ๋‹ค.

์ฝ”๋”ฉ LLM์— ์‹ค์ œ๋กœ ์ค‘์š”ํ•œ ๋ฒค์น˜๋งˆํฌ๋Š” ๋ฌด์—‡์ธ๊ฐ€์š”?

2026๋…„ ์ฝ”๋”ฉ LLM์— ์ค‘์š”ํ•œ ๋ฒค์น˜๋งˆํฌ๋Š” SWE-bench Pro, Terminal-Bench(2.1๊ณผ 4.0), ๊ทธ๋ฆฌ๊ณ  ์•„์ง ๋ณด๊ณ ํ•˜๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์— ํ•œํ•ด LiveCodeBench v6์ž…๋‹ˆ๋‹ค. SWE-bench Verified๋Š” 2๋…„๊ฐ„ ํ‘œ์ค€์ด์—ˆ์ง€๋งŒ ์ด์ œ ์ƒ์œ„๊ถŒ ๋ชจ๋ธ์„ ๊ฐ€๋ฅด๊ธฐ์—๋Š” ํฌํ™”๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

์ˆœ์œ„๋ฅผ ๋งค๊ธฐ๊ธฐ ์ „์—, ๋ชจ๋ธ ํ•ญ๋ชฉ์˜ ๊ฐ ์ˆซ์ž๊ฐ€ ์˜๋ฏธํ•˜๋Š” ๋ฐ”๋ฅผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

SWE-bench Verified๋Š” ํฌํ™”๋จ

SWE-bench Verified๋Š” ์ธ๊ธฐ ํŒŒ์ด์ฌ ์ €์žฅ์†Œ์˜ 500๊ฐœ ์ธ๋ ฅ ๊ฒ€์ฆ GitHub ์ด์Šˆ๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ €์žฅ์†Œ์™€ ์ด์Šˆ ํ…์ŠคํŠธ๋ฅผ ๋ฐ›๊ณ , ์ˆจ๊ธด ์œ ๋‹› ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผํ•˜๋Š” ํŒจ์น˜๋ฅผ ๋งŒ๋“ค์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

OpenAI๋Š” ์›๋ณธ SWE-bench์— ๋ช…์„ธ๊ฐ€ ๋ถˆ์ถฉ๋ถ„ํ•œ ์ด์Šˆ๋‚˜ ๊นจ์ง„ ํ…Œ์ŠคํŠธ๊ฐ€ ์žˆ์–ด 2024๋…„์— Verified ํ•˜์œ„์ง‘ํ•ฉ์„ ๋„์ž…ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—ฌ์ „ํžˆ ๊ฐ€์žฅ ์ž์ฃผ ์ธ์šฉ๋˜๋Š” ์ฝ”๋”ฉ ์ˆ˜์น˜์ธ๋ฐ, ๊ทธ ์ ์ด ๋ฌธ์ œ์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค.

Vals AI ๋ฆฌ๋”๋ณด๋“œ๋Š” ๋ชจ๋“  ๋ชจ๋ธ์„ ๋™์ผํ•œ ์ตœ์†Œ bash ์ „์šฉ ์—์ด์ „ํŠธ๋กœ ์‹คํ–‰ํ•ด 2026๋…„ 9์›” 1์ผ ์—…๋ฐ์ดํŠธ์—์„œ Claude Opus 5๋ฅผ 97.0%, DeepSeek V4 Pro 0813์„ 96.4%, GPT-5.6 Sol์„ 96.2%๋กœ ๊ธฐ๋กํ•œ ๋’ค ๋ฒค์น˜๋งˆํฌ๋ฅผ ์•„์นด์ด๋ธŒ ์ฒ˜๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

3๊ฐœ ์—ฐ๊ตฌ์†Œ ๋ชจ๋ธ์ด ์„œ๋กœ 1ํฌ์ธํŠธ ์ด๋‚ด, ์ฒœ์žฅ๊ณผ 4ํฌ์ธํŠธ ์ด๋‚ด์— ๋ชจ์ด๋ฉด, ๊ทธ ์ง€ํ‘œ๋Š” ๋ณ€๋ณ„๋ ฅ์„ ์žƒ์€ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์—ฌ์ „ํžˆ ์˜ค๋ž˜๋˜๊ฑฐ๋‚˜ ์ž‘์€ ๋ชจ๋ธ์— ๋Œ€ํ•ด์„œ๋Š” ์นด๋“œ์— ์ ํžŒ ์ˆ˜์น˜์ด๋ฏ€๋กœ ์ธ์šฉํ•˜์ง€๋งŒ, ์ˆœ์œ„ ๊ธฐ์ค€์œผ๋กœ๋Š” ์“ฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

SWE-bench Pro๊ฐ€ ๋” ์–ด๋ ค์šด ๋Œ€์ฒด์žฌ

Scale AI๊ฐ€ ๊ด€๋ฆฌํ•˜๋Š” SWE-bench Pro๋Š” 41๊ฐœ ํ”„๋กœ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์˜ 1,865๊ฐœ ์ž‘์—…์œผ๋กœ ๊ตฌ์„ฑ๋˜๋ฉฐ, 731๊ฐœ ๊ณต๊ฐœ ๋ถ„ํ• ๊ณผ ๋ณด๋ฅ˜๋œ ๋น„๊ณต๊ฐœ ์…‹์ด ์žˆ์Šต๋‹ˆ๋‹ค. 2026๋…„ 9์›” 22์ผ, Scale์€ SWE-Bench Pro V2๋ฅผ ๋ฐœํ‘œํ•ด, ์œ ํšจํ•˜์ง€ ์•Š๋‹ค๊ณ  ํŒ์ •ํ•œ 89๊ฐœ๋ฅผ ์ œ์™ธํ•˜๊ณ  ๊ณต๊ฐœ ์…‹์„ 642๊ฐœ๋กœ ์ค„์˜€์Šต๋‹ˆ๋‹ค. ์ ์ˆ˜๊ฐ€ ์–ด๋А ๋ฒ„์ „ ๊ธฐ์ค€์ธ์ง€ ํ™•์ธํ•˜์„ธ์š”.

ํ‰๊ท  ์ˆ˜์ •์€ 4.1๊ฐœ ํŒŒ์ผ์—์„œ 107.4์ค„์„ ๊ฑด๋“œ๋ฆฌ๋ฉฐ, ๋ฆฌํฌ์ง€ํ† ๋ฆฌ๋Š” ํŒŒ์ด์ฌ๋งŒ์ด ์•„๋‹ˆ๋ผ ๋‹ค์ˆ˜ ์–ธ์–ด๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค. SWE-bench Pro ๋…ผ๋ฌธ์ด 2025๋…„ 9์›”์— ๋‚˜์™”์„ ๋‹น์‹œ ์ตœ๊ณ  ๋ชจ๋ธ์€ ์•ฝ 23%์˜€์Šต๋‹ˆ๋‹ค.

1๋…„ ๋’ค Anthropic์˜ Fable 5.1 ์‹œ์Šคํ…œ ์นด๋“œ๋Š” Fable 5.1์ด 81.2%, Opus 5๊ฐ€ 79.2%๋ฅผ, OpenAI์˜ GPT-5.6 ์ถœ์‹œ ํ‘œ๋Š” GPT-5.6 Sol์ด 64.6%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. Fable ์นด๋“œ 3์ฃผ ํ›„ Opus 5.5 ์‹œ์Šคํ…œ ์นด๋“œ๊ฐ€ ์ตœ๊ณ ์ ์„ 89.9%๋กœ ๋Œ์–ด์˜ฌ๋ ธ์Šต๋‹ˆ๋‹ค.

์ด ์ˆ˜์น˜๋Š” ๋ฒค๋” ๋Ÿฐ์ด๋ฉฐ, Anthropic์˜ ๊ฒฝ์šฐ ์ตœ๋Œ€ ๋…ธ๋ ฅ์œผ๋กœ 5ํšŒ ํ‰๊ท ์ž…๋‹ˆ๋‹ค. Scale์˜ ๊ณต๊ฐœ ๋ฆฌ๋”๋ณด๋“œ๋Š” ๋ฒค๋” ์ˆ˜์น˜๋ณด๋‹ค ์ˆ˜๊ฐœ์›” ๋Šฆ๊ฒŒ ๋”ฐ๋ผ์˜ค๋ฏ€๋กœ, ๋ฒค๋” ์ˆ˜์น˜๋ฅผ ์ƒํ•œ, ๋ฆฌ๋”๋ณด๋“œ๋ฅผ ํ•˜ํ•œ์œผ๋กœ ๋ด…๋‹ˆ๋‹ค.

Terminal-Bench 2.1๊ณผ 4.0

Terminal-Bench๋Š” ์ปจํ…Œ์ด๋„ˆ ๋‚ด๋ถ€์˜ ๋ผ์ด๋ธŒ ์…ธ์„ ๋ชจ๋ธ์— ์ œ๊ณตํ•˜๊ณ , โ€œ์ด ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค์„ธ์š”โ€, โ€œ์ด ๋นŒ๋“œ๋ฅผ ๊ณ ์น˜์„ธ์š”โ€, โ€œ์†์ƒ๋œ ์•„์นด์ด๋ธŒ๋ฅผ ๋ณต๊ตฌํ•˜์„ธ์š”โ€ ๊ฐ™์€ ์ž‘์—…์„ ๋ถ€์—ฌํ•œ ๋’ค ์‚ฐ์ถœ๋ฌผ์„ ์ฑ„์ ํ•ฉ๋‹ˆ๋‹ค.

2.1 ๋ฆด๋ฆฌ์Šค๋Š” ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง, ์‹œ์Šคํ…œ ๊ด€๋ฆฌ, ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ๋ณด์•ˆ์„ ์•„์šฐ๋ฅด๋Š” ์„ ๋ณ„ 89๊ฐœ ์ž‘์—…์ด๋ฉฐ, Artificial Analysis๊ฐ€ Terminus 2 ํ•˜๋„ค์Šค๋กœ 3ํšŒ ํ‰๊ท  pass@1๋กœ ์ ์ˆ˜๋ฅผ ๋งค๊น๋‹ˆ๋‹ค. ์ฝ”๋”ฉ ์—์ด์ „ํŠธ๋ฅผ ๊ตฌ์ถ•ยท์‚ฌ์šฉํ•˜๋Š” ๋ˆ„๊ตฌ์—๊ฒŒ๋‚˜ ๊ฐ€์žฅ ๋น„์ค‘ ์žˆ๊ฒŒ ๋ณด๋Š” ๋‹จ์ผ ์ง€ํ‘œ์ž…๋‹ˆ๋‹ค.

Stanford, Harbor, Laude Institute๊ฐ€ tbench.ai์—์„œ ํ˜ธ์ŠคํŒ…ํ•˜๋Š” Terminal-Bench 4.0์€ ์ƒˆ ํ”„๋Ÿฐํ‹ฐ์–ด ์…‹์ž…๋‹ˆ๋‹ค.

Anthropic์˜ Opus 5.5 ์‹œ์Šคํ…œ ์นด๋“œ๋Š” ์ด๋ฅผ ๊ณ„์‚ฐ์ƒ๋ฌผํ•™, ๋ฌผ๋ฆฌ ์‹œ๋ฎฌ๋ ˆ์ด์…˜, CAD, ํ˜•์‹์  ์ฆ๋ช…, GPU ์„ฑ๋Šฅ ์ž‘์—… ์ชฝ์œผ๋กœ ๊ธฐ์šด 66๊ฐœ ์ž‘์—…์œผ๋กœ ์„ค๋ช…ํ•˜๋ฉฐ, ํƒ€์ž„์•„์›ƒ์ด ๊ธธ์–ด ํ•˜๋„ค์Šค ์˜ํ–ฅ์ด ๋œํ•˜๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

tbench.ai ์—์ด์ „ํŠธ ๋ฆฌ๋”๋ณด๋“œ์—์„œ๋Š” GPT-6 Astra๊ฐ€ 58.2%๋กœ ์—ฌ์ „ํžˆ 1์œ„์ด๊ณ  Claude Fable 5.1์ด 57.9%์ž…๋‹ˆ๋‹ค. ๋‹ค๋งŒ Claude Opus 5.5๋Š” ๊ฑฐ๊ธฐ์— ์—์ด์ „ํŠธ ํ•ญ๋ชฉ์ด ์•„์ง ์—†์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ ๋ ˆ๋ฒจ ์‹คํ–‰์—์„œ Artificial Analysis๋Š” Opus 5.5์™€ Astra๋ฅผ 59.6%๋กœ ๋™๋ฅ  ์ฒ˜๋ฆฌํ–ˆ๊ณ , Vals AI๋Š” Opus 5.5๋ฅผ 61.6%๋กœ 1์œ„์— ๋‘์—ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ Vals๋Š” ์•ˆ์ „์žฅ์น˜๊ฐ€ ๋Œ€์ฒด ๋ชจ๋ธ๋กœ ๋„˜๊ธด ์ž‘์—…์„ ์‹คํŒจ๋กœ ๊ฐ„์ฃผํ•˜๋ฉด ๊ทธ ์ˆ˜์น˜๊ฐ€ 53.5%๋กœ ๋–จ์–ด์ง„๋‹ค๊ณ  ๋ช…์‹œํ•ฉ๋‹ˆ๋‹ค. ์ด ์˜์—ญ์ด ํ”„๋Ÿฐํ‹ฐ์–ด์™€ ์ถ”๊ฒฉ์ž์˜ ๋ถ„๊ธฐ์ ์ž…๋‹ˆ๋‹ค.

LiveCodeBench v6๋Š” ์•”๊ธฐ ์—ฌ๋ถ€๋ฅผ ์žก์•„๋‚ธ๋‹ค

LiveCodeBench๋Š” Jain ์™ธ 2024๋…„ ๋…ผ๋ฌธ์—์„œ ์†Œ๊ฐœ๋˜์—ˆ๊ณ , LeetCode, AtCoder, Codeforces์˜ ๋ฌธ์ œ๋ฅผ ์ง€์†์ ์œผ๋กœ ์ˆ˜์ง‘ํ•ด ํƒ€์ž„์Šคํƒฌํ”„๋ฅผ ๋‚จ๊ฒจ, ๋ชจ๋ธ์˜ ํ•™์Šต ์ปท์˜คํ”„ ์ดํ›„์— ๊ณต๊ฐœ๋œ ๋ฌธ์ œ๋งŒ์œผ๋กœ ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

ํ˜„์žฌ ๊ณต๊ฐœ ๋ฆฌ๋”๋ณด๋“œ์˜ ์œˆ๋„๋Š” ๋ฒ„์ „ 6์ด๋ฉฐ ์—ฌ๊ธฐ์—์„œ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์ €์žฅ์†Œ ๊ทœ๋ชจ์˜ ์—”์ง€๋‹ˆ์–ด๋ง๋ณด๋‹ค๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์  ์ถ”๋ก ์„ ์ธก์ •ํ•˜๋ฏ€๋กœ, ๋ฉด์ ‘ ์Šคํƒ€์ผ๊ณผ ์ž๋ฃŒ๊ตฌ์กฐ ์ž‘์—…์— ์œ ์šฉํ•˜๊ฒŒ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ”„๋Ÿฐํ‹ฐ์–ด ์—ฐ๊ตฌ์†Œ๋“ค์€ 2026๋…„์— ๋Œ€์ฒด๋กœ ๋ณด๊ณ ๋ฅผ ์ค‘๋‹จํ•ด, ๋ณด์œ  ์ˆ˜์น˜๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์—์„œ ๋‚˜์˜ต๋‹ˆ๋‹ค. 4์›” DeepSeek V4 Pro ํ”„๋ฆฌ๋ทฐ 93.5%, Qwen3.8-27B 90.3%, Kimi K2.6 89.6%์ž…๋‹ˆ๋‹ค. Gemini 3.1 Pro๋Š” ๊ด€๋ จ ์ง€ํ‘œ๋กœ LiveCodeBench Pro Elo 2,887์„ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค.

๋ฒค๋” ๋ฒค์น˜๋งˆํฌ ํ‘œ๋ฅผ ์ฝ๋Š” ๋ฒ•

๋ฒค๋”์˜ ๋ฒค์น˜๋งˆํฌ ํ‘œ๋Š” ์ตœ์ƒ์˜ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค. ๊ทธ๋“ค์˜ ํ•˜๋„ค์Šค, ๋…ธ๋ ฅ ์„ค์ •, ์‹œํ–‰ ํšŸ์ˆ˜์ด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. 3ํฌ์ธํŠธ ๋ฏธ๋งŒ์˜ ๊ฒฉ์ฐจ๋Š” Artificial Analysis, Vals AI, tbench.ai ๋ฆฌ๋”๋ณด๋“œ ๊ฐ™์€ ๋…๋ฆฝ ์žฌํ˜„์ด ์žˆ์–ด์•ผ ์‹ ๋ขฐํ•ฉ๋‹ˆ๋‹ค.

LLM ๋ฒค์น˜๋งˆํฌ์™€ ๋น„๊ต ๋ฐฉ๋ฒ• ์•ˆ๋‚ด์„œ๋Š” ์ฃผ์š” ๋ฆฌ๋”๋ณด๋“œ๋ฅผ ์ •๋ฆฌํ•˜๊ณ , MMLU๊ฐ€ ์ธก์ •ํ•˜๋Š” ๊ฒƒ์— ๊ด€ํ•œ ๊ธ€์€ ์ง€์‹ ๋ฒค์น˜๋งˆํฌ๊ฐ€ ๋ชจ๋ธ์˜ ๋ถˆ์•ˆ์ • ํ…Œ์ŠคํŠธ ์ˆ˜์ • ๋Šฅ๋ ฅ์„ ๊ฑฐ์˜ ๋งํ•ด์ฃผ์ง€ ์•Š๋Š”๋‹ค๋Š” ์ ์„ ์ƒ๊ธฐ์‹œ์ผœ์ค๋‹ˆ๋‹ค.

์ž์ฒด ํ‰๊ฐ€ ํ•˜๋„ค์Šค๋ฅผ ๊ตฌ์ถ•ํ•˜๋ ค๋ฉด, LLM ํ‰๊ฐ€ ์ง€ํ‘œ์™€ ๋ฐฉ๋ฒ•๋ก  ๊ฐ€์ด๋“œ๋ฅผ ์ฃผ๋‹ˆ์–ด ๋™๋ฃŒ์—๊ฒŒ ๊ฐ€์žฅ ๋จผ์ € ๊ถŒํ•ฉ๋‹ˆ๋‹ค.

์ด์ œ ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ •์˜ํ–ˆ์œผ๋‹ˆ, ํด๋ผ์šฐ๋“œ ํ”„๋Ÿฐํ‹ฐ์–ด๋ถ€ํ„ฐ 9๊ฐœ ๋ชจ๋ธ์˜ ์„ฑ์ ์„ ์‚ดํŽด๋ด…๋‹ˆ๋‹ค.

์ตœ๊ณ ์˜ ํด๋ผ์šฐ๋“œ ํ”„๋Ÿฐํ‹ฐ์–ด ์ฝ”๋”ฉ ๋ชจ๋ธ์€?

2026๋…„ 9์›” ์ตœ๊ณ ์˜ ํด๋ผ์šฐ๋“œ ํ”„๋Ÿฐํ‹ฐ์–ด ์ฝ”๋”ฉ ๋ชจ๋ธ์€ Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra, Gemini 3.8 Flash์ด๋ฉฐ, ๋ชจ๋‘ ๋Œ€๋žต 100๋งŒ ํ† ํฐ ์ปจํ…์ŠคํŠธ ์œˆ๋„๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์ฐจ์ด๋Š” ๊ฐ€๊ฒฉ, ๋…ธ๋ ฅ ์„ค์ •, ๊ฐ ์—ฐ๊ตฌ์†Œ๊ฐ€ ์ตœ์ ํ™”ํ•œ ๋ฒค์น˜๋งˆํฌ์ž…๋‹ˆ๋‹ค.

์–ด๋А ๋ชจ๋ธ์ด๋“  ๊ฐ๋‹น ๊ฐ€๋Šฅํ•œ ํŒ€์— ์ถ”์ฒœํ•˜๋Š” ์ˆœ์„œ๋กœ ๋‚˜์—ดํ•ฉ๋‹ˆ๋‹ค.

1. Claude Opus 5.5 (Anthropic)

Claude Opus 5.5๋Š” 2026๋…„ 9์›” 22์ผ ์ถœ์‹œ๋œ Anthropic์˜ ์ƒˆ๋กœ์šด Opus ๋“ฑ๊ธ‰ ํ”Œ๋ž˜๊ทธ์‹ญ์œผ๋กœ, ์ง€๊ธˆ์€ ๊ฑฐ์˜ ๋ชจ๋“  ์ด์—๊ฒŒ ์ถ”์ฒœํ•  ์ฝ”๋”ฉ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. Opus 5 ์ถœ์‹œ ๋‘ ๋‹ฌ ๋’ค ์ด๋ ‡๊ฒŒ ์“ธ ์ค„์€ ๋ชฐ๋ž์Šต๋‹ˆ๋‹ค. Anthropic์˜ ์ถœ์‹œ ๊ธ€์€ ๋Œ€๋ถ€๋ถ„์˜ ์ž‘์—…์—์„œ Fable 5.1 ์ˆ˜์ค€์˜ ์„ฑ๋Šฅ์„ ๋‚ด๋ฉด์„œ Opus 5๋ณด๋‹ค 40% ์ €๋ ดํ•˜๋‹ค๊ณ  ๋งํ•˜๊ณ , ๋ชจ๋ธ ๊ฐœ์š”์—์„œ๋„ ๊ฐœ๋ฐœ์ž์—๊ฒŒ Opus 5.5๋กœ ์‹œ์ž‘ํ•˜๊ณ  ๊ธด ํ˜ธ๋ผ์ด์ฆŒ ๋˜๋Š” Opus 5.5๊ฐ€ ๋ถ€์กฑํ•œ ํ‰๊ฐ€์—์„œ Fable 5.1์„ ์“ฐ๋ผ๊ณ  ๊ถŒํ•ฉ๋‹ˆ๋‹ค.

Opus 5.5 ์‹œ์Šคํ…œ ์นด๋“œ๋Š” SWE-bench Pro 89.9%, DeepSWE v1.1 74.2%, Terminal-Bench 4.0 66.4%(xhigh ๋…ธ๋ ฅ)๋กœ, Anthropic์ด ๊ณต๊ฐœํ•œ ๋ชจ๋“  ์ฝ”๋”ฉ ํ•ญ๋ชฉ์—์„œ Fable 5.1๋ณด๋‹ค ์•ž์„ญ๋‹ˆ๋‹ค. ๋…๋ฆฝ ์ˆ˜์น˜๋Š” ๋” ๊ทผ์ ‘ํ•ฉ๋‹ˆ๋‹ค. Artificial Analysis๋Š” Terminal-Bench 4.0์—์„œ GPT-6 Astra์™€ 59.6% ๋™๋ฅ , Vals AI๋Š” Terminal-Bench 4.0 61.6%, Terminal-Bench 2.1 87.6%๋กœ 1์œ„์— ๋‘์—ˆ์Šต๋‹ˆ๋‹ค. ๋‘ Vals ์ˆ˜์น˜๋Š” ์•ˆ์ „์žฅ์น˜ ๋Œ€์ฒด๋ฅผ ํฌํ•จํ•˜๋ฉฐ, ์ด๋ฅผ ์‹คํŒจ๋กœ ๊ฐ„์ฃผํ•˜๋ฉด ๊ฐ๊ฐ 53.5%์™€ 79.8%๋กœ ๋‚ด๋ ค๊ฐ‘๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ์ž…๋ ฅ 100๋งŒ ํ† ํฐ๋‹น $4, ์ถœ๋ ฅ $20๋กœ Opus 5 ๋Œ€๋น„ 20% ์ธํ•˜, ์บ์‹œ ์ฝ๊ธฐ ๋น„์šฉ์€ 60% ๋‚ด๋ ค๊ฐ€ 100๋งŒ ๋‹น $0.20
  • ์ปจํ…์ŠคํŠธ 100๋งŒ ํ† ํฐ, ์ถœ๋ ฅ 128K, ๋Œ ์ˆ˜ ์—†๋Š” ์ ์‘ํ˜• ์‚ฌ๊ณ , ๊ธฐ๋ณธ ๋…ธ๋ ฅ์€ high๊ฐ€ ์•„๋‹Œ medium
  • CursorBench 4.0์—์„œ ์ตœ๋Œ€ ๋…ธ๋ ฅ 57.8%๋กœ Cursor ๋ฆฌ๋”๋ณด๋“œ 1์œ„; medium์—์„œ๋„ 52.5%๋กœ Fable 5.1 ์ตœ๋Œ€ ๋…ธ๋ ฅ๋ณด๋‹ค ๋†’์Œ
  • Claude API์˜ claude-opus-5-5๋กœ ์ œ๊ณต, Amazon Bedrock, Google Cloud, Microsoft Foundry์—์„œ๋„ ์ด์šฉ ๊ฐ€๋Šฅ

์ ํ•ฉํ•œ ์šฉ๋„: ์ผ์ƒ ์ฝ”๋”ฉ, ์ฝ”๋“œ๋ฒ ์ด์Šค ์ „๋ฐ˜ ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜, ์ฝ”๋“œ ๋ฆฌ๋ทฐ. ๋” ๋‚ฎ์€ ๊ฐ€๊ฒฉ์œผ๋กœ Opus 5๋ฅผ ๋Œ€์ฒดํ•˜๋ฉฐ, Claude Code๋Š” ์ด์ œ Opus ๊ธฐ๋ณธ ๋ชจ๋ธ๋กœ ์ฑ„ํƒํ–ˆ์Šต๋‹ˆ๋‹ค. Claude Opus 5.5 ๊ฐ€์ด๋“œ์™€ GPT-6 Sol vs Claude Opus 5.5 ๋น„๊ต์—์„œ ์ž์„ธํžˆ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: 40% ์ ˆ๊ฐ์€ ๊ธฐ๋ณธ ๋…ธ๋ ฅ์—์„œ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ตœ๋Œ€ ๋…ธ๋ ฅ์—์„œ๋Š” Artificial Analysis๊ฐ€ Opus 5๋ณด๋‹ค ํ›จ์”ฌ ๋งŽ์€ ํ† ํฐ์„ ์“ด๋‹ค๊ณ  ๋ฐํ˜”๊ณ , ๊ทธ ๊ฒฐ๊ณผ Intelligence Index ์ž‘์—…๋‹น ๋น„์šฉ์ด $5.98๋กœ Opus 5์˜ $5.86๊ณผ ๊ฑฐ์˜ ๊ฐ™์•„์กŒ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ Fable ์Šคํƒ€์ผ์˜ ์•ˆ์ „์žฅ์น˜๋ฅผ ํƒ‘์žฌํ•ด ๋Œ€๋ถ€๋ถ„์˜ ๋ณด์•ˆ ๊ด€๋ จ ์ž‘์—…์„ Opus 4.8๋กœ ๋ผ์šฐํŒ…ํ•˜๋ฉฐ, ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ ์‹œ ์ฃผ์˜๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ๊ณ  ๋น„ํ™œ์„ฑํ™”๋‚˜ ๊ฐ•์ œ ๋„๊ตฌ ์‚ฌ์šฉ ์š”์ฒญ์€ ์ด์ œ ์˜ค๋ฅ˜๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

2. Claude Fable 5.1 (Anthropic)

Claude Fable 5.1์€ 2026๋…„ 9์›” 1์ผ ์ถœ์‹œ๋œ Anthropic์˜ Mythos๊ธ‰ ๋ชจ๋ธ์˜ ๊ณต๊ฐœ ๋ฒ„์ „์œผ๋กœ, Opus 5.5๊ฐ€ ํ•œ๊ณ„์— ๋ถ€๋”ชํž ๋•Œ ์ƒํ–ฅํ•˜๋Š” ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. Anthropic์˜ ๋Ÿฐ์นญ ํŽ˜์ด์ง€์— ๋”ฐ๋ฅด๋ฉด Fable 5.1๊ณผ Claude Mythos 5.1์€ ์•ˆ์ „์žฅ์น˜๋งŒ ๋‹ค๋ฅธ ๋™์ผ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

Fable 5.1 ์‹œ์Šคํ…œ ์นด๋“œ๋Š” SWE-bench Pro 81.2%, Terminal-Bench 4.0 55.8%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. Artificial Analysis๋Š” ์ตœ๋Œ€ ๋…ธ๋ ฅ์—์„œ Terminal-Bench 2.1 91.4%๋ฅผ ๋…๋ฆฝ ์ธก์ •ํ–ˆ์œผ๋ฉฐ, ์—ฌ์ „ํžˆ ๊ทธ ๋ณด๋“œ ์ตœ๊ณ ์ ์ž…๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ์ปจํ…์ŠคํŠธ 100๋งŒ ํ† ํฐ, ์ถœ๋ ฅ 128K ํ† ํฐ
  • ์ ์‘ํ˜• ์‚ฌ๊ณ ๋Š” ํ•ญ์ƒ ํ™œ์„ฑ
  • 5.1์—์„œ ํ”„๋กฌํ”„ํŠธ ์บ์‹œ ์ฝ๊ธฐ๊ฐ€ 100๋งŒ ๋‹น $0.25๋กœ 75% ์ธํ•˜๋˜์–ด, Anthropic์€ ์—์ด์ „ํŠธํ˜• ์›Œํฌ๋กœ๋“œ ๋น„์šฉ์„ ์ตœ๋Œ€ 45% ์ ˆ๊ฐํ•œ๋‹ค๊ณ  ์ถ”์ •
  • ๊ฐ•๋ ฅํ•œ ๋‹คํŒŒ์ผ ๊ณ„ํš, ๋” ๋„“์€ ์‚ฌ๊ณ  ๋ฒ”์œ„, ํ–ฅ์ƒ๋œ ๋„๊ตฌ ์‚ฌ์šฉ

์ ํ•ฉํ•œ ์šฉ๋„: ํ”„๋กœ๋•์…˜ ์—์ด์ „ํŠธ ํŒŒ์ดํ”„๋ผ์ธ, ์ˆ˜์ผ ๊ทœ๋ชจ ๋ฆฌํŒฉํ„ฐ๋ง, ์˜ค๋‹ต ๋น„์šฉ์ด ํ† ํฐ ๋น„์šฉ๋ณด๋‹ค ํฐ ์ž‘์—…์—์„œ, Opus 5.5๊ฐ€ ๋ถ€์กฑํ•˜๋‹ค๊ณ  ์ž์ฒด ํ‰๊ฐ€๊ฐ€ ๋ณด์—ฌ์ค„ ๋•Œ. Claude Fable 5.1 ๊ฐ€์ด๋“œ์™€ Claude Fable 5 ๊ฐœ์š”๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: ์ž…๋ ฅ 100๋งŒ ๋‹น $10, ์ถœ๋ ฅ 100๋งŒ ๋‹น $50๋กœ Opus 5.5์˜ 2.5๋ฐฐ์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ Anthropic ์ž์ฒด ํ‘œ์—์„œ Fable 5.1์€ SWE-bench Pro, Terminal-Bench 4.0, CursorBench 4.0 ๋ชจ๋‘์—์„œ Opus 5.5์— ๋’ค์ง‘๋‹ˆ๋‹ค. ์‹ค์ œ ๊ฒฉ์ฐจ๊ฐ€ ํ‘œ๋ณด๋‹ค ์ข๋‹ค๊ณ  Anthropic์€ ๋งํ•˜์ง€๋งŒ, ์ด์ œ๋Š” ๊ทธ ์ฃผ์žฅ์„ ์ž…์ฆํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ตฌ๋ฒ„์ „ CursorBench 3.2.0์—์„œ๋Š” Fable 5.1์ด medium ๋…ธ๋ ฅ์—์„œ 68.0%๋ฅผ ๊ธฐ๋กํ–ˆ๊ณ , ์ž‘์—…๋‹น $3.53์ด ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.

3. GPT-6 Astra (OpenAI)

GPT-6 Astra๋Š” 2026๋…„ 9์›” 3์ผ ์ถœ์‹œ๋œ OpenAI์˜ ํ”„๋Ÿฐํ‹ฐ์–ด ๋ชจ๋ธ๋กœ, Codex ํ•˜๋„ค์Šค ์ตœ๋Œ€ ๋…ธ๋ ฅ์—์„œ tbench.ai Terminal-Bench 4.0 ์—์ด์ „ํŠธ ๋ฆฌ๋”๋ณด๋“œ 58.2%๋กœ ์—ฌ์ „ํžˆ 1์œ„์— ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ Opus 5.5๋Š” ์•„์ง ๊ทธ ๋ณด๋“œ์— ์—์ด์ „ํŠธ ํ•ญ๋ชฉ์ด ์—†์Šต๋‹ˆ๋‹ค.

๋ชจ๋ธ ํŽ˜์ด์ง€๋Š” 1,050,000 ํ† ํฐ ์ปจํ…์ŠคํŠธ, 128,000 ์ถœ๋ ฅ ํ† ํฐ, 2026๋…„ 4์›” 30์ผ ์ง€์‹ ์ปท์˜คํ”„, none๋ถ€ํ„ฐ max๊นŒ์ง€ ๋…ธ๋ ฅ ๋ ˆ๋ฒจ์„ ๊ธฐ์žฌํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ์€ ์ž…๋ ฅ 100๋งŒ ๋‹น $10(์บ์‹œ๋œ ์ž…๋ ฅ $1), ์ถœ๋ ฅ 100๋งŒ ๋‹น $50์ž…๋‹ˆ๋‹ค.

OpenAI์˜ ๋Ÿฐ์นญ ์ž๋ฃŒ๋Š” ๊ต์ฐจ ์—ฐ๊ตฌ์‹ค ๋ฒค์น˜๋งˆํฌ๋ณด๋‹ค๋Š” ์ž์ฒด ํ‰๊ฐ€์™€ ์‹œ์Šคํ…œ ์นด๋“œ์— ๋ฌด๊ฒŒ๋ฅผ ๋‘ก๋‹ˆ๋‹ค. ๊ทธ ํ‰๊ฐ€๊ฐ€ ๊ฐ•๋ ฅํ•˜๊ธด ํ•˜์ง€๋งŒ, Astra๊ฐ€ Opus 5.5๋‚˜ Fable 5.1์„ ๋ช…ํ™•ํžˆ ์•ž์„ ๋‹ค๊ณ  ๋ณด๊ธด ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ์ž์„ธํ•œ ์ˆ˜์น˜๋Š” GPT-6 Astra ๊ฐœ์š”์—์„œ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • Responses API๊ฐ€ hosted_shell, apply_patch, computer_use, tool_search๋ฅผ ๋…ธ์ถœํ•˜๋ฉฐ, Codex ์ž์ฒด๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” ๋„๊ตฌ ์„ธํŠธ์ž…๋‹ˆ๋‹ค.
  • ์บ์‹œ๋œ ์ž…๋ ฅ์ด 100๋งŒ ๋‹น $1๋กœ ๊ธฐ๋ณธ์˜ 10๋ถ„์˜ 1์ด์–ด์„œ, ๋™์ผ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ๋ฅผ ๋ฐ˜๋ณต ์ฝ๋Š” ์—์ด์ „ํŠธ ๋ฃจํ”„์— ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.
  • Astra๋Š” OpenAI Preparedness Framework์˜ ์ตœ๊ณ  ์‚ฌ์ด๋ฒ„๋ณด์•ˆ ๋“ฑ๊ธ‰์— ๋„๋‹ฌํ•œ ์ฒซ ๋ชจ๋ธ๋กœ, ์ผ๋ถ€ ๋ณด์•ˆ ์ธ์ ‘ ํ”„๋กฌํ”„ํŠธ๋Š” ์ œํ•œ๋ฉ๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ์ด๋ฏธ Codex, GitHub Copilot, Microsoft ์Šคํƒ์„ ์“ฐ๋Š” ํŒ€, ๊ณผํ•™ยท๊ณตํ•™ ๋น„์ค‘์ด ํฐ ์ž‘์—…, ์„œ๋“œํŒŒํ‹ฐ ๋„๊ตฌ ์ง€์›์ด ๋” ํ•„์š”ํ•œ ๊ฒฝ์šฐ. ๋น„์šฉ์„ ๋‚ฎ์ถ”๊ณ  ๋Œ€๋ถ€๋ถ„์˜ ์—ญ๋Ÿ‰์„ ์›ํ•œ๋‹ค๋ฉด, GPT-6 Sol์ด 9์›” 22์ผ ์ž…๋ ฅ $2, ์ถœ๋ ฅ $10๋กœ ์ถœ์‹œ๋˜์–ด GPT-5.6 Sol์„ ์ž‡์Šต๋‹ˆ๋‹ค. GPT-6 Terra๊ฐ€ ์—†์–ด Terra์˜ ๊ฐ€๊ฒฉ๋Œ€๋ฅผ ๋ฉ”์›๋‹ˆ๋‹ค. OpenAI์˜ ํ‘œ์—์„œ๋Š” DeepSWE 1.1 68.8%, FrontierCode 49.3%์ง€๋งŒ, ์ตœ๋Œ€ ๋…ธ๋ ฅ์˜ GPT-5.6 Sol์ด DeepSWE์—์„œ๋Š” ๋” ๋†’์Šต๋‹ˆ๋‹ค.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: Fable๊ธ‰ ๊ฐ€๊ฒฉ์ž…๋‹ˆ๋‹ค. Opus 5.5๋Š” ์ด์ œ Terminal-Bench 4.0์—์„œ Astra์™€ ๋™๋ฅ ์ด๋ฉด์„œ, Anthropic ๊ธฐ์ค€ ์ž‘์—…๋‹น ๋น„์šฉ์ด ์•ฝ 40% ์ €๋ ดํ•ฉ๋‹ˆ๋‹ค. Artificial Analysis๋„ ๋‘˜์„ ๋™๋ฅ ๋กœ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. Astra์˜ ๊ฐ€์žฅ ๋šœ๋ ทํ•œ ์šฐ์œ„๋Š” ๊ณผํ•™ ์ค‘์‹ฌ ์ž‘์—…์œผ๋กœ, Terminal-Bench-Science 64.6%, FrontierSWE v2 65.5%์—์„œ Opus 5.5๋ฅผ ์•ž์„ญ๋‹ˆ๋‹ค.

4. Gemini 3.8 Flash (Google)

Gemini 3.8 Flash๋Š” 2026๋…„ 9์›” 2์ผ ์ถœ์‹œ๋œ Google์˜ ์ฃผ๋ ฅ ๋ชจ๋ธ๋กœ, ํ”„๋Ÿฐํ‹ฐ์–ด ์—ฐ๊ตฌ์†Œ๊ธ‰ ์—์ด์ „ํŠธ ์ฝ”๋”ฉ ์ ์ˆ˜๋ฅผ ๊ฐ€์žฅ ์ €๋ ดํ•˜๊ฒŒ ์–ป๋Š” ๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค(GPT-6 Luna๊ฐ€ ํ† ํฐ๋‹น ๋” ์‹ธ์ง€๋งŒ ์—์ด์ „ํŠธ ์„ฑ์ ์€ ๋‚ฎ์Šต๋‹ˆ๋‹ค). Google์˜ ํ‰๊ฐ€ ๋ณด๊ณ ์„œ๋Š” Terminal-Bench 2.1 89.4%, ์žฅ๊ธฐ ํ˜ธ๋ผ์ด์ฆŒ 113๊ฐœ ์ž‘์—…์œผ๋กœ ๊ตฌ์„ฑ๋œ DeepSWE v1.1 73.7%๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค(Fable 5.1์€ 67.4%). ๊ฐ™์€ ํ‘œ์—์„œ Opus 5๋Š” 74.0%๋กœ ์•ฝ๊ฐ„ ์•ž์„œ๊ณ , Anthropic์€ Opus 5.5๋ฅผ 74.2%๋กœ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. Google ๊ฐœ๋ฐœ์ž ๊ฐ€์ด๋“œ๋Š” SWE-bench Pro 61.6%๋„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

Gemini API ์š”๊ธˆ์€ 2026๋…„ 12์›” 31์ผ๊นŒ์ง€ ์ž…๋ ฅ 100๋งŒ ๋‹น $0.75, ์ถœ๋ ฅ $3.75์ด๋ฉฐ, 2027๋…„ 1์›” 1์ผ๋ถ€ํ„ฐ ๊ฐ๊ฐ $1.50, $7.50์ž…๋‹ˆ๋‹ค. 2027๋…„ ๊ฐ€๊ฒฉ๋„ Opus 5.5 ์ถœ๋ ฅ ์š”์œจ์˜ 3๋ถ„์˜ 1 ์กฐ๊ธˆ ๋„˜๋Š” ์ˆ˜์ค€์ž…๋‹ˆ๋‹ค. ์ปจํ…์ŠคํŠธ๋Š” ์ž…๋ ฅ 100๋งŒ, ์ถœ๋ ฅ 64K์ž…๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ๋„ค์ดํ‹ฐ๋ธŒ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ž…๋ ฅ์„ ์ง€์›ํ•ด, ์•„ํ‚คํ…์ฒ˜ ๋‹ค์ด์–ด๊ทธ๋žจ์ด๋‚˜ ์‹คํŒจํ•œ UI ์Šคํฌ๋ฆฐ์ƒท์„ ์ฝ”๋“œ์™€ ํ•จ๊ป˜ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Google์€ ๋Œ€๋Ÿ‰ ์—์ด์ „ํŠธ ์ž‘์—…์šฉ ๋ชจ๋ธ๋กœ ํฌ์ง€์…”๋‹ํ•˜๋ฉฐ ๊ทธ์— ๋งž์ถฐ ๊ฐ€๊ฒฉ์„ ์ฑ…์ •ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ณด์•ˆ ์ทจ์•ฝ์  ์ž‘์—…์šฉ Cyber ๋ณ€ํ˜•์ด ๋ณ„๋„ ๊ฒŒ์ดํŒ…์œผ๋กœ ์กด์žฌํ•˜๋ฉฐ, Gemini 3.8 Flash ๋ฐ Flash Cyber ๊ฐœ์š”์—์„œ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ๋Œ€๋Ÿ‰ ์—์ด์ „ํŠธ ๋ฃจํ”„, ๋น„์šฉ ๋ฏผ๊ฐ ํŒ€, Vertex AI ์‚ฌ์šฉ์ž. 2026๋…„ 2์›” 19์ผ ์ถœ์‹œ๋œ Gemini 3.1 Pro๋Š” ์—ฌ์ „ํžˆ Google์˜ Pro ๋“ฑ๊ธ‰ ๋ชจ๋ธ๋กœ SWE-bench Pro 54.2%๋ฅผ ์ž…๋ ฅ $2, ์ถœ๋ ฅ $12์— ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ ์ฝ”๋”ฉ๋งŒ ๋†“๊ณ  ๋ณด๋ฉด, ์˜ค๋Š˜์€ 3.1 Pro๋ณด๋‹ค 3.8 Flash๋ฅผ ๊ณ ๋ฅด๊ฒ ์Šต๋‹ˆ๋‹ค.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: Terminal-Bench 4.0์—์„œ 19.1%. Flash๋Š” ๋ฒ”์œ„๊ฐ€ ๋ช…ํ™•ํ•œ ํ„ฐ๋ฏธ๋„ ์ž‘์—…์— ๊ฐ•ํ•˜๊ณ  ํ”„๋Ÿฐํ‹ฐ์–ด ๊ณผํ•™ ์ž‘์—…์—๋Š” ์•ฝํ•˜๋ฏ€๋กœ, ๊ฐ€์žฅ ์–ด๋ ค์šด ํ‹ฐ์ผ“์šฉ์œผ๋กœ ๋” ๊ฐ•ํ•œ ๋ชจ๋ธ์„ ๋Œ€๊ธฐ์‹œํ‚ค์„ธ์š”.

ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ์€ ์—ฌ๊ธฐ๊นŒ์ง€์ž…๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€๋Š” ๋‹ค์šด๋กœ๋“œ ๊ฐ€๋Šฅํ•œ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

2026๋…„ ์ตœ๊ณ ์˜ ์˜คํ”ˆ ์›จ์ดํŠธ ์ฝ”๋”ฉ LLM์€?

2026๋…„ ์ตœ๊ณ ์˜ ์˜คํ”ˆ ์›จ์ดํŠธ ์ฝ”๋”ฉ LLM์€ ๋‘ ๋ถ€๋ฅ˜๋กœ ๋‚˜๋‰ฉ๋‹ˆ๋‹ค. DeepSeek V4.1 Flash๋‚˜ Kimi K3์ฒ˜๋Ÿผ ํ”„๋Ÿฐํ‹ฐ์–ด ์ ์ˆ˜์— ๊ทผ์ ‘ํ•˜์ง€๋งŒ ์„œ๋ฒ„๊ธ‰ ํ•˜๋“œ์›จ์–ด๊ฐ€ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ์„ผํ„ฐ๊ธ‰ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ  Qwen3.8-27B๋‚˜ Laguna S 2.1์ฒ˜๋Ÿผ ๋ณด์œ  ํ•˜๋“œ์›จ์–ด์—์„œ ๋Œ๋ฆด ์ˆ˜ ์žˆ๋Š” 120B ๋ฏธ๋งŒ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์„œ โ€œ์˜คํ”ˆ ์›จ์ดํŠธโ€๋Š” ์›จ์ดํŠธ ๋‹ค์šด๋กœ๋“œ ๊ฐ€๋Šฅ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์‹ค์ œ ๋ผ์ด์„ ์Šค๋Š” MIT, Apache 2.0๋ถ€ํ„ฐ ์ปค์Šคํ…€๊นŒ์ง€ ๋‹ค์–‘ํ•ฉ๋‹ˆ๋‹ค.

5. DeepSeek V4.1 Flash (DeepSeek)

DeepSeek V4.1 Flash๋Š” 2026๋…„ 9์›” 10์ผ ์ถœ์‹œ๋˜์—ˆ๊ณ , ์ด๋ฆ„๊ณผ ๋‹ฌ๋ฆฌ ์ด์ œ DeepSeek์—์„œ ์ œ๊ฐ€ ๋จผ์ € ๊ณ ๋ฅผ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. DeepSeek์€ ์ž์‚ฌ V4 Pro 0813 ํ”Œ๋ž˜๊ทธ์‹ญ์„ ์„ฑ๋Šฅ, ๋น„์šฉ, ์†๋„, ์ž‘์—… ์™„๋ฃŒ ์‹œ๊ฐ„์—์„œ ๋Šฅ๊ฐ€ํ•œ๋‹ค๊ณ  ๋งํ•ฉ๋‹ˆ๋‹ค. Vals AI์˜ ๋…๋ฆฝ ์ง€์ˆ˜๋„ ๊ฐ™์€ ๋ฐฉํ–ฅ์œผ๋กœ ๊ธฐ์šธ์–ด, ์˜คํ”ˆ ์›จ์ดํŠธ ์ตœ๊ณ  ๋ชจ๋ธ๋กœ 57.9%๋ฅผ ๊ธฐ๋กํ–ˆ๊ณ , 8์›”์˜ V4 Pro 0813์€ 52.4%์˜€์Šต๋‹ˆ๋‹ค.

552B ํŒŒ๋ผ๋ฏธํ„ฐ MoE ๋ชจ๋ธ๋กœ, ์ž…๋ ฅ ์‹œ ํ† ํฐ๋‹น ์•ฝ 8B, ์ถœ๋ ฅ ์‹œ 16B ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉฐ, ์ปจํ…์ŠคํŠธ 100๋งŒ, ๋„ค์ดํ‹ฐ๋ธŒ ์ด๋ฏธ์ง€ ์ž…๋ ฅ, MIT ๋ผ์ด์„ ์Šค ์›จ์ดํŠธ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. DeepSeek์€ Terminal-Bench 2.1 90.6%, DeepSWE v1.1 74.2%๋ฅผ ๋ณด๊ณ ํ•˜๋ฉฐ, ๋‘˜ ๋‹ค ์˜คํ”ˆ ์›จ์ดํŠธ ์ค‘ ๋ฒค๋” ๋ณด๊ณ  ์ตœ๊ณ ์ž…๋‹ˆ๋‹ค. Vals AI์˜ ์ž์ฒด Terminal-Bench 2.1 ์‹คํ–‰์€ 74.5%๋กœ ๋œ ๊ด€๋Œ€ํ•˜๋ฉฐ, ์˜คํ”ˆ ์›จ์ดํŠธ ์ค‘ 2์œ„์ž…๋‹ˆ๋‹ค.

์ž์„ธํ•œ ๋‚ด์šฉ์€ DeepSeek V4.1 Flash ๊ฐœ์š”์—์„œ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • DeepSeek ์š”๊ธˆ์€ ๋น„ํ˜ผ์žก ์‹œ๊ฐ„ ์ž…๋ ฅ 100๋งŒ ๋‹น $0.15, ์ถœ๋ ฅ $0.60์ด๋ฉฐ, ํ‰์ผ ํ˜ผ์žก ์‹œ๊ฐ„(UTC 01:00~04:00, 06:00~10:00)์—” ๋‘ ๋ฐฐ์ž…๋‹ˆ๋‹ค. ์บ์‹œ ํžˆํŠธ๋Š” ๋น„ํ˜ผ์žก 100๋งŒ ๋‹น $0.003.
  • OpenAI ํ˜ธํ™˜ API์—์„œ deepseek-flash๋กœ ์ œ๊ณต๋˜๋ฏ€๋กœ, ๋ณธ๋ฌธ ํ›„๋ฐ˜์˜ ask_coding_model.py๋Š” ๋ฒ ์ด์Šค URL๋งŒ ๋ฐ”๊พธ๋ฉด ๋ฉ๋‹ˆ๋‹ค.
  • V4 Flash ๋Œ€๋น„ ์•ฝ 1/4 ํฌ๊ธฐ์˜ KV ์บ์‹œ๋กœ, ์ €๊ฐ€์˜ ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ ๊ณผ๊ธˆ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ์ €๋น„์šฉ ํ”„๋Ÿฐํ‹ฐ์–ด ์ธ์ ‘ ํ„ฐ๋ฏธ๋„ ์ฝ”๋”ฉ, ๋น„ํ˜ผ์žก ์‹œ๊ฐ„ ์˜ˆ์•ฝ ๋ฐฐ์น˜ ์ฝ”๋“œ ์ž‘์—….

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: DeepSeek ์ž์ฒด ๋ณด๊ณ ์—์„œ Terminal-Bench 4.0์€ 31.2%์—ฌ์„œ, ๊ฐ€์žฅ ์–ด๋ ค์šด ์žฅ๊ธฐ ์—์ด์ „ํŠธ ์ž‘์—…์€ ์—ฌ์ „ํžˆ ํ”„๋Ÿฐํ‹ฐ์–ด ์—ฐ๊ตฌ์†Œ ๋ชซ์ž…๋‹ˆ๋‹ค. ์ฒดํฌํฌ์ธํŠธ๋„ ์•ฝ 510 GB๋ผ์„œ, ์—ฌ๊ธฐ์„œ โ€œ์˜คํ”ˆ ์›จ์ดํŠธโ€๋Š” ๋ฉ€ํ‹ฐ GPU ์„œ๋ฒ„๋ฅผ ๋œปํ•ฉ๋‹ˆ๋‹ค. V4 Pro 0813 ์‚ฌ์šฉ์ž๋ผ๋ฉด DeepSeek์€ 9์›” 14์ผ ํ•ด๋‹น ๋ชจ๋ธ์„ V4.1 Flash๋กœ ๋ผ์šฐํŒ…ํ•œ๋‹ค๊ณ  ํ–ˆ๋‹ค๊ฐ€ ๋ฒˆ๋ณตํ–ˆ์œผ๋ฉฐ, ๊ณต์ง€๊ฐ€ ์žˆ์„ ๋•Œ๊นŒ์ง€ V4 Pro๋Š” ๋น„ํ˜ผ์žก $0.66/$1.98๋กœ ๊ณ„์† ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค.

6. Kimi K3 (Moonshot AI)

Kimi K3๋Š” 2026๋…„ 7์›” ์ถœ์‹œ๋œ Moonshot AI์˜ 2.8์กฐ ํŒŒ๋ผ๋ฏธํ„ฐ ์˜คํ”ˆ ์›จ์ดํŠธ ํ”Œ๋ž˜๊ทธ์‹ญ์œผ๋กœ, Terminal-Bench 2.1์—์„œ 88.3%๋ฅผ ๊ธฐ๋กํ•ด DeepSeek V4.1 Flash์˜ ๋ฒค๋” ๋ณด๊ณ  90.6% ๋‹ค์Œ์œผ๋กœ ๋†’์Šต๋‹ˆ๋‹ค.

ํ—ˆ๊น…ํŽ˜์ด์Šค ์นด๋“œ๋Š” 896 ์ „๋ฌธ๊ฐ€(ํ† ํฐ๋‹น 16 ๋ผ์šฐํŒ… + 2 ๊ณต์œ )์—์„œ ํ™œ์„ฑ 104B ํŒŒ๋ผ๋ฏธํ„ฐ, 1,048,576 ํ† ํฐ ์ปจํ…์ŠคํŠธ, MXFP4 ์›จ์ดํŠธ๋ฅผ ๊ธฐ์žฌํ•ฉ๋‹ˆ๋‹ค. Vals AI๋Š” SWE-bench Verified 93.4%๋ฅผ ์ธก์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ๋„ค์ดํ‹ฐ๋ธŒ ๋น„์ „๊ณผ 100๋งŒ ํ† ํฐ ์ปจํ…์ŠคํŠธ.
  • Kimi K3 ๋ผ์ด์„ ์Šค(์ปค์Šคํ…€)๋กœ ์ œ๊ณต๋˜๋ฏ€๋กœ ์ƒ์—…์  ์‚ฌ์šฉ ์ „์— ๋ฐ˜๋“œ์‹œ ๊ฒ€ํ† ํ•˜์„ธ์š”.
  • ๊ถŒ์žฅ ์ถ”๋ก  ์Šคํƒ์€ vLLM, SGLang, TokenSpeed์ด๋ฉฐ, ์ผ๋ถ€ GPU ํ‰๊ฐ€ ์ž‘์—…์€ H20 GPU์— ๋งž์ถฐ ๋ณด์ •๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์˜คํ”ˆ ์—์ด์ „ํŠธ ์ฝ”๋” ์ค‘ ์ตœ๊ฐ•์„ ์›ํ•˜๋Š” ๊ฒฝ์šฐ.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: ํ”„๋Ÿฐํ‹ฐ์–ด์— ๊ทผ์ ‘ํ•œ ์„ฑ๋Šฅ์€ ๋ฐ์ดํ„ฐ์„ผํ„ฐ ๊ทœ๋ชจ์—์„œ๋งŒ ๋‚˜์˜ต๋‹ˆ๋‹ค. Terminal-Bench 2.1์—์„œ Fable 5.1 ๋Œ€๋น„ 3ํฌ์ธํŠธ ๊ฒฉ์ฐจ๋Š” ๊ฐ€๊นŒ์›Œ ๋ณด์ด์ง€๋งŒ, ๋™๋“ฑ ๋น„๊ต๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. Moonshot์€ ์ž์ฒด Kimi Code ํ•˜๋„ค์Šค์—์„œ 88.3%๋ฅผ ์ธก์ •ํ–ˆ๊ณ , Fable์˜ 91.4%๋Š” Artificial Analysis์˜ Terminus 2 ์‹คํ–‰์ž…๋‹ˆ๋‹ค. ์‹ค์ „์—์„œ๋Š” ํ˜ธ์ŠคํŒ… ์ œ๊ณต์—…์ฒด๋ฅผ ๋นŒ๋ฆฌ๊ฑฐ๋‚˜ ์ž์ฒด ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ํ•„์š”ํ•˜๋ฉฐ, ์ปค์Šคํ…€ ๋ผ์ด์„ ์Šค๋„ ๋ฒ•๋ฌด ๊ฒ€ํ† ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

7. Qwen3.8-27B (Alibaba)

Qwen3.8-27B๋Š” 2026๋…„ 8์›” ์ถœ์‹œ๋œ 270์–ต ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ์กฐ๋ฐ€(dense) ๋ชจ๋ธ๋กœ Apache 2.0 ๋ผ์ด์„ ์Šค๋ฅผ ๋”ฐ๋ฅด๋ฉฐ, ๋‹จ์ผ 24 GB GPU์—์„œ ๋Œ๋ฆด ์ˆ˜ ์žˆ๋Š” ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM์ž…๋‹ˆ๋‹ค.

๋ชจ๋ธ ์นด๋“œ๋Š” SWE-bench Pro 61.7%, Terminal-Bench 2.1 73.0%, LiveCodeBench v6 90.3%, DeepSWE 1.1 42.2%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ ์ปจํ…์ŠคํŠธ๋Š” 262,144 ํ† ํฐ์ด๋ฉฐ YaRN์œผ๋กœ 100๋งŒ๊นŒ์ง€ ํ™•์žฅ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. SWE-bench Pro์™€ Terminal-Bench ์ˆ˜์น˜๋Š” 4๋ฐฐ ํฐ Laguna S 2.1์„ ์•ž์„œ๊ณ , SWE-bench Pro์—์„œ๋Š” Gemini 3.1 Pro๋„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ SWE-bench Pro๋Š” Qwen์ด ์ž์ฒด ์ˆ˜์ • ํƒœ์Šคํฌ ์…‹์œผ๋กœ ๋Œ๋ ธ์œผ๋‹ˆ ๊ต์ฐจ ์—ฐ๊ตฌ์†Œ ๋น„๊ต๋Š” ๋ฐฉํ–ฅ์„ฑ ์ •๋„๋กœ ๋ณด์„ธ์š”.

์ฃผ์š” ํŠน์ง•:

  • ์ปค๋ฎค๋‹ˆํ‹ฐ Unsloth์˜ UD-Q4_K_M GGUF๋Š” ๋‹จ์ผ 16.5 GB ํŒŒ์ผ์ด๋ฉฐ, 24 GB ์นด๋“œ์—์„œ 32K ์ปจํ…์ŠคํŠธ๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. UD-Q4_K_XL์€ 17.6 GB.
  • ์กฐ๋ฐ€ ์•„ํ‚คํ…์ฒ˜๋ผ ํ† ํฐ๋‹น ์†๋„๋Š” 3B ํ™œ์„ฑ MoE๋ณด๋‹ค ๋А๋ฆฌ์ง€๋งŒ, ๋‹คํŒŒ์ผ ์ˆ˜์ •์—์„œ ํ›จ์”ฌ ๋” ์•ˆ์ •์ ์ž…๋‹ˆ๋‹ค.
  • Apache 2.0์œผ๋กœ ์ƒ์—… ์ œํ’ˆ์— ์‚ฌ์šฉ ์ œํ•œ์ด ์—†์Šต๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ์ฝ”๋“œ๋ฅผ ์™ธ๋ถ€ API๋กœ ๋ณด๋‚ผ ์ˆ˜ ์—†๋Š” ๊ฐœ๋ฐœ์ž, RTX๊ธ‰ GPU 1์žฅ๋งŒ ์žˆ๋Š” 1์ธ ๊ฐœ๋ฐœ์ž, ๋น„์šฉ ์ง€๋ถˆ ์ „ ์ž์ฒด ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์—์„œ ๋กœ์ปฌ๊ณผ Claude ๋น„๊ต๋ฅผ ํ•ด๋ณด๊ณ  ์‹ถ์€ ๊ฒฝ์šฐ.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: Terminal-Bench 2.1์—์„œ 73.0% ๋Œ€ 91.4%๋Š” 18ํฌ์ธํŠธ ๊ฒฉ์ฐจ์ด๋ฉฐ, ์žฅ๊ธฐ ์—์ด์ „ํŠธ ์ž‘์—…์—์„œ ์žฌ์‹œ๋„ ์ฆ๊ฐ€๋กœ ์ฒด๊ฐ๋ฉ๋‹ˆ๋‹ค.

8. Laguna S 2.1 (Poolside)

Laguna S 2.1์€ 2026๋…„ 7์›” 21์ผ ์ถœ์‹œ๋œ Poolside์˜ 118B ํŒŒ๋ผ๋ฏธํ„ฐ MoE ์ฝ”๋”ฉ ๋ชจ๋ธ๋กœ, ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๋Š” 8B์ด๋ฉฐ, Mac Studio, DGX Spark, ๋ฉ€ํ‹ฐ GPU ์›Œํฌ์Šคํ…Œ์ด์…˜์— ์ ํ•ฉํ•œ ์˜คํ”ˆ ์›จ์ดํŠธ ์„ ํƒ์ง€์ž…๋‹ˆ๋‹ค.

Poolside์˜ ์ถœ์‹œ ๊ธ€์€ SWE-bench Pro ๊ณต๊ฐœ ์…‹ 59.4%, Terminal-Bench 2.1์—์„œ ์ตœ๋Œ€ ์‚ฌ๊ณ  ๋ชจ๋“œ 70.2%(์‚ฌ๊ณ  off 60.4%), SWE-bench Multilingual 78.5%, DeepSWE 40.4%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค.

์ด ๋ชจ๋ธ์€ 409,000๊ฐœ ํ™˜๊ฒฝ(ํ„ฐ๋ฏธ๋„ ์ž‘์—… 83,000, ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง ์›Œํฌํ”Œ๋กœ 168,000 ํฌํ•จ)์—์„œ ํ•™์Šต๋˜์—ˆ๊ณ , H200 4,096์žฅ์œผ๋กœ 9์ฃผ ๋ฏธ๋งŒ์— ํ•™์Šตํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ์ด ํฌ๊ธฐ์—์„œ๋Š” ์ด๋ก€์ ์ธ 100๋งŒ ํ† ํฐ ์ปจํ…์ŠคํŠธ.
  • OpenMDW-1.1 ๋ผ์ด์„ ์Šค(๊ด€๋Œ€ํ•œ ํŽธ์ด์ง€๋งŒ ๋ฒ•๋ฌด ๊ฒ€ํ†  ๊ถŒ์žฅ).
  • ์‚ฌ๊ณ  ๋ชจ๋“œ๋Š” ๊ธฐ๋ณธ on์ด๋ฉฐ Terminal-Bench 2.1์—์„œ ์•ฝ 10ํฌ์ธํŠธ ํ–ฅ์ƒ์„ ์ค๋‹ˆ๋‹ค. Poolside ์‹คํ–‰์—์„œ ์ž‘์—…๋‹น ํ‰๊ท  ์™„๋ฃŒ ๊ธธ์ด๋Š” ์•ฝ 23K~249K ํ† ํฐ์ด์—ˆ์œผ๋‹ˆ ์˜ˆ์‚ฐ์„ ๋ฐ˜์˜ํ•˜์„ธ์š”.

์ ํ•ฉํ•œ ์šฉ๋„: 96~128 GB ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ ๋จธ์‹ ์—์„œ Claude Code ์Šคํƒ€์ผ ๋กœ์ปฌ ์—์ด์ „ํŠธ๋ฅผ ์›ํ•˜๋Š” ํŒ€, ๋กœ์ปฌ์—์„œ๋„ 100๋งŒ ์ปจํ…์ŠคํŠธ๊ฐ€ ํ•„์š”ํ•œ ๋Œ€ํ˜• ๋ฆฌํฌ์ง€ํ† ๋ฆฌ.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: 118B ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ 4๋น„ํŠธ๋กœ๋„ ์›จ์ดํŠธ๋งŒ 60~70 GB ์ˆ˜์ค€์ด๋ฉฐ, KV ์บ์‹œ๊นŒ์ง€ ๊ณ ๋ คํ•˜๋ฉด 24 GB GPU๋Š” ๋ฌด๋ฆฌ์ž…๋‹ˆ๋‹ค. ์›์‹œ ์ ์ˆ˜์—์„œ๋Š” Qwen3.8-27B๊ฐ€ ๊ทผ์†Œ ์šฐ์œ„์ง€๋งŒ, Laguna๋Š” ํ™œ์„ฑ 8B๋กœ ์›จ์ดํŠธ๊ฐ€ ๋งž์•„๋–จ์–ด์ง€๊ธฐ๋งŒ ํ•˜๋ฉด ํ›จ์”ฌ ๋น ๋ฅด๋ฉฐ, ์ด๋Š” ์•ผ๊ฐ„ ์—์ด์ „ํŠธ์˜ ์š”์ ์ž…๋‹ˆ๋‹ค.

9. Qwen3-Coder-Next (Alibaba)

Qwen3-Coder-Next๋Š” 2026๋…„ 2์›” 3์ผ ์ถœ์‹œ๋œ 80B ํŒŒ๋ผ๋ฏธํ„ฐ MoE ๋ชจ๋ธ๋กœ, ํ† ํฐ๋‹น ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๋Š” 3B์— ๋ถˆ๊ณผํ•ฉ๋‹ˆ๋‹ค(Apache 2.0). 27B ์กฐ๋ฐ€ ๋ชจ๋ธ์„ ๋น ๋ฅด๊ฒŒ ์œ ์ง€ํ•˜๋ฉฐ ๋‹ด์„ ์ˆ˜ ์—†๋Š” ํ•˜๋“œ์›จ์–ด์—์„œ ๊ฐ€์žฅ ๋น ๋ฅธ โ€œ์“ธ ๋งŒํ•œโ€ ๋กœ์ปฌ ์ฝ”๋”์ž…๋‹ˆ๋‹ค.

๋ชจ๋ธ ์นด๋“œ๋Š” SWE-bench Verified 70.6%, SWE-bench Pro 44.3%, Terminal-Bench 2.0 36.2%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. ์ „๋ฌธ๊ฐ€ 512๋ช…(ํ™œ์„ฑ 10 + ๊ณต์œ  1), ์ปจํ…์ŠคํŠธ 262,144 ํ† ํฐ์ด๋ฉฐ, ๋น„์‚ฌ๊ณ  ๋ชจ๋“œ๋งŒ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

์ฃผ์š” ํŠน์ง•:

  • ๊ณต์‹ Q4_K_M GGUF๋Š” ์•ฝ 48 GB๋กœ, ๋‹จ์ผ ์†Œ๋น„์ž GPU๋ณด๋‹ค 64 GB Mac ๋˜๋Š” CPU ์˜คํ”„๋กœ๋“œ ํ™˜๊ฒฝ์— ๋” ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
  • ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ์–ดํ…์…˜(ํ‘œ์ค€ ์–ดํ…์…˜ 1์ธต๋‹น 3๊ฐœ์˜ Gated DeltaNet ์ธต)์œผ๋กœ ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์„ ๋‚ฎ์ถฅ๋‹ˆ๋‹ค.
  • ์นด๋“œ์— ๋”ฐ๋ฅด๋ฉด vLLM, SGLang, Ollama, LM Studio, MLX-LM, llama.cpp, KTransformers์—์„œ ์ง€์›๋ฉ๋‹ˆ๋‹ค.

์ ํ•ฉํ•œ ์šฉ๋„: ์ •ํ™•๋„ ์ตœ๊ณ ์น˜๋ณด๋‹ค ์ดˆ๋‹น ํ† ํฐ ์†๋„๊ฐ€ ์ค‘์š”ํ•œ ์žฅ๊ธฐ ์•ผ๊ฐ„ ์ž‘์—…, 64 GB ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ ๋…ธํŠธ๋ถ.

ํŠธ๋ ˆ์ด๋“œ์˜คํ”„: SWE-bench Pro 44.3%๋Š” Qwen3.8-27B๋ณด๋‹ค 17ํฌ์ธํŠธ ๋‚ฎ์•„, ๋‹จ์ผ ์–ด๋ ค์šด ๋ฒ„๊ทธ์—๋Š” ์กฐ๋ฐ€ ๋ชจ๋ธ์„ ๊ณ ๋ฅด๊ฒ ์Šต๋‹ˆ๋‹ค.

์‚ดํŽด๋ณผ ๊ฐ€์น˜๊ฐ€ ์žˆ๋Š” ๊ธฐํƒ€ ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ

๋‹ค์Œ 4๊ฐœ ๋ชจ๋ธ๋„ ๊ฑฐ์˜ ๋ชฉ๋ก์— ๋“ค์—ˆ๊ณ , ์ด ์ค‘ 2๊ฐœ๋Š” ํŠน์ • ํŒ€์—๋Š” ์ œ ์ถ”์ฒœ๋ณด๋‹ค ๋” ์ž˜ ๋งž์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • DeepSeek V4 Pro 0813(DeepSeek): ์ด 1.6T, ํ™œ์„ฑ 49B, ์ปจํ…์ŠคํŠธ 100๋งŒ, MIT ๋ผ์ด์„ ์Šค, Vals AI ์•„์นด์ด๋ธŒ SWE-bench Verified 96.4%. ์—ฌ์ „ํžˆ ๋น„ํ˜ผ์žก ์‹œ๊ฐ„ ์ž…๋ ฅ $0.66, ์ถœ๋ ฅ $1.98๋กœ ์ œ๊ณต๋˜์ง€๋งŒ, Vals๋Š” Terminal-Bench 2.1์—์„œ 54.7%๋ฅผ ์ธก์ •ํ–ˆ๊ณ , DeepSeek์€ 87.9%๋ฅผ ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค. DeepSeek์€ ์ด์ œ V4.1 Flash๋ฅผ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค. DeepSeek V4 ํ•ด์„ค์— ์•„ํ‚คํ…์ฒ˜๋ฅผ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Kimi K2.6(Moonshot): ์ด 1T, ํ™œ์„ฑ 32B, ์ปจํ…์ŠคํŠธ 256K, ์ˆ˜์ • MIT ๋ผ์ด์„ ์Šค, SWE-bench Verified 80.2%, SWE-bench Pro 58.6%, LiveCodeBench v6 89.6%. ํŠธ๋ฆด๋ฆฌ์–ธ๊ธ‰ ๋ชจ๋ธ ์ค‘ DeepSeek V4 Pro์˜ ์ˆœ์ˆ˜ MIT ๋‹ค์Œ์œผ๋กœ ๊ฐ€์žฅ ๊น”๋”ํ•œ ๋ผ์ด์„ ์Šค.
  • MiniMax M3: ์ด 428B, ํ™œ์„ฑ 23B, ์ปจํ…์ŠคํŠธ 100๋งŒ, ๋„ค์ดํ‹ฐ๋ธŒ ์ด๋ฏธ์ง€ยท๋น„๋””์˜ค ์ž…๋ ฅ, SWE-bench Verified 80.5%, SWE-bench Pro 59%. ์Šคํฌ๋ฆฐ์ƒท๊ณผ ์ฝ”๋“œ๊ฐ€ ์„ž์ธ ์ž‘์—…์— ์ ํ•ฉํ•œ ์˜คํ”ˆ ์„ ํƒ์ง€.
  • Qwen3.8-Flash-Next: ์ด 125B, ํ™œ์„ฑ 6B, SWE-bench Pro 62.5%, DeepSWE 58.7%, ๋” ์ œํ•œ์ ์ธ qwen-community-1.0 ๋ผ์ด์„ ์Šค. DeepSWE์—์„œ๋Š” Qwen3.8-27B๋ณด๋‹ค ๊ฐ•ํ•˜์ง€๋งŒ ๋ผ์ด์„ ์Šค ๋•Œ๋ฌธ์— ์ƒ์œ„ 9๊ฐœ์—์„œ ์ œ์™ธํ–ˆ์Šต๋‹ˆ๋‹ค.

์ด ์ค‘ ํ•˜๋‚˜๊ฐ€ ํ•˜๋“œ์›จ์–ด์— ์ž˜ ๋งž๋Š”๋‹ค๋ฉด, ๋‹ค์Œ ์„น์…˜์—์„œ ์‹คํ–‰ ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

์˜คํ”ˆ ์›จ์ดํŠธ ์ฝ”๋”ฉ ๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ ค๋ฉด?

์˜คํ”ˆ ์›จ์ดํŠธ ์ฝ”๋”ฉ ๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ ค๋ฉด 3๋‹จ๊ณ„๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์–‘์žํ™”๋œ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ , OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ ๋’ค์—์„œ ์„œ๋น„์Šคํ•˜๋ฉฐ, ํด๋ผ์ด์–ธํŠธ๋‚˜ ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ๋ฅผ ํ•ด๋‹น ์—”๋“œํฌ์ธํŠธ๋กœ ๊ฐ€๋ฆฌํ‚ค๋ฉด ๋ฉ๋‹ˆ๋‹ค. ์˜ˆ์‹œ๋Š” ์†Œ๋น„์ž๊ธ‰ ํ•˜๋“œ์›จ์–ด์— ๊ฐ€์žฅ ์‰ฝ๊ฒŒ ๋งž๋Š” Qwen3.8-27B๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋จผ์ € ๋‹ค์šด๋กœ๋“œ์ž…๋‹ˆ๋‹ค. huggingface_hub ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋Œ€์šฉ๋Ÿ‰ ํŒŒ์ผ์— ์œ ์šฉํ•œ ์žฌ๊ฐœ ๊ฐ€๋Šฅ ์ „์†ก๊ณผ ์บ์‹ฑ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

"""Download a quantized coding model from Hugging Face.
 
Qwen3.8-27B at UD-Q4_K_M is a single 16.5 GB file, which leaves room for
a 32K context on a 24 GB GPU. Swap FILENAME for the UD-Q4_K_XL build if you
have the extra 1 GB to spare.
"""
 
from huggingface_hub import hf_hub_download
 
REPO_ID = "unsloth/Qwen3.8-27B-GGUF"
FILENAME = "Qwen3.8-27B-UD-Q4_K_M.gguf"
 
 
def fetch(repo_id: str = REPO_ID, filename: str = FILENAME) -> str:
    """Download one file from the Hub and return its local path."""
    path = hf_hub_download(repo_id=repo_id, filename=filename)
    print(f"Saved to {path}")
    return path
 
 
if __name__ == "__main__":
    fetch()

download_gguf.py๋กœ ์ €์žฅํ•˜๊ณ  uv run --with huggingface_hub python download_gguf.py๋กœ ์‹คํ–‰ํ•˜์„ธ์š”. Windows์—์„œ๋Š” ๊ฐœ๋ฐœ์ž ๋ชจ๋“œ๊ฐ€ ๊บผ์ ธ ์žˆ์œผ๋ฉด ์‹ฌ๋ณผ๋ฆญ ๋งํฌ ๊ฒฝ๊ณ ๊ฐ€ ๋œน๋‹ˆ๋‹ค.

๋‘˜์งธ, ์„œ๋น™์ž…๋‹ˆ๋‹ค.

llama.cpp์˜ llama-server, LM Studio, Ollama๋Š” ๋ชจ๋‘ OpenAI ํ˜ธํ™˜ /v1 ์—”๋“œํฌ์ธํŠธ๋ฅผ ๋…ธ์ถœํ•ฉ๋‹ˆ๋‹ค. llama.cpp๋Š” ๋ช…๋ น ํ•œ ์ค„๋กœ ์ถฉ๋ถ„ํ•˜๋ฉฐ, ๋‘ ํ”Œ๋ž˜๊ทธ๊ฐ€ ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค. -ngl 99๋Š” ๋ชจ๋“  ๋ ˆ์ด์–ด๋ฅผ GPU๋กœ ์˜คํ”„๋กœ๋”ฉํ•˜๊ณ , -c 32768์€ 32K ์ปจํ…์ŠคํŠธ๋ฅผ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค.

llama-server -m Qwen3.8-27B-UD-Q4_K_M.gguf -c 32768 -ngl 99 --port 8080

์…‹์งธ, ํด๋ผ์ด์–ธํŠธ์ž…๋‹ˆ๋‹ค. ์ €๋Š” ํ‰๊ฐ€ํ•˜๋Š” ๊ฐ ๋ชจ๋ธ๋งˆ๋‹ค ์Šคํฌ๋ฆฝํŠธ ํ•˜๋‚˜๋ฅผ ๋‘๊ณ , ํ™˜๊ฒฝ ๋ณ€์ˆ˜ 3๊ฐœ๋กœ ๋Œ€์ƒ๋งŒ ๋ฐ”๊ฟ‰๋‹ˆ๋‹ค. ๊ฐ™์€ ํŒŒ์ผ์ด ์œ„ ๋กœ์ปฌ ์„œ๋ฒ„, DeepSeek API, OpenAI ๋ชจ๋‘์— ์ „์†กํ•ฉ๋‹ˆ๋‹ค.

"""Send one coding prompt to any OpenAI-compatible endpoint.
 
The same script talks to a local llama.cpp or vLLM server, to DeepSeek's
API, or to OpenAI itself. Only three environment variables change:
 
    LLM_BASE_URL   e.g. http://localhost:8080/v1  or  https://api.deepseek.com
    LLM_MODEL      e.g. qwen3.8-27b  or  deepseek-flash
    LLM_API_KEY    anything non-empty for a local server
"""
 
import os
 
from openai import OpenAI
 
PROMPT = (
    "Write a Python function top_n(df, col, n) that returns the n largest "
    "rows of a pandas DataFrame by column col, with a docstring and a "
    "ValueError if col is missing."
)
 
 
def ask(prompt: str = PROMPT) -> str:
    """Return the model's reply for a single-turn coding request."""
    client = OpenAI(
        base_url=os.environ["LLM_BASE_URL"],
        api_key=os.environ.get("LLM_API_KEY", "local"),
    )
    response = client.chat.completions.create(
        model=os.environ["LLM_MODEL"],
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,  # keep code generation close to deterministic
    )
    return response.choices[0].message.content
 
 
if __name__ == "__main__":
    print(ask())

ask_coding_model.py๋กœ ์ €์žฅํ•˜๊ณ  LLM_BASE_URL=http://localhost:8080/v1 LLM_MODEL=qwen3.8-27b uv run --with openai python ask_coding_model.py๋กœ ์‹คํ–‰ํ•˜์„ธ์š”.

๋ผ์šฐํŒ…, ์žฌ์‹œ๋„, ๋„๊ตฌ ํ˜ธ์ถœ๊นŒ์ง€ ์—ฌ๋Ÿฌ ์—”๋“œํฌ์ธํŠธ๋ฅผ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์—ฐ๊ฒฐํ•˜๋ ค๋ฉด, LangChain์œผ๋กœ LLM ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ ๊ฐ•์ขŒ์—์„œ if ๋ฌธ์˜ ๋ฉ์–ด๋ฆฌ๊ฐ€ ๋˜์ง€ ์•Š๊ฒŒ ํ•˜๋Š” ์ถ”์ƒํ™”๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM์„ ์–ด๋–ป๊ฒŒ ์„ ํƒํ•ด์•ผ ํ•˜๋‚˜์š”?

์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM ์„ ํƒ์€ ๋„ค ๊ฐ€์ง€ ์ œ์•ฝ์œผ๋กœ ๊ท€๊ฒฐ๋ฉ๋‹ˆ๋‹ค. ์ฝ”๋“œ๊ฐ€ ๋จธ์‹  ๋ฐ–์œผ๋กœ ๋‚˜๊ฐˆ ์ˆ˜ ์žˆ๋Š”์ง€, ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ ์–ผ๋งˆ์ธ์ง€, ์ถœ๋ ฅ 100๋งŒ ํ† ํฐ๋‹น ์ง€๋ถˆ์•ก์ด ์–ผ๋งˆ์ธ์ง€, ๋‹จ์ผ ์ž‘์—…์— ํ•„์š”ํ•œ ์ปจํ…์ŠคํŠธ๊ฐ€ ์–ผ๋งˆ๋‚˜ ๊ธด์ง€์ž…๋‹ˆ๋‹ค. ์•„๋ž˜ ํ‘œ๋Š” ์‹ ๋ขฐํ•˜๋Š” ์ˆ˜์น˜๋กœ 9๊ฐœ ๋ชจ๋ธ์„ ๋‚˜๋ž€ํžˆ ๋น„๊ตํ•˜๋ฉฐ, ์ดํ›„ ๊ฒฐ์ • ๊ฐ€์ด๋“œ๋Š” ์ œ์•ฝ์„ ์ถ”์ฒœ์œผ๋กœ ๋งคํ•‘ํ•ฉ๋‹ˆ๋‹ค.

ModelTypeTerminal-Bench 2.1SWE-bench ProContextPrice (per 1M output) or memoryBest for
Claude Opus 5.5Cloud87.6% (Vals AI)89.9%1M$20๋Œ€๋ถ€๋ถ„์˜ ์ฝ”๋”ฉ ์ž‘์—… ๊ธฐ๋ณธ๊ฐ’
Claude Fable 5.1Cloud91.4% (Artificial Analysis)81.2%1M$50๊ฐ€์žฅ ๊ธด ํ˜ธ๋ผ์ด์ฆŒ ์—์ด์ „ํŠธ ์ž‘์—…
GPT-6 AstraCloud๋ฏธ๊ณต๊ฐœ(Terminal-Bench 4.0์—์„œ tbench.ai 58.2% / Artificial Analysis 59.6%)๋ฏธ๊ณต๊ฐœ1.05M$50Codex ์‚ฌ์šฉ์ž, ํ”„๋Ÿฐํ‹ฐ์–ด ๊ณผํ•™ ์ž‘์—…
Gemini 3.8 FlashCloud89.4%61.6%1M2026๋…„๊นŒ์ง€ $3.75๋Œ€๋Ÿ‰, ๋น„์šฉ ๋ฏผ๊ฐ ์—์ด์ „ํŠธ
DeepSeek V4.1 FlashOpen (MIT)90.6% (vendor); 74.5% (Vals AI)๋ฏธ๊ณต๊ฐœ1M๋น„ํ˜ผ์žก $0.60API๋กœ ์“ฐ๋Š” ์ตœ์ €๊ฐ€ ์œ ๋Šฅ ์˜คํ”ˆ ์›จ์ดํŠธ
Kimi K3Open (custom)88.3% (Kimi Code ํ•˜๋„ค์Šค)๋ฏธ๊ณต๊ฐœ1M2.8T params, ํด๋Ÿฌ์Šคํ„ฐ ์ „์šฉ์ตœ๊ฐ• ์ž๊ธฐ ํ˜ธ์ŠคํŒ… ์—์ด์ „ํŠธ
Qwen3.8-27BOpen (Apache 2.0)73.0%61.7%262KUD-Q4_K_M์—์„œ 16.5 GB๋‹จ์ผ 24 GB GPU
Laguna S 2.1Open (OpenMDW-1.1)70.2%59.4%1MQ4์—์„œ 60~70 GB128 GB ์›Œํฌ์Šคํ…Œ์ด์…˜, ๋กœ์ปฌ ์—์ด์ „ํŠธ
Qwen3-Coder-NextOpen (Apache 2.0)36.2% (2.0)44.3%262KQ4์—์„œ ์•ฝ 48 GB๋น ๋ฅธ ๋กœ์ปฌ ๋ชจ๋ธ, 64 GB Mac

๊ฒฐ์ • ๊ฐ€์ด๋“œ

๋„ค ๊ฐ€์ง€ ์ œ์•ฝ์„ ์ˆœ์œ„์— ๋Œ€์ž…ํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  • ์ •ํ™•์„ฑ์ด ๋น„์šฉ๋ณด๋‹ค ์ค‘์š”ํ•œ ์—์ด์ „ํŠธํ˜• ์ฝ”๋”ฉ ํŒŒ์ดํ”„๋ผ์ธ: Claude Opus 5.5๋ฅผ high ๋˜๋Š” xhigh ๋…ธ๋ ฅ์œผ๋กœ, Opus 5.5๊ฐ€ ๋ถ€์กฑํ•˜๋‹ค๊ณ  ํ‰๊ฐ€๋œ ์žฅ๊ธฐ ์ž‘์—…์€ Fable 5.1 ๋Œ€๊ธฐ.
  • ํ•ฉ๋ฆฌ์  ๊ฐ€๊ฒฉ์˜ ์ผ์ƒ AI ์ง€์› ์ฝ”๋”ฉ: Claude Opus 5.5๋ฅผ ๊ธฐ๋ณธ medium ๋…ธ๋ ฅ์œผ๋กœ ์šฐ์„ , Codex ์ƒํƒœ๊ณ„๋ผ๋ฉด GPT-6 Sol์„ ์ฐจ์„ .
  • ํ”„๋Ÿฐํ‹ฐ์–ด ๊ณผํ•™, ์‹œ๋ฎฌ๋ ˆ์ด์…˜, GPU ์ปค๋„ ์ž‘์—…: GPT-6 Astra ๋˜๋Š” Claude Opus 5.5. ๊ณผํ•™ ์ „์šฉ์—์„  Astra๊ฐ€, Terminal-Bench 4.0์—์„  Opus 5.5๊ฐ€ ์•ž์„ญ๋‹ˆ๋‹ค.
  • ์ดˆ๋Œ€ํ˜• ์ฝ”๋“œ๋ฒ ์ด์Šค, 100๋งŒ ํ† ํฐ ํ”„๋กฌํ”„ํŠธ, ๋น ๋“ฏํ•œ ์˜ˆ์‚ฐ: Gemini 3.8 Flash๋ฅผ ๊ธฐ๋ณธ์œผ๋กœ, Flash ๋‹ต๋ณ€์ด ํํŠธ๋Ÿฌ์งˆ ๋• Opus 5.5.
  • API๋กœ ์“ฐ๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ: ๋น„ํ˜ผ์žก ์‹œ๊ฐ„์˜ DeepSeek V4.1 Flash.
  • ๋‹จ์ผ 24 GB GPU์—์„œ ๋กœ์ปฌยทํ”„๋ผ์ด๋น—: Qwen3.8-27B(UD-Q4_K_M).
  • 96~128 GB ๋จธ์‹ ์—์„œ ๋กœ์ปฌยทํ”„๋ผ์ด๋น—: Laguna S 2.1, โ€œ๋จธ์‹ โ€์ด ํด๋Ÿฌ์Šคํ„ฐ๋ผ๋ฉด Kimi K3.
  • 64 GB ๋…ธํŠธ๋ถ์—์„œ ๋กœ์ปฌยท๊ณ ์†: Qwen3-Coder-Next.

์ฝ”๋”ฉ์„ ๋„˜์–ด ๋ชจ๋ธ-์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋งค์นญ ํ”„๋ ˆ์ž„์›Œํฌ(ํ˜ธ์ŠคํŒ… ์˜ต์…˜, ๋ผ์ด์„ ์‹ฑ ํฌํ•จ)๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋ฉด, ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์ตœ์  LLM์„ ์„ ์ •ํ•˜๋Š” ๋ฒ• ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

๊ทธ๋ฆฌ๊ณ  ์–ด๋–ค ๋ชจ๋ธ์„ ๊ณ ๋ฅด๋“ , ๊ฐ€์น˜๋ฅผ ๋ฝ‘์•„๋‚ด๋Š” ๊ธฐ์ˆ ์€ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง์„ ์œ„ํ•œ AI ์Šคํ‚ฌ ํŠธ๋ž™๊ณผ ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ AI ๋ณด์กฐ ์ฝ”๋”ฉ ๊ฐ•์ขŒ์—์„œ 91% ๋ฒค์น˜๋งˆํฌ๋ฅผ ๋จธ์ง€๋œ PR๋กœ ๋ฐ”๊พธ๋Š” ํ”„๋กฌํ”„ํŠธ, ํ…Œ์ŠคํŠธ, ๋ฆฌ๋ทฐ ์Šต๊ด€์„ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋งˆ๋ฌด๋ฆฌ ์ƒ๊ฐ

Claude Opus 5.5๋Š” 2026๋…„ 9์›” ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ LLM์ด๋ฉฐ, ๋“œ๋ฌผ๊ฒŒ ํŒ€์˜ ๊ฒฐ์ œ ์ˆ˜๋‹จ์—๋„ ์˜ฌ๋ฆด 1์ˆœ์œ„์ž…๋‹ˆ๋‹ค. ๊ฐ€์žฅ ๊ธด ์ž‘์—…์˜ ์ƒํ–ฅ ๊ฒฝ๋กœ๋Š” Claude Fable 5.1์ด๊ณ , Qwen3.8-27B๋Š” 24 GB GPU๋ฅผ ์ž‘๋…„ ํ”„๋Ÿฐํ‹ฐ์–ด๋ฅผ SWE-bench Pro์—์„œ ๋Šฅ๊ฐ€ํ•˜๋Š” ํ”„๋ผ์ด๋น— ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ๋กœ ๋ฐ”๊ฟ”์ฃผ๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€๋Š” ์ œ์•ฝ์˜ ๋ฌธ์ œ์ด๊ณ , ์œ„ ๊ฒฐ์ • ๊ฐ€์ด๋“œ๊ฐ€ ๊ทธ ํ•ด๋ฒ•์ž…๋‹ˆ๋‹ค.

๋” ํฐ ๋ณ€ํ™”๋Š” 2๋…„๊ฐ„ ์ด ๋ถ„์•ผ๋ฅผ ๊ทœ์ •ํ–ˆ๋˜ SWE-bench Verified๊ฐ€, ๊ฐ™์€ 12๊ฐœ์›” ๋™์•ˆ ์˜คํ”ˆ ์›จ์ดํŠธ๊ฐ€ ์ด๋ฅผ ๋”ฐ๋ผ์žก์ž ์˜๋ฏธ๊ฐ€ ์ค„์—ˆ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค.

์šฐ์—ฐ์ด ์•„๋‹™๋‹ˆ๋‹ค.

ํฌํ™”๋œ ํ…Œ์ŠคํŠธ์—์„œ Opus 5์™€ DeepSeek V4 Pro๊ฐ€ 0.6ํฌ์ธํŠธ ์ฐจ์— ๋ถˆ๊ณผํ•˜๊ณ , 100๋งŒ ํ† ํฐ๋‹น $20์ธ ๋ชจ๋ธ์ด Anthropic์˜ $50 ๋ชจ๋ธ์„ SWE-bench Pro์—์„œ ์ด๊ธฐ๋Š” ์ง€๊ธˆ, ๊ฐ€์น˜๋Š” ํ•˜๋„ค์Šค ์„ค๊ณ„, ๋…ธ๋ ฅ ์˜ˆ์‚ฐ, ์ž์ฒด ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ํ‰๊ฐ€๋กœ ์ด๋™ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋ฒค๋” ํ‘œ๊ฐ€ ๋Œ€์‹ ํ•ด์ค„ ์ˆ˜ ์—†๋Š” ์ผ์ž…๋‹ˆ๋‹ค.

๊ทธ๋Ÿฌ๋‹ˆ ์ง์ ‘ ํ•˜์„ธ์š”. ask_coding_model.py ์Šคํฌ๋ฆฝํŠธ๋ฅผ 2~3๊ฐœ ๋ชจ๋ธ์— ์—ฐ๊ฒฐํ•˜๊ณ , ์‹ค์ œ ๋ฐฑ๋กœ๊ทธ์˜ ํ‹ฐ์ผ“ 20๊ฐœ๋ฅผ ๋‹น์‹ ์ด ์‹ค์ œ๋กœ ์ง€๋ถˆํ•  ๋…ธ๋ ฅ ๋ ˆ๋ฒจ์—์„œ ๋Œ๋ ค๋ณด์„ธ์š”. ๊ทธ๋ฆฌ๊ณ  ๊ทธ ๊ฒฐ๊ณผ๊ฐ€ ์ œ๊ฐ€ ์“ด ๋ชจ๋“  ๋ง์„ ๋ฎ๋„๋ก ํ•˜์„ธ์š”. ํ‰๊ฐ€ ํ•˜๋„ค์Šค๋ณด๋‹ค โ€œ๋ฐ”์ด๋ธŒ ์ฝ”๋”ฉโ€์ด ์ฒด์งˆ์ด๋ผ๋ฉด, ๋ฐ”์ด๋ธŒ ์ฝ”๋”ฉ์ด๋ž€ ๋ฌด์—‡์ด๋ฉฐ ์–ด๋””์„œ ํ•œ๊ณ„๊ฐ€ ์˜ค๋Š”๊ฐ€์—์„œ ํŠธ๋ ˆ์ด๋“œ์˜คํ”„๋ฅผ ์†”์งํžˆ ๋‹ค๋ค˜๊ณ , ๋™์ผํ•œ ๋ชจ๋ธ ์ˆœ์œ„๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

FAQs

What is SWE-bench Verified and why does it matter for evaluating coding LLMs?

SWE-bench Verified๋Š” SWE-bench์˜ 500๊ฐœ ํ•˜์œ„์…‹์œผ๋กœ, ์‚ฌ๋žŒ ์ฃผ์„์ž๊ฐ€ ๊ฐ GitHub ์ด์Šˆ๊ฐ€ ํ•ด๊ฒฐ ๊ฐ€๋Šฅํ•˜๋ฉฐ ํ…Œ์ŠคํŠธ๊ฐ€ ๊ณต์ •ํ•จ์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ˆจ๊ฒจ์ง„ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผํ•˜๋Š” ํŒจ์น˜๋ฅผ ๋งŒ๋“ค์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์žฅ๋‚œ๊ฐ ํ•จ์ˆ˜ ์ž‘์„ฑ์ด ์•„๋‹ˆ๋ผ ์‹ค์ œ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ์ˆ˜์ •์„ ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ์ฒ˜์Œ ๋ณด์—ฌ์ค€ ํ…Œ์ŠคํŠธ๋ผ ์ค‘์š”ํ–ˆ์Šต๋‹ˆ๋‹ค. 2026๋…„์—๋Š” ์ƒ์œ„ ๋ชจ๋ธ์ด 96% ์ด์ƒ์„ ๊ธฐ๋กํ•˜๋ฏ€๋กœ, ์ƒ์œ„๊ถŒ ๊ตฌ๋ถ„์„ ์œ„ํ•ด SWE-bench Pro์™€ Terminal-Bench๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

Can open-weight models compete with Claude and GPT for real coding tasks in 2026?

๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ๊ตฌํ˜• ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” ๋ฌผ๋ก ์ด๊ณ , ์—์ด์ „ํŠธํ˜•์—์„œ๋„ ๊ฑฐ์˜ ๋”ฐ๋ผ๊ฐ‘๋‹ˆ๋‹ค. Kimi K3๋Š” Terminal-Bench 2.1์—์„œ 88.3%, DeepSeek V4 Pro 0813์€ 87.9%๋ฅผ ๊ธฐ๋กํ–ˆ๊ณ , Fable 5.1์€ 91.4%์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ Vals AI๋Š” SWE-bench Verified์—์„œ DeepSeek์ด Opus 5์— 0.6ํฌ์ธํŠธ ์ฐจ๋กœ ๊ทผ์ ‘ํ–ˆ๋‹ค๊ณ  ์ธก์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹จ, ํฌ๊ธฐ๊ฐ€ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ์˜คํ”ˆ ๋ชจ๋ธ์€ 1.6~2.8์กฐ ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ, โ€œ์˜คํ”ˆโ€์ด โ€œ๋‚ด ๋…ธํŠธ๋ถ์—์„œ ์‹คํ–‰โ€์„ ์˜๋ฏธํ•˜์ง„ ์•Š์Šต๋‹ˆ๋‹ค. โ€œAPI๋กœ ์ €๋ ดํ•˜๊ฒŒ ์‚ฌ์šฉโ€์— ๊ฐ€๊น์Šต๋‹ˆ๋‹ค.

What is the best LLM for coding if I cannot share my code with an external API?

์™ธ๋ถ€ API๋กœ ์ฝ”๋“œ๋ฅผ ๋ณด๋‚ผ ์ˆ˜ ์—†๋‹ค๋ฉด, ๋‹จ์ผ 24 GB GPU์—์„œ Qwen3.8-27B๊ฐ€ ์ตœ์„ ์ž…๋‹ˆ๋‹ค. Terminal-Bench 2.1 73.0%, SWE-bench Pro 61.7%, Apache 2.0 ๋ผ์ด์„ ์Šค์ž…๋‹ˆ๋‹ค. ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ 96~128 GB๊ฐ€ ์žˆ๋‹ค๋ฉด Laguna S 2.1์ด 100๋งŒ ํ† ํฐ ์ปจํ…์ŠคํŠธ์™€ 8B ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ ๋น ๋ฅธ ๋กœ์ปฌ ์—์ด์ „ํŠธ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. 64 GB ๋…ธํŠธ๋ถ์ด๋ผ๋ฉด Qwen3-Coder-Next์˜ 3B ํ™œ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ๊ฐ€์žฅ ๋น ๋ฅธ ์‹ค์šฉ ์˜ต์…˜์ž…๋‹ˆ๋‹ค.

What is the difference between a coding LLM and an AI coding assistant like Cursor or GitHub Copilot?

์ฝ”๋”ฉ LLM์€ ์ฝ”๋“œ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๋ชจ๋ธ์ด๊ณ , ์ฝ”๋”ฉ ์–ด์‹œ์Šคํ„ดํŠธ๋Š” ํŒŒ์ผ์„ ์ฝ๊ณ , ๋ช…๋ น์„ ์‹คํ–‰ํ•˜๋ฉฐ, diff๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ํ•˜๋„ค์Šค์ž…๋‹ˆ๋‹ค. Cursor, Copilot, Windsurf, Claude Code, Codex๋Š” ๋ชจ๋‘ ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ๊ต์ฒดํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋™์ผ ๋ชจ๋ธ์ด๋ผ๋„ ํ•˜๋„ค์Šค์— ๋”ฐ๋ผ ์ ์ˆ˜๊ฐ€ ๋ช‡ ํฌ์ธํŠธ์”ฉ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. ๋ฒค์น˜๋งˆํฌ์™€ ๊ฐ€๊ฒฉ์œผ๋กœ ๋ชจ๋ธ์„ ๊ณ ๋ฅด๊ณ , ์›Œํฌํ”Œ๋กœ๋กœ ์–ด์‹œ์Šคํ„ดํŠธ๋ฅผ ๊ณ ๋ฅด์„ธ์š”.

How often does the best coding LLM change, and how should I keep up?

2026๋…„ 5์›” 28์ผ๋ถ€ํ„ฐ 9์›” 24์ผ๊นŒ์ง€ Anthropic๊ณผ OpenAI๋งŒ ํ•ฉ์ณ๋„ ํ”„๋Ÿฐํ‹ฐ์–ด๊ธ‰ ๋ชจ๋ธ 7๊ฐœ(Opus 4.8, Fable 5, Sonnet 5, GPT-5.6, Opus 5์™€ 5.5, Fable 5.1, GPT-6 Astra)๋ฅผ ์ถœ์‹œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ฆ‰ 4~8์ฃผ๋งˆ๋‹ค ์„ ๋‘๊ฐ€ ๋ฐ”๋€” ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ถœ์‹œ ๊ธ€๋ณด๋‹ค Artificial Analysis, Vals AI, tbench.ai ์„ธ ๋…๋ฆฝ ๋ณด๋“œ๋ฅผ ๋ณด๋ฉด์„œ, ์‚ฌ์šฉํ•˜๋Š” ๋ชจ๋ธ์ด ์ƒˆ ๋ฒ„์ „์ด ๋‚˜์˜ฌ ๋•Œ๋งˆ๋‹ค ์‹ค์ œ ์ง€๋ถˆํ•  ๋…ธ๋ ฅ ๋ ˆ๋ฒจ๋กœ ์ž์ฒด 20๊ฐœ ์ž‘์—… ํ‰๊ฐ€๋ฅผ ์žฌ์‹คํ–‰ํ•˜์„ธ์š”.

์ฃผ์ œ