2025๋
2์, Claude 3.7 Sonnet์ด SWE-bench Verified์์ 62.3% ๋ฅผ ๊ธฐ๋กํ๊ณ , ์ปค์คํ
์ค์บํด๋๋ฅผ ์ฌ์ฉํ๋ฉด 70.3%์์ต๋๋ค. ๊ฐ์ ์๊ธฐ ์ต๊ณ ์ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ด๋ DeepSeek-R1์ ๋
ผ๋ฌธ์์ 49.2% ๋ฅผ ๋ณด๊ณ ํ์ต๋๋ค.
์ค์บํด๋ฉ์ ์ผ๋ง๋ ๊ด๋ํ๊ฒ ์ ์ฉํ๋๋์ ๋ฐ๋ผ 13~21ํฌ์ธํธ์ ๊ฒฉ์ฐจ๊ฐ ์์์ต๋๋ค.
2026๋
9์ ๊ธฐ์ค, ๋
๋ฆฝ ๊ธฐ๊ด์ธ Vals AI์ SWE-bench Verified ๋ณด๋ ๋ Claude Opus 5๋ฅผ 97.0%, ์คํ ์จ์ดํธ์ธ DeepSeek V4 Pro 0813์ 96.4%๋ก ๊ธฐ๋กํ๊ณ , ๋ฒค์น๋งํฌ๊ฐ ํฌํ๋์ด ์์นด์ด๋ธ ์ฒ๋ฆฌํ์ต๋๋ค.
ํ๋ฐํฐ์ด๋ SWE-bench Pro์ Terminal-Bench 4.0 ๊ฐ์ ๋ ์ด๋ ค์ด ์์ด์ ํธํ ํ๊ฐ๋ก ์ด๋ํ๊ณ , ์คํ ์จ์ดํธ๋ ๊ธฐ์กด ๋ฒค์น๋งํฌ๋ฅผ ๋ฐ๋ผ์ก์์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ, โ์ต๊ณ ์ ์ฝ๋ฉ LLMโ ์ง๋ฌธ์ โ๋ฌด์์, ์ด๋ค ํ๋์จ์ด์์, ์ผ๋ง์โ๋ก ๋ฐ๋์์ต๋๋ค.
์ค๋ ์ค์ ๋ก ์ธ ๋ฒํ 9๊ฐ ๋ชจ๋ธ์ ๋ํด ๊ทธ ์ง๋ฌธ์ ๋ตํ๊ฒ ์ต๋๋ค. ์์ฝํ๋ฉด ๋๋ถ๋ถ์ ํ์ Claude Opus 5.5๋ก ์์ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์์์ ์์ ํ ๊ฐ์ง: ์ด ๊ธ์ ๋๊ตฌ๊ฐ ์๋๋ผ ๋ชจ๋ธ ์์ฒด์ ๊ดํ ๊ธ์
๋๋ค. Cursor, Copilot, Windsurf ๋น๊ต๊ฐ ํ์ํ๋ค๋ฉด, 2026๋
์ต๊ณ ์ AI ์ฝ๋ฉ ์ด์์คํดํธ ๋ผ์ด๋์
์ ์ฐธ๊ณ ํ์ธ์.
ํ๋์ ๋ณด๊ธฐ: 2026๋
9์ ์ต๊ณ ์ ์ฝ๋ฉ LLM
Claude Opus 5.5๋ ๋๋ถ๋ถ์ ๋ฒค์น๋งํฌ์์ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์ฝ๋ฉ ๋ชจ๋ธ์ด์, ๋๋ถ๋ถ์ ๊ฐ๋ฐ์๊ฐ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ์ ํํด์ผ ํ ๋ชจ๋ธ์ด ๋์์ต๋๋ค. Claude Fable 5.1์ ๊ฐ์ฅ ๊ธด ํธ๋ผ์ด์ฆ ์์
์ ์ ํฉํ ์ํฅ ๋ชจ๋ธ์ด๊ณ , Qwen3.8-27B๋ ๋จ์ผ GPU์์ ์คํํ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ ์ต์ ์
๋๋ค. ๋ชฉ์ ๋ณ ์ถ์ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ข
ํฉ ๋ฒ ์คํธ(์์ด์ ํธํ ์ฝ๋ฉ): Claude Opus 5.5(Anthropic), SWE-bench Pro 89.9%, Terminal-Bench 4.0 66.4%, 100๋ง ํ ํฐ๋น ์
๋ ฅ $4, ์ถ๋ ฅ $20.
๊ฐ์ฅ ๊ธด ํธ๋ผ์ด์ฆ ์์
์ฉ: Claude Fable 5.1(Anthropic), SWE-bench Pro 81.2%, Artificial Analysis์ Terminal-Bench 2.1 ์ต๊ณ ์ (91.4%), 100๋ง ํ ํฐ๋น ์
๋ ฅ $10, ์ถ๋ ฅ $50.
OpenAI ์ต๊ณ ์ ์ฝ๋ฉ ๋ชจ๋ธ: GPT-6 Astra(OpenAI), tbench.ai Terminal-Bench 4.0 ์์ด์ ํธ ๋ฆฌ๋๋ณด๋ 58.2% 1์, Artificial Analysis ์คํ์์ Opus 5.5์ 59.6%๋ก ๋๋ฅ .
ํ๋ฐํฐ์ด ์ฐ๊ตฌ์ ๊ฐ์ฑ๋น ์ต๊ณ : Gemini 3.8 Flash(Google), Terminal-Bench 2.1 89.4%, 2026๋
12์ 31์ผ๊น์ง 100๋ง ํ ํฐ๋น ์
๋ ฅ $0.75, ์ถ๋ ฅ $3.75.
API๋ก ์ฐ๋ ์คํ ์จ์ดํธ ์ต๊ณ : DeepSeek V4.1 Flash, MIT ๋ผ์ด์ ์ค, Terminal-Bench 2.1 90.6%, ๋นํผ์ก ์๊ฐ ์ถ๋ ฅ 100๋ง ํ ํฐ๋น $0.60.
์ง์์๋ ๋๋ฆด ์ ์๋ ์คํ ์จ์ดํธ ์ต๊ณ : Kimi K3(Moonshot AI), 2.8์กฐ ํ๋ผ๋ฏธํฐ, Terminal-Bench 2.1 88.3%.
24 GB GPU์์์ ๋ก์ปฌ ์ต๊ณ : Qwen3.8-27B(Alibaba), Apache 2.0, Terminal-Bench 2.1 73.0%, UD-Q4_K_M์์ 16.5 GB.
128 GB ์ํฌ์คํ
์ด์
์ฉ ๋ก์ปฌ ์ต๊ณ : Laguna S 2.1(Poolside), 118B ํ๋ผ๋ฏธํฐ ์ค ํ์ฑ 8B, ์ปจํ
์คํธ 100๋ง.
๊ตฌํ ํ๋์จ์ด์ฉ ๋น ๋ฅธ ๋ก์ปฌ ๋ชจ๋ธ ์ต๊ณ : Qwen3-Coder-Next, ์ด 80B ์ค ํ์ฑ 3B, SWE-bench Verified 70.6%.
์ ์ ์๋ ๋ณ๋ ํ๊ธฐ๊ฐ ์์ผ๋ฉด ๋ชจ๋ ๋ฒค๋ ๋ฐํ ์์น์
๋๋ค. ์ดํ์์๋ ์ด ์ถ์ฒ์ ์ด๋ฅธ ๊ณผ์ ๊ณผ ๊ฐ ๋ชจ๋ธ์ ํ๊ณ๋ฅผ ์ค๋ช
ํฉ๋๋ค.
์ ์ด ๋ชฉ๋ก์ ์ฝ๋ฉ ์ด์์คํดํธ๊ฐ ์๋๋ผ ๋ชจ๋ธ์ ๊ดํ๊ฐ์?
์ฝ๋ฉ LLM์ ํ๋กฌํํธ๋ฅผ ์ฝ๊ณ ํ ํฐ์ ์์ฑํ๋ ๋ชจ๋ธ์ด๊ณ , ์ฝ๋ฉ ์ด์์คํดํธ๋ ํ์ผ์ ์ ๊ณตํ๊ณ ๋ช
๋ น์ ์คํํ๋ฉฐ diff๋ฅผ ๋ณด์ฌ์ฃผ๋ ํ๋ค์ค์
๋๋ค.
Claude Code, Codex, Cursor, GitHub Copilot, Windsurf๋ ํ๋ค์ค์
๋๋ค. Claude Opus 5.5, GPT-6 Astra, Qwen3.8-27B๋ ๋ชจ๋ธ์ด๋ฉฐ, ํ๋ค์ค๋ ๋๋ถ๋ถ์ ์ฌ๋์ด ์์ํ๋ ๊ฒ๋ณด๋ค ์ ์์ ๋ ํฐ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
Anthropic์ Claude Opus 4.8 ์ถ์ ๊ธ ๊ฐ์ฃผ๊ฐ ์ด๋ฅผ ๊ตฌ์ฒดํํฉ๋๋ค.
๋ชจ๋ ๋ชจ๋ธ์ Terminal-Bench 2.1 ์ ์๋ฅผ ๊ณต๊ฐ Terminus-2 ํ๋ค์ค์์ ๋ณด๊ณ ํ ๋ค, GPT-5.5์ ์ ์๊ฐ OpenAI์ Codex CLI ๋ด๋ถ์์๋ 83.4%๋ก ์์นํ๋ค๊ณ ๋ฐํ๋๋ค. ๋์ผํ ์จ์ดํธ, ๋ค๋ฅธ ๋ฐฐ๊ด, ๋ค๋ฅธ ๊ฒฐ๊ณผ์
๋๋ค.
๊ทธ๋์ ์๋ ์์์๋ ๊ฐ๋ฅํ ๊ณณ์ ํ๋ค์ค๋ฅผ ํจ๊ป ํ๊ธฐํ์ต๋๋ค. ๋ชจ๋ธ์ ๋ด๋ถ ์๋ ๋ฐฉ์์ด ๋ฏ์ค๋ค๋ฉด, ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ด๋ ๋ฌด์์ธ๊ฐ ์ ๋ํ 15๋ถ ๊ฐ์ด๋๋ฅผ ๋จผ์ ์ฝ์ผ๋ฉด ์ด ๊ธ์ ๋ฐ๋ผ๊ฐ๊ธฐ ์ฌ์์ง๋๋ค.
์ฝ๋ฉ LLM์ ์ค์ ๋ก ์ค์ํ ๋ฒค์น๋งํฌ๋ ๋ฌด์์ธ๊ฐ์?
2026๋
์ฝ๋ฉ LLM์ ์ค์ํ ๋ฒค์น๋งํฌ๋ SWE-bench Pro, Terminal-Bench(2.1๊ณผ 4.0), ๊ทธ๋ฆฌ๊ณ ์์ง ๋ณด๊ณ ํ๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ ํํด LiveCodeBench v6์
๋๋ค. SWE-bench Verified๋ 2๋
๊ฐ ํ์ค์ด์์ง๋ง ์ด์ ์์๊ถ ๋ชจ๋ธ์ ๊ฐ๋ฅด๊ธฐ์๋ ํฌํ๋์์ต๋๋ค.
์์๋ฅผ ๋งค๊ธฐ๊ธฐ ์ ์, ๋ชจ๋ธ ํญ๋ชฉ์ ๊ฐ ์ซ์๊ฐ ์๋ฏธํ๋ ๋ฐ๋ฅผ ์ค๋ช
ํฉ๋๋ค.
SWE-bench Verified๋ ํฌํ๋จ
SWE-bench Verified๋ ์ธ๊ธฐ ํ์ด์ฌ ์ ์ฅ์์ 500๊ฐ ์ธ๋ ฅ ๊ฒ์ฆ GitHub ์ด์ ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ๋ชจ๋ธ์ ์ ์ฅ์์ ์ด์ ํ
์คํธ๋ฅผ ๋ฐ๊ณ , ์จ๊ธด ์ ๋ ํ
์คํธ๋ฅผ ํต๊ณผํ๋ ํจ์น๋ฅผ ๋ง๋ค์ด์ผ ํฉ๋๋ค.
OpenAI๋ ์๋ณธ SWE-bench์ ๋ช
์ธ๊ฐ ๋ถ์ถฉ๋ถํ ์ด์๋ ๊นจ์ง ํ
์คํธ๊ฐ ์์ด 2024๋
์ Verified ํ์์งํฉ ์ ๋์
ํ์ต๋๋ค. ์ฌ์ ํ ๊ฐ์ฅ ์์ฃผ ์ธ์ฉ๋๋ ์ฝ๋ฉ ์์น์ธ๋ฐ, ๊ทธ ์ ์ด ๋ฌธ์ ์ด๊ธฐ๋ ํฉ๋๋ค.
Vals AI ๋ฆฌ๋๋ณด๋ ๋ ๋ชจ๋ ๋ชจ๋ธ์ ๋์ผํ ์ต์ bash ์ ์ฉ ์์ด์ ํธ๋ก ์คํํด 2026๋
9์ 1์ผ ์
๋ฐ์ดํธ์์ Claude Opus 5๋ฅผ 97.0%, DeepSeek V4 Pro 0813์ 96.4%, GPT-5.6 Sol์ 96.2%๋ก ๊ธฐ๋กํ ๋ค ๋ฒค์น๋งํฌ๋ฅผ ์์นด์ด๋ธ ์ฒ๋ฆฌํ์ต๋๋ค.
3๊ฐ ์ฐ๊ตฌ์ ๋ชจ๋ธ์ด ์๋ก 1ํฌ์ธํธ ์ด๋ด, ์ฒ์ฅ๊ณผ 4ํฌ์ธํธ ์ด๋ด์ ๋ชจ์ด๋ฉด, ๊ทธ ์งํ๋ ๋ณ๋ณ๋ ฅ์ ์์ ๊ฒ์
๋๋ค. ์ฌ์ ํ ์ค๋๋๊ฑฐ๋ ์์ ๋ชจ๋ธ์ ๋ํด์๋ ์นด๋์ ์ ํ ์์น์ด๋ฏ๋ก ์ธ์ฉํ์ง๋ง, ์์ ๊ธฐ์ค์ผ๋ก๋ ์ฐ์ง ์์ต๋๋ค.
SWE-bench Pro๊ฐ ๋ ์ด๋ ค์ด ๋์ฒด์ฌ
Scale AI๊ฐ ๊ด๋ฆฌํ๋ SWE-bench Pro๋ 41๊ฐ ํ๋ก ๋ฆฌํฌ์งํ ๋ฆฌ์ 1,865๊ฐ ์์
์ผ๋ก ๊ตฌ์ฑ๋๋ฉฐ, 731๊ฐ ๊ณต๊ฐ ๋ถํ ๊ณผ ๋ณด๋ฅ๋ ๋น๊ณต๊ฐ ์
์ด ์์ต๋๋ค. 2026๋
9์ 22์ผ, Scale์ SWE-Bench Pro V2 ๋ฅผ ๋ฐํํด, ์ ํจํ์ง ์๋ค๊ณ ํ์ ํ 89๊ฐ๋ฅผ ์ ์ธํ๊ณ ๊ณต๊ฐ ์
์ 642๊ฐ๋ก ์ค์์ต๋๋ค. ์ ์๊ฐ ์ด๋ ๋ฒ์ ๊ธฐ์ค์ธ์ง ํ์ธํ์ธ์.
ํ๊ท ์์ ์ 4.1๊ฐ ํ์ผ์์ 107.4์ค์ ๊ฑด๋๋ฆฌ๋ฉฐ, ๋ฆฌํฌ์งํ ๋ฆฌ๋ ํ์ด์ฌ๋ง์ด ์๋๋ผ ๋ค์ ์ธ์ด๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. SWE-bench Pro ๋
ผ๋ฌธ ์ด 2025๋
9์์ ๋์์ ๋น์ ์ต๊ณ ๋ชจ๋ธ์ ์ฝ 23%์์ต๋๋ค.
1๋
๋ค Anthropic์ Fable 5.1 ์์คํ
์นด๋ ๋ Fable 5.1์ด 81.2%, Opus 5๊ฐ 79.2%๋ฅผ, OpenAI์ GPT-5.6 ์ถ์ ํ ๋ GPT-5.6 Sol์ด 64.6%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. Fable ์นด๋ 3์ฃผ ํ Opus 5.5 ์์คํ
์นด๋ ๊ฐ ์ต๊ณ ์ ์ 89.9%๋ก ๋์ด์ฌ๋ ธ์ต๋๋ค.
์ด ์์น๋ ๋ฒค๋ ๋ฐ์ด๋ฉฐ, Anthropic์ ๊ฒฝ์ฐ ์ต๋ ๋
ธ๋ ฅ์ผ๋ก 5ํ ํ๊ท ์
๋๋ค. Scale์ ๊ณต๊ฐ ๋ฆฌ๋๋ณด๋๋ ๋ฒค๋ ์์น๋ณด๋ค ์๊ฐ์ ๋ฆ๊ฒ ๋ฐ๋ผ์ค๋ฏ๋ก, ๋ฒค๋ ์์น๋ฅผ ์ํ, ๋ฆฌ๋๋ณด๋๋ฅผ ํํ์ผ๋ก ๋ด
๋๋ค.
Terminal-Bench 2.1๊ณผ 4.0
Terminal-Bench๋ ์ปจํ
์ด๋ ๋ด๋ถ์ ๋ผ์ด๋ธ ์
ธ์ ๋ชจ๋ธ์ ์ ๊ณตํ๊ณ , โ์ด ๋ชจ๋ธ์ ํ์ต์ํค์ธ์โ, โ์ด ๋น๋๋ฅผ ๊ณ ์น์ธ์โ, โ์์๋ ์์นด์ด๋ธ๋ฅผ ๋ณต๊ตฌํ์ธ์โ ๊ฐ์ ์์
์ ๋ถ์ฌํ ๋ค ์ฐ์ถ๋ฌผ์ ์ฑ์ ํฉ๋๋ค.
2.1 ๋ฆด๋ฆฌ์ค ๋ ์ํํธ์จ์ด ์์ง๋์ด๋ง, ์์คํ
๊ด๋ฆฌ, ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ณด์์ ์์ฐ๋ฅด๋ ์ ๋ณ 89๊ฐ ์์
์ด๋ฉฐ, Artificial Analysis๊ฐ Terminus 2 ํ๋ค์ค๋ก 3ํ ํ๊ท pass@1๋ก ์ ์๋ฅผ ๋งค๊น๋๋ค. ์ฝ๋ฉ ์์ด์ ํธ๋ฅผ ๊ตฌ์ถยท์ฌ์ฉํ๋ ๋๊ตฌ์๊ฒ๋ ๊ฐ์ฅ ๋น์ค ์๊ฒ ๋ณด๋ ๋จ์ผ ์งํ์
๋๋ค.
Stanford, Harbor, Laude Institute๊ฐ tbench.ai ์์ ํธ์คํ
ํ๋ Terminal-Bench 4.0์ ์ ํ๋ฐํฐ์ด ์
์
๋๋ค.
Anthropic์ Opus 5.5 ์์คํ
์นด๋๋ ์ด๋ฅผ ๊ณ์ฐ์๋ฌผํ, ๋ฌผ๋ฆฌ ์๋ฎฌ๋ ์ด์
, CAD, ํ์์ ์ฆ๋ช
, GPU ์ฑ๋ฅ ์์
์ชฝ์ผ๋ก ๊ธฐ์ด 66๊ฐ ์์
์ผ๋ก ์ค๋ช
ํ๋ฉฐ, ํ์์์์ด ๊ธธ์ด ํ๋ค์ค ์ํฅ์ด ๋ํ๋ค๊ณ ํฉ๋๋ค.
tbench.ai ์์ด์ ํธ ๋ฆฌ๋๋ณด๋์์๋ GPT-6 Astra๊ฐ 58.2%๋ก ์ฌ์ ํ 1์์ด๊ณ Claude Fable 5.1์ด 57.9%์
๋๋ค. ๋ค๋ง Claude Opus 5.5๋ ๊ฑฐ๊ธฐ์ ์์ด์ ํธ ํญ๋ชฉ์ด ์์ง ์์ต๋๋ค. ๋ชจ๋ธ ๋ ๋ฒจ ์คํ์์ Artificial Analysis ๋ Opus 5.5์ Astra๋ฅผ 59.6%๋ก ๋๋ฅ ์ฒ๋ฆฌํ๊ณ , Vals AI ๋ Opus 5.5๋ฅผ 61.6%๋ก 1์์ ๋์์ต๋๋ค. ๋ค๋ง Vals๋ ์์ ์ฅ์น๊ฐ ๋์ฒด ๋ชจ๋ธ๋ก ๋๊ธด ์์
์ ์คํจ๋ก ๊ฐ์ฃผํ๋ฉด ๊ทธ ์์น๊ฐ 53.5%๋ก ๋จ์ด์ง๋ค๊ณ ๋ช
์ํฉ๋๋ค. ์ด ์์ญ์ด ํ๋ฐํฐ์ด์ ์ถ๊ฒฉ์์ ๋ถ๊ธฐ์ ์
๋๋ค.
LiveCodeBench v6๋ ์๊ธฐ ์ฌ๋ถ๋ฅผ ์ก์๋ธ๋ค
LiveCodeBench๋ Jain ์ธ 2024๋
๋
ผ๋ฌธ ์์ ์๊ฐ๋์๊ณ , LeetCode, AtCoder, Codeforces์ ๋ฌธ์ ๋ฅผ ์ง์์ ์ผ๋ก ์์งํด ํ์์คํฌํ๋ฅผ ๋จ๊ฒจ, ๋ชจ๋ธ์ ํ์ต ์ปท์คํ ์ดํ์ ๊ณต๊ฐ๋ ๋ฌธ์ ๋ง์ผ๋ก ํ๊ฐํ ์ ์๊ฒ ํฉ๋๋ค.
ํ์ฌ ๊ณต๊ฐ ๋ฆฌ๋๋ณด๋์ ์๋๋ ๋ฒ์ 6์ด๋ฉฐ ์ฌ๊ธฐ ์์ ๋ณผ ์ ์์ต๋๋ค. ์ด๋ ์ ์ฅ์ ๊ท๋ชจ์ ์์ง๋์ด๋ง๋ณด๋ค๋ ์๊ณ ๋ฆฌ์ฆ์ ์ถ๋ก ์ ์ธก์ ํ๋ฏ๋ก, ๋ฉด์ ์คํ์ผ๊ณผ ์๋ฃ๊ตฌ์กฐ ์์
์ ์ ์ฉํ๊ฒ ๋จ์ ์์ต๋๋ค.
ํ๋ฐํฐ์ด ์ฐ๊ตฌ์๋ค์ 2026๋
์ ๋์ฒด๋ก ๋ณด๊ณ ๋ฅผ ์ค๋จํด, ๋ณด์ ์์น๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์์ ๋์ต๋๋ค. 4์ DeepSeek V4 Pro ํ๋ฆฌ๋ทฐ 93.5%, Qwen3.8-27B 90.3%, Kimi K2.6 89.6%์
๋๋ค. Gemini 3.1 Pro๋ ๊ด๋ จ ์งํ๋ก LiveCodeBench Pro Elo 2,887 ์ ๋ณด๊ณ ํฉ๋๋ค.
๋ฒค๋ ๋ฒค์น๋งํฌ ํ๋ฅผ ์ฝ๋ ๋ฒ
๋ฒค๋์ ๋ฒค์น๋งํฌ ํ๋ ์ต์์ ์ฌ๋ก์
๋๋ค. ๊ทธ๋ค์ ํ๋ค์ค, ๋
ธ๋ ฅ ์ค์ , ์ํ ํ์์ด๊ธฐ ๋๋ฌธ์
๋๋ค. 3ํฌ์ธํธ ๋ฏธ๋ง์ ๊ฒฉ์ฐจ๋ Artificial Analysis, Vals AI, tbench.ai ๋ฆฌ๋๋ณด๋ ๊ฐ์ ๋
๋ฆฝ ์ฌํ์ด ์์ด์ผ ์ ๋ขฐํฉ๋๋ค.
LLM ๋ฒค์น๋งํฌ์ ๋น๊ต ๋ฐฉ๋ฒ ์๋ด์๋ ์ฃผ์ ๋ฆฌ๋๋ณด๋๋ฅผ ์ ๋ฆฌํ๊ณ , MMLU๊ฐ ์ธก์ ํ๋ ๊ฒ ์ ๊ดํ ๊ธ์ ์ง์ ๋ฒค์น๋งํฌ๊ฐ ๋ชจ๋ธ์ ๋ถ์์ ํ
์คํธ ์์ ๋ฅ๋ ฅ์ ๊ฑฐ์ ๋งํด์ฃผ์ง ์๋๋ค๋ ์ ์ ์๊ธฐ์์ผ์ค๋๋ค.
์์ฒด ํ๊ฐ ํ๋ค์ค๋ฅผ ๊ตฌ์ถํ๋ ค๋ฉด, LLM ํ๊ฐ ์งํ์ ๋ฐฉ๋ฒ๋ก ๊ฐ์ด๋๋ฅผ ์ฃผ๋์ด ๋๋ฃ์๊ฒ ๊ฐ์ฅ ๋จผ์ ๊ถํฉ๋๋ค.
์ด์ ๋ฒค์น๋งํฌ๋ฅผ ์ ์ํ์ผ๋, ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด๋ถํฐ 9๊ฐ ๋ชจ๋ธ์ ์ฑ์ ์ ์ดํด๋ด
๋๋ค.
์ต๊ณ ์ ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด ์ฝ๋ฉ ๋ชจ๋ธ์?
2026๋
9์ ์ต๊ณ ์ ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด ์ฝ๋ฉ ๋ชจ๋ธ์ Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra, Gemini 3.8 Flash์ด๋ฉฐ, ๋ชจ๋ ๋๋ต 100๋ง ํ ํฐ ์ปจํ
์คํธ ์๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
์ฐจ์ด๋ ๊ฐ๊ฒฉ, ๋
ธ๋ ฅ ์ค์ , ๊ฐ ์ฐ๊ตฌ์๊ฐ ์ต์ ํํ ๋ฒค์น๋งํฌ์
๋๋ค.
์ด๋ ๋ชจ๋ธ์ด๋ ๊ฐ๋น ๊ฐ๋ฅํ ํ์ ์ถ์ฒํ๋ ์์๋ก ๋์ดํฉ๋๋ค.
1. Claude Opus 5.5 (Anthropic)
Claude Opus 5.5๋ 2026๋
9์ 22์ผ ์ถ์๋ Anthropic์ ์๋ก์ด Opus ๋ฑ๊ธ ํ๋๊ทธ์ญ์ผ๋ก, ์ง๊ธ์ ๊ฑฐ์ ๋ชจ๋ ์ด์๊ฒ ์ถ์ฒํ ์ฝ๋ฉ ๋ชจ๋ธ์
๋๋ค. Opus 5 ์ถ์ ๋ ๋ฌ ๋ค ์ด๋ ๊ฒ ์ธ ์ค์ ๋ชฐ๋์ต๋๋ค. Anthropic์ ์ถ์ ๊ธ ์ ๋๋ถ๋ถ์ ์์
์์ Fable 5.1 ์์ค์ ์ฑ๋ฅ์ ๋ด๋ฉด์ Opus 5๋ณด๋ค 40% ์ ๋ ดํ๋ค๊ณ ๋งํ๊ณ , ๋ชจ๋ธ ๊ฐ์ ์์๋ ๊ฐ๋ฐ์์๊ฒ Opus 5.5๋ก ์์ํ๊ณ ๊ธด ํธ๋ผ์ด์ฆ ๋๋ Opus 5.5๊ฐ ๋ถ์กฑํ ํ๊ฐ์์ Fable 5.1์ ์ฐ๋ผ๊ณ ๊ถํฉ๋๋ค.
Opus 5.5 ์์คํ
์นด๋ ๋ SWE-bench Pro 89.9%, DeepSWE v1.1 74.2%, Terminal-Bench 4.0 66.4%(xhigh ๋
ธ๋ ฅ)๋ก, Anthropic์ด ๊ณต๊ฐํ ๋ชจ๋ ์ฝ๋ฉ ํญ๋ชฉ์์ Fable 5.1๋ณด๋ค ์์ญ๋๋ค. ๋
๋ฆฝ ์์น๋ ๋ ๊ทผ์ ํฉ๋๋ค. Artificial Analysis ๋ Terminal-Bench 4.0์์ GPT-6 Astra์ 59.6% ๋๋ฅ , Vals AI ๋ Terminal-Bench 4.0 61.6%, Terminal-Bench 2.1 87.6%๋ก 1์์ ๋์์ต๋๋ค. ๋ Vals ์์น๋ ์์ ์ฅ์น ๋์ฒด๋ฅผ ํฌํจํ๋ฉฐ, ์ด๋ฅผ ์คํจ๋ก ๊ฐ์ฃผํ๋ฉด ๊ฐ๊ฐ 53.5%์ 79.8%๋ก ๋ด๋ ค๊ฐ๋๋ค.
์ฃผ์ ํน์ง :
์
๋ ฅ 100๋ง ํ ํฐ๋น $4, ์ถ๋ ฅ $20๋ก Opus 5 ๋๋น 20% ์ธํ, ์บ์ ์ฝ๊ธฐ ๋น์ฉ์ 60% ๋ด๋ ค๊ฐ 100๋ง ๋น $0.20
์ปจํ
์คํธ 100๋ง ํ ํฐ, ์ถ๋ ฅ 128K, ๋ ์ ์๋ ์ ์ํ ์ฌ๊ณ , ๊ธฐ๋ณธ ๋
ธ๋ ฅ์ high๊ฐ ์๋ medium
CursorBench 4.0์์ ์ต๋ ๋
ธ๋ ฅ 57.8%๋ก Cursor ๋ฆฌ๋๋ณด๋ 1์; medium์์๋ 52.5%๋ก Fable 5.1 ์ต๋ ๋
ธ๋ ฅ๋ณด๋ค ๋์
Claude API์ claude-opus-5-5๋ก ์ ๊ณต, Amazon Bedrock, Google Cloud, Microsoft Foundry์์๋ ์ด์ฉ ๊ฐ๋ฅ
์ ํฉํ ์ฉ๋ : ์ผ์ ์ฝ๋ฉ, ์ฝ๋๋ฒ ์ด์ค ์ ๋ฐ ๋ง์ด๊ทธ๋ ์ด์
, ์ฝ๋ ๋ฆฌ๋ทฐ. ๋ ๋ฎ์ ๊ฐ๊ฒฉ์ผ๋ก Opus 5๋ฅผ ๋์ฒดํ๋ฉฐ, Claude Code๋ ์ด์ Opus ๊ธฐ๋ณธ ๋ชจ๋ธ๋ก ์ฑํํ์ต๋๋ค. Claude Opus 5.5 ๊ฐ์ด๋ ์ GPT-6 Sol vs Claude Opus 5.5 ๋น๊ต ์์ ์์ธํ ๋ค๋ฃน๋๋ค.
ํธ๋ ์ด๋์คํ : 40% ์ ๊ฐ์ ๊ธฐ๋ณธ ๋
ธ๋ ฅ์์ ์ ์ฉ๋ฉ๋๋ค. ์ต๋ ๋
ธ๋ ฅ์์๋ Artificial Analysis ๊ฐ Opus 5๋ณด๋ค ํจ์ฌ ๋ง์ ํ ํฐ์ ์ด๋ค๊ณ ๋ฐํ๊ณ , ๊ทธ ๊ฒฐ๊ณผ Intelligence Index ์์
๋น ๋น์ฉ์ด $5.98๋ก Opus 5์ $5.86๊ณผ ๊ฑฐ์ ๊ฐ์์ก์ต๋๋ค. ๋ํ Fable ์คํ์ผ์ ์์ ์ฅ์น๋ฅผ ํ์ฌํด ๋๋ถ๋ถ์ ๋ณด์ ๊ด๋ จ ์์
์ Opus 4.8๋ก ๋ผ์ฐํ
ํ๋ฉฐ, ๋ง์ด๊ทธ๋ ์ด์
์ ์ฃผ์๊ฐ ํ์ํฉ๋๋ค. ์ฌ๊ณ ๋นํ์ฑํ๋ ๊ฐ์ ๋๊ตฌ ์ฌ์ฉ ์์ฒญ์ ์ด์ ์ค๋ฅ๋ฅผ ๋ฐํ ํฉ๋๋ค.
2. Claude Fable 5.1 (Anthropic)
Claude Fable 5.1์ 2026๋
9์ 1์ผ ์ถ์๋ Anthropic์ Mythos๊ธ ๋ชจ๋ธ์ ๊ณต๊ฐ ๋ฒ์ ์ผ๋ก, Opus 5.5๊ฐ ํ๊ณ์ ๋ถ๋ชํ ๋ ์ํฅํ๋ ๋ชจ๋ธ์
๋๋ค. Anthropic์ ๋ฐ์นญ ํ์ด์ง ์ ๋ฐ๋ฅด๋ฉด Fable 5.1๊ณผ Claude Mythos 5.1์ ์์ ์ฅ์น๋ง ๋ค๋ฅธ ๋์ผ ๋ชจ๋ธ์
๋๋ค.
Fable 5.1 ์์คํ
์นด๋ ๋ SWE-bench Pro 81.2%, Terminal-Bench 4.0 55.8%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. Artificial Analysis๋ ์ต๋ ๋
ธ๋ ฅ์์ Terminal-Bench 2.1 91.4% ๋ฅผ ๋
๋ฆฝ ์ธก์ ํ์ผ๋ฉฐ, ์ฌ์ ํ ๊ทธ ๋ณด๋ ์ต๊ณ ์ ์
๋๋ค.
์ฃผ์ ํน์ง :
์ปจํ
์คํธ 100๋ง ํ ํฐ, ์ถ๋ ฅ 128K ํ ํฐ
์ ์ํ ์ฌ๊ณ ๋ ํญ์ ํ์ฑ
5.1์์ ํ๋กฌํํธ ์บ์ ์ฝ๊ธฐ๊ฐ 100๋ง ๋น $0.25๋ก 75% ์ธํ๋์ด, Anthropic์ ์์ด์ ํธํ ์ํฌ๋ก๋ ๋น์ฉ์ ์ต๋ 45% ์ ๊ฐํ๋ค๊ณ ์ถ์
๊ฐ๋ ฅํ ๋คํ์ผ ๊ณํ, ๋ ๋์ ์ฌ๊ณ ๋ฒ์, ํฅ์๋ ๋๊ตฌ ์ฌ์ฉ
์ ํฉํ ์ฉ๋ : ํ๋ก๋์
์์ด์ ํธ ํ์ดํ๋ผ์ธ, ์์ผ ๊ท๋ชจ ๋ฆฌํฉํฐ๋ง, ์ค๋ต ๋น์ฉ์ด ํ ํฐ ๋น์ฉ๋ณด๋ค ํฐ ์์
์์, Opus 5.5๊ฐ ๋ถ์กฑํ๋ค๊ณ ์์ฒด ํ๊ฐ๊ฐ ๋ณด์ฌ์ค ๋. Claude Fable 5.1 ๊ฐ์ด๋ ์ Claude Fable 5 ๊ฐ์ ๋ฅผ ์ฐธ๊ณ ํ์ธ์.
ํธ๋ ์ด๋์คํ : ์
๋ ฅ 100๋ง ๋น $10, ์ถ๋ ฅ 100๋ง ๋น $50๋ก Opus 5.5์ 2.5๋ฐฐ์
๋๋ค. ๋ํ Anthropic ์์ฒด ํ์์ Fable 5.1์ SWE-bench Pro, Terminal-Bench 4.0, CursorBench 4.0 ๋ชจ๋์์ Opus 5.5์ ๋ค์ง๋๋ค. ์ค์ ๊ฒฉ์ฐจ๊ฐ ํ๋ณด๋ค ์ข๋ค๊ณ Anthropic์ ๋งํ์ง๋ง, ์ด์ ๋ ๊ทธ ์ฃผ์ฅ์ ์
์ฆํด์ผ ํฉ๋๋ค. ๊ตฌ๋ฒ์ CursorBench 3.2.0์์๋ Fable 5.1์ด medium ๋
ธ๋ ฅ์์ 68.0%๋ฅผ ๊ธฐ๋กํ๊ณ , ์์
๋น $3.53์ด ๋ค์์ต๋๋ค.
3. GPT-6 Astra (OpenAI)
GPT-6 Astra๋ 2026๋
9์ 3์ผ ์ถ์๋ OpenAI์ ํ๋ฐํฐ์ด ๋ชจ๋ธ๋ก, Codex ํ๋ค์ค ์ต๋ ๋
ธ๋ ฅ์์ tbench.ai Terminal-Bench 4.0 ์์ด์ ํธ ๋ฆฌ๋๋ณด๋ 58.2%๋ก ์ฌ์ ํ 1์์ ์์ต๋๋ค. ๋ค๋ง Opus 5.5๋ ์์ง ๊ทธ ๋ณด๋์ ์์ด์ ํธ ํญ๋ชฉ์ด ์์ต๋๋ค.
๋ชจ๋ธ ํ์ด์ง ๋ 1,050,000 ํ ํฐ ์ปจํ
์คํธ, 128,000 ์ถ๋ ฅ ํ ํฐ, 2026๋
4์ 30์ผ ์ง์ ์ปท์คํ, none๋ถํฐ max๊น์ง ๋
ธ๋ ฅ ๋ ๋ฒจ์ ๊ธฐ์ฌํฉ๋๋ค. ๊ฐ๊ฒฉ์ ์
๋ ฅ 100๋ง ๋น $10(์บ์๋ ์
๋ ฅ $1), ์ถ๋ ฅ 100๋ง ๋น $50์
๋๋ค.
OpenAI์ ๋ฐ์นญ ์๋ฃ๋ ๊ต์ฐจ ์ฐ๊ตฌ์ค ๋ฒค์น๋งํฌ๋ณด๋ค๋ ์์ฒด ํ๊ฐ์ ์์คํ
์นด๋์ ๋ฌด๊ฒ๋ฅผ ๋ก๋๋ค. ๊ทธ ํ๊ฐ๊ฐ ๊ฐ๋ ฅํ๊ธด ํ์ง๋ง, Astra๊ฐ Opus 5.5๋ Fable 5.1์ ๋ช
ํํ ์์ ๋ค๊ณ ๋ณด๊ธด ์ด๋ ต์ต๋๋ค. ์์ธํ ์์น๋ GPT-6 Astra ๊ฐ์ ์์ ๋ค๋ฃน๋๋ค.
์ฃผ์ ํน์ง :
Responses API๊ฐ hosted_shell, apply_patch, computer_use, tool_search๋ฅผ ๋
ธ์ถํ๋ฉฐ, Codex ์์ฒด๊ฐ ์ฌ์ฉํ๋ ๋๊ตฌ ์ธํธ์
๋๋ค.
์บ์๋ ์
๋ ฅ์ด 100๋ง ๋น $1๋ก ๊ธฐ๋ณธ์ 10๋ถ์ 1์ด์ด์, ๋์ผ ๋ฆฌํฌ์งํ ๋ฆฌ๋ฅผ ๋ฐ๋ณต ์ฝ๋ ์์ด์ ํธ ๋ฃจํ์ ์ค์ํฉ๋๋ค.
Astra๋ OpenAI Preparedness Framework์ ์ต๊ณ ์ฌ์ด๋ฒ๋ณด์ ๋ฑ๊ธ์ ๋๋ฌํ ์ฒซ ๋ชจ๋ธ๋ก, ์ผ๋ถ ๋ณด์ ์ธ์ ํ๋กฌํํธ๋ ์ ํ๋ฉ๋๋ค.
์ ํฉํ ์ฉ๋ : ์ด๋ฏธ Codex, GitHub Copilot, Microsoft ์คํ์ ์ฐ๋ ํ, ๊ณผํยท๊ณตํ ๋น์ค์ด ํฐ ์์
, ์๋ํํฐ ๋๊ตฌ ์ง์์ด ๋ ํ์ํ ๊ฒฝ์ฐ. ๋น์ฉ์ ๋ฎ์ถ๊ณ ๋๋ถ๋ถ์ ์ญ๋์ ์ํ๋ค๋ฉด, GPT-6 Sol ์ด 9์ 22์ผ ์
๋ ฅ $2, ์ถ๋ ฅ $10๋ก ์ถ์๋์ด GPT-5.6 Sol์ ์์ต๋๋ค. GPT-6 Terra๊ฐ ์์ด Terra์ ๊ฐ๊ฒฉ๋๋ฅผ ๋ฉ์๋๋ค. OpenAI์ ํ์์๋ DeepSWE 1.1 68.8%, FrontierCode 49.3%์ง๋ง, ์ต๋ ๋
ธ๋ ฅ์ GPT-5.6 Sol์ด DeepSWE์์๋ ๋ ๋์ต๋๋ค.
ํธ๋ ์ด๋์คํ : Fable๊ธ ๊ฐ๊ฒฉ์
๋๋ค. Opus 5.5๋ ์ด์ Terminal-Bench 4.0์์ Astra์ ๋๋ฅ ์ด๋ฉด์, Anthropic ๊ธฐ์ค ์์
๋น ๋น์ฉ์ด ์ฝ 40% ์ ๋ ดํฉ๋๋ค. Artificial Analysis๋ ๋์ ๋๋ฅ ๋ก ํ๊ฐํ์ต๋๋ค. Astra์ ๊ฐ์ฅ ๋๋ ทํ ์ฐ์๋ ๊ณผํ ์ค์ฌ ์์
์ผ๋ก, Terminal-Bench-Science 64.6%, FrontierSWE v2 65.5%์์ Opus 5.5๋ฅผ ์์ญ๋๋ค.
4. Gemini 3.8 Flash (Google)
Gemini 3.8 Flash๋ 2026๋
9์ 2์ผ ์ถ์๋ Google์ ์ฃผ๋ ฅ ๋ชจ๋ธ๋ก, ํ๋ฐํฐ์ด ์ฐ๊ตฌ์๊ธ ์์ด์ ํธ ์ฝ๋ฉ ์ ์๋ฅผ ๊ฐ์ฅ ์ ๋ ดํ๊ฒ ์ป๋ ๋ฐฉ๋ฒ ์ค ํ๋์
๋๋ค(GPT-6 Luna๊ฐ ํ ํฐ๋น ๋ ์ธ์ง๋ง ์์ด์ ํธ ์ฑ์ ์ ๋ฎ์ต๋๋ค). Google์ ํ๊ฐ ๋ณด๊ณ ์ ๋ Terminal-Bench 2.1 89.4%, ์ฅ๊ธฐ ํธ๋ผ์ด์ฆ 113๊ฐ ์์
์ผ๋ก ๊ตฌ์ฑ๋ DeepSWE v1.1 73.7%๋ฅผ ๋ณด์ฌ์ค๋๋ค(Fable 5.1์ 67.4%). ๊ฐ์ ํ์์ Opus 5๋ 74.0%๋ก ์ฝ๊ฐ ์์๊ณ , Anthropic์ Opus 5.5๋ฅผ 74.2%๋ก ๋ณด๊ณ ํฉ๋๋ค. Google ๊ฐ๋ฐ์ ๊ฐ์ด๋๋ SWE-bench Pro 61.6%๋ ์ถ๊ฐํฉ๋๋ค.
Gemini API ์๊ธ ์ 2026๋
12์ 31์ผ๊น์ง ์
๋ ฅ 100๋ง ๋น $0.75, ์ถ๋ ฅ $3.75์ด๋ฉฐ, 2027๋
1์ 1์ผ๋ถํฐ ๊ฐ๊ฐ $1.50, $7.50์
๋๋ค. 2027๋
๊ฐ๊ฒฉ๋ Opus 5.5 ์ถ๋ ฅ ์์จ์ 3๋ถ์ 1 ์กฐ๊ธ ๋๋ ์์ค์
๋๋ค. ์ปจํ
์คํธ๋ ์
๋ ฅ 100๋ง, ์ถ๋ ฅ 64K์
๋๋ค.
์ฃผ์ ํน์ง :
๋ค์ดํฐ๋ธ ๋ฉํฐ๋ชจ๋ฌ ์
๋ ฅ์ ์ง์ํด, ์ํคํ
์ฒ ๋ค์ด์ด๊ทธ๋จ์ด๋ ์คํจํ UI ์คํฌ๋ฆฐ์ท์ ์ฝ๋์ ํจ๊ป ์ ๊ณตํ ์ ์์ต๋๋ค.
Google์ ๋๋ ์์ด์ ํธ ์์
์ฉ ๋ชจ๋ธ๋ก ํฌ์ง์
๋ํ๋ฉฐ ๊ทธ์ ๋ง์ถฐ ๊ฐ๊ฒฉ์ ์ฑ
์ ํฉ๋๋ค.
๋ณด์ ์ทจ์ฝ์ ์์
์ฉ Cyber ๋ณํ์ด ๋ณ๋ ๊ฒ์ดํ
์ผ๋ก ์กด์ฌํ๋ฉฐ, Gemini 3.8 Flash ๋ฐ Flash Cyber ๊ฐ์ ์์ ๋ค๋ฃน๋๋ค.
์ ํฉํ ์ฉ๋ : ๋๋ ์์ด์ ํธ ๋ฃจํ, ๋น์ฉ ๋ฏผ๊ฐ ํ, Vertex AI ์ฌ์ฉ์. 2026๋
2์ 19์ผ ์ถ์๋ Gemini 3.1 Pro๋ ์ฌ์ ํ Google์ Pro ๋ฑ๊ธ ๋ชจ๋ธ๋ก SWE-bench Pro 54.2% ๋ฅผ ์
๋ ฅ $2, ์ถ๋ ฅ $12์ ์ ๊ณตํฉ๋๋ค. ๋ค๋ง ์ฝ๋ฉ๋ง ๋๊ณ ๋ณด๋ฉด, ์ค๋์ 3.1 Pro๋ณด๋ค 3.8 Flash๋ฅผ ๊ณ ๋ฅด๊ฒ ์ต๋๋ค.
ํธ๋ ์ด๋์คํ : Terminal-Bench 4.0์์ 19.1%. Flash๋ ๋ฒ์๊ฐ ๋ช
ํํ ํฐ๋ฏธ๋ ์์
์ ๊ฐํ๊ณ ํ๋ฐํฐ์ด ๊ณผํ ์์
์๋ ์ฝํ๋ฏ๋ก, ๊ฐ์ฅ ์ด๋ ค์ด ํฐ์ผ์ฉ์ผ๋ก ๋ ๊ฐํ ๋ชจ๋ธ์ ๋๊ธฐ์ํค์ธ์.
ํด๋ผ์ฐ๋ ๋ชจ๋ธ์ ์ฌ๊ธฐ๊น์ง์
๋๋ค. ๋๋จธ์ง๋ ๋ค์ด๋ก๋ ๊ฐ๋ฅํ ๋ชจ๋ธ์
๋๋ค.
2026๋
์ต๊ณ ์ ์คํ ์จ์ดํธ ์ฝ๋ฉ LLM์?
2026๋
์ต๊ณ ์ ์คํ ์จ์ดํธ ์ฝ๋ฉ LLM์ ๋ ๋ถ๋ฅ๋ก ๋๋ฉ๋๋ค. DeepSeek V4.1 Flash๋ Kimi K3์ฒ๋ผ ํ๋ฐํฐ์ด ์ ์์ ๊ทผ์ ํ์ง๋ง ์๋ฒ๊ธ ํ๋์จ์ด๊ฐ ํ์ํ ๋ฐ์ดํฐ์ผํฐ๊ธ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ Qwen3.8-27B๋ Laguna S 2.1์ฒ๋ผ ๋ณด์ ํ๋์จ์ด์์ ๋๋ฆด ์ ์๋ 120B ๋ฏธ๋ง ๋ชจ๋ธ์
๋๋ค.
์ฌ๊ธฐ์ โ์คํ ์จ์ดํธโ๋ ์จ์ดํธ ๋ค์ด๋ก๋ ๊ฐ๋ฅ์ ์๋ฏธํฉ๋๋ค. ์ค์ ๋ผ์ด์ ์ค๋ MIT, Apache 2.0๋ถํฐ ์ปค์คํ
๊น์ง ๋ค์ํฉ๋๋ค.
5. DeepSeek V4.1 Flash (DeepSeek)
DeepSeek V4.1 Flash๋ 2026๋
9์ 10์ผ ์ถ์๋์๊ณ , ์ด๋ฆ๊ณผ ๋ฌ๋ฆฌ ์ด์ DeepSeek์์ ์ ๊ฐ ๋จผ์ ๊ณ ๋ฅผ ๋ชจ๋ธ์
๋๋ค. DeepSeek์ ์์ฌ V4 Pro 0813 ํ๋๊ทธ์ญ์ ์ฑ๋ฅ, ๋น์ฉ, ์๋, ์์
์๋ฃ ์๊ฐ์์ ๋ฅ๊ฐํ๋ค๊ณ ๋งํฉ๋๋ค. Vals AI์ ๋
๋ฆฝ ์ง์ ๋ ๊ฐ์ ๋ฐฉํฅ์ผ๋ก ๊ธฐ์ธ์ด, ์คํ ์จ์ดํธ ์ต๊ณ ๋ชจ๋ธ๋ก 57.9%๋ฅผ ๊ธฐ๋กํ๊ณ , 8์์ V4 Pro 0813์ 52.4%์์ต๋๋ค.
552B ํ๋ผ๋ฏธํฐ MoE ๋ชจ๋ธ๋ก, ์
๋ ฅ ์ ํ ํฐ๋น ์ฝ 8B, ์ถ๋ ฅ ์ 16B ํ์ฑ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์ปจํ
์คํธ 100๋ง, ๋ค์ดํฐ๋ธ ์ด๋ฏธ์ง ์
๋ ฅ, MIT ๋ผ์ด์ ์ค ์จ์ดํธ๋ฅผ ์ ๊ณตํฉ๋๋ค. DeepSeek์ Terminal-Bench 2.1 90.6%, DeepSWE v1.1 74.2%๋ฅผ ๋ณด๊ณ ํ๋ฉฐ, ๋ ๋ค ์คํ ์จ์ดํธ ์ค ๋ฒค๋ ๋ณด๊ณ ์ต๊ณ ์
๋๋ค. Vals AI์ ์์ฒด Terminal-Bench 2.1 ์คํ์ 74.5%๋ก ๋ ๊ด๋ํ๋ฉฐ, ์คํ ์จ์ดํธ ์ค 2์์
๋๋ค.
์์ธํ ๋ด์ฉ์ DeepSeek V4.1 Flash ๊ฐ์ ์์ ๋ค๋ฃน๋๋ค.
์ฃผ์ ํน์ง :
DeepSeek ์๊ธ ์ ๋นํผ์ก ์๊ฐ ์
๋ ฅ 100๋ง ๋น $0.15, ์ถ๋ ฅ $0.60์ด๋ฉฐ, ํ์ผ ํผ์ก ์๊ฐ(UTC 01:00~04:00, 06:00~10:00)์ ๋ ๋ฐฐ์
๋๋ค. ์บ์ ํํธ๋ ๋นํผ์ก 100๋ง ๋น $0.003.
OpenAI ํธํ API์์ deepseek-flash๋ก ์ ๊ณต๋๋ฏ๋ก, ๋ณธ๋ฌธ ํ๋ฐ์ ask_coding_model.py๋ ๋ฒ ์ด์ค URL๋ง ๋ฐ๊พธ๋ฉด ๋ฉ๋๋ค.
V4 Flash ๋๋น ์ฝ 1/4 ํฌ๊ธฐ์ KV ์บ์๋ก, ์ ๊ฐ์ ์ฅ๋ฌธ ์ปจํ
์คํธ ๊ณผ๊ธ์ด ๊ฐ๋ฅํฉ๋๋ค.
์ ํฉํ ์ฉ๋ : ์ ๋น์ฉ ํ๋ฐํฐ์ด ์ธ์ ํฐ๋ฏธ๋ ์ฝ๋ฉ, ๋นํผ์ก ์๊ฐ ์์ฝ ๋ฐฐ์น ์ฝ๋ ์์
.
ํธ๋ ์ด๋์คํ : DeepSeek ์์ฒด ๋ณด๊ณ ์์ Terminal-Bench 4.0์ 31.2%์ฌ์, ๊ฐ์ฅ ์ด๋ ค์ด ์ฅ๊ธฐ ์์ด์ ํธ ์์
์ ์ฌ์ ํ ํ๋ฐํฐ์ด ์ฐ๊ตฌ์ ๋ชซ์
๋๋ค. ์ฒดํฌํฌ์ธํธ๋ ์ฝ 510 GB๋ผ์, ์ฌ๊ธฐ์ โ์คํ ์จ์ดํธโ๋ ๋ฉํฐ GPU ์๋ฒ๋ฅผ ๋ปํฉ๋๋ค. V4 Pro 0813 ์ฌ์ฉ์๋ผ๋ฉด DeepSeek์ 9์ 14์ผ ํด๋น ๋ชจ๋ธ์ V4.1 Flash๋ก ๋ผ์ฐํ
ํ๋ค๊ณ ํ๋ค๊ฐ ๋ฒ๋ณต ํ์ผ๋ฉฐ, ๊ณต์ง๊ฐ ์์ ๋๊น์ง V4 Pro๋ ๋นํผ์ก $0.66/$1.98๋ก ๊ณ์ ์ ๊ณต๋ฉ๋๋ค.
6. Kimi K3 (Moonshot AI)
Kimi K3๋ 2026๋
7์ ์ถ์๋ Moonshot AI์ 2.8์กฐ ํ๋ผ๋ฏธํฐ ์คํ ์จ์ดํธ ํ๋๊ทธ์ญ์ผ๋ก, Terminal-Bench 2.1์์ 88.3%๋ฅผ ๊ธฐ๋กํด DeepSeek V4.1 Flash์ ๋ฒค๋ ๋ณด๊ณ 90.6% ๋ค์์ผ๋ก ๋์ต๋๋ค.
ํ๊น
ํ์ด์ค ์นด๋ ๋ 896 ์ ๋ฌธ๊ฐ(ํ ํฐ๋น 16 ๋ผ์ฐํ
+ 2 ๊ณต์ )์์ ํ์ฑ 104B ํ๋ผ๋ฏธํฐ, 1,048,576 ํ ํฐ ์ปจํ
์คํธ, MXFP4 ์จ์ดํธ๋ฅผ ๊ธฐ์ฌํฉ๋๋ค. Vals AI๋ SWE-bench Verified 93.4%๋ฅผ ์ธก์ ํ์ต๋๋ค.
์ฃผ์ ํน์ง :
๋ค์ดํฐ๋ธ ๋น์ ๊ณผ 100๋ง ํ ํฐ ์ปจํ
์คํธ.
Kimi K3 ๋ผ์ด์ ์ค(์ปค์คํ
)๋ก ์ ๊ณต๋๋ฏ๋ก ์์
์ ์ฌ์ฉ ์ ์ ๋ฐ๋์ ๊ฒํ ํ์ธ์.
๊ถ์ฅ ์ถ๋ก ์คํ์ vLLM, SGLang, TokenSpeed์ด๋ฉฐ, ์ผ๋ถ GPU ํ๊ฐ ์์
์ H20 GPU์ ๋ง์ถฐ ๋ณด์ ๋์์ต๋๋ค.
์ ํฉํ ์ฉ๋ : ์ฌ์ฉ ๊ฐ๋ฅํ ์คํ ์์ด์ ํธ ์ฝ๋ ์ค ์ต๊ฐ์ ์ํ๋ ๊ฒฝ์ฐ.
ํธ๋ ์ด๋์คํ : ํ๋ฐํฐ์ด์ ๊ทผ์ ํ ์ฑ๋ฅ์ ๋ฐ์ดํฐ์ผํฐ ๊ท๋ชจ์์๋ง ๋์ต๋๋ค. Terminal-Bench 2.1์์ Fable 5.1 ๋๋น 3ํฌ์ธํธ ๊ฒฉ์ฐจ๋ ๊ฐ๊น์ ๋ณด์ด์ง๋ง, ๋๋ฑ ๋น๊ต๊ฐ ์๋๋๋ค. Moonshot์ ์์ฒด Kimi Code ํ๋ค์ค์์ 88.3%๋ฅผ ์ธก์ ํ๊ณ , Fable์ 91.4%๋ Artificial Analysis์ Terminus 2 ์คํ์
๋๋ค. ์ค์ ์์๋ ํธ์คํ
์ ๊ณต์
์ฒด๋ฅผ ๋น๋ฆฌ๊ฑฐ๋ ์์ฒด ํด๋ฌ์คํฐ๊ฐ ํ์ํ๋ฉฐ, ์ปค์คํ
๋ผ์ด์ ์ค๋ ๋ฒ๋ฌด ๊ฒํ ๊ฐ ํ์ํฉ๋๋ค.
7. Qwen3.8-27B (Alibaba)
Qwen3.8-27B๋ 2026๋
8์ ์ถ์๋ 270์ต ํ๋ผ๋ฏธํฐ์ ์กฐ๋ฐ(dense) ๋ชจ๋ธ๋ก Apache 2.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๋ฉฐ, ๋จ์ผ 24 GB GPU์์ ๋๋ฆด ์ ์๋ ์ต๊ณ ์ ์ฝ๋ฉ LLM์
๋๋ค.
๋ชจ๋ธ ์นด๋ ๋ SWE-bench Pro 61.7%, Terminal-Bench 2.1 73.0%, LiveCodeBench v6 90.3%, DeepSWE 1.1 42.2%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. ๊ธฐ๋ณธ ์ปจํ
์คํธ๋ 262,144 ํ ํฐ์ด๋ฉฐ YaRN์ผ๋ก 100๋ง๊น์ง ํ์ฅ ๊ฐ๋ฅํฉ๋๋ค. SWE-bench Pro์ Terminal-Bench ์์น๋ 4๋ฐฐ ํฐ Laguna S 2.1์ ์์๊ณ , SWE-bench Pro์์๋ Gemini 3.1 Pro๋ ๋ฅ๊ฐํฉ๋๋ค. ๋ค๋ง SWE-bench Pro๋ Qwen์ด ์์ฒด ์์ ํ์คํฌ ์
์ผ๋ก ๋๋ ธ์ผ๋ ๊ต์ฐจ ์ฐ๊ตฌ์ ๋น๊ต๋ ๋ฐฉํฅ์ฑ ์ ๋๋ก ๋ณด์ธ์.
์ฃผ์ ํน์ง :
์ปค๋ฎค๋ํฐ Unsloth์ UD-Q4_K_M GGUF ๋ ๋จ์ผ 16.5 GB ํ์ผ์ด๋ฉฐ, 24 GB ์นด๋์์ 32K ์ปจํ
์คํธ๊ฐ ๊ฐ๋ฅํฉ๋๋ค. UD-Q4_K_XL์ 17.6 GB.
์กฐ๋ฐ ์ํคํ
์ฒ๋ผ ํ ํฐ๋น ์๋๋ 3B ํ์ฑ MoE๋ณด๋ค ๋๋ฆฌ์ง๋ง, ๋คํ์ผ ์์ ์์ ํจ์ฌ ๋ ์์ ์ ์
๋๋ค.
Apache 2.0์ผ๋ก ์์
์ ํ์ ์ฌ์ฉ ์ ํ์ด ์์ต๋๋ค.
์ ํฉํ ์ฉ๋ : ์ฝ๋๋ฅผ ์ธ๋ถ API๋ก ๋ณด๋ผ ์ ์๋ ๊ฐ๋ฐ์, RTX๊ธ GPU 1์ฅ๋ง ์๋ 1์ธ ๊ฐ๋ฐ์, ๋น์ฉ ์ง๋ถ ์ ์์ฒด ๋ฆฌํฌ์งํ ๋ฆฌ์์ ๋ก์ปฌ๊ณผ Claude ๋น๊ต๋ฅผ ํด๋ณด๊ณ ์ถ์ ๊ฒฝ์ฐ.
ํธ๋ ์ด๋์คํ : Terminal-Bench 2.1์์ 73.0% ๋ 91.4%๋ 18ํฌ์ธํธ ๊ฒฉ์ฐจ์ด๋ฉฐ, ์ฅ๊ธฐ ์์ด์ ํธ ์์
์์ ์ฌ์๋ ์ฆ๊ฐ๋ก ์ฒด๊ฐ๋ฉ๋๋ค.
8. Laguna S 2.1 (Poolside)
Laguna S 2.1์ 2026๋
7์ 21์ผ ์ถ์๋ Poolside์ 118B ํ๋ผ๋ฏธํฐ MoE ์ฝ๋ฉ ๋ชจ๋ธ๋ก, ํ์ฑ ํ๋ผ๋ฏธํฐ๋ 8B์ด๋ฉฐ, Mac Studio, DGX Spark, ๋ฉํฐ GPU ์ํฌ์คํ
์ด์
์ ์ ํฉํ ์คํ ์จ์ดํธ ์ ํ์ง์
๋๋ค.
Poolside์ ์ถ์ ๊ธ ์ SWE-bench Pro ๊ณต๊ฐ ์
59.4%, Terminal-Bench 2.1์์ ์ต๋ ์ฌ๊ณ ๋ชจ๋ 70.2%(์ฌ๊ณ off 60.4%), SWE-bench Multilingual 78.5%, DeepSWE 40.4%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค.
์ด ๋ชจ๋ธ์ 409,000๊ฐ ํ๊ฒฝ(ํฐ๋ฏธ๋ ์์
83,000, ์ํํธ์จ์ด ์์ง๋์ด๋ง ์ํฌํ๋ก 168,000 ํฌํจ)์์ ํ์ต๋์๊ณ , H200 4,096์ฅ์ผ๋ก 9์ฃผ ๋ฏธ๋ง์ ํ์ตํ์ต๋๋ค.
์ฃผ์ ํน์ง :
์ด ํฌ๊ธฐ์์๋ ์ด๋ก์ ์ธ 100๋ง ํ ํฐ ์ปจํ
์คํธ.
OpenMDW-1.1 ๋ผ์ด์ ์ค(๊ด๋ํ ํธ์ด์ง๋ง ๋ฒ๋ฌด ๊ฒํ ๊ถ์ฅ).
์ฌ๊ณ ๋ชจ๋๋ ๊ธฐ๋ณธ on์ด๋ฉฐ Terminal-Bench 2.1์์ ์ฝ 10ํฌ์ธํธ ํฅ์์ ์ค๋๋ค. Poolside ์คํ์์ ์์
๋น ํ๊ท ์๋ฃ ๊ธธ์ด๋ ์ฝ 23K~249K ํ ํฐ์ด์์ผ๋ ์์ฐ์ ๋ฐ์ํ์ธ์.
์ ํฉํ ์ฉ๋ : 96~128 GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๋จธ์ ์์ Claude Code ์คํ์ผ ๋ก์ปฌ ์์ด์ ํธ๋ฅผ ์ํ๋ ํ, ๋ก์ปฌ์์๋ 100๋ง ์ปจํ
์คํธ๊ฐ ํ์ํ ๋ํ ๋ฆฌํฌ์งํ ๋ฆฌ.
ํธ๋ ์ด๋์คํ : 118B ํ๋ผ๋ฏธํฐ๋ฅผ 4๋นํธ๋ก๋ ์จ์ดํธ๋ง 60~70 GB ์์ค์ด๋ฉฐ, KV ์บ์๊น์ง ๊ณ ๋ คํ๋ฉด 24 GB GPU๋ ๋ฌด๋ฆฌ์
๋๋ค. ์์ ์ ์์์๋ Qwen3.8-27B๊ฐ ๊ทผ์ ์ฐ์์ง๋ง, Laguna๋ ํ์ฑ 8B๋ก ์จ์ดํธ๊ฐ ๋ง์๋จ์ด์ง๊ธฐ๋ง ํ๋ฉด ํจ์ฌ ๋น ๋ฅด๋ฉฐ, ์ด๋ ์ผ๊ฐ ์์ด์ ํธ์ ์์ ์
๋๋ค.
9. Qwen3-Coder-Next (Alibaba)
Qwen3-Coder-Next๋ 2026๋
2์ 3์ผ ์ถ์๋ 80B ํ๋ผ๋ฏธํฐ MoE ๋ชจ๋ธ๋ก, ํ ํฐ๋น ํ์ฑ ํ๋ผ๋ฏธํฐ๋ 3B์ ๋ถ๊ณผํฉ๋๋ค(Apache 2.0). 27B ์กฐ๋ฐ ๋ชจ๋ธ์ ๋น ๋ฅด๊ฒ ์ ์งํ๋ฉฐ ๋ด์ ์ ์๋ ํ๋์จ์ด์์ ๊ฐ์ฅ ๋น ๋ฅธ โ์ธ ๋งํโ ๋ก์ปฌ ์ฝ๋์
๋๋ค.
๋ชจ๋ธ ์นด๋ ๋ SWE-bench Verified 70.6%, SWE-bench Pro 44.3%, Terminal-Bench 2.0 36.2%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. ์ ๋ฌธ๊ฐ 512๋ช
(ํ์ฑ 10 + ๊ณต์ 1), ์ปจํ
์คํธ 262,144 ํ ํฐ์ด๋ฉฐ, ๋น์ฌ๊ณ ๋ชจ๋๋ง ์ง์ํฉ๋๋ค.
์ฃผ์ ํน์ง :
๊ณต์ Q4_K_M GGUF ๋ ์ฝ 48 GB๋ก, ๋จ์ผ ์๋น์ GPU๋ณด๋ค 64 GB Mac ๋๋ CPU ์คํ๋ก๋ ํ๊ฒฝ์ ๋ ์ ํฉํฉ๋๋ค.
ํ์ด๋ธ๋ฆฌ๋ ์ดํ
์
(ํ์ค ์ดํ
์
1์ธต๋น 3๊ฐ์ Gated DeltaNet ์ธต)์ผ๋ก ์ฅ๋ฌธ ์ปจํ
์คํธ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ๋ฎ์ถฅ๋๋ค.
์นด๋์ ๋ฐ๋ฅด๋ฉด vLLM, SGLang, Ollama, LM Studio, MLX-LM, llama.cpp, KTransformers์์ ์ง์๋ฉ๋๋ค.
์ ํฉํ ์ฉ๋ : ์ ํ๋ ์ต๊ณ ์น๋ณด๋ค ์ด๋น ํ ํฐ ์๋๊ฐ ์ค์ํ ์ฅ๊ธฐ ์ผ๊ฐ ์์
, 64 GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๋
ธํธ๋ถ.
ํธ๋ ์ด๋์คํ : SWE-bench Pro 44.3%๋ Qwen3.8-27B๋ณด๋ค 17ํฌ์ธํธ ๋ฎ์, ๋จ์ผ ์ด๋ ค์ด ๋ฒ๊ทธ์๋ ์กฐ๋ฐ ๋ชจ๋ธ์ ๊ณ ๋ฅด๊ฒ ์ต๋๋ค.
์ดํด๋ณผ ๊ฐ์น๊ฐ ์๋ ๊ธฐํ ์คํ ์จ์ดํธ ๋ชจ๋ธ
๋ค์ 4๊ฐ ๋ชจ๋ธ๋ ๊ฑฐ์ ๋ชฉ๋ก์ ๋ค์๊ณ , ์ด ์ค 2๊ฐ๋ ํน์ ํ์๋ ์ ์ถ์ฒ๋ณด๋ค ๋ ์ ๋ง์ ์ ์์ต๋๋ค.
DeepSeek V4 Pro 0813 (DeepSeek): ์ด 1.6T, ํ์ฑ 49B, ์ปจํ
์คํธ 100๋ง, MIT ๋ผ์ด์ ์ค, Vals AI ์์นด์ด๋ธ SWE-bench Verified 96.4% . ์ฌ์ ํ ๋นํผ์ก ์๊ฐ ์
๋ ฅ $0.66, ์ถ๋ ฅ $1.98๋ก ์ ๊ณต๋์ง๋ง, Vals๋ Terminal-Bench 2.1์์ 54.7%๋ฅผ ์ธก์ ํ๊ณ , DeepSeek์ 87.9%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. DeepSeek์ ์ด์ V4.1 Flash๋ฅผ ๊ถ์ฅํฉ๋๋ค. DeepSeek V4 ํด์ค ์ ์ํคํ
์ฒ๋ฅผ ์ ๋ฆฌํ์ต๋๋ค.
Kimi K2.6 (Moonshot): ์ด 1T, ํ์ฑ 32B, ์ปจํ
์คํธ 256K, ์์ MIT ๋ผ์ด์ ์ค, SWE-bench Verified 80.2%, SWE-bench Pro 58.6%, LiveCodeBench v6 89.6% . ํธ๋ฆด๋ฆฌ์ธ๊ธ ๋ชจ๋ธ ์ค DeepSeek V4 Pro์ ์์ MIT ๋ค์์ผ๋ก ๊ฐ์ฅ ๊น๋ํ ๋ผ์ด์ ์ค.
MiniMax M3 : ์ด 428B, ํ์ฑ 23B, ์ปจํ
์คํธ 100๋ง, ๋ค์ดํฐ๋ธ ์ด๋ฏธ์งยท๋น๋์ค ์
๋ ฅ, SWE-bench Verified 80.5%, SWE-bench Pro 59% . ์คํฌ๋ฆฐ์ท๊ณผ ์ฝ๋๊ฐ ์์ธ ์์
์ ์ ํฉํ ์คํ ์ ํ์ง.
Qwen3.8-Flash-Next : ์ด 125B, ํ์ฑ 6B, SWE-bench Pro 62.5%, DeepSWE 58.7% , ๋ ์ ํ์ ์ธ qwen-community-1.0 ๋ผ์ด์ ์ค. DeepSWE์์๋ Qwen3.8-27B๋ณด๋ค ๊ฐํ์ง๋ง ๋ผ์ด์ ์ค ๋๋ฌธ์ ์์ 9๊ฐ์์ ์ ์ธํ์ต๋๋ค.
์ด ์ค ํ๋๊ฐ ํ๋์จ์ด์ ์ ๋ง๋๋ค๋ฉด, ๋ค์ ์น์
์์ ์คํ ๋ฐฉ๋ฒ์ ์ค๋ช
ํฉ๋๋ค.
์คํ ์จ์ดํธ ์ฝ๋ฉ ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ๋ ค๋ฉด?
์คํ ์จ์ดํธ ์ฝ๋ฉ ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ๋ ค๋ฉด 3๋จ๊ณ๊ฐ ํ์ํฉ๋๋ค. ์์ํ๋ ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ค์ด๋ก๋ํ๊ณ , OpenAI ํธํ ์๋ํฌ์ธํธ ๋ค์์ ์๋น์คํ๋ฉฐ, ํด๋ผ์ด์ธํธ๋ ์ฝ๋ฉ ์ด์์คํดํธ๋ฅผ ํด๋น ์๋ํฌ์ธํธ๋ก ๊ฐ๋ฆฌํค๋ฉด ๋ฉ๋๋ค. ์์๋ ์๋น์๊ธ ํ๋์จ์ด์ ๊ฐ์ฅ ์ฝ๊ฒ ๋ง๋ Qwen3.8-27B๋ฅผ ์ฌ์ฉํฉ๋๋ค.
๋จผ์ ๋ค์ด๋ก๋์
๋๋ค. huggingface_hub ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ๋์ฉ๋ ํ์ผ์ ์ ์ฉํ ์ฌ๊ฐ ๊ฐ๋ฅ ์ ์ก๊ณผ ์บ์ฑ์ ์ง์ํฉ๋๋ค.
"""Download a quantized coding model from Hugging Face.
Qwen3.8-27B at UD-Q4_K_M is a single 16.5 GB file, which leaves room for
a 32K context on a 24 GB GPU. Swap FILENAME for the UD-Q4_K_XL build if you
have the extra 1 GB to spare.
"""
from huggingface_hub import hf_hub_download
REPO_ID = "unsloth/Qwen3.8-27B-GGUF"
FILENAME = "Qwen3.8-27B-UD-Q4_K_M.gguf"
def fetch ( repo_id: str = REPO_ID, filename: str = FILENAME) - > str :
"""Download one file from the Hub and return its local path."""
path = hf_hub_download( repo_id= repo_id, filename= filename)
print ( f"Saved to { path} " )
return path
if __name__ == "__main__" :
fetch( ) ์ ๊ณต
download_gguf.py๋ก ์ ์ฅํ๊ณ uv run --with huggingface_hub python download_gguf.py๋ก ์คํํ์ธ์. Windows์์๋ ๊ฐ๋ฐ์ ๋ชจ๋๊ฐ ๊บผ์ ธ ์์ผ๋ฉด ์ฌ๋ณผ๋ฆญ ๋งํฌ ๊ฒฝ๊ณ ๊ฐ ๋น๋๋ค.
๋์งธ, ์๋น์
๋๋ค.
llama.cpp์ llama-server, LM Studio, Ollama๋ ๋ชจ๋ OpenAI ํธํ /v1 ์๋ํฌ์ธํธ๋ฅผ ๋
ธ์ถํฉ๋๋ค. llama.cpp๋ ๋ช
๋ น ํ ์ค๋ก ์ถฉ๋ถํ๋ฉฐ, ๋ ํ๋๊ทธ๊ฐ ํต์ฌ์
๋๋ค. -ngl 99๋ ๋ชจ๋ ๋ ์ด์ด๋ฅผ GPU๋ก ์คํ๋ก๋ฉํ๊ณ , -c 32768์ 32K ์ปจํ
์คํธ๋ฅผ ์ค์ ํฉ๋๋ค.
llama-server -m Qwen3.8-27B-UD-Q4_K_M.gguf -c 32768 -ngl 99 --port 8080 ์ ๊ณต
์
์งธ, ํด๋ผ์ด์ธํธ์
๋๋ค. ์ ๋ ํ๊ฐํ๋ ๊ฐ ๋ชจ๋ธ๋ง๋ค ์คํฌ๋ฆฝํธ ํ๋๋ฅผ ๋๊ณ , ํ๊ฒฝ ๋ณ์ 3๊ฐ๋ก ๋์๋ง ๋ฐ๊ฟ๋๋ค. ๊ฐ์ ํ์ผ์ด ์ ๋ก์ปฌ ์๋ฒ, DeepSeek API, OpenAI ๋ชจ๋์ ์ ์กํฉ๋๋ค.
"""Send one coding prompt to any OpenAI-compatible endpoint.
The same script talks to a local llama.cpp or vLLM server, to DeepSeek's
API, or to OpenAI itself. Only three environment variables change:
LLM_BASE_URL e.g. http://localhost:8080/v1 or https://api.deepseek.com
LLM_MODEL e.g. qwen3.8-27b or deepseek-flash
LLM_API_KEY anything non-empty for a local server
"""
import os
from openai import OpenAI
PROMPT = (
"Write a Python function top_n(df, col, n) that returns the n largest "
"rows of a pandas DataFrame by column col, with a docstring and a "
"ValueError if col is missing."
)
def ask ( prompt: str = PROMPT) - > str :
"""Return the model's reply for a single-turn coding request."""
client = OpenAI(
base_url= os. environ[ "LLM_BASE_URL" ] ,
api_key= os. environ. get( "LLM_API_KEY" , "local" ) ,
)
response = client. chat. completions. create(
model= os. environ[ "LLM_MODEL" ] ,
messages= [ { "role" : "user" , "content" : prompt} ] ,
temperature= 0.2 ,
)
return response. choices[ 0 ] . message. content
if __name__ == "__main__" :
print ( ask( ) ) ์ ๊ณต
ask_coding_model.py๋ก ์ ์ฅํ๊ณ LLM_BASE_URL=http://localhost:8080/v1 LLM_MODEL=qwen3.8-27b uv run --with openai python ask_coding_model.py๋ก ์คํํ์ธ์.
๋ผ์ฐํ
, ์ฌ์๋, ๋๊ตฌ ํธ์ถ๊น์ง ์ฌ๋ฌ ์๋ํฌ์ธํธ๋ฅผ ์ ํ๋ฆฌ์ผ์ด์
์ ์ฐ๊ฒฐํ๋ ค๋ฉด, LangChain์ผ๋ก LLM ์ ํ๋ฆฌ์ผ์ด์
๊ฐ๋ฐ ๊ฐ์ข์์ if ๋ฌธ์ ๋ฉ์ด๋ฆฌ๊ฐ ๋์ง ์๊ฒ ํ๋ ์ถ์ํ๋ฅผ ๋ค๋ฃน๋๋ค.
์ต๊ณ ์ ์ฝ๋ฉ LLM์ ์ด๋ป๊ฒ ์ ํํด์ผ ํ๋์?
์ต๊ณ ์ ์ฝ๋ฉ LLM ์ ํ์ ๋ค ๊ฐ์ง ์ ์ฝ์ผ๋ก ๊ท๊ฒฐ๋ฉ๋๋ค. ์ฝ๋๊ฐ ๋จธ์ ๋ฐ์ผ๋ก ๋๊ฐ ์ ์๋์ง, ๋ฉ๋ชจ๋ฆฌ๊ฐ ์ผ๋ง์ธ์ง, ์ถ๋ ฅ 100๋ง ํ ํฐ๋น ์ง๋ถ์ก์ด ์ผ๋ง์ธ์ง, ๋จ์ผ ์์
์ ํ์ํ ์ปจํ
์คํธ๊ฐ ์ผ๋ง๋ ๊ธด์ง์
๋๋ค. ์๋ ํ๋ ์ ๋ขฐํ๋ ์์น๋ก 9๊ฐ ๋ชจ๋ธ์ ๋๋ํ ๋น๊ตํ๋ฉฐ, ์ดํ ๊ฒฐ์ ๊ฐ์ด๋๋ ์ ์ฝ์ ์ถ์ฒ์ผ๋ก ๋งคํํฉ๋๋ค.
Model Type Terminal-Bench 2.1 SWE-bench Pro Context Price (per 1M output) or memory Best for Claude Opus 5.5 Cloud 87.6% (Vals AI) 89.9% 1M $20 ๋๋ถ๋ถ์ ์ฝ๋ฉ ์์
๊ธฐ๋ณธ๊ฐ Claude Fable 5.1 Cloud 91.4% (Artificial Analysis) 81.2% 1M $50 ๊ฐ์ฅ ๊ธด ํธ๋ผ์ด์ฆ ์์ด์ ํธ ์์
GPT-6 Astra Cloud ๋ฏธ๊ณต๊ฐ(Terminal-Bench 4.0์์ tbench.ai 58.2% / Artificial Analysis 59.6%) ๋ฏธ๊ณต๊ฐ 1.05M $50 Codex ์ฌ์ฉ์, ํ๋ฐํฐ์ด ๊ณผํ ์์
Gemini 3.8 Flash Cloud 89.4% 61.6% 1M 2026๋
๊น์ง $3.75 ๋๋, ๋น์ฉ ๋ฏผ๊ฐ ์์ด์ ํธ DeepSeek V4.1 Flash Open (MIT) 90.6% (vendor); 74.5% (Vals AI) ๋ฏธ๊ณต๊ฐ 1M ๋นํผ์ก $0.60 API๋ก ์ฐ๋ ์ต์ ๊ฐ ์ ๋ฅ ์คํ ์จ์ดํธ Kimi K3 Open (custom) 88.3% (Kimi Code ํ๋ค์ค) ๋ฏธ๊ณต๊ฐ 1M 2.8T params, ํด๋ฌ์คํฐ ์ ์ฉ ์ต๊ฐ ์๊ธฐ ํธ์คํ
์์ด์ ํธ Qwen3.8-27B Open (Apache 2.0) 73.0% 61.7% 262K UD-Q4_K_M์์ 16.5 GB ๋จ์ผ 24 GB GPU Laguna S 2.1 Open (OpenMDW-1.1) 70.2% 59.4% 1M Q4์์ 60~70 GB 128 GB ์ํฌ์คํ
์ด์
, ๋ก์ปฌ ์์ด์ ํธ Qwen3-Coder-Next Open (Apache 2.0) 36.2% (2.0) 44.3% 262K Q4์์ ์ฝ 48 GB ๋น ๋ฅธ ๋ก์ปฌ ๋ชจ๋ธ, 64 GB Mac
๊ฒฐ์ ๊ฐ์ด๋
๋ค ๊ฐ์ง ์ ์ฝ์ ์์์ ๋์
ํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ ํ์ฑ์ด ๋น์ฉ๋ณด๋ค ์ค์ํ ์์ด์ ํธํ ์ฝ๋ฉ ํ์ดํ๋ผ์ธ: Claude Opus 5.5๋ฅผ high ๋๋ xhigh ๋
ธ๋ ฅ์ผ๋ก, Opus 5.5๊ฐ ๋ถ์กฑํ๋ค๊ณ ํ๊ฐ๋ ์ฅ๊ธฐ ์์
์ Fable 5.1 ๋๊ธฐ.
ํฉ๋ฆฌ์ ๊ฐ๊ฒฉ์ ์ผ์ AI ์ง์ ์ฝ๋ฉ: Claude Opus 5.5๋ฅผ ๊ธฐ๋ณธ medium ๋
ธ๋ ฅ์ผ๋ก ์ฐ์ , Codex ์ํ๊ณ๋ผ๋ฉด GPT-6 Sol์ ์ฐจ์ .
ํ๋ฐํฐ์ด ๊ณผํ, ์๋ฎฌ๋ ์ด์
, GPU ์ปค๋ ์์
: GPT-6 Astra ๋๋ Claude Opus 5.5. ๊ณผํ ์ ์ฉ์์ Astra๊ฐ, Terminal-Bench 4.0์์ Opus 5.5๊ฐ ์์ญ๋๋ค.
์ด๋ํ ์ฝ๋๋ฒ ์ด์ค, 100๋ง ํ ํฐ ํ๋กฌํํธ, ๋น ๋ฏํ ์์ฐ: Gemini 3.8 Flash๋ฅผ ๊ธฐ๋ณธ์ผ๋ก, Flash ๋ต๋ณ์ด ํํธ๋ฌ์ง ๋ Opus 5.5.
API๋ก ์ฐ๋ ์คํ ์จ์ดํธ: ๋นํผ์ก ์๊ฐ์ DeepSeek V4.1 Flash.
๋จ์ผ 24 GB GPU์์ ๋ก์ปฌยทํ๋ผ์ด๋น: Qwen3.8-27B(UD-Q4_K_M).
96~128 GB ๋จธ์ ์์ ๋ก์ปฌยทํ๋ผ์ด๋น: Laguna S 2.1, โ๋จธ์ โ์ด ํด๋ฌ์คํฐ๋ผ๋ฉด Kimi K3.
64 GB ๋
ธํธ๋ถ์์ ๋ก์ปฌยท๊ณ ์: Qwen3-Coder-Next.
์ฝ๋ฉ์ ๋์ด ๋ชจ๋ธ-์ ํ๋ฆฌ์ผ์ด์
๋งค์นญ ํ๋ ์์ํฌ(ํธ์คํ
์ต์
, ๋ผ์ด์ ์ฑ ํฌํจ)๊ฐ ํ์ํ๋ค๋ฉด, ์ ํ๋ฆฌ์ผ์ด์
์ ์ต์ LLM์ ์ ์ ํ๋ ๋ฒ ๊ฐ์ด๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
๊ทธ๋ฆฌ๊ณ ์ด๋ค ๋ชจ๋ธ์ ๊ณ ๋ฅด๋ , ๊ฐ์น๋ฅผ ๋ฝ์๋ด๋ ๊ธฐ์ ์ ๊ฐ์ต๋๋ค. ์ํํธ์จ์ด ์์ง๋์ด๋ง์ ์ํ AI ์คํฌ ํธ๋๊ณผ ๊ฐ๋ฐ์๋ฅผ ์ํ AI ๋ณด์กฐ ์ฝ๋ฉ ๊ฐ์ข์์ 91% ๋ฒค์น๋งํฌ๋ฅผ ๋จธ์ง๋ PR๋ก ๋ฐ๊พธ๋ ํ๋กฌํํธ, ํ
์คํธ, ๋ฆฌ๋ทฐ ์ต๊ด์ ๋ฐฐ์ธ ์ ์์ต๋๋ค.
๋ง๋ฌด๋ฆฌ ์๊ฐ
Claude Opus 5.5๋ 2026๋
9์ ์ต๊ณ ์ ์ฝ๋ฉ LLM์ด๋ฉฐ, ๋๋ฌผ๊ฒ ํ์ ๊ฒฐ์ ์๋จ์๋ ์ฌ๋ฆด 1์์์
๋๋ค. ๊ฐ์ฅ ๊ธด ์์
์ ์ํฅ ๊ฒฝ๋ก๋ Claude Fable 5.1์ด๊ณ , Qwen3.8-27B๋ 24 GB GPU๋ฅผ ์๋
ํ๋ฐํฐ์ด๋ฅผ SWE-bench Pro์์ ๋ฅ๊ฐํ๋ ํ๋ผ์ด๋น ์ฝ๋ฉ ์ด์์คํดํธ๋ก ๋ฐ๊ฟ์ฃผ๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์
๋๋ค. ๋๋จธ์ง๋ ์ ์ฝ์ ๋ฌธ์ ์ด๊ณ , ์ ๊ฒฐ์ ๊ฐ์ด๋๊ฐ ๊ทธ ํด๋ฒ์
๋๋ค.
๋ ํฐ ๋ณํ๋ 2๋
๊ฐ ์ด ๋ถ์ผ๋ฅผ ๊ท์ ํ๋ SWE-bench Verified๊ฐ, ๊ฐ์ 12๊ฐ์ ๋์ ์คํ ์จ์ดํธ๊ฐ ์ด๋ฅผ ๋ฐ๋ผ์ก์ ์๋ฏธ๊ฐ ์ค์๋ค๋ ์ ์
๋๋ค.
์ฐ์ฐ์ด ์๋๋๋ค.
ํฌํ๋ ํ
์คํธ์์ Opus 5์ DeepSeek V4 Pro๊ฐ 0.6ํฌ์ธํธ ์ฐจ์ ๋ถ๊ณผํ๊ณ , 100๋ง ํ ํฐ๋น $20์ธ ๋ชจ๋ธ์ด Anthropic์ $50 ๋ชจ๋ธ์ SWE-bench Pro์์ ์ด๊ธฐ๋ ์ง๊ธ, ๊ฐ์น๋ ํ๋ค์ค ์ค๊ณ, ๋
ธ๋ ฅ ์์ฐ, ์์ฒด ๋ฆฌํฌ์งํ ๋ฆฌ ํ๊ฐ๋ก ์ด๋ํ์ต๋๋ค. ์ด๋ ๋ฒค๋ ํ๊ฐ ๋์ ํด์ค ์ ์๋ ์ผ์
๋๋ค.
๊ทธ๋ฌ๋ ์ง์ ํ์ธ์. ask_coding_model.py ์คํฌ๋ฆฝํธ๋ฅผ 2~3๊ฐ ๋ชจ๋ธ์ ์ฐ๊ฒฐํ๊ณ , ์ค์ ๋ฐฑ๋ก๊ทธ์ ํฐ์ผ 20๊ฐ๋ฅผ ๋น์ ์ด ์ค์ ๋ก ์ง๋ถํ ๋
ธ๋ ฅ ๋ ๋ฒจ์์ ๋๋ ค๋ณด์ธ์. ๊ทธ๋ฆฌ๊ณ ๊ทธ ๊ฒฐ๊ณผ๊ฐ ์ ๊ฐ ์ด ๋ชจ๋ ๋ง์ ๋ฎ๋๋ก ํ์ธ์. ํ๊ฐ ํ๋ค์ค๋ณด๋ค โ๋ฐ์ด๋ธ ์ฝ๋ฉโ์ด ์ฒด์ง์ด๋ผ๋ฉด, ๋ฐ์ด๋ธ ์ฝ๋ฉ์ด๋ ๋ฌด์์ด๋ฉฐ ์ด๋์ ํ๊ณ๊ฐ ์ค๋๊ฐ ์์ ํธ๋ ์ด๋์คํ๋ฅผ ์์งํ ๋ค๋ค๊ณ , ๋์ผํ ๋ชจ๋ธ ์์๊ฐ ์ ์ฉ๋ฉ๋๋ค.
2025๋ 2์, Claude 3.7 Sonnet์ด SWE-bench Verified์์ 62.3%๋ฅผ ๊ธฐ๋กํ๊ณ , ์ปค์คํ ์ค์บํด๋๋ฅผ ์ฌ์ฉํ๋ฉด 70.3%์์ต๋๋ค. ๊ฐ์ ์๊ธฐ ์ต๊ณ ์ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ด๋ DeepSeek-R1์ ๋ ผ๋ฌธ์์ 49.2%๋ฅผ ๋ณด๊ณ ํ์ต๋๋ค.
์ค์บํด๋ฉ์ ์ผ๋ง๋ ๊ด๋ํ๊ฒ ์ ์ฉํ๋๋์ ๋ฐ๋ผ 13~21ํฌ์ธํธ์ ๊ฒฉ์ฐจ๊ฐ ์์์ต๋๋ค.
2026๋ 9์ ๊ธฐ์ค, ๋ ๋ฆฝ ๊ธฐ๊ด์ธ Vals AI์ SWE-bench Verified ๋ณด๋๋ Claude Opus 5๋ฅผ 97.0%, ์คํ ์จ์ดํธ์ธ DeepSeek V4 Pro 0813์ 96.4%๋ก ๊ธฐ๋กํ๊ณ , ๋ฒค์น๋งํฌ๊ฐ ํฌํ๋์ด ์์นด์ด๋ธ ์ฒ๋ฆฌํ์ต๋๋ค.
ํ๋ฐํฐ์ด๋ SWE-bench Pro์ Terminal-Bench 4.0 ๊ฐ์ ๋ ์ด๋ ค์ด ์์ด์ ํธํ ํ๊ฐ๋ก ์ด๋ํ๊ณ , ์คํ ์จ์ดํธ๋ ๊ธฐ์กด ๋ฒค์น๋งํฌ๋ฅผ ๋ฐ๋ผ์ก์์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ, โ์ต๊ณ ์ ์ฝ๋ฉ LLMโ ์ง๋ฌธ์ โ๋ฌด์์, ์ด๋ค ํ๋์จ์ด์์, ์ผ๋ง์โ๋ก ๋ฐ๋์์ต๋๋ค.
์ค๋ ์ค์ ๋ก ์ธ ๋ฒํ 9๊ฐ ๋ชจ๋ธ์ ๋ํด ๊ทธ ์ง๋ฌธ์ ๋ตํ๊ฒ ์ต๋๋ค. ์์ฝํ๋ฉด ๋๋ถ๋ถ์ ํ์ Claude Opus 5.5๋ก ์์ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์์์ ์์ ํ ๊ฐ์ง: ์ด ๊ธ์ ๋๊ตฌ๊ฐ ์๋๋ผ ๋ชจ๋ธ ์์ฒด์ ๊ดํ ๊ธ์ ๋๋ค. Cursor, Copilot, Windsurf ๋น๊ต๊ฐ ํ์ํ๋ค๋ฉด, 2026๋ ์ต๊ณ ์ AI ์ฝ๋ฉ ์ด์์คํดํธ ๋ผ์ด๋์ ์ ์ฐธ๊ณ ํ์ธ์.
ํ๋์ ๋ณด๊ธฐ: 2026๋ 9์ ์ต๊ณ ์ ์ฝ๋ฉ LLM
Claude Opus 5.5๋ ๋๋ถ๋ถ์ ๋ฒค์น๋งํฌ์์ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์ฝ๋ฉ ๋ชจ๋ธ์ด์, ๋๋ถ๋ถ์ ๊ฐ๋ฐ์๊ฐ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ์ ํํด์ผ ํ ๋ชจ๋ธ์ด ๋์์ต๋๋ค. Claude Fable 5.1์ ๊ฐ์ฅ ๊ธด ํธ๋ผ์ด์ฆ ์์ ์ ์ ํฉํ ์ํฅ ๋ชจ๋ธ์ด๊ณ , Qwen3.8-27B๋ ๋จ์ผ GPU์์ ์คํํ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ ์ต์ ์ ๋๋ค. ๋ชฉ์ ๋ณ ์ถ์ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ ์ ์๋ ๋ณ๋ ํ๊ธฐ๊ฐ ์์ผ๋ฉด ๋ชจ๋ ๋ฒค๋ ๋ฐํ ์์น์ ๋๋ค. ์ดํ์์๋ ์ด ์ถ์ฒ์ ์ด๋ฅธ ๊ณผ์ ๊ณผ ๊ฐ ๋ชจ๋ธ์ ํ๊ณ๋ฅผ ์ค๋ช ํฉ๋๋ค.
์ ์ด ๋ชฉ๋ก์ ์ฝ๋ฉ ์ด์์คํดํธ๊ฐ ์๋๋ผ ๋ชจ๋ธ์ ๊ดํ๊ฐ์?
์ฝ๋ฉ LLM์ ํ๋กฌํํธ๋ฅผ ์ฝ๊ณ ํ ํฐ์ ์์ฑํ๋ ๋ชจ๋ธ์ด๊ณ , ์ฝ๋ฉ ์ด์์คํดํธ๋ ํ์ผ์ ์ ๊ณตํ๊ณ ๋ช ๋ น์ ์คํํ๋ฉฐ diff๋ฅผ ๋ณด์ฌ์ฃผ๋ ํ๋ค์ค์ ๋๋ค.
Claude Code, Codex, Cursor, GitHub Copilot, Windsurf๋ ํ๋ค์ค์ ๋๋ค. Claude Opus 5.5, GPT-6 Astra, Qwen3.8-27B๋ ๋ชจ๋ธ์ด๋ฉฐ, ํ๋ค์ค๋ ๋๋ถ๋ถ์ ์ฌ๋์ด ์์ํ๋ ๊ฒ๋ณด๋ค ์ ์์ ๋ ํฐ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
Anthropic์ Claude Opus 4.8 ์ถ์ ๊ธ ๊ฐ์ฃผ๊ฐ ์ด๋ฅผ ๊ตฌ์ฒดํํฉ๋๋ค.
๋ชจ๋ ๋ชจ๋ธ์ Terminal-Bench 2.1 ์ ์๋ฅผ ๊ณต๊ฐ Terminus-2 ํ๋ค์ค์์ ๋ณด๊ณ ํ ๋ค, GPT-5.5์ ์ ์๊ฐ OpenAI์ Codex CLI ๋ด๋ถ์์๋ 83.4%๋ก ์์นํ๋ค๊ณ ๋ฐํ๋๋ค. ๋์ผํ ์จ์ดํธ, ๋ค๋ฅธ ๋ฐฐ๊ด, ๋ค๋ฅธ ๊ฒฐ๊ณผ์ ๋๋ค.
๊ทธ๋์ ์๋ ์์์๋ ๊ฐ๋ฅํ ๊ณณ์ ํ๋ค์ค๋ฅผ ํจ๊ป ํ๊ธฐํ์ต๋๋ค. ๋ชจ๋ธ์ ๋ด๋ถ ์๋ ๋ฐฉ์์ด ๋ฏ์ค๋ค๋ฉด, ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ด๋ ๋ฌด์์ธ๊ฐ์ ๋ํ 15๋ถ ๊ฐ์ด๋๋ฅผ ๋จผ์ ์ฝ์ผ๋ฉด ์ด ๊ธ์ ๋ฐ๋ผ๊ฐ๊ธฐ ์ฌ์์ง๋๋ค.
์ฝ๋ฉ LLM์ ์ค์ ๋ก ์ค์ํ ๋ฒค์น๋งํฌ๋ ๋ฌด์์ธ๊ฐ์?
2026๋ ์ฝ๋ฉ LLM์ ์ค์ํ ๋ฒค์น๋งํฌ๋ SWE-bench Pro, Terminal-Bench(2.1๊ณผ 4.0), ๊ทธ๋ฆฌ๊ณ ์์ง ๋ณด๊ณ ํ๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ ํํด LiveCodeBench v6์ ๋๋ค. SWE-bench Verified๋ 2๋ ๊ฐ ํ์ค์ด์์ง๋ง ์ด์ ์์๊ถ ๋ชจ๋ธ์ ๊ฐ๋ฅด๊ธฐ์๋ ํฌํ๋์์ต๋๋ค.
์์๋ฅผ ๋งค๊ธฐ๊ธฐ ์ ์, ๋ชจ๋ธ ํญ๋ชฉ์ ๊ฐ ์ซ์๊ฐ ์๋ฏธํ๋ ๋ฐ๋ฅผ ์ค๋ช ํฉ๋๋ค.
SWE-bench Verified๋ ํฌํ๋จ
SWE-bench Verified๋ ์ธ๊ธฐ ํ์ด์ฌ ์ ์ฅ์์ 500๊ฐ ์ธ๋ ฅ ๊ฒ์ฆ GitHub ์ด์๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ๋ชจ๋ธ์ ์ ์ฅ์์ ์ด์ ํ ์คํธ๋ฅผ ๋ฐ๊ณ , ์จ๊ธด ์ ๋ ํ ์คํธ๋ฅผ ํต๊ณผํ๋ ํจ์น๋ฅผ ๋ง๋ค์ด์ผ ํฉ๋๋ค.
OpenAI๋ ์๋ณธ SWE-bench์ ๋ช ์ธ๊ฐ ๋ถ์ถฉ๋ถํ ์ด์๋ ๊นจ์ง ํ ์คํธ๊ฐ ์์ด 2024๋ ์ Verified ํ์์งํฉ์ ๋์ ํ์ต๋๋ค. ์ฌ์ ํ ๊ฐ์ฅ ์์ฃผ ์ธ์ฉ๋๋ ์ฝ๋ฉ ์์น์ธ๋ฐ, ๊ทธ ์ ์ด ๋ฌธ์ ์ด๊ธฐ๋ ํฉ๋๋ค.
Vals AI ๋ฆฌ๋๋ณด๋๋ ๋ชจ๋ ๋ชจ๋ธ์ ๋์ผํ ์ต์ bash ์ ์ฉ ์์ด์ ํธ๋ก ์คํํด 2026๋ 9์ 1์ผ ์ ๋ฐ์ดํธ์์ Claude Opus 5๋ฅผ 97.0%, DeepSeek V4 Pro 0813์ 96.4%, GPT-5.6 Sol์ 96.2%๋ก ๊ธฐ๋กํ ๋ค ๋ฒค์น๋งํฌ๋ฅผ ์์นด์ด๋ธ ์ฒ๋ฆฌํ์ต๋๋ค.
3๊ฐ ์ฐ๊ตฌ์ ๋ชจ๋ธ์ด ์๋ก 1ํฌ์ธํธ ์ด๋ด, ์ฒ์ฅ๊ณผ 4ํฌ์ธํธ ์ด๋ด์ ๋ชจ์ด๋ฉด, ๊ทธ ์งํ๋ ๋ณ๋ณ๋ ฅ์ ์์ ๊ฒ์ ๋๋ค. ์ฌ์ ํ ์ค๋๋๊ฑฐ๋ ์์ ๋ชจ๋ธ์ ๋ํด์๋ ์นด๋์ ์ ํ ์์น์ด๋ฏ๋ก ์ธ์ฉํ์ง๋ง, ์์ ๊ธฐ์ค์ผ๋ก๋ ์ฐ์ง ์์ต๋๋ค.
SWE-bench Pro๊ฐ ๋ ์ด๋ ค์ด ๋์ฒด์ฌ
Scale AI๊ฐ ๊ด๋ฆฌํ๋ SWE-bench Pro๋ 41๊ฐ ํ๋ก ๋ฆฌํฌ์งํ ๋ฆฌ์ 1,865๊ฐ ์์ ์ผ๋ก ๊ตฌ์ฑ๋๋ฉฐ, 731๊ฐ ๊ณต๊ฐ ๋ถํ ๊ณผ ๋ณด๋ฅ๋ ๋น๊ณต๊ฐ ์ ์ด ์์ต๋๋ค. 2026๋ 9์ 22์ผ, Scale์ SWE-Bench Pro V2๋ฅผ ๋ฐํํด, ์ ํจํ์ง ์๋ค๊ณ ํ์ ํ 89๊ฐ๋ฅผ ์ ์ธํ๊ณ ๊ณต๊ฐ ์ ์ 642๊ฐ๋ก ์ค์์ต๋๋ค. ์ ์๊ฐ ์ด๋ ๋ฒ์ ๊ธฐ์ค์ธ์ง ํ์ธํ์ธ์.
ํ๊ท ์์ ์ 4.1๊ฐ ํ์ผ์์ 107.4์ค์ ๊ฑด๋๋ฆฌ๋ฉฐ, ๋ฆฌํฌ์งํ ๋ฆฌ๋ ํ์ด์ฌ๋ง์ด ์๋๋ผ ๋ค์ ์ธ์ด๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. SWE-bench Pro ๋ ผ๋ฌธ์ด 2025๋ 9์์ ๋์์ ๋น์ ์ต๊ณ ๋ชจ๋ธ์ ์ฝ 23%์์ต๋๋ค.
1๋ ๋ค Anthropic์ Fable 5.1 ์์คํ ์นด๋๋ Fable 5.1์ด 81.2%, Opus 5๊ฐ 79.2%๋ฅผ, OpenAI์ GPT-5.6 ์ถ์ ํ๋ GPT-5.6 Sol์ด 64.6%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. Fable ์นด๋ 3์ฃผ ํ Opus 5.5 ์์คํ ์นด๋๊ฐ ์ต๊ณ ์ ์ 89.9%๋ก ๋์ด์ฌ๋ ธ์ต๋๋ค.
์ด ์์น๋ ๋ฒค๋ ๋ฐ์ด๋ฉฐ, Anthropic์ ๊ฒฝ์ฐ ์ต๋ ๋ ธ๋ ฅ์ผ๋ก 5ํ ํ๊ท ์ ๋๋ค. Scale์ ๊ณต๊ฐ ๋ฆฌ๋๋ณด๋๋ ๋ฒค๋ ์์น๋ณด๋ค ์๊ฐ์ ๋ฆ๊ฒ ๋ฐ๋ผ์ค๋ฏ๋ก, ๋ฒค๋ ์์น๋ฅผ ์ํ, ๋ฆฌ๋๋ณด๋๋ฅผ ํํ์ผ๋ก ๋ด ๋๋ค.
Terminal-Bench 2.1๊ณผ 4.0
Terminal-Bench๋ ์ปจํ ์ด๋ ๋ด๋ถ์ ๋ผ์ด๋ธ ์ ธ์ ๋ชจ๋ธ์ ์ ๊ณตํ๊ณ , โ์ด ๋ชจ๋ธ์ ํ์ต์ํค์ธ์โ, โ์ด ๋น๋๋ฅผ ๊ณ ์น์ธ์โ, โ์์๋ ์์นด์ด๋ธ๋ฅผ ๋ณต๊ตฌํ์ธ์โ ๊ฐ์ ์์ ์ ๋ถ์ฌํ ๋ค ์ฐ์ถ๋ฌผ์ ์ฑ์ ํฉ๋๋ค.
2.1 ๋ฆด๋ฆฌ์ค๋ ์ํํธ์จ์ด ์์ง๋์ด๋ง, ์์คํ ๊ด๋ฆฌ, ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ณด์์ ์์ฐ๋ฅด๋ ์ ๋ณ 89๊ฐ ์์ ์ด๋ฉฐ, Artificial Analysis๊ฐ Terminus 2 ํ๋ค์ค๋ก 3ํ ํ๊ท pass@1๋ก ์ ์๋ฅผ ๋งค๊น๋๋ค. ์ฝ๋ฉ ์์ด์ ํธ๋ฅผ ๊ตฌ์ถยท์ฌ์ฉํ๋ ๋๊ตฌ์๊ฒ๋ ๊ฐ์ฅ ๋น์ค ์๊ฒ ๋ณด๋ ๋จ์ผ ์งํ์ ๋๋ค.
Stanford, Harbor, Laude Institute๊ฐ tbench.ai์์ ํธ์คํ ํ๋ Terminal-Bench 4.0์ ์ ํ๋ฐํฐ์ด ์ ์ ๋๋ค.
Anthropic์ Opus 5.5 ์์คํ ์นด๋๋ ์ด๋ฅผ ๊ณ์ฐ์๋ฌผํ, ๋ฌผ๋ฆฌ ์๋ฎฌ๋ ์ด์ , CAD, ํ์์ ์ฆ๋ช , GPU ์ฑ๋ฅ ์์ ์ชฝ์ผ๋ก ๊ธฐ์ด 66๊ฐ ์์ ์ผ๋ก ์ค๋ช ํ๋ฉฐ, ํ์์์์ด ๊ธธ์ด ํ๋ค์ค ์ํฅ์ด ๋ํ๋ค๊ณ ํฉ๋๋ค.
tbench.ai ์์ด์ ํธ ๋ฆฌ๋๋ณด๋์์๋ GPT-6 Astra๊ฐ 58.2%๋ก ์ฌ์ ํ 1์์ด๊ณ Claude Fable 5.1์ด 57.9%์ ๋๋ค. ๋ค๋ง Claude Opus 5.5๋ ๊ฑฐ๊ธฐ์ ์์ด์ ํธ ํญ๋ชฉ์ด ์์ง ์์ต๋๋ค. ๋ชจ๋ธ ๋ ๋ฒจ ์คํ์์ Artificial Analysis๋ Opus 5.5์ Astra๋ฅผ 59.6%๋ก ๋๋ฅ ์ฒ๋ฆฌํ๊ณ , Vals AI๋ Opus 5.5๋ฅผ 61.6%๋ก 1์์ ๋์์ต๋๋ค. ๋ค๋ง Vals๋ ์์ ์ฅ์น๊ฐ ๋์ฒด ๋ชจ๋ธ๋ก ๋๊ธด ์์ ์ ์คํจ๋ก ๊ฐ์ฃผํ๋ฉด ๊ทธ ์์น๊ฐ 53.5%๋ก ๋จ์ด์ง๋ค๊ณ ๋ช ์ํฉ๋๋ค. ์ด ์์ญ์ด ํ๋ฐํฐ์ด์ ์ถ๊ฒฉ์์ ๋ถ๊ธฐ์ ์ ๋๋ค.
LiveCodeBench v6๋ ์๊ธฐ ์ฌ๋ถ๋ฅผ ์ก์๋ธ๋ค
LiveCodeBench๋ Jain ์ธ 2024๋ ๋ ผ๋ฌธ์์ ์๊ฐ๋์๊ณ , LeetCode, AtCoder, Codeforces์ ๋ฌธ์ ๋ฅผ ์ง์์ ์ผ๋ก ์์งํด ํ์์คํฌํ๋ฅผ ๋จ๊ฒจ, ๋ชจ๋ธ์ ํ์ต ์ปท์คํ ์ดํ์ ๊ณต๊ฐ๋ ๋ฌธ์ ๋ง์ผ๋ก ํ๊ฐํ ์ ์๊ฒ ํฉ๋๋ค.
ํ์ฌ ๊ณต๊ฐ ๋ฆฌ๋๋ณด๋์ ์๋๋ ๋ฒ์ 6์ด๋ฉฐ ์ฌ๊ธฐ์์ ๋ณผ ์ ์์ต๋๋ค. ์ด๋ ์ ์ฅ์ ๊ท๋ชจ์ ์์ง๋์ด๋ง๋ณด๋ค๋ ์๊ณ ๋ฆฌ์ฆ์ ์ถ๋ก ์ ์ธก์ ํ๋ฏ๋ก, ๋ฉด์ ์คํ์ผ๊ณผ ์๋ฃ๊ตฌ์กฐ ์์ ์ ์ ์ฉํ๊ฒ ๋จ์ ์์ต๋๋ค.
ํ๋ฐํฐ์ด ์ฐ๊ตฌ์๋ค์ 2026๋ ์ ๋์ฒด๋ก ๋ณด๊ณ ๋ฅผ ์ค๋จํด, ๋ณด์ ์์น๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์์ ๋์ต๋๋ค. 4์ DeepSeek V4 Pro ํ๋ฆฌ๋ทฐ 93.5%, Qwen3.8-27B 90.3%, Kimi K2.6 89.6%์ ๋๋ค. Gemini 3.1 Pro๋ ๊ด๋ จ ์งํ๋ก LiveCodeBench Pro Elo 2,887์ ๋ณด๊ณ ํฉ๋๋ค.
๋ฒค๋ ๋ฒค์น๋งํฌ ํ๋ฅผ ์ฝ๋ ๋ฒ
๋ฒค๋์ ๋ฒค์น๋งํฌ ํ๋ ์ต์์ ์ฌ๋ก์ ๋๋ค. ๊ทธ๋ค์ ํ๋ค์ค, ๋ ธ๋ ฅ ์ค์ , ์ํ ํ์์ด๊ธฐ ๋๋ฌธ์ ๋๋ค. 3ํฌ์ธํธ ๋ฏธ๋ง์ ๊ฒฉ์ฐจ๋ Artificial Analysis, Vals AI, tbench.ai ๋ฆฌ๋๋ณด๋ ๊ฐ์ ๋ ๋ฆฝ ์ฌํ์ด ์์ด์ผ ์ ๋ขฐํฉ๋๋ค.
LLM ๋ฒค์น๋งํฌ์ ๋น๊ต ๋ฐฉ๋ฒ ์๋ด์๋ ์ฃผ์ ๋ฆฌ๋๋ณด๋๋ฅผ ์ ๋ฆฌํ๊ณ , MMLU๊ฐ ์ธก์ ํ๋ ๊ฒ์ ๊ดํ ๊ธ์ ์ง์ ๋ฒค์น๋งํฌ๊ฐ ๋ชจ๋ธ์ ๋ถ์์ ํ ์คํธ ์์ ๋ฅ๋ ฅ์ ๊ฑฐ์ ๋งํด์ฃผ์ง ์๋๋ค๋ ์ ์ ์๊ธฐ์์ผ์ค๋๋ค.
์์ฒด ํ๊ฐ ํ๋ค์ค๋ฅผ ๊ตฌ์ถํ๋ ค๋ฉด, LLM ํ๊ฐ ์งํ์ ๋ฐฉ๋ฒ๋ก ๊ฐ์ด๋๋ฅผ ์ฃผ๋์ด ๋๋ฃ์๊ฒ ๊ฐ์ฅ ๋จผ์ ๊ถํฉ๋๋ค.
์ด์ ๋ฒค์น๋งํฌ๋ฅผ ์ ์ํ์ผ๋, ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด๋ถํฐ 9๊ฐ ๋ชจ๋ธ์ ์ฑ์ ์ ์ดํด๋ด ๋๋ค.
์ต๊ณ ์ ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด ์ฝ๋ฉ ๋ชจ๋ธ์?
2026๋ 9์ ์ต๊ณ ์ ํด๋ผ์ฐ๋ ํ๋ฐํฐ์ด ์ฝ๋ฉ ๋ชจ๋ธ์ Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra, Gemini 3.8 Flash์ด๋ฉฐ, ๋ชจ๋ ๋๋ต 100๋ง ํ ํฐ ์ปจํ ์คํธ ์๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
์ฐจ์ด๋ ๊ฐ๊ฒฉ, ๋ ธ๋ ฅ ์ค์ , ๊ฐ ์ฐ๊ตฌ์๊ฐ ์ต์ ํํ ๋ฒค์น๋งํฌ์ ๋๋ค.
์ด๋ ๋ชจ๋ธ์ด๋ ๊ฐ๋น ๊ฐ๋ฅํ ํ์ ์ถ์ฒํ๋ ์์๋ก ๋์ดํฉ๋๋ค.
1. Claude Opus 5.5 (Anthropic)
Claude Opus 5.5๋ 2026๋ 9์ 22์ผ ์ถ์๋ Anthropic์ ์๋ก์ด Opus ๋ฑ๊ธ ํ๋๊ทธ์ญ์ผ๋ก, ์ง๊ธ์ ๊ฑฐ์ ๋ชจ๋ ์ด์๊ฒ ์ถ์ฒํ ์ฝ๋ฉ ๋ชจ๋ธ์ ๋๋ค. Opus 5 ์ถ์ ๋ ๋ฌ ๋ค ์ด๋ ๊ฒ ์ธ ์ค์ ๋ชฐ๋์ต๋๋ค. Anthropic์ ์ถ์ ๊ธ์ ๋๋ถ๋ถ์ ์์ ์์ Fable 5.1 ์์ค์ ์ฑ๋ฅ์ ๋ด๋ฉด์ Opus 5๋ณด๋ค 40% ์ ๋ ดํ๋ค๊ณ ๋งํ๊ณ , ๋ชจ๋ธ ๊ฐ์์์๋ ๊ฐ๋ฐ์์๊ฒ Opus 5.5๋ก ์์ํ๊ณ ๊ธด ํธ๋ผ์ด์ฆ ๋๋ Opus 5.5๊ฐ ๋ถ์กฑํ ํ๊ฐ์์ Fable 5.1์ ์ฐ๋ผ๊ณ ๊ถํฉ๋๋ค.
Opus 5.5 ์์คํ ์นด๋๋ SWE-bench Pro 89.9%, DeepSWE v1.1 74.2%, Terminal-Bench 4.0 66.4%(xhigh ๋ ธ๋ ฅ)๋ก, Anthropic์ด ๊ณต๊ฐํ ๋ชจ๋ ์ฝ๋ฉ ํญ๋ชฉ์์ Fable 5.1๋ณด๋ค ์์ญ๋๋ค. ๋ ๋ฆฝ ์์น๋ ๋ ๊ทผ์ ํฉ๋๋ค. Artificial Analysis๋ Terminal-Bench 4.0์์ GPT-6 Astra์ 59.6% ๋๋ฅ , Vals AI๋ Terminal-Bench 4.0 61.6%, Terminal-Bench 2.1 87.6%๋ก 1์์ ๋์์ต๋๋ค. ๋ Vals ์์น๋ ์์ ์ฅ์น ๋์ฒด๋ฅผ ํฌํจํ๋ฉฐ, ์ด๋ฅผ ์คํจ๋ก ๊ฐ์ฃผํ๋ฉด ๊ฐ๊ฐ 53.5%์ 79.8%๋ก ๋ด๋ ค๊ฐ๋๋ค.
์ฃผ์ ํน์ง:
claude-opus-5-5๋ก ์ ๊ณต, Amazon Bedrock, Google Cloud, Microsoft Foundry์์๋ ์ด์ฉ ๊ฐ๋ฅ์ ํฉํ ์ฉ๋: ์ผ์ ์ฝ๋ฉ, ์ฝ๋๋ฒ ์ด์ค ์ ๋ฐ ๋ง์ด๊ทธ๋ ์ด์ , ์ฝ๋ ๋ฆฌ๋ทฐ. ๋ ๋ฎ์ ๊ฐ๊ฒฉ์ผ๋ก Opus 5๋ฅผ ๋์ฒดํ๋ฉฐ, Claude Code๋ ์ด์ Opus ๊ธฐ๋ณธ ๋ชจ๋ธ๋ก ์ฑํํ์ต๋๋ค. Claude Opus 5.5 ๊ฐ์ด๋์ GPT-6 Sol vs Claude Opus 5.5 ๋น๊ต์์ ์์ธํ ๋ค๋ฃน๋๋ค.
ํธ๋ ์ด๋์คํ: 40% ์ ๊ฐ์ ๊ธฐ๋ณธ ๋ ธ๋ ฅ์์ ์ ์ฉ๋ฉ๋๋ค. ์ต๋ ๋ ธ๋ ฅ์์๋ Artificial Analysis๊ฐ Opus 5๋ณด๋ค ํจ์ฌ ๋ง์ ํ ํฐ์ ์ด๋ค๊ณ ๋ฐํ๊ณ , ๊ทธ ๊ฒฐ๊ณผ Intelligence Index ์์ ๋น ๋น์ฉ์ด $5.98๋ก Opus 5์ $5.86๊ณผ ๊ฑฐ์ ๊ฐ์์ก์ต๋๋ค. ๋ํ Fable ์คํ์ผ์ ์์ ์ฅ์น๋ฅผ ํ์ฌํด ๋๋ถ๋ถ์ ๋ณด์ ๊ด๋ จ ์์ ์ Opus 4.8๋ก ๋ผ์ฐํ ํ๋ฉฐ, ๋ง์ด๊ทธ๋ ์ด์ ์ ์ฃผ์๊ฐ ํ์ํฉ๋๋ค. ์ฌ๊ณ ๋นํ์ฑํ๋ ๊ฐ์ ๋๊ตฌ ์ฌ์ฉ ์์ฒญ์ ์ด์ ์ค๋ฅ๋ฅผ ๋ฐํํฉ๋๋ค.
2. Claude Fable 5.1 (Anthropic)
Claude Fable 5.1์ 2026๋ 9์ 1์ผ ์ถ์๋ Anthropic์ Mythos๊ธ ๋ชจ๋ธ์ ๊ณต๊ฐ ๋ฒ์ ์ผ๋ก, Opus 5.5๊ฐ ํ๊ณ์ ๋ถ๋ชํ ๋ ์ํฅํ๋ ๋ชจ๋ธ์ ๋๋ค. Anthropic์ ๋ฐ์นญ ํ์ด์ง์ ๋ฐ๋ฅด๋ฉด Fable 5.1๊ณผ Claude Mythos 5.1์ ์์ ์ฅ์น๋ง ๋ค๋ฅธ ๋์ผ ๋ชจ๋ธ์ ๋๋ค.
Fable 5.1 ์์คํ ์นด๋๋ SWE-bench Pro 81.2%, Terminal-Bench 4.0 55.8%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. Artificial Analysis๋ ์ต๋ ๋ ธ๋ ฅ์์ Terminal-Bench 2.1 91.4%๋ฅผ ๋ ๋ฆฝ ์ธก์ ํ์ผ๋ฉฐ, ์ฌ์ ํ ๊ทธ ๋ณด๋ ์ต๊ณ ์ ์ ๋๋ค.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: ํ๋ก๋์ ์์ด์ ํธ ํ์ดํ๋ผ์ธ, ์์ผ ๊ท๋ชจ ๋ฆฌํฉํฐ๋ง, ์ค๋ต ๋น์ฉ์ด ํ ํฐ ๋น์ฉ๋ณด๋ค ํฐ ์์ ์์, Opus 5.5๊ฐ ๋ถ์กฑํ๋ค๊ณ ์์ฒด ํ๊ฐ๊ฐ ๋ณด์ฌ์ค ๋. Claude Fable 5.1 ๊ฐ์ด๋์ Claude Fable 5 ๊ฐ์๋ฅผ ์ฐธ๊ณ ํ์ธ์.
ํธ๋ ์ด๋์คํ: ์ ๋ ฅ 100๋ง ๋น $10, ์ถ๋ ฅ 100๋ง ๋น $50๋ก Opus 5.5์ 2.5๋ฐฐ์ ๋๋ค. ๋ํ Anthropic ์์ฒด ํ์์ Fable 5.1์ SWE-bench Pro, Terminal-Bench 4.0, CursorBench 4.0 ๋ชจ๋์์ Opus 5.5์ ๋ค์ง๋๋ค. ์ค์ ๊ฒฉ์ฐจ๊ฐ ํ๋ณด๋ค ์ข๋ค๊ณ Anthropic์ ๋งํ์ง๋ง, ์ด์ ๋ ๊ทธ ์ฃผ์ฅ์ ์ ์ฆํด์ผ ํฉ๋๋ค. ๊ตฌ๋ฒ์ CursorBench 3.2.0์์๋ Fable 5.1์ด medium ๋ ธ๋ ฅ์์ 68.0%๋ฅผ ๊ธฐ๋กํ๊ณ , ์์ ๋น $3.53์ด ๋ค์์ต๋๋ค.
3. GPT-6 Astra (OpenAI)
GPT-6 Astra๋ 2026๋ 9์ 3์ผ ์ถ์๋ OpenAI์ ํ๋ฐํฐ์ด ๋ชจ๋ธ๋ก, Codex ํ๋ค์ค ์ต๋ ๋ ธ๋ ฅ์์ tbench.ai Terminal-Bench 4.0 ์์ด์ ํธ ๋ฆฌ๋๋ณด๋ 58.2%๋ก ์ฌ์ ํ 1์์ ์์ต๋๋ค. ๋ค๋ง Opus 5.5๋ ์์ง ๊ทธ ๋ณด๋์ ์์ด์ ํธ ํญ๋ชฉ์ด ์์ต๋๋ค.
๋ชจ๋ธ ํ์ด์ง๋ 1,050,000 ํ ํฐ ์ปจํ ์คํธ, 128,000 ์ถ๋ ฅ ํ ํฐ, 2026๋ 4์ 30์ผ ์ง์ ์ปท์คํ, none๋ถํฐ max๊น์ง ๋ ธ๋ ฅ ๋ ๋ฒจ์ ๊ธฐ์ฌํฉ๋๋ค. ๊ฐ๊ฒฉ์ ์ ๋ ฅ 100๋ง ๋น $10(์บ์๋ ์ ๋ ฅ $1), ์ถ๋ ฅ 100๋ง ๋น $50์ ๋๋ค.
OpenAI์ ๋ฐ์นญ ์๋ฃ๋ ๊ต์ฐจ ์ฐ๊ตฌ์ค ๋ฒค์น๋งํฌ๋ณด๋ค๋ ์์ฒด ํ๊ฐ์ ์์คํ ์นด๋์ ๋ฌด๊ฒ๋ฅผ ๋ก๋๋ค. ๊ทธ ํ๊ฐ๊ฐ ๊ฐ๋ ฅํ๊ธด ํ์ง๋ง, Astra๊ฐ Opus 5.5๋ Fable 5.1์ ๋ช ํํ ์์ ๋ค๊ณ ๋ณด๊ธด ์ด๋ ต์ต๋๋ค. ์์ธํ ์์น๋ GPT-6 Astra ๊ฐ์์์ ๋ค๋ฃน๋๋ค.
์ฃผ์ ํน์ง:
hosted_shell,apply_patch,computer_use,tool_search๋ฅผ ๋ ธ์ถํ๋ฉฐ, Codex ์์ฒด๊ฐ ์ฌ์ฉํ๋ ๋๊ตฌ ์ธํธ์ ๋๋ค.์ ํฉํ ์ฉ๋: ์ด๋ฏธ Codex, GitHub Copilot, Microsoft ์คํ์ ์ฐ๋ ํ, ๊ณผํยท๊ณตํ ๋น์ค์ด ํฐ ์์ , ์๋ํํฐ ๋๊ตฌ ์ง์์ด ๋ ํ์ํ ๊ฒฝ์ฐ. ๋น์ฉ์ ๋ฎ์ถ๊ณ ๋๋ถ๋ถ์ ์ญ๋์ ์ํ๋ค๋ฉด, GPT-6 Sol์ด 9์ 22์ผ ์ ๋ ฅ $2, ์ถ๋ ฅ $10๋ก ์ถ์๋์ด GPT-5.6 Sol์ ์์ต๋๋ค. GPT-6 Terra๊ฐ ์์ด Terra์ ๊ฐ๊ฒฉ๋๋ฅผ ๋ฉ์๋๋ค. OpenAI์ ํ์์๋ DeepSWE 1.1 68.8%, FrontierCode 49.3%์ง๋ง, ์ต๋ ๋ ธ๋ ฅ์ GPT-5.6 Sol์ด DeepSWE์์๋ ๋ ๋์ต๋๋ค.
ํธ๋ ์ด๋์คํ: Fable๊ธ ๊ฐ๊ฒฉ์ ๋๋ค. Opus 5.5๋ ์ด์ Terminal-Bench 4.0์์ Astra์ ๋๋ฅ ์ด๋ฉด์, Anthropic ๊ธฐ์ค ์์ ๋น ๋น์ฉ์ด ์ฝ 40% ์ ๋ ดํฉ๋๋ค. Artificial Analysis๋ ๋์ ๋๋ฅ ๋ก ํ๊ฐํ์ต๋๋ค. Astra์ ๊ฐ์ฅ ๋๋ ทํ ์ฐ์๋ ๊ณผํ ์ค์ฌ ์์ ์ผ๋ก, Terminal-Bench-Science 64.6%, FrontierSWE v2 65.5%์์ Opus 5.5๋ฅผ ์์ญ๋๋ค.
4. Gemini 3.8 Flash (Google)
Gemini 3.8 Flash๋ 2026๋ 9์ 2์ผ ์ถ์๋ Google์ ์ฃผ๋ ฅ ๋ชจ๋ธ๋ก, ํ๋ฐํฐ์ด ์ฐ๊ตฌ์๊ธ ์์ด์ ํธ ์ฝ๋ฉ ์ ์๋ฅผ ๊ฐ์ฅ ์ ๋ ดํ๊ฒ ์ป๋ ๋ฐฉ๋ฒ ์ค ํ๋์ ๋๋ค(GPT-6 Luna๊ฐ ํ ํฐ๋น ๋ ์ธ์ง๋ง ์์ด์ ํธ ์ฑ์ ์ ๋ฎ์ต๋๋ค). Google์ ํ๊ฐ ๋ณด๊ณ ์๋ Terminal-Bench 2.1 89.4%, ์ฅ๊ธฐ ํธ๋ผ์ด์ฆ 113๊ฐ ์์ ์ผ๋ก ๊ตฌ์ฑ๋ DeepSWE v1.1 73.7%๋ฅผ ๋ณด์ฌ์ค๋๋ค(Fable 5.1์ 67.4%). ๊ฐ์ ํ์์ Opus 5๋ 74.0%๋ก ์ฝ๊ฐ ์์๊ณ , Anthropic์ Opus 5.5๋ฅผ 74.2%๋ก ๋ณด๊ณ ํฉ๋๋ค. Google ๊ฐ๋ฐ์ ๊ฐ์ด๋๋ SWE-bench Pro 61.6%๋ ์ถ๊ฐํฉ๋๋ค.
Gemini API ์๊ธ์ 2026๋ 12์ 31์ผ๊น์ง ์ ๋ ฅ 100๋ง ๋น $0.75, ์ถ๋ ฅ $3.75์ด๋ฉฐ, 2027๋ 1์ 1์ผ๋ถํฐ ๊ฐ๊ฐ $1.50, $7.50์ ๋๋ค. 2027๋ ๊ฐ๊ฒฉ๋ Opus 5.5 ์ถ๋ ฅ ์์จ์ 3๋ถ์ 1 ์กฐ๊ธ ๋๋ ์์ค์ ๋๋ค. ์ปจํ ์คํธ๋ ์ ๋ ฅ 100๋ง, ์ถ๋ ฅ 64K์ ๋๋ค.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: ๋๋ ์์ด์ ํธ ๋ฃจํ, ๋น์ฉ ๋ฏผ๊ฐ ํ, Vertex AI ์ฌ์ฉ์. 2026๋ 2์ 19์ผ ์ถ์๋ Gemini 3.1 Pro๋ ์ฌ์ ํ Google์ Pro ๋ฑ๊ธ ๋ชจ๋ธ๋ก SWE-bench Pro 54.2%๋ฅผ ์ ๋ ฅ $2, ์ถ๋ ฅ $12์ ์ ๊ณตํฉ๋๋ค. ๋ค๋ง ์ฝ๋ฉ๋ง ๋๊ณ ๋ณด๋ฉด, ์ค๋์ 3.1 Pro๋ณด๋ค 3.8 Flash๋ฅผ ๊ณ ๋ฅด๊ฒ ์ต๋๋ค.
ํธ๋ ์ด๋์คํ: Terminal-Bench 4.0์์ 19.1%. Flash๋ ๋ฒ์๊ฐ ๋ช ํํ ํฐ๋ฏธ๋ ์์ ์ ๊ฐํ๊ณ ํ๋ฐํฐ์ด ๊ณผํ ์์ ์๋ ์ฝํ๋ฏ๋ก, ๊ฐ์ฅ ์ด๋ ค์ด ํฐ์ผ์ฉ์ผ๋ก ๋ ๊ฐํ ๋ชจ๋ธ์ ๋๊ธฐ์ํค์ธ์.
ํด๋ผ์ฐ๋ ๋ชจ๋ธ์ ์ฌ๊ธฐ๊น์ง์ ๋๋ค. ๋๋จธ์ง๋ ๋ค์ด๋ก๋ ๊ฐ๋ฅํ ๋ชจ๋ธ์ ๋๋ค.
2026๋ ์ต๊ณ ์ ์คํ ์จ์ดํธ ์ฝ๋ฉ LLM์?
2026๋ ์ต๊ณ ์ ์คํ ์จ์ดํธ ์ฝ๋ฉ LLM์ ๋ ๋ถ๋ฅ๋ก ๋๋ฉ๋๋ค. DeepSeek V4.1 Flash๋ Kimi K3์ฒ๋ผ ํ๋ฐํฐ์ด ์ ์์ ๊ทผ์ ํ์ง๋ง ์๋ฒ๊ธ ํ๋์จ์ด๊ฐ ํ์ํ ๋ฐ์ดํฐ์ผํฐ๊ธ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ Qwen3.8-27B๋ Laguna S 2.1์ฒ๋ผ ๋ณด์ ํ๋์จ์ด์์ ๋๋ฆด ์ ์๋ 120B ๋ฏธ๋ง ๋ชจ๋ธ์ ๋๋ค.
์ฌ๊ธฐ์ โ์คํ ์จ์ดํธโ๋ ์จ์ดํธ ๋ค์ด๋ก๋ ๊ฐ๋ฅ์ ์๋ฏธํฉ๋๋ค. ์ค์ ๋ผ์ด์ ์ค๋ MIT, Apache 2.0๋ถํฐ ์ปค์คํ ๊น์ง ๋ค์ํฉ๋๋ค.
5. DeepSeek V4.1 Flash (DeepSeek)
DeepSeek V4.1 Flash๋ 2026๋ 9์ 10์ผ ์ถ์๋์๊ณ , ์ด๋ฆ๊ณผ ๋ฌ๋ฆฌ ์ด์ DeepSeek์์ ์ ๊ฐ ๋จผ์ ๊ณ ๋ฅผ ๋ชจ๋ธ์ ๋๋ค. DeepSeek์ ์์ฌ V4 Pro 0813 ํ๋๊ทธ์ญ์ ์ฑ๋ฅ, ๋น์ฉ, ์๋, ์์ ์๋ฃ ์๊ฐ์์ ๋ฅ๊ฐํ๋ค๊ณ ๋งํฉ๋๋ค. Vals AI์ ๋ ๋ฆฝ ์ง์๋ ๊ฐ์ ๋ฐฉํฅ์ผ๋ก ๊ธฐ์ธ์ด, ์คํ ์จ์ดํธ ์ต๊ณ ๋ชจ๋ธ๋ก 57.9%๋ฅผ ๊ธฐ๋กํ๊ณ , 8์์ V4 Pro 0813์ 52.4%์์ต๋๋ค.
552B ํ๋ผ๋ฏธํฐ MoE ๋ชจ๋ธ๋ก, ์ ๋ ฅ ์ ํ ํฐ๋น ์ฝ 8B, ์ถ๋ ฅ ์ 16B ํ์ฑ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์ปจํ ์คํธ 100๋ง, ๋ค์ดํฐ๋ธ ์ด๋ฏธ์ง ์ ๋ ฅ, MIT ๋ผ์ด์ ์ค ์จ์ดํธ๋ฅผ ์ ๊ณตํฉ๋๋ค. DeepSeek์ Terminal-Bench 2.1 90.6%, DeepSWE v1.1 74.2%๋ฅผ ๋ณด๊ณ ํ๋ฉฐ, ๋ ๋ค ์คํ ์จ์ดํธ ์ค ๋ฒค๋ ๋ณด๊ณ ์ต๊ณ ์ ๋๋ค. Vals AI์ ์์ฒด Terminal-Bench 2.1 ์คํ์ 74.5%๋ก ๋ ๊ด๋ํ๋ฉฐ, ์คํ ์จ์ดํธ ์ค 2์์ ๋๋ค.
์์ธํ ๋ด์ฉ์ DeepSeek V4.1 Flash ๊ฐ์์์ ๋ค๋ฃน๋๋ค.
์ฃผ์ ํน์ง:
deepseek-flash๋ก ์ ๊ณต๋๋ฏ๋ก, ๋ณธ๋ฌธ ํ๋ฐ์ask_coding_model.py๋ ๋ฒ ์ด์ค URL๋ง ๋ฐ๊พธ๋ฉด ๋ฉ๋๋ค.์ ํฉํ ์ฉ๋: ์ ๋น์ฉ ํ๋ฐํฐ์ด ์ธ์ ํฐ๋ฏธ๋ ์ฝ๋ฉ, ๋นํผ์ก ์๊ฐ ์์ฝ ๋ฐฐ์น ์ฝ๋ ์์ .
ํธ๋ ์ด๋์คํ: DeepSeek ์์ฒด ๋ณด๊ณ ์์ Terminal-Bench 4.0์ 31.2%์ฌ์, ๊ฐ์ฅ ์ด๋ ค์ด ์ฅ๊ธฐ ์์ด์ ํธ ์์ ์ ์ฌ์ ํ ํ๋ฐํฐ์ด ์ฐ๊ตฌ์ ๋ชซ์ ๋๋ค. ์ฒดํฌํฌ์ธํธ๋ ์ฝ 510 GB๋ผ์, ์ฌ๊ธฐ์ โ์คํ ์จ์ดํธโ๋ ๋ฉํฐ GPU ์๋ฒ๋ฅผ ๋ปํฉ๋๋ค. V4 Pro 0813 ์ฌ์ฉ์๋ผ๋ฉด DeepSeek์ 9์ 14์ผ ํด๋น ๋ชจ๋ธ์ V4.1 Flash๋ก ๋ผ์ฐํ ํ๋ค๊ณ ํ๋ค๊ฐ ๋ฒ๋ณตํ์ผ๋ฉฐ, ๊ณต์ง๊ฐ ์์ ๋๊น์ง V4 Pro๋ ๋นํผ์ก $0.66/$1.98๋ก ๊ณ์ ์ ๊ณต๋ฉ๋๋ค.
6. Kimi K3 (Moonshot AI)
Kimi K3๋ 2026๋ 7์ ์ถ์๋ Moonshot AI์ 2.8์กฐ ํ๋ผ๋ฏธํฐ ์คํ ์จ์ดํธ ํ๋๊ทธ์ญ์ผ๋ก, Terminal-Bench 2.1์์ 88.3%๋ฅผ ๊ธฐ๋กํด DeepSeek V4.1 Flash์ ๋ฒค๋ ๋ณด๊ณ 90.6% ๋ค์์ผ๋ก ๋์ต๋๋ค.
ํ๊น ํ์ด์ค ์นด๋๋ 896 ์ ๋ฌธ๊ฐ(ํ ํฐ๋น 16 ๋ผ์ฐํ + 2 ๊ณต์ )์์ ํ์ฑ 104B ํ๋ผ๋ฏธํฐ, 1,048,576 ํ ํฐ ์ปจํ ์คํธ, MXFP4 ์จ์ดํธ๋ฅผ ๊ธฐ์ฌํฉ๋๋ค. Vals AI๋ SWE-bench Verified 93.4%๋ฅผ ์ธก์ ํ์ต๋๋ค.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: ์ฌ์ฉ ๊ฐ๋ฅํ ์คํ ์์ด์ ํธ ์ฝ๋ ์ค ์ต๊ฐ์ ์ํ๋ ๊ฒฝ์ฐ.
ํธ๋ ์ด๋์คํ: ํ๋ฐํฐ์ด์ ๊ทผ์ ํ ์ฑ๋ฅ์ ๋ฐ์ดํฐ์ผํฐ ๊ท๋ชจ์์๋ง ๋์ต๋๋ค. Terminal-Bench 2.1์์ Fable 5.1 ๋๋น 3ํฌ์ธํธ ๊ฒฉ์ฐจ๋ ๊ฐ๊น์ ๋ณด์ด์ง๋ง, ๋๋ฑ ๋น๊ต๊ฐ ์๋๋๋ค. Moonshot์ ์์ฒด Kimi Code ํ๋ค์ค์์ 88.3%๋ฅผ ์ธก์ ํ๊ณ , Fable์ 91.4%๋ Artificial Analysis์ Terminus 2 ์คํ์ ๋๋ค. ์ค์ ์์๋ ํธ์คํ ์ ๊ณต์ ์ฒด๋ฅผ ๋น๋ฆฌ๊ฑฐ๋ ์์ฒด ํด๋ฌ์คํฐ๊ฐ ํ์ํ๋ฉฐ, ์ปค์คํ ๋ผ์ด์ ์ค๋ ๋ฒ๋ฌด ๊ฒํ ๊ฐ ํ์ํฉ๋๋ค.
7. Qwen3.8-27B (Alibaba)
Qwen3.8-27B๋ 2026๋ 8์ ์ถ์๋ 270์ต ํ๋ผ๋ฏธํฐ์ ์กฐ๋ฐ(dense) ๋ชจ๋ธ๋ก Apache 2.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๋ฉฐ, ๋จ์ผ 24 GB GPU์์ ๋๋ฆด ์ ์๋ ์ต๊ณ ์ ์ฝ๋ฉ LLM์ ๋๋ค.
๋ชจ๋ธ ์นด๋๋ SWE-bench Pro 61.7%, Terminal-Bench 2.1 73.0%, LiveCodeBench v6 90.3%, DeepSWE 1.1 42.2%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. ๊ธฐ๋ณธ ์ปจํ ์คํธ๋ 262,144 ํ ํฐ์ด๋ฉฐ YaRN์ผ๋ก 100๋ง๊น์ง ํ์ฅ ๊ฐ๋ฅํฉ๋๋ค. SWE-bench Pro์ Terminal-Bench ์์น๋ 4๋ฐฐ ํฐ Laguna S 2.1์ ์์๊ณ , SWE-bench Pro์์๋ Gemini 3.1 Pro๋ ๋ฅ๊ฐํฉ๋๋ค. ๋ค๋ง SWE-bench Pro๋ Qwen์ด ์์ฒด ์์ ํ์คํฌ ์ ์ผ๋ก ๋๋ ธ์ผ๋ ๊ต์ฐจ ์ฐ๊ตฌ์ ๋น๊ต๋ ๋ฐฉํฅ์ฑ ์ ๋๋ก ๋ณด์ธ์.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: ์ฝ๋๋ฅผ ์ธ๋ถ API๋ก ๋ณด๋ผ ์ ์๋ ๊ฐ๋ฐ์, RTX๊ธ GPU 1์ฅ๋ง ์๋ 1์ธ ๊ฐ๋ฐ์, ๋น์ฉ ์ง๋ถ ์ ์์ฒด ๋ฆฌํฌ์งํ ๋ฆฌ์์ ๋ก์ปฌ๊ณผ Claude ๋น๊ต๋ฅผ ํด๋ณด๊ณ ์ถ์ ๊ฒฝ์ฐ.
ํธ๋ ์ด๋์คํ: Terminal-Bench 2.1์์ 73.0% ๋ 91.4%๋ 18ํฌ์ธํธ ๊ฒฉ์ฐจ์ด๋ฉฐ, ์ฅ๊ธฐ ์์ด์ ํธ ์์ ์์ ์ฌ์๋ ์ฆ๊ฐ๋ก ์ฒด๊ฐ๋ฉ๋๋ค.
8. Laguna S 2.1 (Poolside)
Laguna S 2.1์ 2026๋ 7์ 21์ผ ์ถ์๋ Poolside์ 118B ํ๋ผ๋ฏธํฐ MoE ์ฝ๋ฉ ๋ชจ๋ธ๋ก, ํ์ฑ ํ๋ผ๋ฏธํฐ๋ 8B์ด๋ฉฐ, Mac Studio, DGX Spark, ๋ฉํฐ GPU ์ํฌ์คํ ์ด์ ์ ์ ํฉํ ์คํ ์จ์ดํธ ์ ํ์ง์ ๋๋ค.
Poolside์ ์ถ์ ๊ธ์ SWE-bench Pro ๊ณต๊ฐ ์ 59.4%, Terminal-Bench 2.1์์ ์ต๋ ์ฌ๊ณ ๋ชจ๋ 70.2%(์ฌ๊ณ off 60.4%), SWE-bench Multilingual 78.5%, DeepSWE 40.4%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค.
์ด ๋ชจ๋ธ์ 409,000๊ฐ ํ๊ฒฝ(ํฐ๋ฏธ๋ ์์ 83,000, ์ํํธ์จ์ด ์์ง๋์ด๋ง ์ํฌํ๋ก 168,000 ํฌํจ)์์ ํ์ต๋์๊ณ , H200 4,096์ฅ์ผ๋ก 9์ฃผ ๋ฏธ๋ง์ ํ์ตํ์ต๋๋ค.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: 96~128 GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๋จธ์ ์์ Claude Code ์คํ์ผ ๋ก์ปฌ ์์ด์ ํธ๋ฅผ ์ํ๋ ํ, ๋ก์ปฌ์์๋ 100๋ง ์ปจํ ์คํธ๊ฐ ํ์ํ ๋ํ ๋ฆฌํฌ์งํ ๋ฆฌ.
ํธ๋ ์ด๋์คํ: 118B ํ๋ผ๋ฏธํฐ๋ฅผ 4๋นํธ๋ก๋ ์จ์ดํธ๋ง 60~70 GB ์์ค์ด๋ฉฐ, KV ์บ์๊น์ง ๊ณ ๋ คํ๋ฉด 24 GB GPU๋ ๋ฌด๋ฆฌ์ ๋๋ค. ์์ ์ ์์์๋ Qwen3.8-27B๊ฐ ๊ทผ์ ์ฐ์์ง๋ง, Laguna๋ ํ์ฑ 8B๋ก ์จ์ดํธ๊ฐ ๋ง์๋จ์ด์ง๊ธฐ๋ง ํ๋ฉด ํจ์ฌ ๋น ๋ฅด๋ฉฐ, ์ด๋ ์ผ๊ฐ ์์ด์ ํธ์ ์์ ์ ๋๋ค.
9. Qwen3-Coder-Next (Alibaba)
Qwen3-Coder-Next๋ 2026๋ 2์ 3์ผ ์ถ์๋ 80B ํ๋ผ๋ฏธํฐ MoE ๋ชจ๋ธ๋ก, ํ ํฐ๋น ํ์ฑ ํ๋ผ๋ฏธํฐ๋ 3B์ ๋ถ๊ณผํฉ๋๋ค(Apache 2.0). 27B ์กฐ๋ฐ ๋ชจ๋ธ์ ๋น ๋ฅด๊ฒ ์ ์งํ๋ฉฐ ๋ด์ ์ ์๋ ํ๋์จ์ด์์ ๊ฐ์ฅ ๋น ๋ฅธ โ์ธ ๋งํโ ๋ก์ปฌ ์ฝ๋์ ๋๋ค.
๋ชจ๋ธ ์นด๋๋ SWE-bench Verified 70.6%, SWE-bench Pro 44.3%, Terminal-Bench 2.0 36.2%๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. ์ ๋ฌธ๊ฐ 512๋ช (ํ์ฑ 10 + ๊ณต์ 1), ์ปจํ ์คํธ 262,144 ํ ํฐ์ด๋ฉฐ, ๋น์ฌ๊ณ ๋ชจ๋๋ง ์ง์ํฉ๋๋ค.
์ฃผ์ ํน์ง:
์ ํฉํ ์ฉ๋: ์ ํ๋ ์ต๊ณ ์น๋ณด๋ค ์ด๋น ํ ํฐ ์๋๊ฐ ์ค์ํ ์ฅ๊ธฐ ์ผ๊ฐ ์์ , 64 GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๋ ธํธ๋ถ.
ํธ๋ ์ด๋์คํ: SWE-bench Pro 44.3%๋ Qwen3.8-27B๋ณด๋ค 17ํฌ์ธํธ ๋ฎ์, ๋จ์ผ ์ด๋ ค์ด ๋ฒ๊ทธ์๋ ์กฐ๋ฐ ๋ชจ๋ธ์ ๊ณ ๋ฅด๊ฒ ์ต๋๋ค.
์ดํด๋ณผ ๊ฐ์น๊ฐ ์๋ ๊ธฐํ ์คํ ์จ์ดํธ ๋ชจ๋ธ
๋ค์ 4๊ฐ ๋ชจ๋ธ๋ ๊ฑฐ์ ๋ชฉ๋ก์ ๋ค์๊ณ , ์ด ์ค 2๊ฐ๋ ํน์ ํ์๋ ์ ์ถ์ฒ๋ณด๋ค ๋ ์ ๋ง์ ์ ์์ต๋๋ค.
์ด ์ค ํ๋๊ฐ ํ๋์จ์ด์ ์ ๋ง๋๋ค๋ฉด, ๋ค์ ์น์ ์์ ์คํ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค.
์คํ ์จ์ดํธ ์ฝ๋ฉ ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ๋ ค๋ฉด?
์คํ ์จ์ดํธ ์ฝ๋ฉ ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ๋ ค๋ฉด 3๋จ๊ณ๊ฐ ํ์ํฉ๋๋ค. ์์ํ๋ ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ค์ด๋ก๋ํ๊ณ , OpenAI ํธํ ์๋ํฌ์ธํธ ๋ค์์ ์๋น์คํ๋ฉฐ, ํด๋ผ์ด์ธํธ๋ ์ฝ๋ฉ ์ด์์คํดํธ๋ฅผ ํด๋น ์๋ํฌ์ธํธ๋ก ๊ฐ๋ฆฌํค๋ฉด ๋ฉ๋๋ค. ์์๋ ์๋น์๊ธ ํ๋์จ์ด์ ๊ฐ์ฅ ์ฝ๊ฒ ๋ง๋ Qwen3.8-27B๋ฅผ ์ฌ์ฉํฉ๋๋ค.
๋จผ์ ๋ค์ด๋ก๋์ ๋๋ค.
huggingface_hub๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ๋์ฉ๋ ํ์ผ์ ์ ์ฉํ ์ฌ๊ฐ ๊ฐ๋ฅ ์ ์ก๊ณผ ์บ์ฑ์ ์ง์ํฉ๋๋ค.download_gguf.py๋ก ์ ์ฅํ๊ณuv run --with huggingface_hub python download_gguf.py๋ก ์คํํ์ธ์. Windows์์๋ ๊ฐ๋ฐ์ ๋ชจ๋๊ฐ ๊บผ์ ธ ์์ผ๋ฉด ์ฌ๋ณผ๋ฆญ ๋งํฌ ๊ฒฝ๊ณ ๊ฐ ๋น๋๋ค.๋์งธ, ์๋น์ ๋๋ค.
llama.cpp์
llama-server, LM Studio, Ollama๋ ๋ชจ๋ OpenAI ํธํ/v1์๋ํฌ์ธํธ๋ฅผ ๋ ธ์ถํฉ๋๋ค. llama.cpp๋ ๋ช ๋ น ํ ์ค๋ก ์ถฉ๋ถํ๋ฉฐ, ๋ ํ๋๊ทธ๊ฐ ํต์ฌ์ ๋๋ค.-ngl 99๋ ๋ชจ๋ ๋ ์ด์ด๋ฅผ GPU๋ก ์คํ๋ก๋ฉํ๊ณ ,-c 32768์ 32K ์ปจํ ์คํธ๋ฅผ ์ค์ ํฉ๋๋ค.์ ์งธ, ํด๋ผ์ด์ธํธ์ ๋๋ค. ์ ๋ ํ๊ฐํ๋ ๊ฐ ๋ชจ๋ธ๋ง๋ค ์คํฌ๋ฆฝํธ ํ๋๋ฅผ ๋๊ณ , ํ๊ฒฝ ๋ณ์ 3๊ฐ๋ก ๋์๋ง ๋ฐ๊ฟ๋๋ค. ๊ฐ์ ํ์ผ์ด ์ ๋ก์ปฌ ์๋ฒ, DeepSeek API, OpenAI ๋ชจ๋์ ์ ์กํฉ๋๋ค.
ask_coding_model.py๋ก ์ ์ฅํ๊ณLLM_BASE_URL=http://localhost:8080/v1 LLM_MODEL=qwen3.8-27b uv run --with openai python ask_coding_model.py๋ก ์คํํ์ธ์.๋ผ์ฐํ , ์ฌ์๋, ๋๊ตฌ ํธ์ถ๊น์ง ์ฌ๋ฌ ์๋ํฌ์ธํธ๋ฅผ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฐ๊ฒฐํ๋ ค๋ฉด, LangChain์ผ๋ก LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ๊ฐ์ข์์ if ๋ฌธ์ ๋ฉ์ด๋ฆฌ๊ฐ ๋์ง ์๊ฒ ํ๋ ์ถ์ํ๋ฅผ ๋ค๋ฃน๋๋ค.
์ต๊ณ ์ ์ฝ๋ฉ LLM์ ์ด๋ป๊ฒ ์ ํํด์ผ ํ๋์?
์ต๊ณ ์ ์ฝ๋ฉ LLM ์ ํ์ ๋ค ๊ฐ์ง ์ ์ฝ์ผ๋ก ๊ท๊ฒฐ๋ฉ๋๋ค. ์ฝ๋๊ฐ ๋จธ์ ๋ฐ์ผ๋ก ๋๊ฐ ์ ์๋์ง, ๋ฉ๋ชจ๋ฆฌ๊ฐ ์ผ๋ง์ธ์ง, ์ถ๋ ฅ 100๋ง ํ ํฐ๋น ์ง๋ถ์ก์ด ์ผ๋ง์ธ์ง, ๋จ์ผ ์์ ์ ํ์ํ ์ปจํ ์คํธ๊ฐ ์ผ๋ง๋ ๊ธด์ง์ ๋๋ค. ์๋ ํ๋ ์ ๋ขฐํ๋ ์์น๋ก 9๊ฐ ๋ชจ๋ธ์ ๋๋ํ ๋น๊ตํ๋ฉฐ, ์ดํ ๊ฒฐ์ ๊ฐ์ด๋๋ ์ ์ฝ์ ์ถ์ฒ์ผ๋ก ๋งคํํฉ๋๋ค.
๊ฒฐ์ ๊ฐ์ด๋
๋ค ๊ฐ์ง ์ ์ฝ์ ์์์ ๋์ ํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ฝ๋ฉ์ ๋์ด ๋ชจ๋ธ-์ ํ๋ฆฌ์ผ์ด์ ๋งค์นญ ํ๋ ์์ํฌ(ํธ์คํ ์ต์ , ๋ผ์ด์ ์ฑ ํฌํจ)๊ฐ ํ์ํ๋ค๋ฉด, ์ ํ๋ฆฌ์ผ์ด์ ์ ์ต์ LLM์ ์ ์ ํ๋ ๋ฒ ๊ฐ์ด๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
๊ทธ๋ฆฌ๊ณ ์ด๋ค ๋ชจ๋ธ์ ๊ณ ๋ฅด๋ , ๊ฐ์น๋ฅผ ๋ฝ์๋ด๋ ๊ธฐ์ ์ ๊ฐ์ต๋๋ค. ์ํํธ์จ์ด ์์ง๋์ด๋ง์ ์ํ AI ์คํฌ ํธ๋๊ณผ ๊ฐ๋ฐ์๋ฅผ ์ํ AI ๋ณด์กฐ ์ฝ๋ฉ ๊ฐ์ข์์ 91% ๋ฒค์น๋งํฌ๋ฅผ ๋จธ์ง๋ PR๋ก ๋ฐ๊พธ๋ ํ๋กฌํํธ, ํ ์คํธ, ๋ฆฌ๋ทฐ ์ต๊ด์ ๋ฐฐ์ธ ์ ์์ต๋๋ค.
๋ง๋ฌด๋ฆฌ ์๊ฐ
Claude Opus 5.5๋ 2026๋ 9์ ์ต๊ณ ์ ์ฝ๋ฉ LLM์ด๋ฉฐ, ๋๋ฌผ๊ฒ ํ์ ๊ฒฐ์ ์๋จ์๋ ์ฌ๋ฆด 1์์์ ๋๋ค. ๊ฐ์ฅ ๊ธด ์์ ์ ์ํฅ ๊ฒฝ๋ก๋ Claude Fable 5.1์ด๊ณ , Qwen3.8-27B๋ 24 GB GPU๋ฅผ ์๋ ํ๋ฐํฐ์ด๋ฅผ SWE-bench Pro์์ ๋ฅ๊ฐํ๋ ํ๋ผ์ด๋น ์ฝ๋ฉ ์ด์์คํดํธ๋ก ๋ฐ๊ฟ์ฃผ๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์ ๋๋ค. ๋๋จธ์ง๋ ์ ์ฝ์ ๋ฌธ์ ์ด๊ณ , ์ ๊ฒฐ์ ๊ฐ์ด๋๊ฐ ๊ทธ ํด๋ฒ์ ๋๋ค.
๋ ํฐ ๋ณํ๋ 2๋ ๊ฐ ์ด ๋ถ์ผ๋ฅผ ๊ท์ ํ๋ SWE-bench Verified๊ฐ, ๊ฐ์ 12๊ฐ์ ๋์ ์คํ ์จ์ดํธ๊ฐ ์ด๋ฅผ ๋ฐ๋ผ์ก์ ์๋ฏธ๊ฐ ์ค์๋ค๋ ์ ์ ๋๋ค.
์ฐ์ฐ์ด ์๋๋๋ค.
ํฌํ๋ ํ ์คํธ์์ Opus 5์ DeepSeek V4 Pro๊ฐ 0.6ํฌ์ธํธ ์ฐจ์ ๋ถ๊ณผํ๊ณ , 100๋ง ํ ํฐ๋น $20์ธ ๋ชจ๋ธ์ด Anthropic์ $50 ๋ชจ๋ธ์ SWE-bench Pro์์ ์ด๊ธฐ๋ ์ง๊ธ, ๊ฐ์น๋ ํ๋ค์ค ์ค๊ณ, ๋ ธ๋ ฅ ์์ฐ, ์์ฒด ๋ฆฌํฌ์งํ ๋ฆฌ ํ๊ฐ๋ก ์ด๋ํ์ต๋๋ค. ์ด๋ ๋ฒค๋ ํ๊ฐ ๋์ ํด์ค ์ ์๋ ์ผ์ ๋๋ค.
๊ทธ๋ฌ๋ ์ง์ ํ์ธ์.
ask_coding_model.py์คํฌ๋ฆฝํธ๋ฅผ 2~3๊ฐ ๋ชจ๋ธ์ ์ฐ๊ฒฐํ๊ณ , ์ค์ ๋ฐฑ๋ก๊ทธ์ ํฐ์ผ 20๊ฐ๋ฅผ ๋น์ ์ด ์ค์ ๋ก ์ง๋ถํ ๋ ธ๋ ฅ ๋ ๋ฒจ์์ ๋๋ ค๋ณด์ธ์. ๊ทธ๋ฆฌ๊ณ ๊ทธ ๊ฒฐ๊ณผ๊ฐ ์ ๊ฐ ์ด ๋ชจ๋ ๋ง์ ๋ฎ๋๋ก ํ์ธ์. ํ๊ฐ ํ๋ค์ค๋ณด๋ค โ๋ฐ์ด๋ธ ์ฝ๋ฉโ์ด ์ฒด์ง์ด๋ผ๋ฉด, ๋ฐ์ด๋ธ ์ฝ๋ฉ์ด๋ ๋ฌด์์ด๋ฉฐ ์ด๋์ ํ๊ณ๊ฐ ์ค๋๊ฐ์์ ํธ๋ ์ด๋์คํ๋ฅผ ์์งํ ๋ค๋ค๊ณ , ๋์ผํ ๋ชจ๋ธ ์์๊ฐ ์ ์ฉ๋ฉ๋๋ค.