วิธีรัน Qwen3.8-Flash-Next แบบโลคัลให้เป็นเอเจนต์เขียนโค้ดด้วย OpenCode

สถาปัตยกรรมของ Qwen3.8-Flash-Next

เป็นโมเดล MoE หลักขนาด 125B พารามิเตอร์ แต่มีเพียงประมาณ 6B พารามิเตอร์ที่ถูกเปิดใช้งานต่อโทเค็น นอกจากนี้ยังมีพารามิเตอร์เพิ่มอีก 51B ใน n-gram embeddings

สถาปัตยกรรมนี้นำเสนอแนวคิดหลายอย่างที่ Qwen กำลังสำรวจสำหรับ Qwen4:

• Gated DeltaNet + Qwen Sparse Attention (QSA) เพื่อประมวลผลบริบทยาวได้อย่างมีประสิทธิภาพมากขึ้น
• Gated Residual connections เพื่อปรับปรุงการไหลของข้อมูลระหว่างเลเยอร์
• N-gram embeddings ที่เพิ่มขีดความสามารถของโมเดลโดยไม่ต้องคำนวณพารามิเตอร์ทั้งหมดแบบแอคทีฟ

ที่มา: Qwen 

โมเดลมีความยาว context window แบบ native ที่ 262,144 โทเค็น และในทางทฤษฎีสามารถขยายได้ถึง 1 ล้านโทเค็นด้วย YaRN

Qwen3.8-Flash-Next ทำงานเขียนโค้ดได้ดีแค่ไหน?

ด้านการเขียนโค้ดก็แข็งแรงเกินคาดเช่นกัน นี่คือผลลัพธ์ที่ Qwen รายงานเองบางส่วนเมื่อเทียบกับ Qwen3.8-27B:

แม้จะเป็นการประเมินของ Qwen เอง จึงควรมองว่าเป็นผลลัพธ์ที่ผู้ขายรายงาน แต่ก็สอดคล้องกับประสบการณ์ใช้งานเพื่อเขียนโค้ดของเราเป็นอย่างดี

เตรียมเซิร์ฟเวอร์ GPU สำหรับ Qwen3.8-Flash-Next

ในการทดสอบ ใช้ RTX PRO 6000 ที่มี VRAM 96GB แต่จริง ๆ แล้วไม่จำเป็นต้องมี VRAM มากขนาดนั้น

นี่เป็นส่วนที่น่าสนใจอย่างหนึ่งของ Qwen3.8-Flash-Next เพราะ llama.cpp สามารถออฟโหลดบางส่วนของโมเดลไปยัง RAM ของระบบได้ จึงสามารถใช้ GPU ที่มี VRAM น้อยกว่าได้ ตราบใดที่มี RAM เพียงพอ

การควอนไทซ์ Unsloth UD-Q4_K_XL ที่ใช้มีขนาดประมาณ 111GB และแบ่งเป็นไฟล์ GGUF สี่ไฟล์

สำหรับการตั้งค่านี้ แนะนำให้มี RAM และ VRAM ที่ใช้งานร่วมกันได้อย่างน้อย 140GB เพื่อให้มีพื้นที่เพียงพอสำหรับโมเดล บริบท KV cache และโอเวอร์เฮดระหว่างรันไทม์

หากมีการ์ดอย่าง H200 ก็สามารถเก็บแทบทุกอย่างไว้บน GPU ได้ ส่วนนี้เลือกทางสายกลางแทน 

เริ่มจากตรวจสอบ GPU:

nvidia-smi

ควรเห็น GPU เวอร์ชันไดรเวอร์ เวอร์ชัน CUDA และ VRAM ที่มีอยู่

จากนั้นติดตั้งแพ็กเกจที่ต้องใช้:

sudo apt update

sudo apt install -y \
  git \
  cmake \
  build-essential \
  curl \
  libcurl4-openssl-dev \
  python3-pip

คอมไพล์ llama.cpp ให้รองรับ Qwen3.8-Flash-Next

Qwen3.8-Flash-Next ใช้สถาปัตยกรรมใหม่ qwen4_exp ซึ่งแตกต่างจากการโหลดโมเดล Qwen3.8 ตัวอื่น ๆ อย่างมาก

การรองรับยังใหม่มาก จึงใช้บรันช์ Qwen3.8-Flash-Next ที่ Unsloth ดูแล แทนการพึ่งพา llama.cpp รุ่นเก่าที่อาจไม่รู้จักสถาปัตยกรรมนี้ งานที่สอดคล้องใน llama.cpp ได้เพิ่มสถาปัตยกรรม qwen4exp, QSA, n-gram embeddings และคอมโพเนนต์เฉพาะโมเดลอื่น ๆ

ย้ายไปยัง workspace:

cd /workspace

โคลนบรันช์ของ Unsloth:

git clone \
  --branch qwen4exp/qwen3.8-flash-next \
  https://github.com/unslothai/llama.cpp.git

เข้าไดเรกทอรี:

cd llama.cpp

คอมไพล์ llama.cpp พร้อม CUDA:

cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_BUILD_TYPE=Release

cmake --build build \
  --config Release \
  -j"$(nproc)"

สุดท้าย ตรวจสอบว่าได้บิลด์ llama-server ถูกต้อง:

./build/bin/llama-server --version

บิลด์ของเราคืนค่า:

version: 0.3.0-dev (build 10656, commit 035e22731)
built with GNU 13.3.0 for Linux x86_64

ดาวน์โหลดโมเดล Qwen3.8-Flash-Next แบบ GGUF

การดาวน์โหลดโมเดลเป็นส่วนที่น่ารำคาญที่สุดส่วนหนึ่งของการตั้งค่านี้

เริ่มจากลองใช้ ModelScope แต่ความเร็วไม่ดีนัก พอไปที่ Hugging Face ช่วงแรกเร็วพอใช้ จากนั้นความเร็วตกลงไประดับ KB/s อย่างกะทันหัน

ปัจจุบัน Hugging Face ใช้แบ็กเอนด์ Xet สำหรับดาวน์โหลดโมเดลขนาดใหญ่ และโดยปกติจะเปิด adaptive concurrency อัตโนมัติ นอกจากนี้ยังมี HF_HUB_DISABLE_XET เพื่อปิด Xet เมื่อเกิดปัญหา

ในกรณีนี้ การปิด Xet และดาวน์โหลดชาร์ด GGUF ทั้งสี่พร้อมกันแบบขนาน ช่วยได้มาก

ติดตั้ง Hugging Face CLI:

pip install -U huggingface_hub

ปิด Xet สำหรับการดาวน์โหลดครั้งนี้:

export HF_HUB_DISABLE_XET=1
unset HF_XET_HIGH_PERFORMANCE
unset HF_XET_NUM_CONCURRENT_RANGE_GETS
unset HF_HUB_ENABLE_HF_TRANSFER

HF_HUB_ENABLE_HF_TRANSFER ตอนนี้ถูกเลิกใช้แล้ว เพราะ Hugging Face ย้ายทรานสเฟอร์ขนาดใหญ่ไปที่ Xet

สร้างไดเรกทอรีโมเดล:

cd /workspace
mkdir -p Qwen3.8-Flash-Next-GGUF

ตอนนี้ดาวน์โหลดชาร์ดทั้งสี่แบบขนาน:

for i in 1 2 3 4; do
  shard=$(printf "%05d" "$i")

  hf download unsloth/Qwen3.8-Flash-Next-GGUF \
    "UD-Q4_K_XL/Qwen3.8-Flash-Next-UD-Q4_K_XL-${shard}-of-00004.gguf" \
    --local-dir Qwen3.8-Flash-Next-GGUF &
done

wait

ควอนไทซ์ UD-Q4_K_XL แบบครบชุดมีขนาดประมาณ 111GB

รัน Qwen3.8-Flash-Next ด้วย llama.cpp

กลับไปที่ไดเรกทอรี llama.cpp:

cd /workspace/llama.cpp

สตาร์ทเซิร์ฟเวอร์:

./build/bin/llama-server \
  -m /workspace/Qwen3.8-Flash-Next-GGUF/UD-Q4_K_XL/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf \
  --alias qwen3.8-flash-next \
  --host 0.0.0.0 \
  --port 8080 \
  --ctx-size 131072 \
  --parallel 1 \
  --flash-attn on \
  --fit on \
  --fit-target 4096 \
  --jinja \
  --batch-size 1024 \
  --ubatch-size 512 \
  --temp 1.0 \
  --top-p 0.95 \
  --top-k 20 \
  --min-p 0.0

ตั้งใจใช้ context window ขนาด 131,072 โทเค็น แทนที่จะใช้ 262K แบบเต็ม

สำหรับเอเจนต์เขียนโค้ด ขนาด 131K ก็มหาศาลแล้ว และให้พื้นที่กับ OpenCode เพียงพอสำหรับไฟล์ซอร์ส เอาต์พุตจากเครื่องมือ ล็อกเทอร์มินัล และบทสนทนายาว ๆ โดยไม่ต้องเปลืองหน่วยความจำกับบริบทที่อาจไม่ได้ใช้

การตั้งค่าที่สำคัญมีดังนี้:

1. --fit on ให้ llama.cpp กำหนดเองว่าโมเดลควรเก็บไว้บน GPU มากน้อยแค่ไหน

2. --fit-target 4096 บอกให้เว้น หน่วยความจำ GPU ว่างประมาณ 4GB เพื่อให้รันไทม์มีพื้นที่หายใจ แทนการวิ่งชนขีดจำกัด VRAM โดยตรง llama.cpp รองรับทั้งการฟิตอัตโนมัติและการตั้งค่ามาร์จิ้นหน่วยความจำเป้าหมาย

3. การตั้งค่าการสุ่มตัวอย่างก็ไม่ใช่แบบสุ่ม Qwen แนะนำ temperature=1.0, top_p=0.95, top_k=20 และ min_p=0.0 เมื่อใช้โมเดลในโหมด thinking

แม้โหลดโมเดลเต็มแล้ว ก็ยังเหลือหน่วยความจำอีกมาก ประมาณ 13GB ของ VRAM สำหรับ context window, KV cache และแอปอื่น ๆ

ทดสอบเซิร์ฟเวอร์ Qwen3.8-Flash-Next ด้วย CURL

llama-server เปิด API ที่เข้ากันได้กับ OpenAI

ตรวจสอบโมเดลที่มีอยู่:

curl http://127.0.0.1:8080/v1/models

ควรเห็น qwen3.8-flash-next

ลองทดสอบการสร้างคำตอบ:

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-flash-next",
    "messages": [
      {
        "role": "user",
        "content": "Write a Python function that checks whether a number is prime."
      }
    ]
  }'

ถ้าได้รับการตอบกลับที่ถูกต้อง แสดงว่าเซิร์ฟเวอร์โลคัลพร้อมใช้งาน

บนการตั้งค่านี้ ช่วงแรกได้ความเร็วประมาณ 80 โทเค็นต่อวินาที ซึ่งน่าประหลาดใจ เพราะบางส่วนของโมเดลอยู่ใน RAM ของระบบ

เมื่อบริบทใหญ่ขึ้น ความเร็วลดลงมาแถว 64 โทเค็นต่อวินาที

ซึ่งยังใช้งานได้ดีมากสำหรับโมเดลขนาดนี้ และสถาปัตยกรรมช่วยอธิบายได้ แม้โมเดลมีพารามิเตอร์หลัก 125B แต่มีเพียง ~6B ที่แอคทีฟต่อโทเค็น

ทดสอบ Qwen3.8-Flash-Next ด้วย WebUI ของ llama.cpp

สิ่งที่ชอบอย่างหนึ่งของ llama.cpp คือ llama-server มี WebUI แบบง่ายมาให้แล้ว

เปิด http://localhost:8080 หากทุกอย่างทำงานถูก โมเดลควรพร้อมใช้งานแล้ว

สำหรับการทดสอบจริงครั้งแรก ให้มันสร้างเว็บไซต์ของแผนก IT ภาครัฐแบบครบถ้วนในครั้งเดียว:

Create a modern, professional government IT department portfolio website in a single index.html file.
Use HTML, CSS, and JavaScript featuring a clean official design and responsive layout with smooth animations, interactive elements, and accessible government-style navigation.
It should display department overview, key services, digital transformation projects, achievements, technology initiatives, statistics, leadership/team section, latest updates, contact information, 

งานนี้ค่อนข้างใหญ่ โมเดลใช้โทเค็นจำนวนมากในการคิด แล้วจึงสร้างเว็บไซต์ทั้งชุดในไฟล์ HTML เดียว ใช้เวลาประมาณ 13 นาที และความเร็วลดลงเรื่อย ๆ เมื่อบริบทใหญ่ขึ้น

แต่ผลลัพธ์ดีกว่าที่คาดไว้มาก

มีทั้งชาร์ต แอนิเมชัน แท็บ ส่วนต่าง ๆ ครบ ถอดแบบ responsive สคริปต์ JavaScript และเลย์เอาต์โดยรวมที่ดูเรียบร้อยเกินคาด

ที่น่าสนใจคือแทบจะเป็นการสร้างแบบ one-shot ไม่ได้สั่งให้เพิ่มรายละเอียดเล็ก ๆ น้อย ๆ มากมาย

นี่เป็นจุดแรกที่ทำให้รู้สึกว่าโมเดลนี้น่าจะเหมาะกับงานเขียนโค้ดที่เปิดช่องให้คิดเอง มากกว่าการกำหนดรายละเอียดการติดตั้งทุกจุด

เชื่อมต่อ Qwen3.8-Flash-Next เข้ากับ OpenCode

การแชตก็ดี แต่จุดประสงค์หลักคืออยากทดสอบ Qwen3.8-Flash-Next ในฐานะเอเจนต์เขียนโค้ด

สำหรับส่วนนี้ ใช้ OpenCode ติดตั้งก่อน:

curl -fsSL https://opencode.ai/install | bash

รีสตาร์ทเทอร์มินัลแล้วตรวจสอบการติดตั้ง:

opencode --version

เวอร์ชันที่ได้คือ 1.18.23

ตอนนี้สร้างคอนฟิกของ OpenCode:

mkdir -p ~/.config/opencode

เพิ่มผู้ให้บริการโลคัล llama.cpp ที่บิลด์ไว้ก่อนหน้า:

printf '%s\n' '{"$schema":"https://opencode.ai/config.json","model":"llama.cpp/qwen3.8-flash-next","provider":{"llama.cpp":{"npm":"@ai-sdk/openai-compatible","name":"Qwen3.8 Flash Next Local","options":{"baseURL":"http://127.0.0.1:8080/v1"},"models":{"qwen3.8-flash-next":{"name":"Qwen3.8 Flash Next","limit":{"context":65536,"output":32768}}}}}}' > ~/.config/opencode/opencode.json

ส่วนที่สำคัญที่สุดคือ http://127.0.0.1:8080/v1. 

OpenCode รองรับผู้ให้บริการที่เข้ากันได้กับ OpenAI แบบกำหนดเองผ่าน @ai-sdk/openai-compatible ทำให้เชื่อมต่อกับ llama.cpp ได้ง่ายมาก

ตั้งค่า OpenCode ให้ใช้บริบททำงาน 65K แม้เซิร์ฟเวอร์ llama.cpp จะมี 131K ให้ใช้

วิธีนี้เหลือพื้นที่สำหรับเอาต์พุตยาว ๆ และป้องกันไม่ให้เซสชันเอเจนต์ใช้บริบทบนเซิร์ฟเวอร์มากเกินไป

ใช้งาน Qwen3.8-Flash-Next เป็นเอเจนต์เขียนโค้ดแบบโลคัล

ไปยังไดเรกทอรีโปรเจกต์แล้วสตาร์ท OpenCode:

cd /workspace/my-project
opencode

ตอนนี้สามารถมอบหมายงานเชิงเอเจนต์สำหรับการเขียนโค้ดทั่วไปให้โมเดลได้ ตัวอย่างเช่น ให้ Qwen สร้างแดชบอร์ดแอนะลิติกส์:

Build a modern system analytics and task-management dashboard. 
It should monitor CPU, RAM, VRAM, GPU usage, temperatures, disk usage, running processes, and temporary files. 
Users should be able to safely terminate tasks, free unused RAM/VRAM, clear caches, and clean temporary files from one interface.

โมเดลเริ่มจากสร้างรายการงานและวางแผนแอปพลิเคชันก่อนลงมือเขียนทั้งหมด

ภายในไม่กี่นาที ก็ได้แดชบอร์ดตัวแรกที่ใช้งานได้จริง แต่ไม่ค่อยชอบ UI แรกนัก รู้สึกว่ากระจายไป และมีปัญหาการใช้งานหลายจุด

จึงบอกเอเจนต์ถึงสิ่งที่ไม่ชอบ และขอให้สร้างอินเทอร์เฟซใหม่ให้กระทัดรัดแบบศูนย์สั่งการระบบ

เวอร์ชันที่สองดีกว่ามาก

สุดท้ายได้แดชบอร์ดกระทัดรัดที่สามารถมอนิเตอร์ CPU, RAM, VRAM, การใช้งาน GPU, ที่เก็บข้อมูล กิจกรรมเครือข่าย และโปรเซสที่รันอยู่แบบเรียลไทม์ พร้อมปุ่มล้างแคช ลบไฟล์ชั่วคราว และจัดการโปรเซส

สิ่งที่น่าสนใจคือแนวทางการลงมือ ในการทดสอบกับสองแอปพลิเคชัน มักเลือกใช้ HTML, CSS, และ JavaScript แบบวานิลลาอย่างเรียบง่าย แทนที่จะติดตั้ง React แพ็กเกจ Node หรือเฟรมเวิร์กขนาดใหญ่ตั้งแต่แรก

พฤติกรรมนี้ถือว่าชอบ หากไม่ระบุเฟรมเวิร์ก ก็จะพยายามหาโครงสร้างที่ง่ายที่สุดเพื่อแก้ปัญหา แทนการเพิ่มดีเพนเดนซีที่ไม่จำเป็น

ข้อเสียคือใช้เวลา มีการให้เหตุผลจำนวนมาก โทเค็นถูกสร้างเยอะ และบางครั้งต้องดีบักไม่น้อย รู้สึกได้ชัดว่าโมเดลใช้โทเค็นเพื่อคิดผ่านปัญหา

แต่โปรเจกต์สุดท้ายโดยรวมสมบูรณ์กว่าสิ่งที่มักได้จากโมเดลโลคัลที่เล็กกว่า

สรุป

หลังทดสอบ Qwen3.8-Flash-Next สำหรับการสร้างเว็บไซต์และการเขียนโค้ดเชิงเอเจนต์ คิดว่าเป็นก้าวกระโดดจาก Qwen3.8-27B ความต่างใหญ่คือแนวทางต่อโปรเจกต์ ใส่ใจกับโครงสร้าง รายละเอียด และการลงมือปฏิบัติมากกว่าการผลิตโค้ดอย่างเดียว หากสนใจรันโมเดลนี้แบบโลคัล อ่าน บทเรียน Qwen3.8-27B ของเรา

อีกอย่างที่ชอบคือมักพึ่งพา HTML, CSS, JavaScript และ Python แบบเรียบง่าย แทนการเพิ่มเฟรมเวิร์กและดีเพนเดนซีที่ไม่จำเป็น

ข้อเสียหลักคือขนาด UD-Q4_K_XL GGUF ประมาณ 111GB และโมเดลอาจใช้โทเค็นเพื่อให้เหตุผลและเอาต์พุตจำนวนมาก โดยเฉพาะระหว่างดีบัก

นอกนั้น การตั้งค่าค่อนข้างตรงไปตรงมา หากมี RAM และ VRAM เพียงพอ Qwen3.8-Flash-Next เป็นหนึ่งในโมเดลเขียนโค้ดแบบโลคัลที่แข็งแกร่งที่สุดที่ได้ทดสอบจนถึงตอนนี้