10 อันดับโมเดล AI ด้านเสียงแบบโอเพนซอร์ซที่ดีที่สุดในปี 2026

โมเดลเสียงแบบโอเพนซอร์ซในปัจจุบันครอบคลุมการรู้จำเสียงพูด การแปลงข้อความเป็นเสียง บทสนทนาเสียงแบบเรียลไทม์ และการสร้างดนตรี โดยหลายโมเดลสามารถรันได้บนการ์ดจอสำหรับผู้ใช้ทั่วไปเพียงใบเดียว Qwen3-ASR ถอดความได้ 30 ภาษาและ 22 ภาษาถิ่นจีน Kokoro สร้างเสียงพูดได้ด้วยพารามิเตอร์เพียง 82 ล้าน และ ACE-Step เขียนเพลงเต็มรูปแบบได้โดยใช้หน่วยความจำวิดีโอ (VRAM) ต่ำกว่า 4 GB

สำหรับคู่มือนี้ ได้คัดเลือก 10 โมเดล AI ด้านเสียงแบบโอเพนซอร์ซและโอเพนน้ำหนักที่ดีที่สุด โดยพิจารณาจาก 3 ปัจจัยร่วมกัน: ที่เก็บโค้ดบน GitHub ที่มียอดดาวสูง โมเดลที่มีการดาวน์โหลดมากบน Hugging Face และโมเดลที่ทำผลงานเด่นจากการทดสอบของ Artificial Analysis ครอบคลุม 4 หมวด: การรู้จำเสียงพูด การแปลงข้อความเป็นเสียง บทสนทนาแบบเรียลไทม์ และการสร้างดนตรี

แต่ละโมเดลมีตัวอย่างเริ่มต้นใช้งานที่อ้างอิงจากเอกสารทางการ ตัวอย่างบางส่วนต้องการฮาร์ดแวร์ แพ็กเกจเสริมหรือการตั้งค่าเพิ่มเติม โปรดตรวจสอบข้อกำหนดของแต่ละโมเดลก่อนรัน

หมายเหตุสั้น ๆ: นี่คือรายชื่อแบบคัดสรร ไม่ใช่อันดับผลการทดสอบอย่างเข้มงวด คำว่า open-weight หมายถึงสามารถดาวน์โหลดน้ำหนักที่ฝึกแล้วได้ แต่สัญญาอนุญาตอาจยังจำกัดวิธีการใช้งาน จึงได้ระบุสัญญาอนุญาตไว้ในแต่ละส่วนและในตารางเปรียบเทียบท้ายบท ความตัวอย่างมาจากเอกสารทางการ แต่ไม่ได้ทดสอบโค้ดด้วยตนเอง จึงอาจต้องติดตั้งแพ็กเกจหรือปรับแต่งเพิ่มเติมในสภาพแวดล้อมของคุณ

สรุปย่อ

• การรู้จำเสียงพูด: Qwen3-ASR สำหรับความแม่นยำหลายภาษา Nemotron 3.5 ASR Streaming สำหรับการถอดเสียงสดที่หน่วงต่ำ และ Voxtral Small เมื่อต้องการสรุปและตอบคำถามเกี่ยวกับเสียงด้วย
• การแปลงข้อความเป็นเสียง: Kokoro 82M สำหรับใช้งานภายในเครื่องที่เบา Fish Audio Drama 3 สำหรับบทสนทนาแบบหลายผู้พูดที่มีอารมณ์ และ Breeze TTS 2 สำหรับออกแบบเสียง (ใช้เชิงพาณิชย์ไม่ได้)
• บทสนทนาแบบเรียลไทม์: NVIDIA PersonaPlex สำหรับเอเจนต์เสียงแบบเสียงอย่างเดียว และ MiniCPM-o 4.5 เมื่อต้องการรับวิดีโอเข้าด้วย
• การสร้างดนตรี: ACE-Step 1.5 สำหรับเพลงเต็มรูปแบบที่มีเสียงร้อง และ MusicGen Large สำหรับอินสตรูเมนทัล (ใช้เชิงพาณิชย์ไม่ได้)

โมเดลการรู้จำเสียงพูดแบบโอเพนซอร์ซที่ดีที่สุด

โมเดลการรู้จำเสียงพูด (ASR) แปลงเสียงพูดเป็นข้อความ เหมาะสำหรับถอดเสียงการประชุม ใส่คำบรรยาย พอดแคสต์ ผู้ช่วยเสียง และการวิเคราะห์เสียง สมัยนี้รองรับหลายภาษา ทำงานกับบทสนทนาสด และบางโมเดลสามารถให้เหตุผลเกี่ยวกับเนื้อหาที่กำลังพูดคุยได้

1. Voxtral Small

Voxtral Small 24B เป็นโมเดลทำความเข้าใจเสียงแบบโอเพนน้ำหนักจาก Mistral AI ภายใต้สัญญาอนุญาต Apache 2.0 รองรับ 8 ภาษา (อังกฤษ สเปน ฝรั่งเศส โปรตุเกส ฮินดี เยอรมัน ดัตช์ และอิตาลี) สามารถถอดเสียงบันทึก สรุปบทสนทนา ตอบคำถามเกี่ยวกับเสียง และทำตามคำสั่งที่พูดได้

ที่มา: Voxtral Small 24B

จุดเด่นคือโมเดลเดียวทำได้ทั้งถอดเสียงและให้เหตุผลด้านภาษา จึงไม่ต้องทำสายงานแยกสำหรับถอดเสียงและสรุป เหมาะกับการวิเคราะห์การประชุม สัมภาษณ์ และผู้ช่วยเสียง ข้อจำกัดคือขนาด: โมเดล 24 พันล้านพารามิเตอร์ต้องใช้หน่วยความจำ GPU ราว 55 GB ในโหมด BF16 หรือ FP16 จึงต้องใช้ฮาร์ดแวร์ที่มีหน่วยความจำสูงหรือหลายการ์ด

หากต้องการแค่ถอดเสียง Voxtral Mini 4B Realtime รุ่นใหม่ของ Mistral นั้นเบากว่ามาก Mistral เปิดตัวในกุมภาพันธ์ 2026 ภายใต้ Apache 2.0 และตั้งค่าความหน่วงในการสตรีมได้ต่ำกว่า 200 มิลลิวินาที

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้ง vLLM และแพ็กเกจ Python ที่จำเป็น

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubขับเคลื่อนโดย

เริ่มเซิร์ฟเวอร์ vLLM การตั้งค่านี้ใช้ GPU สองใบ

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceขับเคลื่อนโดย

เปิดเทอร์มินัลอีกหน้าหนึ่ง แล้วรันตัวอย่าง Python เพื่อถอดเสียงตัวอย่างไฟล์เสียง

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)ขับเคลื่อนโดย

สคริปต์จะดาวน์โหลดตัวอย่างบันทึกเสียง ส่งไปยังเซิร์ฟเวอร์ Voxtral ภายในเครื่อง แล้วพิมพ์ผลการถอดเสียง

2. Qwen3-ASR

Qwen3-ASR เป็นตระกูลโมเดลรู้จำเสียงแบบโอเพนซอร์ซจากทีม Qwen ของ Alibaba มีเวอร์ชัน 0.6B และ 1.7B พารามิเตอร์ ภายใต้ Apache 2.0 รองรับ 30 ภาษาและ 22 ภาษาถิ่นจีน ตรวจจับภาษาที่พูดอัตโนมัติ และถอดเสียงที่มีดนตรีพื้นหลังได้ รวมถึงการร้องเพลง เหมาะกับการถอดเสียงหลายภาษา คำบรรยาย พอดแคสต์ และสัมภาษณ์

ที่มา: Qwen3-ASR

Qwen3-ASR ให้สมดุลระหว่างความแม่นยำ ความเร็ว และความยืดหยุ่น โมเดล 1.7B ทำค่าเฉลี่ย word error rate (WER) ได้ 5.76 บน Open ASR Leaderboard ของ Hugging Face เทียบกับ 6.62 สำหรับ Voxtral Small (ยิ่งต่ำยิ่งดี) รุ่น 0.6B แลกความแม่นยำบางส่วนกับประสิทธิภาพ

ทั้งสองขนาดรองรับการอนุมานแบบออฟไลน์และสตรีมมิง อย่างไรก็ดี โหมดสตรีมมิงขณะนี้ต้องใช้แบ็กเอนด์ vLLM (pip install -U qwen-asr[vllm]) โมเดลเสริม Qwen3-ForcedAligner-0.6B สร้างไทม์สแตมป์ระดับคำสำหรับคำบรรยายใน 11 ภาษา

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้งแพ็กเกจ Python ทางการ

pip install -U qwen-asrขับเคลื่อนโดย

โหลดโมเดล 1.7B และถอดเสียงไฟล์ตัวอย่างทางการ

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)ขับเคลื่อนโดย

โมเดลจะดาวน์โหลดอัตโนมัติเมื่อใช้งานครั้งแรก ตรวจจับภาษาที่พูด และพิมพ์ผลถอดเสียง

สามารถแทนที่ URL ตัวอย่างด้วยไฟล์เสียงของตนเองได้ ตัวอย่างนี้ใช้ GPU ของ NVIDIA

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B เป็นโมเดลรู้จำเสียงที่ออกแบบเพื่อถอดเสียงแบบเรียลไทม์อย่างเบา ๆ มี 600 ล้านพารามิเตอร์ และรองรับ 40 โลเคลภาษา รวมถึงอังกฤษ อาหรับ ฮินดี สเปน และญี่ปุ่น ในจำนวนนี้ 32 โลเคลใช้งานได้ทันที และอีก 8 ต้องปรับจูนก่อน

ที่มา: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

ความเร็วได้มาจากสถาปัตยกรรมสตรีมมิงแบบรับรู้แคช แทนที่จะประมวลผลทั้งบันทึกซ้ำ จะประมวลผลเฉพาะชิ้นส่วนเสียงใหม่พร้อมใช้บริบทจากเอนโค้ดเดอร์ที่แคชไว้ โดยชิ้นส่วนมีขนาดเล็กสุด 80 มิลลิวินาที บน H100 เพียงใบเดียว NVIDIA รายงานจำนวนสตรีมพร้อมกันได้มากขึ้นประมาณ 17 เท่าเมื่อเทียบกับโมเดล Parakeet RNNT 1.1B แบบบัฟเฟอร์ที่ตั้งค่า 80 มิลลิวินาที (240 ต่อ 14)

จึงเหมาะมากสำหรับคำบรรยายสด การประชุม และผู้ช่วยเสียงที่ต้องหน่วงต่ำ น้ำหนักใช้สัญญาอนุญาต OpenMDW-1.1 ซึ่งในบัตรโมเดลของ NVIDIA ระบุว่าสามารถใช้เชิงพาณิชย์ได้ และโมเดลรันภายในเครื่องผ่านรันไทม์ NeMo-Speech.cpp ของ NVIDIA

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้ง NeMo-Speech.cpp บน Linux หรือ macOS

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shขับเคลื่อนโดย

ถอดเสียงไฟล์ WAV โดย CLI จะดาวน์โหลดโมเดล Nemotron 3.5 เริ่มต้นเมื่อใช้งานครั้งแรก

nemo-speech transcribe audio.wavขับเคลื่อนโดย

ทดสอบการถอดเสียงแบบสตรีมมิง ซึ่งจะป้อนไฟล์ผ่านตัวรู้จำแบบสตรีมเป็นชิ้น 160 มิลลิวินาที ให้รัน:

nemo-speech transcribe audio.wav --streamขับเคลื่อนโดย

สำหรับการถอดเสียงจากไมโครโฟนแบบเรียลไทม์บนบิลด์ที่รองรับ:

nemo-speech transcribe --liveขับเคลื่อนโดย

แทนที่ audio.wav ด้วยบันทึกของคุณเอง รันไทม์รองรับทั้ง CPU และ GPU ที่เข้ากันได้ จึงไม่จำเป็นต้องมี GPU ขนาดใหญ่เพื่อเริ่มต้น

โมเดลแปลงข้อความเป็นเสียงแบบโอเพนซอร์ซที่ดีที่สุด

โมเดลแปลงข้อความเป็นเสียง (TTS) แปลงข้อความเป็นเสียงที่ฟังดูเป็นธรรมชาติ รุ่นใหม่สามารถโคลนเสียง แสดงอารมณ์ สร้างบทสนทนาแบบหลายผู้พูด และพูดได้หลายภาษา ต่อไปนี้คือ 3 โมเดลโอเพนน้ำหนักที่น่าสนใจ

4. Fish Audio Drama 3

Fish Audio Drama 3 เป็นโมเดล TTS ที่แสดงอารมณ์ได้ดี ออกแบบมาสำหรับฉากหลายตัวละครและคอนเทนต์แบบยาว ใช้สถาปัตยกรรม mixture-of-experts ขนาด 35 พันล้านพารามิเตอร์ แต่เปิดใช้งานราว 3 พันล้านต่อโทเคน รองรับการโคลนเสียง ควบคุมเสียงด้วยภาษาธรรมชาติ และบทสนทนาสูงสุด 16 ผู้พูด เหมาะกับหนังสือเสียงและงานเน้นตัวละคร

ที่มา: รายงานทางเทคนิค Fish Audio Drama 3

สิ่งที่โดดเด่นคือช่วงอารมณ์ที่หลากหลาย สามารถใส่แท็กอินไลน์อย่าง [sighs] และ [laughs] ในข้อความ ระบุผู้พูดได้สูงสุด 16 แท็กในสคริปต์เดียว และสตรีมข้อความยาวเป็นชิ้น ๆ ได้ Fish Audio รายงานเวลาได้ยินเสียงแรกประมาณ 89 มิลลิวินาทีสำหรับสตรีมเดียวบน H200 และโมเดลรันผ่าน SGLang-Omni และ vLLM-Omni

ข้อจำกัดคือขนาดและสัญญาอนุญาต เช็คพอยต์ FP8 ต้องใช้ 37 GB เฉพาะน้ำหนัก และเวอร์ชัน GPTQ แบบ 4 บิต ลดเหลือ 20.8 GB น้ำหนักใช้สัญญาอนุญาต Fish Audio Community License โปรดอ่านเงื่อนไขก่อนใช้เชิงพาณิชย์

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้ง SGLang-Omni และส่วนพึ่งพาของ Fish Audio บน Linux ที่รองรับและมี GPU ของ NVIDIA

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"ขับเคลื่อนโดย

ดาวน์โหลดโมเดลและเริ่มเซิร์ฟเวอร์:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000ขับเคลื่อนโดย

เปิดเทอร์มินัลอีกหน้าหนึ่งและสร้างเสียงพูด:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavขับเคลื่อนโดย

โมเดลจะสร้างเสียงพูดและบันทึกเป็น output.wav สามารถเปลี่ยนข้อความอินพุต หรือศึกษาเรื่องโคลนเสียงและการสร้างหลายผู้พูดได้จาก คู่มือ Drama 3 ทางการ

5. Breeze TTS 2

Breeze TTS 2 เป็นโมเดล TTS ขนาด 3 พันล้านพารามิเตอร์สำหรับภาษาอังกฤษและจีน รองรับการโคลนเสียงจากบันทึกอ้างอิง ออกแบบเสียงจากคำบรรยายภาษาธรรมชาติ และคำสั่งภาษาธรรมชาติสำหรับโทน อารมณ์ และสไตล์การพูด

ที่มา: Breeze TTS 2

บัตรโมเดลของ BreezeBlue ระบุว่าอยู่ในอันดับแรกของโมเดลโอเพนน้ำหนักบนกระดานจัดอันดับ TTS ของ Artificial Analysis โดยมีเวลาได้ยินเสียงแรกต่ำกว่า 40 มิลลิวินาทีบน H100 ในโหมดทางลัด และรองรับเหตุการณ์เสียงอินไลน์อย่าง (laugh) (sigh) และ (cough)

เหมาะกับแอปโต้ตอบด้วยเสียง แต่ตัวน้ำหนักและผลลัพธ์เมื่อโฮสต์เองจำกัดไว้เพื่อการวิจัยและไม่ใช้เชิงพาณิชย์ โค้ดเท่านั้นที่อยู่ภายใต้ Apache 2.0

เริ่มต้นใช้งานอย่างรวดเร็ว: บน Linux ที่มี Python 3.10 ขึ้นไป และ GPU ของ NVIDIA ที่รองรับ CUDA โคลนที่เก็บทางการและติดตั้งแพ็กเกจ

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubขับเคลื่อนโดย

ดาวน์โหลดเช็คพอยต์โมเดล:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2ขับเคลื่อนโดย

สร้างเสียงพูดด้วยตัวอย่างออกแบบเสียงทางการ ซึ่งไม่ต้องใช้เสียงอ้างอิง

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavขับเคลื่อนโดย

โมเดลจะสร้างเสียงตามคำบรรยายเสียง และบันทึกเป็น outputs/voice_design_en.wav โหมดอนุมานเริ่มต้นต้องใช้หน่วยความจำ GPU ประมาณ 7.7 GiB (14.4 GiB เมื่อใช้ตัวเลือก --fast-all) และแนะนำให้มี GPU 12 GB เป็นอย่างน้อย ยังสามารถลองโคลนเสียงและสตรีมมิงได้จาก เอกสาร Breeze TTS 2 ทางการ

6. Kokoro 82M

Kokoro 82M เป็นโมเดล TTS แบบเบาด้วยพารามิเตอร์เพียง 82 ล้าน รุ่น v1.0 มีเสียง 54 แบบใน 8 ภาษา เป็นตัวเลือกที่เข้าถึงได้สำหรับนักพัฒนาที่อยากทดลองสร้างเสียงพูดโดยไม่ต้องใช้ GPU ระดับสูง

ที่มา: Kokoro 82M

ข้อได้เปรียบหลักของ Kokoro คือประสิทธิภาพ เหมาะกับการบรรยายออฟไลน์ เครื่องมือด้านการเข้าถึง และผู้ช่วยเสียง อีกทั้งน้ำหนักภายใต้ Apache 2.0 ทำให้ใช้ในโครงการเชิงพาณิชย์ได้

เริ่มต้นใช้งานอย่างรวดเร็ว: รัน Kokoro ได้โดยตรงใน Google Colab เริ่มจากติดตั้งแพ็กเกจที่ต้องใช้:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1ขับเคลื่อนโดย

สร้างเสียงพูดผ่านอินเทอร์เฟซ Python ทางการ:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)ขับเคลื่อนโดย

โมเดลจะสร้างเสียงด้วยเสียงอเมริกันอังกฤษ af_heart เล่นเสียงใน Colab และบันทึกเป็นไฟล์ WAV สามารถเปลี่ยนข้อความ เสียง หรือภาษาได้ตาม การ์ดโมเดล Kokoro ทางการ

โมเดล LLM เสียงแบบเรียลไทม์ที่ดีที่สุด

โมเดล LLM เสียงแบบเรียลไทม์รับฟังคำถามที่พูดและสร้างคำตอบเป็นเสียงธรรมชาติ แทนการเชื่อมระบบรู้จำเสียงพูดและแปลงข้อความเป็นเสียงแยกกัน โมเดลเหล่านี้จัดการบทสนทนาต่อเนื่อง การขัดจังหวะ และการฟังพร้อมพูดในโมเดลเดียว

7. MiniCPM-o 4.5

MiniCPM-o 4.5 เป็นโมเดลมัลติโหมดขนาด 9 พันล้านพารามิเตอร์จาก OpenBMB ที่เข้าใจภาพ วิดีโอ เสียง และข้อความ และตอบกลับด้วยเสียง รองรับบทสนทนาเสียงแบบเรียลไทม์ในภาษาอังกฤษและจีน โคลนเสียง และการโต้ตอบแบบฟูลดูเพล็กซ์ ฟูลดูเพล็กซ์หมายถึงโมเดลสามารถฟัง ดู และพูดพร้อมกันได้ โดยไม่ต้องรอให้แต่ละเทิร์นจบ

ที่มา: MiniCPM-o 4.5

จุดเด่นคือการผสานความเข้าใจภาพเข้ากับการโต้ตอบด้วยเสียง สามารถสร้างผู้ช่วยที่ตอบคำถามที่พูดเกี่ยวกับฟีดกล้องสด อธิบายสภาพแวดล้อม หรือโต้ตอบขณะประมวลผลวิดีโอ น้ำหนักอยู่ภายใต้ Apache 2.0 และมีเดโมเว็บพร้อมใช้ แม้ว่าสตรีมมิงแบบฟูลดูเพล็กซ์ยังเป็นแบบทดลองอยู่

เริ่มต้นใช้งานอย่างรวดเร็ว: เดโมเว็บทางการของ MiniCPM-o 4.5 รองรับบทสนทนาสดทั้งเสียงและวิดีโอ ต้องใช้ Linux, Docker Compose, NVIDIA Container Toolkit และ GPU NVIDIA ที่มี VRAM มากกว่า 28 GB

เริ่มจากโคลนที่เก็บเดโมทางการ:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demoขับเคลื่อนโดย

ดาวน์โหลดเช็คพอยต์โมเดล:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5ขับเคลื่อนโดย

สร้างใบรับรอง HTTPS ภายในเครื่อง:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"ขับเคลื่อนโดย

เริ่มเดโมเว็บด้วย Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0ขับเคลื่อนโดย

แทนที่ /path/to/MiniCPM-o-4_5 ด้วยพาธแบบสมบูรณ์ไปยังเช็คพอยต์ที่ดาวน์โหลด และแก้ไข docker-compose.yml ให้ตรงกับจำนวน GPU เปิดอินเทอร์เฟซเว็บผ่าน HTTPS ที่พอร์ต 8006 และอนุญาตการเข้าถึงไมโครโฟนและกล้อง

เลือก Audio Full-Duplex เพื่อสนทนาเสียงสด หรือ Omnimodal Full-Duplex เพื่อโต้ตอบด้วยวิดีโอและเสียง สามารถถามคำถาม ขัดจังหวะโมเดล และทดลองบทสนทนาแบบต่อเนื่องได้

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex เป็นโมเดลสปีชทูสปีชขนาด 7 พันล้านพารามิเตอร์สำหรับบทสนทนาแบบธรรมชาติและเรียลไทม์ พัฒนาบนสถาปัตยกรรม Moshi รองรับการสื่อสารแบบฟูลดูเพล็กซ์ จึงสามารถฟังและพูดพร้อมกันได้ จัดการการขัดจังหวะและเสียงซ้อนทับโดยไม่ต้องใช้ระบบถอดเสียงและสร้างเสียงแยกกัน

ที่มา: NVIDIA PersonaPlex

PersonaPlex ให้ควบคุมเสียงและบุคลิกของผู้ช่วยได้ นักพัฒนาจึงปรับบทบาทการสนทนาและสไตล์การพูดให้เหมาะกับผู้ช่วยงานบริการลูกค้า ครูเสมือน และเอเจนต์เสียงอื่น ๆ ได้ มุ่งเน้นบทสนทนาเสียงและไม่มีอินพุตภาพ ดังนั้นหากต้องการวิดีโอให้เลือก MiniCPM-o น้ำหนักเผยแพร่ภายใต้ NVIDIA Open Model License

เริ่มต้นใช้งานอย่างรวดเร็ว: โคลนที่เก็บทางการและติดตั้งแพ็กเกจบน Linux ที่รองรับและมี GPU ของ NVIDIA

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.ขับเคลื่อนโดย

ยอมรับสัญญาอนุญาตโมเดลบน Hugging Face และกำหนดโทเคนการเข้าถึง:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"ขับเคลื่อนโดย

เริ่มเซิร์ฟเวอร์ PersonaPlex ทางการ:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"ขับเคลื่อนโดย

หากหน่วยความจำ GPU จำกัด ให้เพิ่มแฟลก --cpu-offload ซึ่งต้องใช้แพ็กเกจ accelerate

เปิด https://localhost:8998 ในเบราว์เซอร์และอนุญาตสิทธิ์ไมโครโฟน จากนั้นสามารถคุยกับ PersonaPlex ได้โดยตรง ถามคำถาม ขัดจังหวะคำตอบ และทดลองบุคลิกเสียงหลายแบบ

โมเดลสร้างเสียงและดนตรีแบบโอเพนซอร์ซที่ดีที่สุด

โมเดลสร้างเสียงสร้างเพลง อินสตรูเมนทัล และทำนองจากพรอมป์ตข้อความ บางตัวสร้างเพลงเต็มพร้อมเสียงร้อง แก้ไขบันทึกเดิม หรือสร้างเพลงจากทำนองอ้างอิงได้

9. ACE-Step 1.5

ACE-Step 1.5 เป็นโมเดลสร้างดนตรีแบบโอเพนซอร์ซที่สร้างเพลงเต็มจากคำบรรยายข้อความ รองรับเสียงร้อง เนื้อร้องแบบกำหนดเอง หลายสไตล์ดนตรี และเพลงยาวได้ถึง 10 นาที ควบคุมจังหวะ คีย์ และความยาวได้ หรือใช้บันทึกเดิมเพื่อทำคัฟเวอร์และแก้ไขช่วงของเพลง

ที่มา: ACE-Step 1.5

ACE-Step โดดเด่นที่ความเข้าถึงได้เมื่อเทียบกับโมเดลสร้างดนตรีที่ใหญ่กว่า รองรับฮาร์ดแวร์ NVIDIA, AMD, Intel และ Apple Silicon และ รายงานทางเทคนิค ระบุว่าสามารถรันบน GPU ที่มี VRAM ต่ำกว่า 4 GB README ของโปรเจ็กต์อ้างว่าใช้เวลาต่ำกว่า 2 วินาทีต่อเพลงเต็มบน A100 และต่ำกว่า 10 วินาทีบน RTX 3090

มาพร้อมอินเทอร์เฟซเว็บ Gradio และ REST API รุ่น XL ที่ใช้ดิฟโฟรมเมอร์ DiT ขนาด 4B แลกหน่วยความจำกับคุณภาพเสียง ต้องใช้ VRAM อย่างน้อย 12 GB เมื่อออฟโหลด หรือ 20 GB หากไม่ออฟโหลด โปรเจ็กต์ใช้สัญญาอนุญาต MIT

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้งตัวจัดการแพ็กเกจ uv บน Linux หรือ macOS:

curl -LsSf https://astral.sh/uv/install.sh | shขับเคลื่อนโดย

โคลนที่เก็บทางการและติดตั้งแพ็กเกจ:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncขับเคลื่อนโดย

เปิดอินเทอร์เฟซสร้างดนตรี:

uv run acestepขับเคลื่อนโดย

เปิด http://localhost:7860 ในเบราว์เซอร์ แอปจะดาวน์โหลดไฟล์โมเดลที่ต้องใช้เมื่อเปิดครั้งแรก และเลือกการตั้งค่าให้เหมาะกับฮาร์ดแวร์ของคุณโดยอัตโนมัติ

เพื่อสร้างดนตรี ให้ป้อนคำบรรยายเพลงที่ต้องการ เช่น เพลงอิเล็กทรอนิกส์จังหวะสนุกที่มีกลองและซินธ์พลังงานสูง สามารถใส่เนื้อร้องเอง ปรับความยาว หรือเลือกอินสตรูเมนทัล แล้วกดปุ่มสร้างเพื่อให้ระบบสร้างเพลง ทดลองฟัง และดาวน์โหลดไฟล์เสียง

10. Meta MusicGen Large

MusicGen Large เป็นโมเดลข้อความสู่วงดนตรีขนาด 3.3 พันล้านพารามิเตอร์จาก Meta ในโครงการ AudioCraft สร้างดนตรีอินสตรูเมนทัลจากคำบรรยายที่ครอบคลุมแนวเพลง อารมณ์ เครื่องดนตรี และสไตล์ทางดนตรี เป็นเช็คพอยต์ข้อความสู่วงดนตรีที่ใหญ่ที่สุดในชุด MusicGen ดั้งเดิม

ที่มา: MusicGen Large

MusicGen Large สร้างเพลงแบ็กกราวด์ ซาวนด์แทร็ก และคลิปอินสตรูเมนทัลที่ละเอียดจากคำไม่กี่คำ และทำงานร่วมกับ Hugging Face Transformers และ AudioCraft เป็นโมเดลที่เก่าที่สุดในรายชื่อ Meta ฝึกโมเดลนี้ในเดือนเมษายน–พฤษภาคม 2023 บนเพลงที่มีสัญญาอนุญาต 20,000 ชั่วโมง และไม่สามารถสร้างเสียงร้องที่สมจริงได้

แนะนำให้ใช้ GPU น้ำหนักพรีเทรนอยู่ภายใต้สัญญาอนุญาต CC BY-NC 4.0 ซึ่งจำกัดการใช้เชิงพาณิชย์ ขณะที่โค้ดเป็น MIT

เริ่มต้นใช้งานอย่างรวดเร็ว: ติดตั้ง Transformers และ SciPy

pip install --upgrade transformers scipyขับเคลื่อนโดย

ใช้ตัวอย่างทางการของ Hugging Face เพื่อสร้างดนตรีจากพรอมป์ตข้อความ:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)ขับเคลื่อนโดย

โมเดลจะดาวน์โหลดอัตโนมัติเมื่อใช้งานครั้งแรก สร้างอินสตรูเมนทัลตามพรอมป์ต และบันทึกเป็น musicgen_out.wav สามารถเปลี่ยนข้อความเพื่อทดลองแนวดนตรี เครื่องดนตรี และอารมณ์ที่ต่างกันได้

ควรเลือกโมเดล AI ด้านเสียงแบบโอเพนซอร์ซตัวไหนดี?

คำตอบขึ้นอยู่กับว่าจะถอดเสียง สร้างเสียงพูดที่สมจริง สร้างผู้ช่วยแบบเรียลไทม์ หรือสร้างดนตรี ตารางนี้เปรียบเทียบความสามารถ ขนาดโมเดล และสัญญาอนุญาตตามกรณีใช้งาน

ข้อคิดส่งท้าย

โมเดลเสียงแบบโอเพนซอร์ซพัฒนาอย่างรวดเร็วในด้านการรู้จำเสียงพูด การแปลงข้อความเป็นเสียง บทสนทนาแบบเรียลไทม์ และการสร้างดนตรี ทั้งแม่นยำขึ้น เร็วขึ้น และติดตั้งใช้งานง่ายขึ้น นักพัฒนาจึงสร้างแอปเสียงได้โดยไม่ต้องพึ่งบริการเชิงพาณิชย์ที่มีค่าใช้จ่ายสูงทั้งหมด

โดยส่วนตัว ใช้ Voxtral ผ่าน Spokenly สำหรับงานถอดเสียงแทบทั้งหมด และชื่นชอบมาก ความแม่นยำโดดเด่น แม้โมเดลโอเพนน้ำหนักจะใหญ่มาก แต่เรียกใช้ผ่าน API แบบโฮสต์ของ Mistral ซึ่งสำหรับการใช้งานของผู้เขียนนั้นฟรี เป็นตัวอย่างที่ดีว่าโมเดลเหล่านี้เริ่มใช้งานได้จริงในงานประจำวัน

สิ่งที่น่าตื่นเต้นยิ่งกว่าคือความก้าวหน้าใน AI เชิงสนทนา เราทราบกันดีอยู่แล้วว่าบทสนทนาเสียงกับ ChatGPT นั้นเป็นธรรมชาติแค่ไหน และโมเดลโอเพนซอร์ซอย่าง NVIDIA PersonaPlex และ MiniCPM-o 4.5 ก็นำความสามารถคล้ายกันมาให้นักพัฒนาที่อยากสร้างผู้ช่วยของตนเอง ขณะเดียวกัน ACE-Step ทำให้สร้างเพลงเต็มรูปแบบได้ และตัวเลือกเบาอย่าง Kokoro ก็ทำให้การสร้างเสียงเข้าถึงได้มากขึ้น

ไม่มีโมเดลเดียวที่ดีที่สุดสำหรับทุกอย่าง และนั่นทำให้สนามนี้น่าสนใจ ไม่ว่าจะต้องการถอดเสียงแม่นยำ เสียงพูดสมจริง บทสนทนาธรรมชาติ หรือดนตรีที่สร้างขึ้น ก็มีโมเดลโอเพนซอร์ซที่น่าลองอยู่แล้ว