10 Mô hình AI âm thanh mã nguồn mở hàng đầu năm 2026
Khám phá 10 mô hình AI âm thanh mã nguồn mở tốt nhất cho chép lời, tạo giọng nói, hội thoại thời gian thực và sáng tạo âm nhạc, kèm hướng dẫn khởi động nhanh dễ làm theo từ tài liệu chính thức.
Các mô hình âm thanh mã nguồn mở giờ đây bao phủ cả nhận dạng giọng nói, chuyển văn bản thành giọng nói, hội thoại thời gian thực và tạo nhạc, và một số có thể chạy trên một GPU phổ thông. Qwen3-ASR chép lời 30 ngôn ngữ và 22 phương ngữ tiếng Trung, Kokoro tạo giọng nói chỉ với 82 triệu tham số, và ACE-Step viết trọn vẹn bài hát với dưới 4 GB bộ nhớ đồ họa (VRAM).
Trong hướng dẫn này, tôi chọn 10 mô hình AI âm thanh mã nguồn mở và mở trọng số tốt nhất dựa trên 3 yếu tố: kho GitHub có số sao cao, mô hình được tải xuống nhiều trên Hugging Face, và mô hình dẫn đầu trên bảng xếp hạng của Artificial Analysis. Tôi bao quát 4 nhóm: nhận dạng giọng nói, chuyển văn bản thành giọng nói, hội thoại thời gian thực và tạo nhạc.
Mỗi mô hình đều có ví dụ khởi động nhanh dựa trên tài liệu chính thức. Một số ví dụ cần phần cứng, phụ thuộc hoặc cấu hình bổ sung cụ thể, vì vậy hãy kiểm tra yêu cầu của từng mô hình trước khi chạy.
Lưu ý nhanh: Đây là danh sách tuyển chọn, không phải bảng xếp hạng theo chuẩn đo lường nghiêm ngặt. Mở trọng số nghĩa là có thể tải trọng số đã huấn luyện, nhưng giấy phép vẫn có thể hạn chế cách bạn sử dụng, nên tôi ghi chú giấy phép trong từng phần và trong bảng so sánh ở cuối. Các ví dụ xuất phát từ tài liệu chính thức, nhưng tôi chưa tự tay kiểm thử mã, vì vậy thiết lập của bạn có thể cần thêm phụ thuộc hoặc cấu hình.
Tóm lược
Nhận dạng giọng nói: Qwen3-ASR cho độ chính xác đa ngôn ngữ, Nemotron 3.5 ASR Streaming cho chép lời trực tiếp độ trễ thấp, và Voxtral Small khi bạn cũng muốn tóm tắt và trả lời về nội dung âm thanh.
Văn bản thành giọng nói: Kokoro 82M cho chạy nhẹ tại chỗ, Fish Audio Drama 3 cho đối thoại đa người nói giàu biểu cảm, và Breeze TTS 2 cho thiết kế giọng (chỉ phi thương mại).
Hội thoại thời gian thực: NVIDIA PersonaPlex cho tác tử giọng nói chỉ âm thanh, và MiniCPM-o 4.5 khi bạn cũng cần đầu vào video.
Tạo nhạc: ACE-Step 1.5 cho bài hát hoàn chỉnh có giọng hát, và MusicGen Large cho nhạc không lời (chỉ phi thương mại).
Những mô hình nhận dạng giọng nói mã nguồn mở tốt nhất
Các mô hình nhận dạng giọng nói, còn gọi là mô hình ASR (automatic speech recognition), chuyển âm thanh lời nói thành văn bản. Chúng hữu ích cho chép lời cuộc họp, phụ đề, podcast, trợ lý giọng nói và phân tích âm thanh. Các mô hình hiện đại còn nhận dạng nhiều ngôn ngữ, xử lý hội thoại trực tiếp, và một số có thể suy luận về nội dung đang bàn luận.
1. Voxtral Small
Voxtral Small 24B là mô hình hiểu ngôn ngữ lời nói mở trọng số từ Mistral AI, phát hành theo giấy phép Apache 2.0. Nó hỗ trợ 8 ngôn ngữ (Anh, Tây Ban Nha, Pháp, Bồ Đào Nha, Hindi, Đức, Hà Lan và Ý) và có thể chép ghi âm, tóm tắt hội thoại, trả lời câu hỏi về âm thanh, và làm theo chỉ dẫn nói.
Lợi thế lớn nhất là một mô hình xử lý cả nhận dạng giọng nói lẫn suy luận ngôn ngữ, nên bạn không cần pipeline tách biệt cho chép lời và tóm tắt. Điều này phù hợp phân tích cuộc họp, phỏng vấn và trợ lý giọng nói. Điểm cần cân nhắc là kích thước: mô hình 24 tỷ tham số cần khoảng 55 GB bộ nhớ GPU ở BF16 hoặc FP16, tức cần phần cứng đa GPU hoặc GPU bộ nhớ lớn.
Nếu bạn chỉ cần chép lời, Voxtral Mini 4B Realtime mới hơn của Mistral nhẹ hơn nhiều. Mistral phát hành tháng 2/2026 theo Apache 2.0, với độ trễ streaming có thể cấu hình xuống dưới 200 ms.
Khởi động nhanh: Cài vLLM và các gói Python cần thiết.
pip install-U"vllm[audio]""mistral-common[audio]" openai huggingface_hubĐược hỗ trợ bởi
Khởi động máy chủ vLLM. Cấu hình này dùng hai GPU.
Mở terminal khác và chạy ví dụ Python để chép một bản ghi âm mẫu.
from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",)
model = client.models.list().data[0].id
audio_file = hf_hub_download("patrickvonplaten/audio_samples","obama.mp3",
repo_type="dataset",)
audio = RawAudio.from_audio(
Audio.from_file(audio_file, strict=False))
req = TranscriptionRequest(
model=model,
audio=audio,
language="en",
temperature=0.0,).to_openai(exclude=("top_p","seed"))
response = client.audio.transcriptions.create(**req)print(response.text)Được hỗ trợ bởi
Tập lệnh tải bản ghi mẫu, gửi tới máy chủ Voxtral cục bộ của bạn và in bản chép lời.
2. Qwen3-ASR
Qwen3-ASR là họ mô hình nhận dạng giọng nói mã nguồn mở từ đội Qwen của Alibaba, có phiên bản 0.6B và 1.7B tham số theo giấy phép Apache 2.0. Nó hỗ trợ 30 ngôn ngữ và 22 phương ngữ tiếng Trung, tự động nhận diện ngôn ngữ nói, và có thể chép lời trên nền nhạc, bao gồm cả hát. Nó hoạt động tốt cho chép lời đa ngôn ngữ, phụ đề, podcast và phỏng vấn.
Qwen3-ASR cân bằng độ chính xác, tốc độ và linh hoạt. Mô hình 1.7B đạt WER trung bình 5,76 trên Open ASR Leaderboard của Hugging Face, so với 6,62 của Voxtral Small (càng thấp càng tốt). Phiên bản 0.6B hy sinh một phần độ chính xác để tăng hiệu quả.
Cả hai kích cỡ đều hỗ trợ suy luận ngoại tuyến và phát trực tuyến, dù hiện tại streaming cần backend vLLM (pip install -U qwen-asr[vllm]). Mô hình tùy chọn Qwen3-ForcedAligner-0.6B tạo dấu thời gian theo từ cho phụ đề ở 11 ngôn ngữ được hỗ trợ.
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained("Qwen/Qwen3-ASR-1.7B",
dtype=torch.bfloat16,
device_map="cuda:0",)
results = model.transcribe(
audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
language=None,)print(results[0].language)print(results[0].text)Được hỗ trợ bởi
Mô hình sẽ tự tải về lần đầu sử dụng. Nó phát hiện ngôn ngữ nói và in bản chép lời.
Bạn có thể thay URL mẫu bằng tệp âm thanh của mình. Ví dụ này dùng GPU NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B là mô hình nhận dạng giọng nói gọn nhẹ xây dựng cho chép lời theo thời gian thực. Nó có 600 triệu tham số và hỗ trợ 40 locale ngôn ngữ, gồm tiếng Anh, Ả Rập, Hindi, Tây Ban Nha và Nhật. Trong số đó, 32 ngôn ngữ dùng được ngay và 8 cần tinh chỉnh trước.
Tốc độ đến từ kiến trúc streaming tối ưu bộ nhớ đệm. Thay vì xử lý lại toàn bộ ghi âm, nó xử lý các đoạn âm thanh mới trong khi tái sử dụng ngữ cảnh bộ mã hóa đã lưu, với kích thước khối nhỏ tới 80 mili giây. Trên một H100, NVIDIA báo cáo khoảng 17 lần số luồng đồng thời so với mô hình Parakeet RNNT 1.1B dạng bộ đệm ở thiết lập 80 ms (240 so với 14).
Điều đó khiến nó là lựa chọn mạnh cho phụ đề trực tiếp, cuộc họp và trợ lý giọng nói độ trễ thấp. Trọng số dùng giấy phép OpenMDW-1.1, theo thẻ mô hình của NVIDIA là sẵn sàng cho thương mại, và mô hình chạy cục bộ qua runtime NeMo-Speech.cpp.
Khởi động nhanh: Cài NeMo-Speech.cpp trên Linux hoặc macOS.
curl-fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh |shĐược hỗ trợ bởi
Chép lời một tệp WAV. CLI sẽ tải mô hình Nemotron 3.5 mặc định lần đầu dùng.
Thay audio.wav bằng bản ghi của bạn. Runtime hỗ trợ backend CPU và GPU tương thích, nên bạn không cần GPU lớn để bắt đầu.
Những mô hình chuyển văn bản thành giọng nói mã nguồn mở tốt nhất
Mô hình text-to-speech (TTS) biến văn bản thành âm thanh tự nhiên. Các mô hình hiện đại có thể nhân bản giọng nói, thể hiện cảm xúc, tạo đối thoại đa người nói và nói nhiều ngôn ngữ. Dưới đây là 3 mô hình mở trọng số đáng khám phá.
4. Fish Audio Drama 3
Fish Audio Drama 3 là mô hình TTS giàu biểu cảm xây dựng cho các cảnh đa nhân vật và nội dung dài. Nó dùng kiến trúc mixture-of-experts với 35 tỷ tham số, nhưng chỉ kích hoạt khoảng 3 tỷ mỗi token. Nó hỗ trợ nhân bản giọng, điều khiển giọng bằng ngôn ngữ tự nhiên, và đối thoại tối đa 16 người nói, phù hợp sách nói và nội dung hướng nhân vật.
Điểm nổi bật là dải cảm xúc. Bạn có thể chèn thẻ nội tuyến như [sighs] và [laughs] trực tiếp trong văn bản, gán tối đa 16 thẻ người nói trong một kịch bản, và stream các đoạn dài theo từng khối. Fish Audio báo thời gian ra âm đầu tiên khoảng 89 ms cho một luồng trên GPU H200, và mô hình chạy qua SGLang-Omni và vLLM-Omni.
Điểm trừ là kích thước và giấy phép. Checkpoint FP8 cần 37 GB chỉ cho trọng số, và bản GPTQ 4-bit giảm còn 20,8 GB. Trọng số dùng Fish Audio Community License, nên hãy đọc điều khoản trước khi dùng thương mại.
Khởi động nhanh: Cài SGLang-Omni và các phụ thuộc Fish Audio trên hệ Linux được hỗ trợ với GPU NVIDIA.
pip install-U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install--prerelease=allow -v-e".[fishaudio]"Được hỗ trợ bởi
curl-X POST http://localhost:8000/v1/audio/speech \-H"Content-Type: application/json"\-d'{
"input": "Hello, how are you?"
}'\--output output.wavĐược hỗ trợ bởi
Mô hình tạo giọng nói và lưu thành output.wav. Bạn có thể thay văn bản đầu vào hoặc khám phá nhân bản giọng và tạo đa người nói theo cookbook Drama 3 chính thức.
5. Breeze TTS 2
Breeze TTS 2 là mô hình TTS 3 tỷ tham số cho tiếng Anh và Trung. Nó hỗ trợ nhân bản giọng từ bản ghi tham chiếu, thiết kế giọng từ mô tả ngôn ngữ tự nhiên, và chỉ dẫn bằng ngôn ngữ tự nhiên cho tông, cảm xúc và cách diễn đạt.
Thẻ mô hình của BreezeBlue cho biết nó đứng đầu trong số các mô hình mở trọng số trên bảng xếp hạng TTS của Artificial Analysis, với thời gian ra âm đầu tiên dưới 40 ms trên H100 khi dùng đường nhanh. Nó cũng hỗ trợ các sự kiện giọng nói nội tuyến như (laugh), (sigh) và (cough).
Điều này khiến nó phù hợp các ứng dụng giọng nói tương tác, nhưng trọng số tự lưu trữ và đầu ra bị giới hạn cho nghiên cứu và phi thương mại. Chỉ mã nguồn là Apache 2.0.
Khởi động nhanh: Trên Linux với Python 3.10 trở lên và GPU NVIDIA tương thích CUDA, clone kho chính thức và cài phụ thuộc.
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install-r requirements.txt
python -m pip install-U huggingface_hubĐược hỗ trợ bởi
Tải checkpoint mô hình:
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir ../breeze-tts-2Được hỗ trợ bởi
Tạo giọng nói bằng ví dụ thiết kế giọng chính thức. Không cần âm thanh tham chiếu.
python infer.py ../breeze-tts-2 \--text"(sigh) Welcome aboard. Your journey begins now."\--instruction"A warm, thoughtful young woman with a clear voice and a calm, reflective delivery."\
--cfg-scale 4\--output outputs/voice_design_en.wavĐược hỗ trợ bởi
Mô hình tạo giọng nói theo mô tả giọng và lưu thành outputs/voice_design_en.wav. Chế độ suy luận mặc định cần khoảng 7,7 GiB bộ nhớ GPU (14,4 GiB với tùy chọn --fast-all), và GPU 12 GB là khuyến nghị tối thiểu. Bạn cũng có thể thử nhân bản giọng và streaming qua tài liệu Breeze TTS 2 chính thức.
6. Kokoro 82M
Kokoro 82M là mô hình TTS gọn nhẹ chỉ với 82 triệu tham số. Bản v1.0 cung cấp 54 giọng trên 8 ngôn ngữ. Đây là một trong những lựa chọn dễ tiếp cận hơn cho nhà phát triển muốn thử nghiệm tạo giọng nói mà không cần GPU cao cấp.
Ưu điểm chính của Kokoro là hiệu suất. Nó phù hợp thuyết minh ngoại tuyến, công cụ hỗ trợ tiếp cận và trợ lý giọng nói, và trọng số Apache 2.0 cho phép bạn dùng trong dự án thương mại.
Khởi động nhanh: Bạn có thể chạy Kokoro trực tiếp trên Google Colab. Đầu tiên, cài các gói cần thiết:
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
pipeline = KPipeline(lang_code='a')
text ="Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline(text, voice='af_heart')for i,(gs, ps, audio)inenumerate(generator):
display(Audio(data=audio, rate=24000))
sf.write(f'{i}.wav', audio,24000)Được hỗ trợ bởi
Mô hình tạo giọng nói dùng giọng Anh-Mỹ af_heart, phát âm thanh trong Colab và lưu thành tệp WAV. Bạn có thể thay văn bản, giọng hoặc ngôn ngữ theo thẻ mô hình Kokoro chính thức.
Những LLM âm thanh thời gian thực mã nguồn mở tốt nhất
LLM âm thanh thời gian thực lắng nghe câu hỏi nói và tạo phản hồi bằng giọng tự nhiên. Thay vì xâu chuỗi hệ thống chép lời và TTS tách rời, chúng xử lý hội thoại liên tục, ngắt lời, và vừa nghe vừa nói trong một mô hình.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 là mô hình đa phương thức 9 tỷ tham số từ OpenBMB, hiểu hình ảnh, video, âm thanh và văn bản và phản hồi bằng giọng nói. Nó hỗ trợ hội thoại giọng nói thời gian thực bằng tiếng Anh và Trung, nhân bản giọng và tương tác song công đầy đủ. Song công đầy đủ nghĩa là mô hình có thể nghe, quan sát và nói cùng lúc thay vì chờ từng lượt kết thúc.
Điểm khác biệt là kết hợp hiểu thị giác và tương tác giọng nói. Bạn có thể xây trợ lý trả lời câu hỏi nói về luồng camera trực tiếp, mô tả môi trường xung quanh, hoặc phản hồi hội thoại khi đang xử lý video. Trọng số có giấy phép Apache 2.0, và nhà phát triển cung cấp bản demo web sẵn dùng, dù streaming song công vẫn đang thử nghiệm.
Khởi động nhanh: Bản demo web chính thức của MiniCPM-o 4.5 hỗ trợ hội thoại âm thanh và video trực tiếp. Bạn cần Linux, Docker Compose, NVIDIA Container Toolkit, và GPU NVIDIA có hơn 28 GB VRAM.
Trước tiên, clone kho demo chính thức:
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoĐược hỗ trợ bởi
Tải checkpoint mô hình:
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5Được hỗ trợ bởi
Tạo chứng chỉ HTTPS cục bộ:
mkdir-p certs data
openssl req -x509-newkey rsa:2048 -nodes-days365\-keyout certs/key.pem -out certs/cert.pem -subj"/CN=minicpm-o"Được hỗ trợ bởi
Khởi động bản demo web bằng Docker Compose:
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d--builddocker compose logs -f gateway
docker compose logs -f worker-backend-0Được hỗ trợ bởi
Thay /path/to/MiniCPM-o-4_5 bằng đường dẫn tuyệt đối tới checkpoint đã tải, và chỉnh docker-compose.yml cho khớp số lượng GPU. Mở giao diện web HTTPS trên cổng 8006 và cho phép truy cập micro và camera.
Chọn Audio Full-Duplex để trò chuyện giọng nói trực tiếp, hoặc Omnimodal Full-Duplex để tương tác bằng cả video và âm thanh. Bạn có thể đặt câu hỏi, ngắt lời mô hình và thử nghiệm hội thoại liên tục.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex là mô hình chuyển giọng nói thành giọng nói 7 tỷ tham số được thiết kế cho hội thoại tự nhiên theo thời gian thực. Xây dựng trên kiến trúc Moshi, nó hỗ trợ giao tiếp song công đầy đủ, nên có thể vừa nghe vừa nói đồng thời. Nó xử lý ngắt lời và chồng lấn lời nói mà không cần hệ thống chép lời và tạo giọng tách rời.
PersonaPlex cho phép bạn kiểm soát giọng và tính cách của trợ lý, nên nhà phát triển có thể tùy chỉnh vai trò hội thoại và phong cách nói cho trợ lý chăm sóc khách hàng, gia sư ảo và các tác tử giọng nói khác. Nó tập trung vào hội thoại âm thanh và không có đầu vào thị giác, nên hãy chọn MiniCPM-o nếu bạn cần video. Trọng số phát hành theo NVIDIA Open Model License.
Khởi động nhanh: Clone kho chính thức và cài phụ thuộc trên hệ Linux được hỗ trợ với GPU NVIDIA.
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudoaptinstall libopus-dev
pip install moshi/.Được hỗ trợ bởi
Chấp nhận giấy phép mô hình trên Hugging Face và cấu hình token truy cập:
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl"$SSL_DIR"Được hỗ trợ bởi
Nếu GPU của bạn hạn chế bộ nhớ, thêm cờ --cpu-offload, yêu cầu gói accelerate.
Mở https://localhost:8998 trong trình duyệt và cho phép truy cập micro. Giờ bạn có thể nói chuyện trực tiếp với PersonaPlex, đặt câu hỏi, ngắt lời phản hồi và thử các tính cách giọng khác nhau.
Những mô hình tạo âm thanh và âm nhạc mã nguồn mở tốt nhất
Các mô hình tạo âm thanh tạo nhạc gốc, nhạc cụ và giai điệu từ lời nhắc văn bản. Một số cũng có thể tạo bài hát hoàn chỉnh có giọng hát, chỉnh sửa bản ghi hiện có hoặc sản xuất nhạc dựa trên giai điệu tham chiếu.
9. ACE-Step 1.5
ACE-Step 1.5 là mô hình tạo nhạc mã nguồn mở tạo trọn vẹn bài hát từ mô tả văn bản. Nó hỗ trợ giọng hát, lời bài hát tùy chỉnh, đa phong cách âm nhạc, và bài hát dài tới 10 phút. Bạn cũng có thể kiểm soát tempo, giọng (key) và độ dài, hoặc dùng bản ghi hiện có để làm cover và chỉnh sửa từng đoạn.
ACE-Step nổi bật ở tính dễ tiếp cận so với các mô hình tạo nhạc lớn hơn. Nó chạy trên phần cứng NVIDIA, AMD, Intel và Apple Silicon, và báo cáo kỹ thuật cho biết có thể chạy trên GPU dưới 4 GB VRAM. README dự án tuyên bố dưới 2 giây cho cả bài hát trên A100 và dưới 10 giây trên RTX 3090.
Nó bao gồm giao diện web Gradio và REST API. Biến thể XL, dùng bộ giải mã DiT 4B tham số, đổi lấy bộ nhớ để có chất lượng âm thanh tốt hơn và cần ít nhất 12 GB VRAM khi offload hoặc 20 GB nếu không. Dự án dùng giấy phép MIT.
Khởi động nhanh: Cài trình quản lý gói uv trên Linux hoặc macOS:
curl-LsSf https://astral.sh/uv/install.sh |shĐược hỗ trợ bởi
Clone kho chính thức và cài phụ thuộc:
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv syncĐược hỗ trợ bởi
Mở http://localhost:7860 trong trình duyệt. Ứng dụng sẽ tải các tệp mô hình cần thiết ở lần chạy đầu và tự động chọn cấu hình phù hợp phần cứng của bạn.
Để tạo nhạc, nhập mô tả về bài hát bạn muốn, chẳng hạn bản electronic sôi động với trống và synth năng lượng. Bạn cũng có thể cung cấp lời bài hát tùy chỉnh, điều chỉnh thời lượng hoặc chọn bản nhạc không lời. Nhấp nút tạo để tạo nhạc, nghe kết quả và tải tệp âm thanh.
10. Meta MusicGen Large
MusicGen Large là mô hình văn bản thành nhạc 3,3 tỷ tham số do Meta phát triển trong dự án AudioCraft. Nó tạo nhạc không lời từ mô tả văn bản bao gồm thể loại, tâm trạng, nhạc cụ và phong cách. Đây là checkpoint văn bản-thành-nhạc lớn nhất trong bản phát hành MusicGen gốc.
MusicGen Large tạo nhạc nền chi tiết, nhạc phim và đoạn nhạc cụ chỉ từ vài từ, và hoạt động với Hugging Face Transformers và AudioCraft. Đây cũng là mô hình lâu năm nhất trong danh sách. Meta huấn luyện vào tháng 4 và 5/2023 trên 20.000 giờ nhạc có bản quyền, và nó không thể tạo giọng hát chân thực.
Khuyến nghị dùng GPU. Trọng số pretrained dùng giấy phép CC BY-NC 4.0, hạn chế mục đích thương mại, trong khi mã nguồn là MIT.
Dùng ví dụ chính thức của Hugging Face để tạo nhạc từ lời nhắc văn bản:
from transformers import pipeline
import scipy
synthesiser = pipeline("text-to-audio","facebook/musicgen-large")
music = synthesiser("lo-fi music with a soothing melody",
forward_params={"do_sample":True})
scipy.io.wavfile.write("musicgen_out.wav",
rate=music["sampling_rate"],
data=music["audio"])Được hỗ trợ bởi
Mô hình tự tải về lần đầu dùng, tạo một bản nhạc không lời dựa trên lời nhắc, và lưu thành musicgen_out.wav. Bạn có thể thay văn bản để thử các thể loại, nhạc cụ và tâm trạng khác nhau.
Nên chọn mô hình AI âm thanh mã nguồn mở nào?
Mô hình tốt nhất phụ thuộc vào việc bạn muốn chép lời, tạo giọng nói chân thực, xây trợ lý thời gian thực hay tạo nhạc. Bảng so sánh sau bao quát khả năng, kích thước mô hình và giấy phép cho từng trường hợp sử dụng.
Mô hình
Phù hợp nhất cho
Lợi thế chính
Kích thước mô hình
Giấy phép (trọng số)
Voxtral Small
Nhận dạng giọng nói nâng cao
Chép lời, tóm tắt và suy luận về âm thanh
24B
Apache 2.0
Qwen3-ASR
Chép lời đa ngôn ngữ
30 ngôn ngữ và 22 phương ngữ tiếng Trung
0.6B / 1.7B
Apache 2.0
NVIDIA Nemotron 3.5 ASR
Chép lời thời gian thực
Streaming độ trễ thấp và suy luận hiệu quả
0.6B
OpenMDW-1.1
Fish Audio Drama 3
Giọng nói giàu biểu cảm và kể chuyện
Nhân bản giọng và đối thoại tối đa 16 người nói
35B tổng / 3B kích hoạt
Fish Audio Community License
Breeze TTS 2
TTS tự nhiên
Thiết kế giọng, kiểm soát cảm xúc và độ trễ thấp
3B
Nghiên cứu và phi thương mại
Kokoro 82M
TTS nhẹ và chạy cục bộ
Tạo giọng nói hiệu quả trên phần cứng khiêm tốn
82M
Apache 2.0
MiniCPM-o 4.5
Trợ lý giọng nói đa phương thức
Tương tác thời gian thực bằng âm thanh, video và giọng nói
9B
Apache 2.0
NVIDIA PersonaPlex
Hội thoại giọng nói thời gian thực
Giọng nói song công với ngắt lời tự nhiên
7B
NVIDIA Open Model License
ACE-Step 1.5
Tạo bài hát hoàn chỉnh
Giọng hát, lời tùy chỉnh, cover và chỉnh sửa nhạc
2B / 4B (XL)
MIT
Meta MusicGen Large
Tạo nhạc không lời
Tạo nhạc từ lời nhắc văn bản ngắn
3.3B
CC BY-NC 4.0
Kết luận
Các mô hình âm thanh mã nguồn mở đang tiến bộ nhanh trong nhận dạng giọng nói, TTS, hội thoại thời gian thực và tạo nhạc. Chúng ngày càng chính xác, nhanh và dễ chạy hơn, giúp nhà phát triển xây ứng dụng âm thanh mà không phải phụ thuộc hoàn toàn vào dịch vụ thương mại đắt đỏ.
Cá nhân tôi dùng Voxtral qua Spokenly cho hầu hết công việc chép lời và rất hài lòng. Độ chính xác ấn tượng, và dù mô hình mở trọng số rất lớn, tôi gọi API lưu trữ của Mistral, vốn miễn phí với mức sử dụng của tôi. Đây là ví dụ điển hình cho thấy các mô hình này ngày càng thực tế cho công việc hằng ngày.
Điều khiến tôi hứng thú hơn nữa là tiến bộ của AI hội thoại. Chúng ta đã biết hội thoại giọng nói với ChatGPT có thể tự nhiên thế nào, và các mô hình mã nguồn mở như NVIDIA PersonaPlex và MiniCPM-o 4.5 mang những khả năng tương tự đến với nhà phát triển muốn tự xây trợ lý. Trong khi đó, ACE-Step cho phép tạo trọn vẹn bài hát, và các lựa chọn gọn nhẹ như Kokoro giúp việc tạo giọng nói dễ tiếp cận hơn.
Không có mô hình tốt nhất cho mọi thứ, và đó là điều làm lĩnh vực này thú vị. Dù bạn muốn chép lời chính xác, giọng nói chân thực, hội thoại tự nhiên hay nhạc tạo sinh, có lẽ đều có một mô hình mã nguồn mở đáng để thử.
Câu hỏi thường gặp
Đâu là mô hình nhận dạng giọng nói mã nguồn mở tốt nhất?⌄
Với chép lời đa ngôn ngữ, Qwen3-ASR-1.7B là lựa chọn mặc định mạnh: nó hỗ trợ 30 ngôn ngữ và 22 phương ngữ tiếng Trung, và Open ASR Leaderboard của Hugging Face ghi WER trung bình 5,76 cho mô hình này. Với chép lời trực tiếp, NVIDIA Nemotron 3.5 ASR Streaming xử lý âm thanh theo khối nhỏ tới 80 ms. Voxtral Small là lựa chọn tốt hơn khi bạn cũng muốn tóm tắt hoặc trả lời về âm thanh, nhưng cần khoảng 55 GB bộ nhớ GPU.
Mô hình chuyển văn bản thành giọng nói mã nguồn mở nào cần ít phần cứng nhất?⌄
Kokoro 82M cần ít nhất. Nó có 82 triệu tham số, cung cấp 54 giọng trên 8 ngôn ngữ ở bản v1.0, và phát hành theo Apache 2.0. Breeze TTS 2 cần khoảng 7,7 GiB bộ nhớ GPU, còn Fish Audio Drama 3 cần 20,8 GB cho trọng số ngay cả ở bản 4-bit.
Những mô hình âm thanh mã nguồn mở nào tôi có thể dùng cho mục đích thương mại?⌄
Voxtral Small, Qwen3-ASR, Kokoro 82M và MiniCPM-o 4.5 dùng Apache 2.0, và ACE-Step 1.5 dùng MIT. Trọng số Breeze TTS 2 bị giới hạn cho nghiên cứu và phi thương mại, và trọng số MusicGen Large dùng CC BY-NC 4.0. Nemotron 3.5 ASR, PersonaPlex và Fish Audio Drama 3 mỗi mô hình dùng giấy phép riêng (OpenMDW-1.1, NVIDIA Open Model License và Fish Audio Community License), nên hãy đọc kỹ điều khoản trước khi triển khai.
Mô hình mã nguồn mở nào tốt nhất cho hội thoại giọng nói thời gian thực?⌄
NVIDIA PersonaPlex là mô hình 7B song công đầy đủ chuyển giọng nói thành giọng nói với giọng và tính cách có thể điều khiển, xử lý ngắt lời và chồng lấn lời nói. MiniCPM-o 4.5 bổ sung đầu vào video trực tiếp, nhưng demo chính thức cần GPU NVIDIA có hơn 28 GB VRAM.
Các mô hình mã nguồn mở có thể tạo bài hát hoàn chỉnh có giọng hát không?⌄
Có. ACE-Step 1.5 tạo trọn vẹn bài hát có giọng hát và lời tùy chỉnh dài tới 10 phút, và có thể chạy trên GPU dưới 4 GB VRAM. MusicGen Large chỉ tạo nhạc không lời và không thể tạo giọng hát chân thực.
Là một nhà khoa học dữ liệu được chứng nhận, tôi đam mê tận dụng công nghệ tiên tiến để tạo ra các ứng dụng học máy đổi mới. Với nền tảng vững chắc về nhận dạng giọng nói, phân tích và báo cáo dữ liệu, MLOps, AI hội thoại và NLP, tôi đã rèn giũa kỹ năng phát triển các hệ thống thông minh có thể tạo ra tác động thực sự. Bên cạnh chuyên môn kỹ thuật, tôi cũng là một người truyền đạt tốt, có khả năng chắt lọc các khái niệm phức tạp thành ngôn ngữ rõ ràng, súc tích. Nhờ đó, tôi trở thành một blogger được nhiều người quan tâm trong lĩnh vực khoa học dữ liệu, chia sẻ góc nhìn và kinh nghiệm với cộng đồng các chuyên gia dữ liệu ngày càng lớn. Hiện tại, tôi tập trung vào sáng tạo và biên tập nội dung, làm việc với các mô hình ngôn ngữ lớn để phát triển nội dung mạnh mẽ và hấp dẫn, giúp doanh nghiệp và cá nhân tận dụng tối đa dữ liệu của mình.
Học cách tích hợp trí tuệ nhân tạo (AI) vào các ứng dụng phần mềm thông qua việc sử dụng các giao diện lập trình ứng dụng (API) và các thư viện mã nguồn mở. Hãy bắt đầu hành trình trở thành Kỹ sư Trí tuệ Nhân tạo ngay hôm nay!
Từ kỹ thuật xử lý yêu cầu đến hệ thống tự động — phát triển bộ kỹ năng toàn diện để xây dựng các ứng dụng AI có khả năng mở rộng, với sự hỗ trợ của một chuyên gia AI.
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Các mô hình âm thanh mã nguồn mở giờ đây bao phủ cả nhận dạng giọng nói, chuyển văn bản thành giọng nói, hội thoại thời gian thực và tạo nhạc, và một số có thể chạy trên một GPU phổ thông. Qwen3-ASR chép lời 30 ngôn ngữ và 22 phương ngữ tiếng Trung, Kokoro tạo giọng nói chỉ với 82 triệu tham số, và ACE-Step viết trọn vẹn bài hát với dưới 4 GB bộ nhớ đồ họa (VRAM).
Trong hướng dẫn này, tôi chọn 10 mô hình AI âm thanh mã nguồn mở và mở trọng số tốt nhất dựa trên 3 yếu tố: kho GitHub có số sao cao, mô hình được tải xuống nhiều trên Hugging Face, và mô hình dẫn đầu trên bảng xếp hạng của Artificial Analysis. Tôi bao quát 4 nhóm: nhận dạng giọng nói, chuyển văn bản thành giọng nói, hội thoại thời gian thực và tạo nhạc.
Mỗi mô hình đều có ví dụ khởi động nhanh dựa trên tài liệu chính thức. Một số ví dụ cần phần cứng, phụ thuộc hoặc cấu hình bổ sung cụ thể, vì vậy hãy kiểm tra yêu cầu của từng mô hình trước khi chạy.
Lưu ý nhanh: Đây là danh sách tuyển chọn, không phải bảng xếp hạng theo chuẩn đo lường nghiêm ngặt. Mở trọng số nghĩa là có thể tải trọng số đã huấn luyện, nhưng giấy phép vẫn có thể hạn chế cách bạn sử dụng, nên tôi ghi chú giấy phép trong từng phần và trong bảng so sánh ở cuối. Các ví dụ xuất phát từ tài liệu chính thức, nhưng tôi chưa tự tay kiểm thử mã, vì vậy thiết lập của bạn có thể cần thêm phụ thuộc hoặc cấu hình.
Tóm lược
Những mô hình nhận dạng giọng nói mã nguồn mở tốt nhất
Các mô hình nhận dạng giọng nói, còn gọi là mô hình ASR (automatic speech recognition), chuyển âm thanh lời nói thành văn bản. Chúng hữu ích cho chép lời cuộc họp, phụ đề, podcast, trợ lý giọng nói và phân tích âm thanh. Các mô hình hiện đại còn nhận dạng nhiều ngôn ngữ, xử lý hội thoại trực tiếp, và một số có thể suy luận về nội dung đang bàn luận.
1. Voxtral Small
Voxtral Small 24B là mô hình hiểu ngôn ngữ lời nói mở trọng số từ Mistral AI, phát hành theo giấy phép Apache 2.0. Nó hỗ trợ 8 ngôn ngữ (Anh, Tây Ban Nha, Pháp, Bồ Đào Nha, Hindi, Đức, Hà Lan và Ý) và có thể chép ghi âm, tóm tắt hội thoại, trả lời câu hỏi về âm thanh, và làm theo chỉ dẫn nói.
Nguồn: Voxtral Small 24B
Lợi thế lớn nhất là một mô hình xử lý cả nhận dạng giọng nói lẫn suy luận ngôn ngữ, nên bạn không cần pipeline tách biệt cho chép lời và tóm tắt. Điều này phù hợp phân tích cuộc họp, phỏng vấn và trợ lý giọng nói. Điểm cần cân nhắc là kích thước: mô hình 24 tỷ tham số cần khoảng 55 GB bộ nhớ GPU ở BF16 hoặc FP16, tức cần phần cứng đa GPU hoặc GPU bộ nhớ lớn.
Nếu bạn chỉ cần chép lời, Voxtral Mini 4B Realtime mới hơn của Mistral nhẹ hơn nhiều. Mistral phát hành tháng 2/2026 theo Apache 2.0, với độ trễ streaming có thể cấu hình xuống dưới 200 ms.
Khởi động nhanh: Cài vLLM và các gói Python cần thiết.
Khởi động máy chủ vLLM. Cấu hình này dùng hai GPU.
Mở terminal khác và chạy ví dụ Python để chép một bản ghi âm mẫu.
Tập lệnh tải bản ghi mẫu, gửi tới máy chủ Voxtral cục bộ của bạn và in bản chép lời.
2. Qwen3-ASR
Qwen3-ASR là họ mô hình nhận dạng giọng nói mã nguồn mở từ đội Qwen của Alibaba, có phiên bản 0.6B và 1.7B tham số theo giấy phép Apache 2.0. Nó hỗ trợ 30 ngôn ngữ và 22 phương ngữ tiếng Trung, tự động nhận diện ngôn ngữ nói, và có thể chép lời trên nền nhạc, bao gồm cả hát. Nó hoạt động tốt cho chép lời đa ngôn ngữ, phụ đề, podcast và phỏng vấn.
Nguồn: Qwen3-ASR
Qwen3-ASR cân bằng độ chính xác, tốc độ và linh hoạt. Mô hình 1.7B đạt WER trung bình 5,76 trên Open ASR Leaderboard của Hugging Face, so với 6,62 của Voxtral Small (càng thấp càng tốt). Phiên bản 0.6B hy sinh một phần độ chính xác để tăng hiệu quả.
Cả hai kích cỡ đều hỗ trợ suy luận ngoại tuyến và phát trực tuyến, dù hiện tại streaming cần backend vLLM (
pip install -U qwen-asr[vllm]). Mô hình tùy chọn Qwen3-ForcedAligner-0.6B tạo dấu thời gian theo từ cho phụ đề ở 11 ngôn ngữ được hỗ trợ.Khởi động nhanh: Cài gói Python chính thức.
Tải mô hình 1.7B và chép âm thanh mẫu chính thức.
Mô hình sẽ tự tải về lần đầu sử dụng. Nó phát hiện ngôn ngữ nói và in bản chép lời.
Bạn có thể thay URL mẫu bằng tệp âm thanh của mình. Ví dụ này dùng GPU NVIDIA.
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B là mô hình nhận dạng giọng nói gọn nhẹ xây dựng cho chép lời theo thời gian thực. Nó có 600 triệu tham số và hỗ trợ 40 locale ngôn ngữ, gồm tiếng Anh, Ả Rập, Hindi, Tây Ban Nha và Nhật. Trong số đó, 32 ngôn ngữ dùng được ngay và 8 cần tinh chỉnh trước.
Nguồn: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
Tốc độ đến từ kiến trúc streaming tối ưu bộ nhớ đệm. Thay vì xử lý lại toàn bộ ghi âm, nó xử lý các đoạn âm thanh mới trong khi tái sử dụng ngữ cảnh bộ mã hóa đã lưu, với kích thước khối nhỏ tới 80 mili giây. Trên một H100, NVIDIA báo cáo khoảng 17 lần số luồng đồng thời so với mô hình Parakeet RNNT 1.1B dạng bộ đệm ở thiết lập 80 ms (240 so với 14).
Điều đó khiến nó là lựa chọn mạnh cho phụ đề trực tiếp, cuộc họp và trợ lý giọng nói độ trễ thấp. Trọng số dùng giấy phép OpenMDW-1.1, theo thẻ mô hình của NVIDIA là sẵn sàng cho thương mại, và mô hình chạy cục bộ qua runtime NeMo-Speech.cpp.
Khởi động nhanh: Cài NeMo-Speech.cpp trên Linux hoặc macOS.
Chép lời một tệp WAV. CLI sẽ tải mô hình Nemotron 3.5 mặc định lần đầu dùng.
Để thử chép lời streaming, đưa tệp qua bộ nhận dạng streaming theo khối 160 ms, chạy:
Đối với chép lời micro thời gian thực trên bản dựng được hỗ trợ:
Thay
audio.wavbằng bản ghi của bạn. Runtime hỗ trợ backend CPU và GPU tương thích, nên bạn không cần GPU lớn để bắt đầu.Những mô hình chuyển văn bản thành giọng nói mã nguồn mở tốt nhất
Mô hình text-to-speech (TTS) biến văn bản thành âm thanh tự nhiên. Các mô hình hiện đại có thể nhân bản giọng nói, thể hiện cảm xúc, tạo đối thoại đa người nói và nói nhiều ngôn ngữ. Dưới đây là 3 mô hình mở trọng số đáng khám phá.
4. Fish Audio Drama 3
Fish Audio Drama 3 là mô hình TTS giàu biểu cảm xây dựng cho các cảnh đa nhân vật và nội dung dài. Nó dùng kiến trúc mixture-of-experts với 35 tỷ tham số, nhưng chỉ kích hoạt khoảng 3 tỷ mỗi token. Nó hỗ trợ nhân bản giọng, điều khiển giọng bằng ngôn ngữ tự nhiên, và đối thoại tối đa 16 người nói, phù hợp sách nói và nội dung hướng nhân vật.
Nguồn: Báo cáo kỹ thuật Fish Audio Drama 3
Điểm nổi bật là dải cảm xúc. Bạn có thể chèn thẻ nội tuyến như
[sighs]và[laughs]trực tiếp trong văn bản, gán tối đa 16 thẻ người nói trong một kịch bản, và stream các đoạn dài theo từng khối. Fish Audio báo thời gian ra âm đầu tiên khoảng 89 ms cho một luồng trên GPU H200, và mô hình chạy qua SGLang-Omni và vLLM-Omni.Điểm trừ là kích thước và giấy phép. Checkpoint FP8 cần 37 GB chỉ cho trọng số, và bản GPTQ 4-bit giảm còn 20,8 GB. Trọng số dùng Fish Audio Community License, nên hãy đọc điều khoản trước khi dùng thương mại.
Khởi động nhanh: Cài SGLang-Omni và các phụ thuộc Fish Audio trên hệ Linux được hỗ trợ với GPU NVIDIA.
Tải mô hình và khởi động máy chủ:
Mở terminal khác và tạo giọng nói:
Mô hình tạo giọng nói và lưu thành
output.wav. Bạn có thể thay văn bản đầu vào hoặc khám phá nhân bản giọng và tạo đa người nói theo cookbook Drama 3 chính thức.5. Breeze TTS 2
Breeze TTS 2 là mô hình TTS 3 tỷ tham số cho tiếng Anh và Trung. Nó hỗ trợ nhân bản giọng từ bản ghi tham chiếu, thiết kế giọng từ mô tả ngôn ngữ tự nhiên, và chỉ dẫn bằng ngôn ngữ tự nhiên cho tông, cảm xúc và cách diễn đạt.
Nguồn: Breeze TTS 2
Thẻ mô hình của BreezeBlue cho biết nó đứng đầu trong số các mô hình mở trọng số trên bảng xếp hạng TTS của Artificial Analysis, với thời gian ra âm đầu tiên dưới 40 ms trên H100 khi dùng đường nhanh. Nó cũng hỗ trợ các sự kiện giọng nói nội tuyến như
(laugh),(sigh)và(cough).Điều này khiến nó phù hợp các ứng dụng giọng nói tương tác, nhưng trọng số tự lưu trữ và đầu ra bị giới hạn cho nghiên cứu và phi thương mại. Chỉ mã nguồn là Apache 2.0.
Khởi động nhanh: Trên Linux với Python 3.10 trở lên và GPU NVIDIA tương thích CUDA, clone kho chính thức và cài phụ thuộc.
Tải checkpoint mô hình:
Tạo giọng nói bằng ví dụ thiết kế giọng chính thức. Không cần âm thanh tham chiếu.
Mô hình tạo giọng nói theo mô tả giọng và lưu thành
outputs/voice_design_en.wav. Chế độ suy luận mặc định cần khoảng 7,7 GiB bộ nhớ GPU (14,4 GiB với tùy chọn--fast-all), và GPU 12 GB là khuyến nghị tối thiểu. Bạn cũng có thể thử nhân bản giọng và streaming qua tài liệu Breeze TTS 2 chính thức.6. Kokoro 82M
Kokoro 82M là mô hình TTS gọn nhẹ chỉ với 82 triệu tham số. Bản v1.0 cung cấp 54 giọng trên 8 ngôn ngữ. Đây là một trong những lựa chọn dễ tiếp cận hơn cho nhà phát triển muốn thử nghiệm tạo giọng nói mà không cần GPU cao cấp.
Nguồn: Kokoro 82M
Ưu điểm chính của Kokoro là hiệu suất. Nó phù hợp thuyết minh ngoại tuyến, công cụ hỗ trợ tiếp cận và trợ lý giọng nói, và trọng số Apache 2.0 cho phép bạn dùng trong dự án thương mại.
Khởi động nhanh: Bạn có thể chạy Kokoro trực tiếp trên Google Colab. Đầu tiên, cài các gói cần thiết:
Tạo giọng nói bằng giao diện Python chính thức:
Mô hình tạo giọng nói dùng giọng Anh-Mỹ
af_heart, phát âm thanh trong Colab và lưu thành tệp WAV. Bạn có thể thay văn bản, giọng hoặc ngôn ngữ theo thẻ mô hình Kokoro chính thức.Những LLM âm thanh thời gian thực mã nguồn mở tốt nhất
LLM âm thanh thời gian thực lắng nghe câu hỏi nói và tạo phản hồi bằng giọng tự nhiên. Thay vì xâu chuỗi hệ thống chép lời và TTS tách rời, chúng xử lý hội thoại liên tục, ngắt lời, và vừa nghe vừa nói trong một mô hình.
7. MiniCPM-o 4.5
MiniCPM-o 4.5 là mô hình đa phương thức 9 tỷ tham số từ OpenBMB, hiểu hình ảnh, video, âm thanh và văn bản và phản hồi bằng giọng nói. Nó hỗ trợ hội thoại giọng nói thời gian thực bằng tiếng Anh và Trung, nhân bản giọng và tương tác song công đầy đủ. Song công đầy đủ nghĩa là mô hình có thể nghe, quan sát và nói cùng lúc thay vì chờ từng lượt kết thúc.
Nguồn: MiniCPM-o 4.5
Điểm khác biệt là kết hợp hiểu thị giác và tương tác giọng nói. Bạn có thể xây trợ lý trả lời câu hỏi nói về luồng camera trực tiếp, mô tả môi trường xung quanh, hoặc phản hồi hội thoại khi đang xử lý video. Trọng số có giấy phép Apache 2.0, và nhà phát triển cung cấp bản demo web sẵn dùng, dù streaming song công vẫn đang thử nghiệm.
Khởi động nhanh: Bản demo web chính thức của MiniCPM-o 4.5 hỗ trợ hội thoại âm thanh và video trực tiếp. Bạn cần Linux, Docker Compose, NVIDIA Container Toolkit, và GPU NVIDIA có hơn 28 GB VRAM.
Trước tiên, clone kho demo chính thức:
Tải checkpoint mô hình:
Tạo chứng chỉ HTTPS cục bộ:
Khởi động bản demo web bằng Docker Compose:
Thay
/path/to/MiniCPM-o-4_5bằng đường dẫn tuyệt đối tới checkpoint đã tải, và chỉnhdocker-compose.ymlcho khớp số lượng GPU. Mở giao diện web HTTPS trên cổng8006và cho phép truy cập micro và camera.Chọn Audio Full-Duplex để trò chuyện giọng nói trực tiếp, hoặc Omnimodal Full-Duplex để tương tác bằng cả video và âm thanh. Bạn có thể đặt câu hỏi, ngắt lời mô hình và thử nghiệm hội thoại liên tục.
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex là mô hình chuyển giọng nói thành giọng nói 7 tỷ tham số được thiết kế cho hội thoại tự nhiên theo thời gian thực. Xây dựng trên kiến trúc Moshi, nó hỗ trợ giao tiếp song công đầy đủ, nên có thể vừa nghe vừa nói đồng thời. Nó xử lý ngắt lời và chồng lấn lời nói mà không cần hệ thống chép lời và tạo giọng tách rời.
Nguồn: NVIDIA PersonaPlex
PersonaPlex cho phép bạn kiểm soát giọng và tính cách của trợ lý, nên nhà phát triển có thể tùy chỉnh vai trò hội thoại và phong cách nói cho trợ lý chăm sóc khách hàng, gia sư ảo và các tác tử giọng nói khác. Nó tập trung vào hội thoại âm thanh và không có đầu vào thị giác, nên hãy chọn MiniCPM-o nếu bạn cần video. Trọng số phát hành theo NVIDIA Open Model License.
Khởi động nhanh: Clone kho chính thức và cài phụ thuộc trên hệ Linux được hỗ trợ với GPU NVIDIA.
Chấp nhận giấy phép mô hình trên Hugging Face và cấu hình token truy cập:
Khởi động máy chủ PersonaPlex chính thức:
Nếu GPU của bạn hạn chế bộ nhớ, thêm cờ
--cpu-offload, yêu cầu góiaccelerate.Mở
https://localhost:8998trong trình duyệt và cho phép truy cập micro. Giờ bạn có thể nói chuyện trực tiếp với PersonaPlex, đặt câu hỏi, ngắt lời phản hồi và thử các tính cách giọng khác nhau.Những mô hình tạo âm thanh và âm nhạc mã nguồn mở tốt nhất
Các mô hình tạo âm thanh tạo nhạc gốc, nhạc cụ và giai điệu từ lời nhắc văn bản. Một số cũng có thể tạo bài hát hoàn chỉnh có giọng hát, chỉnh sửa bản ghi hiện có hoặc sản xuất nhạc dựa trên giai điệu tham chiếu.
9. ACE-Step 1.5
ACE-Step 1.5 là mô hình tạo nhạc mã nguồn mở tạo trọn vẹn bài hát từ mô tả văn bản. Nó hỗ trợ giọng hát, lời bài hát tùy chỉnh, đa phong cách âm nhạc, và bài hát dài tới 10 phút. Bạn cũng có thể kiểm soát tempo, giọng (key) và độ dài, hoặc dùng bản ghi hiện có để làm cover và chỉnh sửa từng đoạn.
Nguồn: ACE-Step 1.5
ACE-Step nổi bật ở tính dễ tiếp cận so với các mô hình tạo nhạc lớn hơn. Nó chạy trên phần cứng NVIDIA, AMD, Intel và Apple Silicon, và báo cáo kỹ thuật cho biết có thể chạy trên GPU dưới 4 GB VRAM. README dự án tuyên bố dưới 2 giây cho cả bài hát trên A100 và dưới 10 giây trên RTX 3090.
Nó bao gồm giao diện web Gradio và REST API. Biến thể XL, dùng bộ giải mã DiT 4B tham số, đổi lấy bộ nhớ để có chất lượng âm thanh tốt hơn và cần ít nhất 12 GB VRAM khi offload hoặc 20 GB nếu không. Dự án dùng giấy phép MIT.
Khởi động nhanh: Cài trình quản lý gói
uvtrên Linux hoặc macOS:Clone kho chính thức và cài phụ thuộc:
Khởi chạy giao diện tạo nhạc:
Mở
http://localhost:7860trong trình duyệt. Ứng dụng sẽ tải các tệp mô hình cần thiết ở lần chạy đầu và tự động chọn cấu hình phù hợp phần cứng của bạn.Để tạo nhạc, nhập mô tả về bài hát bạn muốn, chẳng hạn bản electronic sôi động với trống và synth năng lượng. Bạn cũng có thể cung cấp lời bài hát tùy chỉnh, điều chỉnh thời lượng hoặc chọn bản nhạc không lời. Nhấp nút tạo để tạo nhạc, nghe kết quả và tải tệp âm thanh.
10. Meta MusicGen Large
MusicGen Large là mô hình văn bản thành nhạc 3,3 tỷ tham số do Meta phát triển trong dự án AudioCraft. Nó tạo nhạc không lời từ mô tả văn bản bao gồm thể loại, tâm trạng, nhạc cụ và phong cách. Đây là checkpoint văn bản-thành-nhạc lớn nhất trong bản phát hành MusicGen gốc.
Nguồn: MusicGen Large
MusicGen Large tạo nhạc nền chi tiết, nhạc phim và đoạn nhạc cụ chỉ từ vài từ, và hoạt động với Hugging Face Transformers và AudioCraft. Đây cũng là mô hình lâu năm nhất trong danh sách. Meta huấn luyện vào tháng 4 và 5/2023 trên 20.000 giờ nhạc có bản quyền, và nó không thể tạo giọng hát chân thực.
Khuyến nghị dùng GPU. Trọng số pretrained dùng giấy phép CC BY-NC 4.0, hạn chế mục đích thương mại, trong khi mã nguồn là MIT.
Khởi động nhanh: Cài Transformers và SciPy.
Dùng ví dụ chính thức của Hugging Face để tạo nhạc từ lời nhắc văn bản:
Mô hình tự tải về lần đầu dùng, tạo một bản nhạc không lời dựa trên lời nhắc, và lưu thành
musicgen_out.wav. Bạn có thể thay văn bản để thử các thể loại, nhạc cụ và tâm trạng khác nhau.Nên chọn mô hình AI âm thanh mã nguồn mở nào?
Mô hình tốt nhất phụ thuộc vào việc bạn muốn chép lời, tạo giọng nói chân thực, xây trợ lý thời gian thực hay tạo nhạc. Bảng so sánh sau bao quát khả năng, kích thước mô hình và giấy phép cho từng trường hợp sử dụng.
Kết luận
Các mô hình âm thanh mã nguồn mở đang tiến bộ nhanh trong nhận dạng giọng nói, TTS, hội thoại thời gian thực và tạo nhạc. Chúng ngày càng chính xác, nhanh và dễ chạy hơn, giúp nhà phát triển xây ứng dụng âm thanh mà không phải phụ thuộc hoàn toàn vào dịch vụ thương mại đắt đỏ.
Cá nhân tôi dùng Voxtral qua Spokenly cho hầu hết công việc chép lời và rất hài lòng. Độ chính xác ấn tượng, và dù mô hình mở trọng số rất lớn, tôi gọi API lưu trữ của Mistral, vốn miễn phí với mức sử dụng của tôi. Đây là ví dụ điển hình cho thấy các mô hình này ngày càng thực tế cho công việc hằng ngày.
Điều khiến tôi hứng thú hơn nữa là tiến bộ của AI hội thoại. Chúng ta đã biết hội thoại giọng nói với ChatGPT có thể tự nhiên thế nào, và các mô hình mã nguồn mở như NVIDIA PersonaPlex và MiniCPM-o 4.5 mang những khả năng tương tự đến với nhà phát triển muốn tự xây trợ lý. Trong khi đó, ACE-Step cho phép tạo trọn vẹn bài hát, và các lựa chọn gọn nhẹ như Kokoro giúp việc tạo giọng nói dễ tiếp cận hơn.
Không có mô hình tốt nhất cho mọi thứ, và đó là điều làm lĩnh vực này thú vị. Dù bạn muốn chép lời chính xác, giọng nói chân thực, hội thoại tự nhiên hay nhạc tạo sinh, có lẽ đều có một mô hình mã nguồn mở đáng để thử.