Топ‑10 опенсорс‑моделей ИИ для аудио в 2026 году

Открытые аудио‑модели уже охватывают распознавание речи, синтез речи, голосовые диалоги в реальном времени и генерацию музыки — и некоторые запускаются на одном потребительском GPU. Qwen3-ASR транскрибирует 30 языков и 22 китайских диалекта, Kokoro генерирует речь всего с 82 млн параметров, а ACE-Step пишет полноценные песни при менее чем 4 ГБ видеопамяти (VRAM).

В этом руководстве отобраны 10 лучших опенсорс и open-weight аудио‑моделей ИИ по трём критериям: репозитории на GitHub с высоким числом звёзд, популярные загрузки на Hugging Face и топовые результаты в бенчмарках Artificial Analysis. Рассмотрены 4 категории: распознавание речи, синтез речи, разговоры в реальном времени и генерация музыки.

Для каждой модели есть пример быстрого старта на основе официальной документации. В отдельных случаях нужны специфичное железо, зависимости или дополнительная настройка — перед запуском проверьте требования каждой модели.

Коротко: это кураторский список, а не строгий рейтинговый бенчмарк. Open-weight означает, что обученные веса можно скачать, но лицензия всё равно может ограничивать использование — в каждом разделе и в сравнительной таблице в конце указаны лицензии. Примеры взяты из официальной документации; код лично не тестировался, поэтому вашей среде могут потребоваться дополнительные зависимости или конфигурация.

Коротко по разделам

• Распознавание речи: Qwen3-ASR для многоязычной точности, Nemotron 3.5 ASR Streaming для низкой задержки в онлайне и Voxtral Small — когда нужны ещё и суммирование и ответы по аудио.
• Синтез речи: Kokoro 82M для лёгкого локального запуска, Fish Audio Drama 3 для выразительного многоголосого диалога и Breeze TTS 2 для проектирования голоса (только некоммерческое использование).
• Разговоры в реальном времени: NVIDIA PersonaPlex для голосовых агентов «аудио‑только» и MiniCPM-o 4.5 — если требуется ещё и видео‑ввод.
• Генерация музыки: ACE-Step 1.5 для полноценных песен с вокалом и MusicGen Large для инструменталов (только некоммерческое использование).

Лучшие опенсорс‑модели распознавания речи

Модели распознавания речи, или ASR (automatic speech recognition), преобразуют аудио с речью в текст. Они полезны для транскрибации встреч, субтитров, подкастов, голосовых ассистентов и анализа аудио. Современные модели распознают несколько языков, обрабатывают живые разговоры, а некоторые ещё и умеют рассуждать о содержании.

1. Voxtral Small

Voxtral Small 24B — open-weight модель понимания речи от Mistral AI под лицензией Apache 2.0. Поддерживает 8 языков (английский, испанский, французский, португальский, хинди, немецкий, нидерландский и итальянский), умеет транскрибировать записи, суммировать разговоры, отвечать на вопросы по аудио и следовать голосовым инструкциям.

Источник: Voxtral Small 24B

Главное преимущество — одна модель закрывает и распознавание, и языковое «рассуждение», поэтому не нужна отдельная связка из транскрибации и суммирования. Это подходит для анализа митингов, интервью и голосовых ассистентов. Минус — размер: модели на 24 млрд параметров требуется примерно 55 ГБ памяти GPU в BF16 или FP16, то есть нужен GPU с большой памятью или несколько GPU.

Если нужна только транскрибация, более лёгкая — свежая Voxtral Mini 4B Realtime. Mistral выпустила её в феврале 2026 под Apache 2.0, задержка стриминга настраивается до менее 200 мс.

Быстрый старт: установите vLLM и необходимые Python‑пакеты.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hubРаботает на

Запустите сервер vLLM. В конфигурации используются два GPU.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choiceРаботает на

Откройте другой терминал и выполните пример на Python, чтобы транскрибировать образец аудио.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)Работает на

Скрипт скачивает пример записи, отправляет её на локальный сервер Voxtral и выводит транскрипт.

2. Qwen3-ASR

Qwen3-ASR — семейство открытых моделей распознавания речи от команды Qwen (Alibaba), доступно в версиях на 0,6B и 1,7B параметров под лицензией Apache 2.0. Поддерживает 30 языков и 22 китайских диалекта, автоматически определяет язык и умеет транскрибировать речь на фоне музыки, включая пение. Хорошо подходит для многоязычной транскрибации, субтитров, подкастов и интервью.

Источник: Qwen3-ASR

Qwen3-ASR даёт хороший баланс точности, скорости и гибкости. Модель 1,7B показывает среднюю word error rate (WER) 5,76 на Open ASR Leaderboard Hugging Face, против 6,62 у Voxtral Small (меньше — лучше). Версия 0,6B жертвует частью точности ради эффективности.

Обе версии поддерживают офлайн‑ и стриминговый инференс, хотя стриминг сейчас требует бэкенд vLLM (pip install -U qwen-asr[vllm]). Дополнительная модель Qwen3-ForcedAligner-0.6B генерирует пометки времени на уровне слов для субтитров на 11 поддерживаемых языках.

Быстрый старт: установите официальный Python‑пакет.

pip install -U qwen-asrРаботает на

Загрузите модель 1,7B и транскрибируйте официальный образец аудио.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)Работает на

Модель скачивается при первом запуске. Она определяет язык и выводит транскрипт.

Можно заменить образец своей ссылкой на аудио. В примере используется GPU NVIDIA.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B — лёгкая модель распознавания речи, созданная для транскрибации в реальном времени. Содержит 600 млн параметров и поддерживает 40 языковых локалей, включая английский, арабский, хинди, испанский и японский. Из них 32 работают «из коробки», а 8 требуют дообучения.

Источник: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

Скорость обеспечивается потоковой архитектурой с учётом кэша: вместо повторной обработки всей записи модель берёт новые фрагменты аудио, переиспользуя закэшированный контекст энкодера, с кусками от 80 мс. На одном H100 NVIDIA заявляет примерно в 17 раз больше одновременных потоков, чем у буферизованной Parakeet RNNT 1.1B при 80 мс (240 против 14).

Это делает модель сильным выбором для живых субтитров, встреч и голосовых ассистентов с низкой задержкой. Веса под лицензией OpenMDW-1.1, которую NVIDIA описывает как пригодную для коммерческого использования, а запуск локально — через рантайм NeMo-Speech.cpp.

Быстрый старт: установите NeMo-Speech.cpp на Linux или macOS.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | shРаботает на

Транскрибируйте WAV‑файл. CLI скачает модель Nemotron 3.5 при первом запуске.

nemo-speech transcribe audio.wavРаботает на

Чтобы проверить потоковую транскрибацию, когда файл подаётся по 160‑мс блокам, выполните:

nemo-speech transcribe audio.wav --streamРаботает на

Для реального времени с микрофона на поддерживаемых сборках:

nemo-speech transcribe --liveРаботает на

Замените audio.wav своей записью. Рантайм поддерживает CPU и совместимые GPU, так что для старта не нужен большой GPU.

Лучшие опенсорс‑модели синтеза речи

Text-to-speech (TTS) преобразует текст в естественно звучащее аудио. Современные модели умеют клонировать голос, выражать эмоции, генерировать многоголосые диалоги и говорить на нескольких языках. Ниже — 3 open-weight модели, на которые стоит посмотреть.

4. Fish Audio Drama 3

Fish Audio Drama 3 — выразительная TTS‑модель для многоактёрских сцен и длинного контента. Использует архитектуру mixture-of-experts с 35 млрд параметров, но активирует около 3 млрд на токен. Поддерживает клонирование голоса, управление голосом на естественном языке и диалоги до 16 спикеров — подходит для аудиокниг и контента с персонажами.

Источник: Технический отчёт Fish Audio Drama 3

Выделяется эмоциональным диапазоном. Можно вставлять инлайн‑теги вроде [sighs] и [laughs] прямо в текст, назначать до 16 спикеров в одном сценарии и стримить длинные фрагменты по частям. Fish Audio сообщает время до первого звука около 89 мс для одного потока на H200, а модель работает через SGLang-Omni и vLLM-Omni.

Минусы — размер и лицензия. Чекпойнт FP8 требует 37 ГБ только под веса, а 4‑битный GPTQ сокращает до 20,8 ГБ. Веса под лицензией Fish Audio Community License — перед коммерческим использованием изучите условия.

Быстрый старт: установите SGLang-Omni и зависимости Fish Audio на поддерживаемой системе Linux с GPU NVIDIA.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"Работает на

Скачайте модель и запустите сервер:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000Работает на

Откройте другой терминал и сгенерируйте речь:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wavРаботает на

Модель сгенерирует речь и сохранит её как output.wav. Можно менять текст или изучить клонирование голоса и мультиспикерный режим по официальному рецепту Drama 3.

5. Breeze TTS 2

Breeze TTS 2 — TTS‑модель на 3 млрд параметров для английского и китайского. Поддерживает клонирование голоса по эталонной записи, проектирование голоса по текстовому описанию и инструкции на естественном языке для тона, эмоций и подачи.

Источник: Breeze TTS 2

В карточке модели BreezeBlue указано, что она занимает первое место среди open-weight моделей в рейтинге TTS Artificial Analysis, с временем до первого звука менее 40 мс на H100 в быстром режиме. Поддерживает инлайн‑события вроде (laugh), (sigh) и (cough).

Это делает её хорошим кандидатом для интерактивных голосовых приложений, но веса и выходы при само‑хостинге ограничены исследовательским и некоммерческим использованием. Код — под Apache 2.0.

Быстрый старт: на Linux с Python 3.10+ и GPU NVIDIA с поддержкой CUDA клонируйте репозиторий и установите зависимости.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hubРаботает на

Скачайте чекпойнт модели:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2Работает на

Сгенерируйте речь с официальным примером проектирования голоса. Эталонное аудио не требуется.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wavРаботает на

Модель сгенерирует речь по описанию голоса и сохранит её как outputs/voice_design_en.wav. Режим инференса по умолчанию требует около 7,7 ГиБ памяти GPU (14,4 ГиБ с опцией --fast-all), минимально рекомендован GPU на 12 ГБ. Также можно попробовать клонирование голоса и стриминг по официальной документации Breeze TTS 2.

6. Kokoro 82M

Kokoro 82M — лёгкая модель синтеза речи всего с 82 млн параметров. Релиз v1.0 предлагает 54 голоса на 8 языках. Это один из самых доступных вариантов для разработчиков, которые хотят поэкспериментировать с генерацией речи без топового GPU.

Источник: Kokoro 82M

Главное достоинство Kokoro — эффективность. Модель подходит для офлайн‑озвучивания, инструментов доступности и голосовых ассистентов, а веса под Apache 2.0 позволяют использовать её в коммерческих проектах.

Быстрый старт: Kokoro можно запустить прямо в Google Colab. Сначала установите нужные пакеты:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1Работает на

Сгенерируйте речь через официальный Python‑интерфейс:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)Работает на

Модель генерирует речь голосом af_heart (американский английский), воспроизводит аудио в Colab и сохраняет его как WAV. Можно менять текст, голос или язык по инструкции в карточке модели Kokoro.

Лучшие опенсорс‑LLM для аудио в реальном времени

Аудио‑LLM для реального времени слушают устные вопросы и отвечают естественным голосом. Вместо сцепки отдельных систем ASR и TTS они ведут непрерывный диалог, поддерживают перебивания и одновременно слушают и говорят в рамках одной модели.

7. MiniCPM-o 4.5

MiniCPM-o 4.5 — мультимодальная модель на 9 млрд параметров от OpenBMB, понимает изображения, видео, аудио и текст и отвечает голосом. Поддерживает голосовые разговоры в реальном времени на английском и китайском, клонирование голоса и полно-дуплексный режим. Полный дуплекс означает, что модель может одновременно слушать, видеть и говорить, не дожидаясь конца реплики.

Источник: MiniCPM-o 4.5

Ключевая особенность — сочетание визуального понимания и голосового взаимодействия. Можно строить ассистентов, которые отвечают на устные вопросы по живой камере, описывают окружение или реагируют на разговор, параллельно обрабатывая видео. Веса под лицензией Apache 2.0, есть готовое веб‑демо, хотя полно‑дуплексный стриминг пока экспериментальный.

Быстрый старт: официальное веб‑демо MiniCPM-o 4.5 поддерживает живые аудио‑ и видеоразговоры. Нужны Linux, Docker Compose, NVIDIA Container Toolkit и GPU NVIDIA с более чем 28 ГБ VRAM.

Сначала клонируйте репозиторий демо:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-DemoРаботает на

Скачайте чекпойнт модели:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5Работает на

Сгенерируйте локальный HTTPS‑сертификат:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"Работает на

Запустите веб‑демо через Docker Compose:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0Работает на

Замените /path/to/MiniCPM-o-4_5 на абсолютный путь к скачанному чекпойнту и отредактируйте docker-compose.yml под количество ваших GPU. Откройте HTTPS‑интерфейс на порту 8006 и разрешите доступ к микрофону и камере.

Выберите Audio Full-Duplex для живого голосового разговора или Omnimodal Full-Duplex для взаимодействия по видео и аудио. Можно задавать вопросы, прерывать модель и экспериментировать с непрерывным диалогом.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex — модель «речь‑в‑речь» на 7 млрд параметров для естественных разговоров в реальном времени. Построена на архитектуре Moshi, поддерживает полный дуплекс, то есть одновременно слушает и говорит. Обрабатывает перебивания и наложение речи без отдельных систем транскрибации и синтеза.

Источник: NVIDIA PersonaPlex

PersonaPlex позволяет управлять голосом и «персоной» ассистента, так что разработчики могут настраивать роль и стиль речи для клиентских ассистентов, виртуальных тьюторов и других голосовых агентов. Она сфокусирована на аудио‑диалогах и не имеет визуального ввода — если нужно видео, берите MiniCPM-o. Веса выпущены под NVIDIA Open Model License.

Быстрый старт: клонируйте репозиторий и установите зависимости на поддерживаемой системе Linux с GPU NVIDIA.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.Работает на

Примите лицензию модели на Hugging Face и настройте токен доступа:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"Работает на

Запустите официальный сервер PersonaPlex:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"Работает на

Если памяти GPU мало, добавьте флаг --cpu-offload (требуется пакет accelerate).

Откройте https://localhost:8998 в браузере и разрешите доступ к микрофону. Теперь можно говорить с PersonaPlex, задавать вопросы, прерывать ответы и тестировать разные «персоны» голоса.

Лучшие опенсорс‑модели генерации аудио и музыки

Модели генерации аудио создают оригинальную музыку, инструменталы и мелодии по текстовым подсказкам. Некоторые умеют делать полноценные песни с вокалом, редактировать существующие записи или генерировать музыку по референсной мелодии.

9. ACE-Step 1.5

ACE-Step 1.5 — опенсорс‑модель генерации музыки, создающая полноценные песни по текстовому описанию. Поддерживает вокал, собственные тексты, разные стили и длительность до 10 минут. Можно задавать темп, тональность и продолжительность, использовать существующие записи для каверов и редактировать фрагменты песни.

Источник: ACE-Step 1.5

ACE-Step выделяется доступностью по сравнению с крупными музыкальными моделями. Работает на железе NVIDIA, AMD, Intel и Apple Silicon, а в техническом отчёте указано, что модель может запускаться на GPU с менее чем 4 ГБ VRAM. В README проекта заявлено менее 2 секунд на полную песню на A100 и менее 10 секунд на RTX 3090.

Есть веб‑интерфейс на Gradio и REST API. Варианты XL с декодером DiT на 4B параметров улучшают качество звука ценой памяти и требуют минимум 12 ГБ VRAM с оффлоудингом или 20 ГБ без него. Лицензия проекта — MIT.

Быстрый старт: установите менеджер пакетов uv на Linux или macOS:

curl -LsSf https://astral.sh/uv/install.sh | shРаботает на

Клонируйте официальный репозиторий и установите зависимости:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv syncРаботает на

Запустите интерфейс генерации музыки:

uv run acestepРаботает на

Откройте http://localhost:7860 в браузере. При первом запуске приложение скачает нужные файлы модели и автоматически подберёт конфигурацию под ваше железо.

Чтобы сгенерировать музыку, введите описание желаемой композиции, например бодрый электронный трек с энергичными барабанами и синтезаторами. Можно задать собственные тексты, длительность или выбрать инструментал. Нажмите кнопку генерации, прослушайте результат и скачайте аудио.

10. Meta MusicGen Large

MusicGen Large — текст‑в‑музыку модель на 3,3 млрд параметров, разработанная Meta в рамках проекта AudioCraft. Генерирует инструментальную музыку по текстовому описанию жанров, настроений, инструментов и стилей. Это самый крупный чекпойнт текст‑в‑музыку в исходном релизе MusicGen.

Источник: MusicGen Large

MusicGen Large создаёт детальную фоновую музыку, саундтреки и инструментальные клипы по нескольким словам и работает через Hugging Face Transformers и AudioCraft. Это также самая «возрастная» модель в списке. Meta обучала её в апреле–мае 2023 года на 20 000 часов лицензированной музыки; реалистичный вокал генерировать не умеет.

Рекомендуется GPU. Предобученные веса под лицензией CC BY-NC 4.0, ограничивающей коммерческое использование; код — под MIT.

Быстрый старт: установите Transformers и SciPy.

pip install --upgrade transformers scipyРаботает на

Используйте официальный пример Hugging Face для генерации музыки по текстовому промпту:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)Работает на

Модель скачивается при первом запуске, генерирует инструментал по промпту и сохраняет его как musicgen_out.wav. Меняйте текст, чтобы экспериментировать с жанрами, инструментами и настроениями.

Какую опенсорс‑аудио‑модель ИИ выбрать?

Всё зависит от задачи: транскрибировать речь, генерировать реалистичные голоса, собрать ассистента реального времени или создавать музыку. Ниже — сравнение возможностей, размеров и лицензий для каждого случая.

Итоги

Опенсорс‑аудио‑модели стремительно прогрессируют в распознавании речи, синтезе речи, диалогах в реальном времени и генерации музыки. Они становятся точнее, быстрее и проще в запуске, поэтому разработчики могут строить аудио‑приложения без полной зависимости от дорогих коммерческих сервисов.

Лично я использую Voxtral через Spokenly почти для всей транскрибации — и очень доволен. Точность впечатляет, а хотя open-weight модель и огромная, я обращаюсь к хостинговому API Mistral, который для моих объёмов был бесплатным. Это хороший пример того, как такие модели становятся практичными для повседневных задач.

Ещё больше радует прогресс в разговорном ИИ. Мы уже знаем, насколько естественными могут быть голосовые диалоги с ChatGPT, а опенсорс‑модели вроде NVIDIA PersonaPlex и MiniCPM-o 4.5 приносят схожие возможности разработчикам, которые хотят создать собственных ассистентов. Параллельно ACE-Step позволяет генерировать полноценные песни, а лёгкие решения вроде Kokoro делают синтез речи ещё доступнее.

Единой «лучшей» модели для всего нет — и именно это делает область интересной. Нужны точная транскрибация, реалистичные голоса, естественные разговоры или сгенерированная музыка — наверняка найдётся опенсорс‑модель, которую стоит попробовать.