オープンソースの音声モデルは、音声認識、テキスト読み上げ（TTS）、リアルタイム音声対話、音楽生成にまで広がり、消費者向けGPU1枚で動くものも増えています。Qwen3-ASRは30言語と22の中国語方言を転写し、Kokoroはわずか8,200万パラメータで音声を生成、ACE-Stepは4 GB未満のVRAMでもフル楽曲を作れます。
本ガイドでは、GitHubのスター数が多いリポジトリ、Hugging Faceで広くダウンロードされているモデル、そしてArtificial Analysis のベンチマークで上位のモデルという3つの軸を組み合わせ、オープンソース／オープンウェイトのAI音声モデルから優秀な10点を厳選しました。カテゴリは音声認識、TTS、リアルタイム対話、音楽生成の4つです。
各モデルには、公式ドキュメントに基づくクイックスタート例を付けています。例によっては特定のハードウェアや依存関係、追加設定が必要になるため、実行前に要件をご確認ください。
注意事項： これはキュレーション済みのリストであり、厳密なベンチマーク順位ではありません。オープンウェイトとは学習済み重みがダウンロード可能という意味ですが、ライセンスによって利用方法が制限される場合があります。各セクションおよび最後の比較表でライセンスに触れています。サンプルは公式ドキュメント由来ですが、筆者自身がコードを検証したわけではないため、環境によっては追加の依存関係や設定が必要となる可能性があります。
要点まとめ
音声認識： 多言語精度ならQwen3-ASR、低遅延のライブ転写ならNemotron 3.5 ASR Streaming、要約や音声内容への質問もしたいならVoxtral Small。TTS： ローカルで軽快に使うならKokoro 82M、表現力あるマルチスピーカー対話ならFish Audio Drama 3、声のデザイン（商用不可）ならBreeze TTS 2。リアルタイム対話： 音声のみのボイスエージェントならNVIDIA PersonaPlex、動画入力も扱いたいならMiniCPM-o 4.5。音楽生成： ボーカル入りのフル楽曲ならACE-Step 1.5、インストゥルメンタル（商用不可）ならMusicGen Large。
おすすめのオープンソース音声認識モデル
音声認識（ASR）は、話し言葉の音声をテキストに変換します。会議の文字起こし、字幕、ポッドキャスト、音声アシスタント、音声データ分析に有用です。近年は多言語対応やライブ処理に加え、会話内容の理解・推論までこなすモデルも登場しています。
1. Voxtral Small
Voxtral Small 24B はMistral AIがApache 2.0で公開するオープンウェイトの音声理解モデルです。英語、スペイン語、フランス語、ポルトガル語、ヒンディー語、ドイツ語、オランダ語、イタリア語の8言語に対応し、録音の転写、会話要約、音声内容に関する質問応答、口頭の指示理解が可能です。
出典: Voxtral Small 24B
最大の利点は、1つのモデルで音声認識と自然言語の推論を両立できる点です。別々の転写・要約パイプラインが不要となり、会議分析、インタビュー、音声アシスタントに適しています。難点はサイズで、240億パラメータのモデルはBF16/FP16で約55 GBのGPUメモリを要し、大容量またはマルチGPUが必要です。
転写だけでよければ、Mistralの新しいVoxtral Mini 4B Realtime が軽量です。Mistralはこれを2026年2月 にApache 2.0で公開し、ストリーミング遅延は200 ms未満まで調整可能です。
クイックスタート： vLLMと必要なPythonパッケージをインストールします。
pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hub提供： vLLMサーバーを起動します。この設定はGPUを2枚使用します。
vllm serve mistralai/Voxtral-Small-24B-2507 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2 \
--tool-call-parser mistral \
--enable-auto-tool-choice提供： 別のターミナルを開き、サンプル音声の転写を実行します。
from mistral_common. protocol. transcription. request import TranscriptionRequest
from mistral_common. protocol. instruct. messages import RawAudio
from mistral_common. audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI
client = OpenAI(
api_key= "EMPTY" ,
base_url= "http://localhost:8000/v1" ,
)
model = client. models. list ( ) . data[ 0 ] . id
audio_file = hf_hub_download(
"patrickvonplaten/audio_samples" ,
"obama.mp3" ,
repo_type= "dataset" ,
)
audio = RawAudio. from_audio(
Audio. from_file( audio_file, strict= False )
)
req = TranscriptionRequest(
model= model,
audio= audio,
language= "en" ,
temperature= 0.0 ,
) . to_openai( exclude= ( "top_p" , "seed" ) )
response = client. audio. transcriptions. create( ** req)
print ( response. text) 提供： スクリプトはサンプル音声を取得し、ローカルのVoxtralサーバーに送って転写結果を表示します。
2. Qwen3-ASR
Qwen3-ASR はAlibabaのQwenチームによるオープンソースの音声認識モデル群で、0.6Bと1.7Bの2サイズがApache 2.0で提供されています。30言語と22の中国語方言に対応し、話されている言語を自動検出。BGM上の音声や歌唱も転写できます。多言語の転写、字幕、ポッドキャスト、インタビューに適しています。
出典: Qwen3-ASR
Qwen3-ASRは精度、速度、柔軟性のバランスが良好です。1.7BモデルはHugging FaceのOpen ASR Leaderboard で平均WER 5.76を記録し、Voxtral Smallの6.62よりも低い値です（低いほど良い）。0.6B版は効率と引き換えに若干の精度低下があります。
両サイズともオフラインとストリーミング推論に対応しますが、現時点でストリーミングにはvLLMバックエンドが必要です（pip install -U qwen-asr[vllm]）。オプションのQwen3-ForcedAligner-0.6Bは、11言語で字幕用の単語レベルタイムスタンプを生成します。
クイックスタート： 公式Pythonパッケージをインストールします。
pip install -U qwen-asr提供： 1.7Bモデルを読み込み、公式サンプル音声を転写します。
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel. from_pretrained(
"Qwen/Qwen3-ASR-1.7B" ,
dtype= torch. bfloat16,
device_map= "cuda:0" ,
)
results = model. transcribe(
audio= "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav" ,
language= None ,
)
print ( results[ 0 ] . language)
print ( results[ 0 ] . text) 提供： 初回実行時に自動でモデルがダウンロードされます。話されている言語を検出し、転写を出力します。
サンプルURLは手元の音声に置き換え可能です。ここではNVIDIA GPUを使用する例です。
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6B はリアルタイム転写向けの軽量ASRモデルです。6億パラメータで、英語、アラビア語、ヒンディー語、スペイン語、日本語など40の言語ロケールに対応（うち32はそのまま転写可能、8は事前の微調整が必要）。
出典: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
高速性はキャッシュ対応のストリーミング構造に由来します。録音全体を再処理せず、新しい音声チャンクのみを処理しつつエンコーダのコンテキストをキャッシュから再利用。チャンクは最小80 msまで設定可能です。単一H100上で、80 ms設定時にバッファ型Parakeet RNNT 1.1Bの約17倍の同時ストリーム数（240対14）を達成したと報告されています。
ライブ字幕、会議、低遅延の音声アシスタントに有力な選択肢です。重みはOpenMDW-1.1ライセンスで、モデルカードでは商用利用可能と説明されています。実行はNVIDIAのNeMo-Speech.cpp ランタイムでローカル動作します。
クイックスタート： LinuxまたはmacOSにNeMo-Speech.cppをインストールします。
curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | sh 提供： WAVファイルを転写します。初回はデフォルトのNemotron 3.5モデルを自動ダウンロードします。
nemo-speech transcribe audio.wav提供： ファイルを160 msチャンクでストリーミング認識に通すテストは次のとおりです。
nemo-speech transcribe audio.wav --stream 提供： 対応ビルドでマイク入力のリアルタイム転写を試すには：
nemo-speech transcribe --live 提供： audio.wavは手元の録音に置き換えてください。CPUと互換GPUの両バックエンドに対応しているため、大型GPUがなくても始められます。
おすすめのオープンソースTTSモデル
テキスト読み上げ（TTS）は、文章を自然な音声に変換します。近年は声のクローン、感情表現、マルチスピーカー対話、多言語対応が可能です。ここでは注目のオープンウェイト3モデルを紹介します。
4. Fish Audio Drama 3
Fish Audio Drama 3 は、多キャラクターのシーンや長尺コンテンツ向けの表現力豊かなTTSモデルです。合計350億パラメータのMixture-of-Experts構成ですが、トークンあたり約30億のみを活性化します。声のクローン、自然言語による声の制御、最大16名の対話に対応し、オーディオブックやキャラクター重視の制作に適しています。
出典: Fish Audio Drama 3 Technical Report
特筆すべきは感情表現の幅です。テキスト内に[sighs]や[laughs]などのタグを直接埋め込め、1本のスクリプトで最大16人のスピーカーを割り当て、長文もチャンク単位でストリーミング生成できます。Fish Audioによると、H200で単一ストリームの最初の音声まで約89 ms。SGLang-OmniやvLLM-Omniで動作します。
難点はサイズとライセンス。FP8チェックポイントは重みだけで37 GB、4-bit GPTQ版でも20.8 GB必要です。重みはFish Audio Community Licenseで提供されるため、商用利用前に必ず規約をご確認ください。
クイックスタート： NVIDIA GPUを備えた対応Linux環境でSGLang-OmniとFish Audio用依存関係をインストールします。
pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease = allow -v -e ".[fishaudio]" 提供： モデルをダウンロードしてサーバーを起動します：
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port 8000 提供： 別ターミナルから音声を生成します：
curl -X POST http://localhost:8000/v1/audio/speech \
-H "Content-Type: application/json" \
-d '{
"input": "Hello, how are you?"
}' \
--output output.wav提供： 生成された音声はoutput.wavに保存されます。入力文の変更や、ボイスクローン／マルチスピーカー生成は公式Drama 3クックブック をご覧ください。
5. Breeze TTS 2
Breeze TTS 2 は英語と中国語対応、30億パラメータのTTSモデルです。参照音声からのボイスクローン、自然言語での声のデザイン、トーン・感情・話し方の指示に対応します。
出典: Breeze TTS 2
BreezeBlueのモデルカードによると、Artificial AnalysisのTTSリーダーボードでオープンウェイト首位。H100の高速経路では最初の音声まで40 ms未満とされています。(laugh)、(sigh)、(cough)などのインラインボーカルイベントにも対応します。
インタラクティブな音声アプリに適しますが、自己ホストする重みと出力は研究・非商用に限定されます。ソースコードのみApache 2.0です。
クイックスタート： Linux、Python 3.10以上、CUDA対応NVIDIA GPU環境で公式リポジトリをクローンし依存関係をインストールします。
git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install -r requirements.txt
python -m pip install -U huggingface_hub提供： モデルチェックポイントをダウンロードします：
hf download BreezeBlue/Breeze-TTS-2 \
--local-dir .. /breeze-tts-2提供： 公式のボイスデザイン例で音声を生成します。参照音声は不要です。
python infer.py .. /breeze-tts-2 \
--text "(sigh) Welcome aboard. Your journey begins now." \
--instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
--cfg-scale 4 \
--output outputs/voice_design_en.wav提供： 声の説明に基づいて生成し、outputs/voice_design_en.wavに保存します。デフォルト推論は約7.7 GiBのGPUメモリが必要（--fast-allでは14.4 GiB）。最低でも12 GBのGPUが推奨です。ボイスクローンやストリーミングは公式ドキュメント をご参照ください。
6. Kokoro 82M
Kokoro 82M は8,200万パラメータの軽量TTSモデルです。v1.0では8言語54ボイスを提供。ハイエンドGPUなしで音声生成を試したい開発者にとって、取り組みやすい選択肢の一つです。
出典: Kokoro 82M
Kokoroの最大の利点は効率性です。オフライン読み上げ、アクセシビリティ支援、音声アシスタントに適し、重みはApache 2.0のため商用利用も可能です。
クイックスタート： Google Colabでそのまま動かせます。まず必要なパッケージをインストールします。
! pip install -q "kokoro>=0.9.2" soundfile
! apt-get -qq -y install espeak-ng > /dev/null 2 >&1 提供： 公式Pythonインターフェースで音声を生成します。
from kokoro import KPipeline
from IPython. display import display, Audio
import soundfile as sf
pipeline = KPipeline( lang_code= 'a' )
text = "Hello! Welcome to the world of open-source text-to-speech models."
generator = pipeline( text, voice= 'af_heart' )
for i, ( gs, ps, audio) in enumerate ( generator) :
display( Audio( data= audio, rate= 24000 ) )
sf. write( f' { i} .wav' , audio, 24000 ) 提供： af_heart（米英語）の声で音声を生成し、Colabで再生・WAV保存します。テキストやボイス、言語の変更は公式モデルカード を参照してください。
おすすめのオープンソース・リアルタイム音声LLM
リアルタイムの音声LLMは、話し言葉の質問を聞き取り、自然な音声で応答します。別個のASRとTTSをつなぐのではなく、連続会話、割り込み、同時の聞き取りと発話を単一モデルで処理します。
7. MiniCPM-o 4.5
MiniCPM-o 4.5 はOpenBMBによる90億パラメータのマルチモーダルモデルで、画像・動画・音声・テキストを理解し、音声で応答します。英語と中国語のリアルタイム音声対話、ボイスクローン、フルデュープレックス（同時入出力）に対応します。
出典: MiniCPM-o 4.5
特徴は、視覚理解と音声対話の組み合わせです。ライブカメラ映像に関する口頭の質問に答えたり、周囲を説明したり、動画処理しながら会話に応答できます。重みはApache 2.0で、すぐ使えるWebデモが提供されています（フルデュープレックスは実験段階）。
クイックスタート： 公式Webデモはライブの音声・動画対話に対応。Linux、Docker Compose、NVIDIA Container Toolkit、28 GB超のVRAMを持つNVIDIA GPUが必要です。
まず公式デモをクローンします：
git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demo提供： モデルチェックポイントをダウンロードします：
hf download openbmb/MiniCPM-o-4_5 \
--local-dir ./MiniCPM-o-4_5提供： ローカルHTTPS証明書を生成します：
mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
-keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o" 提供： Docker ComposeでWebデモを起動します：
MODEL_HOST_PATH = /path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0提供： /path/to/MiniCPM-o-4_5はダウンロード先の絶対パスに置き換えてください。GPU枚数に合わせてdocker-compose.ymlも調整します。HTTPSのポート8006にアクセスし、マイクとカメラを許可します。
Audio Full-Duplex を選べば音声のみのライブ対話、Omnimodal Full-Duplex なら動画と音声の両方でやり取りできます。質問や割り込み、連続会話を試してみてください。
8. NVIDIA PersonaPlex
NVIDIA PersonaPlex は、自然なリアルタイム会話のために設計された70億パラメータの音声対音声モデルです。Moshiアーキテクチャに基づき、フルデュープレックスで同時に聞き取り・発話が可能。別個の転写・音声生成システムなしで割り込みやオーバーラップ音声を処理します。
出典: NVIDIA PersonaPlex
声質やペルソナを制御でき、カスタマーサービス、バーチャルチューターなど用途に合わせた話し方と役割に調整可能です。視覚入力は持たないため、動画も必要ならMiniCPM-oを選びます。重みはNVIDIA Open Model Licenseで公開されています。
クイックスタート： NVIDIA GPUを備えた対応Linux環境で公式リポジトリをクローンし、依存関係をインストールします。
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudo apt install libopus-dev
pip install moshi/.提供： Hugging Face でライセンスに同意し、アクセストークンを設定します：
export HF_TOKEN = "YOUR_HUGGINGFACE_TOKEN" 提供： 公式PersonaPlexサーバーを起動します：
SSL_DIR = $( mktemp -d ) ; python -m moshi.server --ssl "$SSL_DIR " 提供： GPUメモリが限られる場合は--cpu-offloadを追加します（accelerateが必要）。
ブラウザでhttps://localhost:8998を開き、マイクを許可します。PersonaPlexと直接会話し、質問や割り込み、異なるボイス・ペルソナのテストが可能です。
おすすめのオーディオ／音楽生成モデル
音声生成モデルは、テキストプロンプトから音楽やインストゥルメンタル、メロディを生成します。ボーカル入りの楽曲全体を作ったり、既存音源を編集したり、参照メロディに基づいて音楽を作るものもあります。
9. ACE-Step 1.5
ACE-Step 1.5 はテキスト記述からフル楽曲を生成するオープンソースの音楽生成モデルです。ボーカル、オリジナル歌詞、複数ジャンルに対応し、最大10分の曲を作成可能。テンポ、調、長さを制御でき、既存音源でカバーを作ったり、曲の一部を編集することもできます。
出典: ACE-Step 1.5
大規模な音楽生成モデルと比べて導入しやすいのが強みです。NVIDIA、AMD、Intel、Apple Siliconで動作し、技術報告 では4 GB未満のVRAMでも動くと記載。READMEではA100でフル楽曲が2秒未満、RTX 3090で10秒未満と主張しています。
GradioのWebインターフェースとREST APIが同梱。4BパラメータのDiTデコーダを使うXL版は品質向上の代わりにメモリを多く消費し、オフロードありで最低12 GB、なしで20 GB以上のVRAMが必要です。プロジェクトはMITライセンスです。
クイックスタート： LinuxまたはmacOSでuvパッケージマネージャーをインストールします。
curl -LsSf https://astral.sh/uv/install.sh | sh 提供： 公式リポジトリをクローンし、依存関係をインストールします：
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv sync 提供： 音楽生成インターフェースを起動します：
uv run acestep提供： ブラウザでhttp://localhost:7860を開きます。初回起動時に必要なモデルを自動ダウンロードし、ハードウェアに合わせて設定を選択します。
生成したい曲の説明（例：エネルギッシュなドラムとシンセのアップビートなエレクトロ）を入力します。歌詞の指定、長さの調整、インストゥルメンタルの選択も可能です。生成ボタンを押して音楽を作成し、結果を試聴・ダウンロードしてください。
MusicGen Large はMetaのAudioCraftプロジェクトの一部として開発された、33億パラメータのテキスト→音楽モデルです。ジャンル、ムード、楽器、スタイルなどの記述からインストゥルメンタルを生成します。オリジナルのMusicGenリリースにおける最大のテキスト→音楽チェックポイントです。
出典: MusicGen Large
短いプロンプトからBGMやサウンドトラック、インストの断片を豊かに生成でき、Hugging Face TransformersやAudioCraftで動作します。リスト中では最も古いモデルで、2023年4〜5月に2万時間のライセンス音源で学習されています。リアルなボーカル生成はできません。
GPU推奨。学習済み重みはCC BY-NC 4.0（非商用）で、コードはMITです。
クイックスタート： TransformersとSciPyをインストールします。
pip install --upgrade transformers scipy提供： Hugging Faceの公式例でテキストプロンプトから音楽を生成します：
from transformers import pipeline
import scipy
synthesiser = pipeline( "text-to-audio" , "facebook/musicgen-large" )
music = synthesiser(
"lo-fi music with a soothing melody" ,
forward_params= { "do_sample" : True }
)
scipy. io. wavfile. write(
"musicgen_out.wav" ,
rate= music[ "sampling_rate" ] ,
data= music[ "audio" ]
) 提供： 初回に自動でモデルがダウンロードされ、プロンプトに基づくインスト曲を生成し、musicgen_out.wavに保存します。テキストを変えてジャンルや楽器、ムードを試してみてください。
どのオープンソースAI音声モデルを選ぶべきか？
最適解は、目的が転写か、リアルな音声生成か、リアルタイムのアシスタントか、音楽制作かによって変わります。以下の比較は、用途別に機能、モデルサイズ、ライセンスを整理したものです。
Model Best for Key advantage Model size License (weights) Voxtral Small 高度な音声認識 転写・要約・音声内容の推論を一体で 24B Apache 2.0 Qwen3-ASR 多言語転写 30言語と22の中国語方言 0.6B / 1.7B Apache 2.0 NVIDIA Nemotron 3.5 ASR リアルタイム転写 低遅延ストリーミングと効率的推論 0.6B OpenMDW-1.1 Fish Audio Drama 3 表現豊かな読み上げ・ストーリーテリング ボイスクローンと最大16人の対話 35B total / 3B active Fish Audio Community License Breeze TTS 2 自然なTTS 声のデザイン、感情制御、低レイテンシ 3B 研究・非商用限定 Kokoro 82M 軽量ローカルTTS 手頃なハードで効率的な音声生成 82M Apache 2.0 MiniCPM-o 4.5 マルチモーダル音声アシスタント リアルタイムの音声・動画・音声対話 9B Apache 2.0 NVIDIA PersonaPlex リアルタイム音声会話 自然な割り込みを伴うフルデュープレックス 7B NVIDIA Open Model License ACE-Step 1.5 フル楽曲生成 ボーカル、歌詞、カバー、音楽編集 2B / 4B (XL) MIT Meta MusicGen Large インストゥルメンタル生成 短いプロンプトからのテキスト→音楽 3.3B CC BY-NC 4.0
まとめ
オープンソースの音声モデルは、音声認識、TTS、リアルタイム会話、音楽生成の各分野で急速に進化しています。精度は上がり、速度は向上し、導入は容易になっており、高価な商用サービスに全面的に依存せずとも音声アプリを構築できる時代になりつつあります。
個人的には、転写作業のほとんどをSpokenly経由のVoxtralでこなしており、とても満足しています。精度は目を見張るものがあり、オープンウェイト版は巨大ですが、自分はMistralのホステッドAPIを呼んでおり、今のところ無料の範囲で収まっています。こうしたモデルが日常的な業務に実用的になっている好例だと思います。
さらに楽しみなのは会話型AIの進歩です。ChatGPTの音声対話が自然に感じられることはすでに実証済みで、オープンソースのNVIDIA PersonaPlexやMiniCPM-o 4.5は、独自アシスタントを作りたい開発者に同様の体験をもたらします。一方でACE-Stepはフル楽曲生成を可能にし、Kokoroのような軽量TTSは音声生成の敷居を下げています。
万能の一本はありません。だからこそ面白い分野です。正確な転写、リアルな声、自然な会話、生成音楽——目的に合わせて試す価値のあるオープンソースモデルがきっと見つかります。
オープンソースの音声モデルは、音声認識、テキスト読み上げ（TTS）、リアルタイム音声対話、音楽生成にまで広がり、消費者向けGPU1枚で動くものも増えています。Qwen3-ASRは30言語と22の中国語方言を転写し、Kokoroはわずか8,200万パラメータで音声を生成、ACE-Stepは4 GB未満のVRAMでもフル楽曲を作れます。
本ガイドでは、GitHubのスター数が多いリポジトリ、Hugging Faceで広くダウンロードされているモデル、そしてArtificial Analysisのベンチマークで上位のモデルという3つの軸を組み合わせ、オープンソース／オープンウェイトのAI音声モデルから優秀な10点を厳選しました。カテゴリは音声認識、TTS、リアルタイム対話、音楽生成の4つです。
各モデルには、公式ドキュメントに基づくクイックスタート例を付けています。例によっては特定のハードウェアや依存関係、追加設定が必要になるため、実行前に要件をご確認ください。
注意事項： これはキュレーション済みのリストであり、厳密なベンチマーク順位ではありません。オープンウェイトとは学習済み重みがダウンロード可能という意味ですが、ライセンスによって利用方法が制限される場合があります。各セクションおよび最後の比較表でライセンスに触れています。サンプルは公式ドキュメント由来ですが、筆者自身がコードを検証したわけではないため、環境によっては追加の依存関係や設定が必要となる可能性があります。
要点まとめ
おすすめのオープンソース音声認識モデル
音声認識（ASR）は、話し言葉の音声をテキストに変換します。会議の文字起こし、字幕、ポッドキャスト、音声アシスタント、音声データ分析に有用です。近年は多言語対応やライブ処理に加え、会話内容の理解・推論までこなすモデルも登場しています。
1. Voxtral Small
Voxtral Small 24BはMistral AIがApache 2.0で公開するオープンウェイトの音声理解モデルです。英語、スペイン語、フランス語、ポルトガル語、ヒンディー語、ドイツ語、オランダ語、イタリア語の8言語に対応し、録音の転写、会話要約、音声内容に関する質問応答、口頭の指示理解が可能です。
出典: Voxtral Small 24B
最大の利点は、1つのモデルで音声認識と自然言語の推論を両立できる点です。別々の転写・要約パイプラインが不要となり、会議分析、インタビュー、音声アシスタントに適しています。難点はサイズで、240億パラメータのモデルはBF16/FP16で約55 GBのGPUメモリを要し、大容量またはマルチGPUが必要です。
転写だけでよければ、Mistralの新しいVoxtral Mini 4B Realtimeが軽量です。Mistralはこれを2026年2月にApache 2.0で公開し、ストリーミング遅延は200 ms未満まで調整可能です。
クイックスタート： vLLMと必要なPythonパッケージをインストールします。
vLLMサーバーを起動します。この設定はGPUを2枚使用します。
別のターミナルを開き、サンプル音声の転写を実行します。
スクリプトはサンプル音声を取得し、ローカルのVoxtralサーバーに送って転写結果を表示します。
2. Qwen3-ASR
Qwen3-ASRはAlibabaのQwenチームによるオープンソースの音声認識モデル群で、0.6Bと1.7Bの2サイズがApache 2.0で提供されています。30言語と22の中国語方言に対応し、話されている言語を自動検出。BGM上の音声や歌唱も転写できます。多言語の転写、字幕、ポッドキャスト、インタビューに適しています。
出典: Qwen3-ASR
Qwen3-ASRは精度、速度、柔軟性のバランスが良好です。1.7BモデルはHugging FaceのOpen ASR Leaderboardで平均WER 5.76を記録し、Voxtral Smallの6.62よりも低い値です（低いほど良い）。0.6B版は効率と引き換えに若干の精度低下があります。
両サイズともオフラインとストリーミング推論に対応しますが、現時点でストリーミングにはvLLMバックエンドが必要です（
pip install -U qwen-asr[vllm]）。オプションのQwen3-ForcedAligner-0.6Bは、11言語で字幕用の単語レベルタイムスタンプを生成します。クイックスタート： 公式Pythonパッケージをインストールします。
1.7Bモデルを読み込み、公式サンプル音声を転写します。
初回実行時に自動でモデルがダウンロードされます。話されている言語を検出し、転写を出力します。
サンプルURLは手元の音声に置き換え可能です。ここではNVIDIA GPUを使用する例です。
3. NVIDIA Nemotron 3.5 ASR Streaming
NVIDIA Nemotron 3.5 ASR Streaming 0.6Bはリアルタイム転写向けの軽量ASRモデルです。6億パラメータで、英語、アラビア語、ヒンディー語、スペイン語、日本語など40の言語ロケールに対応（うち32はそのまま転写可能、8は事前の微調整が必要）。
出典: NVIDIA Nemotron 3.5 ASR Streaming 0.6B
高速性はキャッシュ対応のストリーミング構造に由来します。録音全体を再処理せず、新しい音声チャンクのみを処理しつつエンコーダのコンテキストをキャッシュから再利用。チャンクは最小80 msまで設定可能です。単一H100上で、80 ms設定時にバッファ型Parakeet RNNT 1.1Bの約17倍の同時ストリーム数（240対14）を達成したと報告されています。
ライブ字幕、会議、低遅延の音声アシスタントに有力な選択肢です。重みはOpenMDW-1.1ライセンスで、モデルカードでは商用利用可能と説明されています。実行はNVIDIAのNeMo-Speech.cppランタイムでローカル動作します。
クイックスタート： LinuxまたはmacOSにNeMo-Speech.cppをインストールします。
WAVファイルを転写します。初回はデフォルトのNemotron 3.5モデルを自動ダウンロードします。
ファイルを160 msチャンクでストリーミング認識に通すテストは次のとおりです。
対応ビルドでマイク入力のリアルタイム転写を試すには：
audio.wavは手元の録音に置き換えてください。CPUと互換GPUの両バックエンドに対応しているため、大型GPUがなくても始められます。おすすめのオープンソースTTSモデル
テキスト読み上げ（TTS）は、文章を自然な音声に変換します。近年は声のクローン、感情表現、マルチスピーカー対話、多言語対応が可能です。ここでは注目のオープンウェイト3モデルを紹介します。
4. Fish Audio Drama 3
Fish Audio Drama 3は、多キャラクターのシーンや長尺コンテンツ向けの表現力豊かなTTSモデルです。合計350億パラメータのMixture-of-Experts構成ですが、トークンあたり約30億のみを活性化します。声のクローン、自然言語による声の制御、最大16名の対話に対応し、オーディオブックやキャラクター重視の制作に適しています。
出典: Fish Audio Drama 3 Technical Report
特筆すべきは感情表現の幅です。テキスト内に
[sighs]や[laughs]などのタグを直接埋め込め、1本のスクリプトで最大16人のスピーカーを割り当て、長文もチャンク単位でストリーミング生成できます。Fish Audioによると、H200で単一ストリームの最初の音声まで約89 ms。SGLang-OmniやvLLM-Omniで動作します。難点はサイズとライセンス。FP8チェックポイントは重みだけで37 GB、4-bit GPTQ版でも20.8 GB必要です。重みはFish Audio Community Licenseで提供されるため、商用利用前に必ず規約をご確認ください。
クイックスタート： NVIDIA GPUを備えた対応Linux環境でSGLang-OmniとFish Audio用依存関係をインストールします。
モデルをダウンロードしてサーバーを起動します：
別ターミナルから音声を生成します：
生成された音声は
output.wavに保存されます。入力文の変更や、ボイスクローン／マルチスピーカー生成は公式Drama 3クックブックをご覧ください。5. Breeze TTS 2
Breeze TTS 2は英語と中国語対応、30億パラメータのTTSモデルです。参照音声からのボイスクローン、自然言語での声のデザイン、トーン・感情・話し方の指示に対応します。
出典: Breeze TTS 2
BreezeBlueのモデルカードによると、Artificial AnalysisのTTSリーダーボードでオープンウェイト首位。H100の高速経路では最初の音声まで40 ms未満とされています。
(laugh)、(sigh)、(cough)などのインラインボーカルイベントにも対応します。インタラクティブな音声アプリに適しますが、自己ホストする重みと出力は研究・非商用に限定されます。ソースコードのみApache 2.0です。
クイックスタート： Linux、Python 3.10以上、CUDA対応NVIDIA GPU環境で公式リポジトリをクローンし依存関係をインストールします。
モデルチェックポイントをダウンロードします：
公式のボイスデザイン例で音声を生成します。参照音声は不要です。
声の説明に基づいて生成し、
outputs/voice_design_en.wavに保存します。デフォルト推論は約7.7 GiBのGPUメモリが必要（--fast-allでは14.4 GiB）。最低でも12 GBのGPUが推奨です。ボイスクローンやストリーミングは公式ドキュメントをご参照ください。6. Kokoro 82M
Kokoro 82Mは8,200万パラメータの軽量TTSモデルです。v1.0では8言語54ボイスを提供。ハイエンドGPUなしで音声生成を試したい開発者にとって、取り組みやすい選択肢の一つです。
出典: Kokoro 82M
Kokoroの最大の利点は効率性です。オフライン読み上げ、アクセシビリティ支援、音声アシスタントに適し、重みはApache 2.0のため商用利用も可能です。
クイックスタート： Google Colabでそのまま動かせます。まず必要なパッケージをインストールします。
公式Pythonインターフェースで音声を生成します。
af_heart（米英語）の声で音声を生成し、Colabで再生・WAV保存します。テキストやボイス、言語の変更は公式モデルカードを参照してください。おすすめのオープンソース・リアルタイム音声LLM
リアルタイムの音声LLMは、話し言葉の質問を聞き取り、自然な音声で応答します。別個のASRとTTSをつなぐのではなく、連続会話、割り込み、同時の聞き取りと発話を単一モデルで処理します。
7. MiniCPM-o 4.5
MiniCPM-o 4.5はOpenBMBによる90億パラメータのマルチモーダルモデルで、画像・動画・音声・テキストを理解し、音声で応答します。英語と中国語のリアルタイム音声対話、ボイスクローン、フルデュープレックス（同時入出力）に対応します。
出典: MiniCPM-o 4.5
特徴は、視覚理解と音声対話の組み合わせです。ライブカメラ映像に関する口頭の質問に答えたり、周囲を説明したり、動画処理しながら会話に応答できます。重みはApache 2.0で、すぐ使えるWebデモが提供されています（フルデュープレックスは実験段階）。
クイックスタート： 公式Webデモはライブの音声・動画対話に対応。Linux、Docker Compose、NVIDIA Container Toolkit、28 GB超のVRAMを持つNVIDIA GPUが必要です。
まず公式デモをクローンします：
モデルチェックポイントをダウンロードします：
ローカルHTTPS証明書を生成します：
Docker ComposeでWebデモを起動します：
/path/to/MiniCPM-o-4_5はダウンロード先の絶対パスに置き換えてください。GPU枚数に合わせてdocker-compose.ymlも調整します。HTTPSのポート8006にアクセスし、マイクとカメラを許可します。Audio Full-Duplexを選べば音声のみのライブ対話、Omnimodal Full-Duplexなら動画と音声の両方でやり取りできます。質問や割り込み、連続会話を試してみてください。
8. NVIDIA PersonaPlex
NVIDIA PersonaPlexは、自然なリアルタイム会話のために設計された70億パラメータの音声対音声モデルです。Moshiアーキテクチャに基づき、フルデュープレックスで同時に聞き取り・発話が可能。別個の転写・音声生成システムなしで割り込みやオーバーラップ音声を処理します。
出典: NVIDIA PersonaPlex
声質やペルソナを制御でき、カスタマーサービス、バーチャルチューターなど用途に合わせた話し方と役割に調整可能です。視覚入力は持たないため、動画も必要ならMiniCPM-oを選びます。重みはNVIDIA Open Model Licenseで公開されています。
クイックスタート： NVIDIA GPUを備えた対応Linux環境で公式リポジトリをクローンし、依存関係をインストールします。
Hugging Faceでライセンスに同意し、アクセストークンを設定します：
公式PersonaPlexサーバーを起動します：
GPUメモリが限られる場合は
--cpu-offloadを追加します（accelerateが必要）。ブラウザで
https://localhost:8998を開き、マイクを許可します。PersonaPlexと直接会話し、質問や割り込み、異なるボイス・ペルソナのテストが可能です。おすすめのオーディオ／音楽生成モデル
音声生成モデルは、テキストプロンプトから音楽やインストゥルメンタル、メロディを生成します。ボーカル入りの楽曲全体を作ったり、既存音源を編集したり、参照メロディに基づいて音楽を作るものもあります。
9. ACE-Step 1.5
ACE-Step 1.5はテキスト記述からフル楽曲を生成するオープンソースの音楽生成モデルです。ボーカル、オリジナル歌詞、複数ジャンルに対応し、最大10分の曲を作成可能。テンポ、調、長さを制御でき、既存音源でカバーを作ったり、曲の一部を編集することもできます。
出典: ACE-Step 1.5
大規模な音楽生成モデルと比べて導入しやすいのが強みです。NVIDIA、AMD、Intel、Apple Siliconで動作し、技術報告では4 GB未満のVRAMでも動くと記載。READMEではA100でフル楽曲が2秒未満、RTX 3090で10秒未満と主張しています。
GradioのWebインターフェースとREST APIが同梱。4BパラメータのDiTデコーダを使うXL版は品質向上の代わりにメモリを多く消費し、オフロードありで最低12 GB、なしで20 GB以上のVRAMが必要です。プロジェクトはMITライセンスです。
クイックスタート： LinuxまたはmacOSで
uvパッケージマネージャーをインストールします。公式リポジトリをクローンし、依存関係をインストールします：
音楽生成インターフェースを起動します：
ブラウザで
http://localhost:7860を開きます。初回起動時に必要なモデルを自動ダウンロードし、ハードウェアに合わせて設定を選択します。生成したい曲の説明（例：エネルギッシュなドラムとシンセのアップビートなエレクトロ）を入力します。歌詞の指定、長さの調整、インストゥルメンタルの選択も可能です。生成ボタンを押して音楽を作成し、結果を試聴・ダウンロードしてください。
10. Meta MusicGen Large
MusicGen LargeはMetaのAudioCraftプロジェクトの一部として開発された、33億パラメータのテキスト→音楽モデルです。ジャンル、ムード、楽器、スタイルなどの記述からインストゥルメンタルを生成します。オリジナルのMusicGenリリースにおける最大のテキスト→音楽チェックポイントです。
出典: MusicGen Large
短いプロンプトからBGMやサウンドトラック、インストの断片を豊かに生成でき、Hugging Face TransformersやAudioCraftで動作します。リスト中では最も古いモデルで、2023年4〜5月に2万時間のライセンス音源で学習されています。リアルなボーカル生成はできません。
GPU推奨。学習済み重みはCC BY-NC 4.0（非商用）で、コードはMITです。
クイックスタート： TransformersとSciPyをインストールします。
Hugging Faceの公式例でテキストプロンプトから音楽を生成します：
初回に自動でモデルがダウンロードされ、プロンプトに基づくインスト曲を生成し、
musicgen_out.wavに保存します。テキストを変えてジャンルや楽器、ムードを試してみてください。どのオープンソースAI音声モデルを選ぶべきか？
最適解は、目的が転写か、リアルな音声生成か、リアルタイムのアシスタントか、音楽制作かによって変わります。以下の比較は、用途別に機能、モデルサイズ、ライセンスを整理したものです。
まとめ
オープンソースの音声モデルは、音声認識、TTS、リアルタイム会話、音楽生成の各分野で急速に進化しています。精度は上がり、速度は向上し、導入は容易になっており、高価な商用サービスに全面的に依存せずとも音声アプリを構築できる時代になりつつあります。
個人的には、転写作業のほとんどをSpokenly経由のVoxtralでこなしており、とても満足しています。精度は目を見張るものがあり、オープンウェイト版は巨大ですが、自分はMistralのホステッドAPIを呼んでおり、今のところ無料の範囲で収まっています。こうしたモデルが日常的な業務に実用的になっている好例だと思います。
さらに楽しみなのは会話型AIの進歩です。ChatGPTの音声対話が自然に感じられることはすでに実証済みで、オープンソースのNVIDIA PersonaPlexやMiniCPM-o 4.5は、独自アシスタントを作りたい開発者に同様の体験をもたらします。一方でACE-Stepはフル楽曲生成を可能にし、Kokoroのような軽量TTSは音声生成の敷居を下げています。
万能の一本はありません。だからこそ面白い分野です。正確な転写、リアルな声、自然な会話、生成音楽——目的に合わせて試す価値のあるオープンソースモデルがきっと見つかります。