2026년 오픈 소스 AI 오디오 모델 톱 10

오픈 소스 오디오 모델은 이제 음성 인식, 텍스트-음성 변환(TTS), 실시간 음성 대화, 음악 생성까지 아우르며, 그중 일부는 일반 소비자용 GPU 한 대로도 실행할 수 있습니다. Qwen3-ASR은 30개 언어와 중국어 22개 방언을 전사하고, Kokoro는 8,200만 개의 파라미터로 음성을 생성하며, ACE-Step은 4GB 미만의 비디오 메모리(VRAM)로도 완전한 곡을 만들어냅니다.

이 가이드에서는 GitHub 별표 수가 높은 저장소, Hugging Face에서 널리 다운로드된 모델, 그리고 Artificial Analysis 벤치마크의 상위 모델이라는 세 가지 요소를 종합하여, 최고의 오픈 소스 및 오픈 웨이트 AI 오디오 모델 10가지를 선별했습니다. 범주는 음성 인식, 텍스트-음성 변환, 실시간 대화, 음악 생성의 4가지입니다.

각 모델에는 공식 문서를 바탕으로 한 퀵 스타트 예제가 포함되어 있습니다. 일부 예제는 특정 하드웨어, 종속성 또는 추가 구성이 필요하므로 실행 전에 모델별 요구 사항을 확인하세요.

짧은 안내: 이는 큐레이션 목록이지 엄격한 벤치마크 순위가 아닙니다. 오픈 웨이트는 학습된 가중치를 다운로드할 수 있음을 의미하지만, 라이선스에 따라 사용 방식이 제한될 수 있습니다. 그래서 각 섹션과 마지막 비교 표에 라이선스를 표기했습니다. 예제는 공식 문서에서 가져왔지만, 코드를 직접 테스트하지는 않았으므로 환경에 따라 추가 종속성이나 구성이 필요할 수 있습니다.

한눈에 보기

• 음성 인식: 다국어 정확도는 Qwen3-ASR, 저지연 실시간 전사는 Nemotron 3.5 ASR Streaming, 오디오에 대한 요약과 질의응답까지 원하면 Voxtral Small.
• 텍스트-음성 변환: 로컬 경량 사용은 Kokoro 82M, 감정 표현이 풍부한 다화자 대사는 Fish Audio Drama 3, 음색 디자인(비상업용만)은 Breeze TTS 2.
• 실시간 대화: 오디오 전용 보이스 에이전트는 NVIDIA PersonaPlex, 비디오 입력도 함께 원하면 MiniCPM-o 4.5.
• 음악 생성: 보컬 포함 풀 송은 ACE-Step 1.5, 연주곡(비상업용만)은 MusicGen Large.

최고의 오픈 소스 음성 인식 모델

음성 인식(ASR) 모델은 말소리를 텍스트로 변환합니다. 회의 전사, 자막, 팟캐스트, 음성 비서, 오디오 분석 등에 유용합니다. 최신 모델은 다국어 인식, 실시간 대화 처리까지 지원하며, 일부는 대화 주제에 대한 추론도 수행합니다.

1. Voxtral Small

Voxtral Small 24B는 Mistral AI의 오픈 웨이트 음성 이해 모델로, Apache 2.0 라이선스로 공개되었습니다. 영어, 스페인어, 프랑스어, 포르투갈어, 힌디어, 독일어, 네덜란드어, 이탈리아어 등 8개 언어를 지원하며, 녹음 전사, 대화 요약, 오디오에 대한 질의응답, 음성 지시 따르기를 수행합니다.

출처: Voxtral Small 24B

가장 큰 장점은 하나의 모델이 음성 인식과 언어 추론을 모두 처리한다는 점입니다. 별도의 전사·요약 파이프라인이 필요 없으므로 회의 분석, 인터뷰, 음성 비서에 적합합니다. 단, 240억 파라미터 규모로 BF16 또는 FP16 기준 약 55GB의 GPU 메모리가 필요해, 대용량 또는 다중 GPU가 요구됩니다.

전사만 필요하다면 Mistral의 최신 Voxtral Mini 4B Realtime이 훨씬 가볍습니다. Mistral은 이를 2026년 2월 Apache 2.0으로 공개했으며, 스트리밍 지연을 200ms 미만까지 설정할 수 있습니다.

퀵 스타트: vLLM과 필요한 Python 패키지를 설치하세요.

pip install -U "vllm[audio]" "mistral-common[audio]" openai huggingface_hub제공

vLLM 서버를 시작합니다. 이 구성은 GPU 2개를 사용합니다.

vllm serve mistralai/Voxtral-Small-24B-2507 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral \
  --tensor-parallel-size 2 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice제공

다른 터미널을 열고 Python 예제를 실행하여 샘플 오디오를 전사하세요.

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

model = client.models.list().data[0].id

audio_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset",
)

audio = RawAudio.from_audio(
    Audio.from_file(audio_file, strict=False)
)

req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response.text)제공

스크립트는 샘플 녹음을 다운로드해 로컬 Voxtral 서버로 전송하고, 전사 결과를 출력합니다.

2. Qwen3-ASR

Qwen3-ASR은 Alibaba Qwen 팀의 오픈 소스 음성 인식 모델 패밀리로, 6억(0.6B)과 17억(1.7B) 파라미터 버전이 Apache 2.0 라이선스로 제공됩니다. 30개 언어와 중국어 22개 방언을 지원하고, 발화 언어를 자동으로 감지하며, 배경 음악 위의 음성(노래 포함)도 전사합니다. 다국어 전사, 자막, 팟캐스트, 인터뷰에 적합합니다.

출처: Qwen3-ASR

Qwen3-ASR은 정확도, 속도, 유연성의 균형이 좋습니다. 1.7B 모델은 Hugging Face의 Open ASR Leaderboard에서 평균 단어 오류율(WER) 5.76을 기록했으며, Voxtral Small의 6.62보다 낮습니다(낮을수록 우수). 0.6B는 효율성을 위해 약간의 정확도를 희생합니다.

두 크기 모두 오프라인과 스트리밍 추론을 지원하지만, 현재 스트리밍은 vLLM 백엔드가 필요합니다(pip install -U qwen-asr[vllm]). 선택형 Qwen3-ForcedAligner-0.6B 모델은 11개 지원 언어에서 자막용 단어 단위 타임스탬프를 생성합니다.

퀵 스타트: 공식 Python 패키지를 설치하세요.

pip install -U qwen-asr제공

1.7B 모델을 로드하고 공식 샘플 오디오를 전사합니다.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
)

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None,
)

print(results[0].language)
print(results[0].text)제공

모델은 처음 사용 시 자동으로 다운로드됩니다. 발화 언어를 감지하고 전사 결과를 출력합니다.

샘플 URL을 보유한 오디오 파일로 바꿀 수 있습니다. 이 예제는 NVIDIA GPU를 사용합니다.

3. NVIDIA Nemotron 3.5 ASR Streaming

NVIDIA Nemotron 3.5 ASR Streaming 0.6B는 실시간 전사를 위해 설계된 경량 음성 인식 모델입니다. 6억 파라미터이며 영어, 아랍어, 힌디어, 스페인어, 일본어를 포함한 40개 언어 로캘을 지원합니다. 이 가운데 32개는 바로 전사 가능하고, 8개는 사전 미세 조정이 필요합니다.

출처: NVIDIA Nemotron 3.5 ASR Streaming 0.6B

속도는 캐시 인지형 스트리밍 아키텍처에서 나옵니다. 전체 녹음을 재처리하는 대신, 새 오디오 청크만 처리하면서 인코더 컨텍스트 캐시를 재사용합니다. 청크 크기는 최소 80ms까지 줄일 수 있습니다. 단일 H100에서 NVIDIA는 80ms 설정 시 버퍼 기반 Parakeet RNNT 1.1B 대비 약 17배 많은 동시 스트림(240 대 14)을 보고했습니다.

따라서 실시간 자막, 회의, 저지연 음성 비서에 적합합니다. 가중치는 OpenMDW-1.1 라이선스를 사용하며, NVIDIA 모델 카드에 따르면 상업적 사용이 가능합니다. 모델은 NVIDIA의 NeMo-Speech.cpp 런타임으로 로컬에서 실행됩니다.

퀵 스타트: Linux 또는 macOS에 NeMo-Speech.cpp를 설치하세요.

curl -fsSL https://github.com/NVIDIA/NeMo-Speech.cpp/raw/main/scripts/install.sh | sh제공

WAV 파일을 전사합니다. 첫 실행 시 기본 Nemotron 3.5 모델을 다운로드합니다.

nemo-speech transcribe audio.wav제공

파일을 160ms 청크로 스트리밍 인식기에 흘려보내는 스트리밍 전사를 테스트하려면 다음을 실행하세요:

nemo-speech transcribe audio.wav --stream제공

지원 빌드에서 실시간 마이크 전사를 사용하려면:

nemo-speech transcribe --live제공

audio.wav를 보유한 녹음으로 바꾸세요. 런타임은 CPU와 호환 GPU 백엔드를 지원하므로, 시작을 위해 대형 GPU가 반드시 필요하지는 않습니다.

최고의 오픈 소스 텍스트-음성 변환 모델

텍스트-음성 변환(TTS) 모델은 문어 텍스트를 자연스러운 음성으로 바꿉니다. 최신 모델은 음성 복제, 감정 표현, 다화자 대사, 다국어 발화를 지원합니다. 여기 살펴볼 가치가 있는 오픈 웨이트 모델 3가지를 소개합니다.

4. Fish Audio Drama 3

Fish Audio Drama 3는 다수의 등장인물 장면과 장문의 콘텐츠를 위해 설계된 표현력 있는 TTS 모델입니다. 350억 파라미터의 전문가 혼합(MoE) 구조를 사용하지만, 토큰당 약 30억 파라미터만 활성화합니다. 음성 복제, 자연어 기반 음성 제어, 최대 16명의 화자가 참여하는 대사를 지원해 오디오북과 캐릭터 중심 콘텐츠에 적합합니다.

출처: Fish Audio Drama 3 Technical Report

특히 감정 표현 폭이 돋보입니다. 텍스트에 [sighs], [laughs] 같은 인라인 태그를 직접 넣을 수 있고, 하나의 스크립트에 최대 16개의 화자 태그를 지정할 수 있으며, 긴 문장을 청크 단위로 스트리밍할 수 있습니다. Fish Audio는 H200 GPU에서 단일 스트림의 최초 오디오 응답 시간이 약 89ms라고 보고하며, SGLang-Omni와 vLLM-Omni로 실행됩니다.

제약은 크기와 라이선스입니다. FP8 체크포인트는 가중치만 37GB가 필요하고, 4비트 GPTQ 버전은 이를 20.8GB로 줄입니다. 가중치는 Fish Audio Community License를 사용하므로 상업적 사용 전 약관을 확인하세요.

퀵 스타트: NVIDIA GPU가 장착된 지원 Linux 시스템에 SGLang-Omni와 Fish Audio 종속성을 설치하세요.

pip install -U uv huggingface_hub
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv
source .venv/bin/activate
uv pip install --prerelease=allow -v -e ".[fishaudio]"제공

모델을 다운로드하고 서버를 시작합니다:

hf download fishaudio/drama-3

sgl-omni serve --model-path fishaudio/drama-3 --port 8000제공

다른 터미널을 열고 음성을 생성합니다:

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, how are you?"
  }' \
  --output output.wav제공

모델은 음성을 생성해 output.wav로 저장합니다. 입력 텍스트를 바꾸거나, 공식 Drama 3 요리책을 참고해 음성 복제와 다화자 생성을 탐색해 보세요.

5. Breeze TTS 2

Breeze TTS 2는 영어와 중국어를 위한 30억 파라미터 TTS 모델입니다. 레퍼런스 녹음 기반의 음성 복제, 자연어 기술만으로의 음색 디자인, 톤·감정·발화 방식에 대한 자연어 지시를 지원합니다.

출처: Breeze TTS 2

BreezeBlue의 모델 카드는 이 모델이 Artificial Analysis TTS 리더보드의 오픈 웨이트 모델 중 1위를 차지하며, H100의 패스트 경로에서 최초 오디오 응답 시간이 40ms 미만이라고 밝힙니다. (laugh), (sigh), (cough) 같은 인라인 보컬 이벤트도 지원합니다.

인터랙티브 보이스 애플리케이션에 적합하지만, 자체 호스팅 가중치와 출력물은 연구 및 비상업적 용도로 제한됩니다. 소스 코드는 Apache 2.0입니다.

퀵 스타트: Linux에서 Python 3.10+와 CUDA 호환 NVIDIA GPU 환경에서 공식 저장소를 클론하고 종속성을 설치하세요.

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

python -m pip install -r requirements.txt
python -m pip install -U huggingface_hub제공

모델 체크포인트를 다운로드합니다:

hf download BreezeBlue/Breeze-TTS-2 \
  --local-dir ../breeze-tts-2제공

공식 음색 디자인 예제로 음성을 생성합니다. 레퍼런스 오디오가 필요 없습니다.

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wav제공

모델은 음색 설명을 바탕으로 음성을 생성해 outputs/voice_design_en.wav로 저장합니다. 기본 추론 모드는 약 7.7GiB의 GPU 메모리(옵션 --fast-all 사용 시 14.4GiB)가 필요하며, 최소 권장 GPU는 12GB입니다. 공식 Breeze TTS 2 문서에서 음성 복제와 스트리밍도 시도해 보세요.

6. Kokoro 82M

Kokoro 82M은 8,200만 파라미터의 경량 TTS 모델입니다. v1.0 릴리스는 8개 언어에서 54개 음성을 제공합니다. 고성능 GPU 없이도 음성 생성을 실험하려는 개발자에게 접근성이 높은 옵션입니다.

출처: Kokoro 82M

Kokoro의 핵심 장점은 효율성입니다. 오프라인 내레이션, 접근성 도구, 음성 비서에 적합하고, Apache 2.0 가중치이므로 상업 프로젝트에도 사용할 수 있습니다.

퀵 스타트: Google Colab에서 바로 실행할 수 있습니다. 먼저 필요한 패키지를 설치하세요:

!pip install -q "kokoro>=0.9.2" soundfile

!apt-get -qq -y install espeak-ng > /dev/null 2>&1제공

공식 Python 인터페이스로 음성을 생성합니다:

from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Hello! Welcome to the world of open-source text-to-speech models."

generator = pipeline(text, voice='af_heart')

for i, (gs, ps, audio) in enumerate(generator):
    display(Audio(data=audio, rate=24000))
    sf.write(f'{i}.wav', audio, 24000)제공

모델은 미국 영어 음성 af_heart로 음성을 생성하고, Colab에서 재생한 뒤 WAV 파일로 저장합니다. 텍스트, 음성, 언어는 공식 Kokoro 모델 카드를 참고해 변경하세요.

최고의 오픈 소스 실시간 오디오 LLM

실시간 오디오 LLM은 음성 질문을 듣고 자연스러운 음성으로 응답합니다. 별도의 음성 인식과 TTS 시스템을 연결하는 대신, 하나의 모델이 연속 대화, 말 끊기(인터럽트), 동시 청취·발화를 처리합니다.

7. MiniCPM-o 4.5

MiniCPM-o 4.5는 OpenBMB의 90억 파라미터 멀티모달 모델로, 이미지·비디오·오디오·텍스트를 이해하고 음성으로 응답합니다. 영어와 중국어로 실시간 음성 대화, 음성 복제, 풀 듀플렉스 상호작용을 지원합니다. 풀 듀플렉스는 매 턴이 끝나길 기다리지 않고 동시에 듣고 보고 말할 수 있음을 의미합니다.

출처: MiniCPM-o 4.5

이 모델의 차별점은 시각 이해와 음성 상호작용의 결합입니다. 라이브 카메라 피드에 대한 음성 질문에 답하거나, 주변 환경을 묘사하거나, 비디오를 처리하면서 대화에 응답하는 보조자를 만들 수 있습니다. 가중치는 Apache 2.0이며, 즉시 사용 가능한 웹 데모가 제공되지만 풀 듀플렉스 스트리밍은 아직 실험적입니다.

퀵 스타트: 공식 MiniCPM-o 4.5 웹 데모는 라이브 오디오·비디오 대화를 지원합니다. Linux, Docker Compose, NVIDIA Container Toolkit, 28GB 초과 VRAM의 NVIDIA GPU가 필요합니다.

먼저 공식 데모 저장소를 클론하세요:

git clone https://github.com/OpenBMB/MiniCPM-o-Demo.git
cd MiniCPM-o-Demo제공

모델 체크포인트를 다운로드합니다:

hf download openbmb/MiniCPM-o-4_5 \
  --local-dir ./MiniCPM-o-4_5제공

로컬 HTTPS 인증서를 생성합니다:

mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
  -keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"제공

Docker Compose로 웹 데모를 시작합니다:

MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0제공

/path/to/MiniCPM-o-4_5를 다운로드한 체크포인트의 절대 경로로 바꾸고, GPU 수에 맞게 docker-compose.yml을 수정하세요. 포트 8006의 HTTPS 웹 인터페이스를 열고 마이크와 카메라 접근을 허용합니다.

Audio Full-Duplex를 선택해 라이브 음성 대화를 하거나, Omnimodal Full-Duplex로 비디오와 오디오를 함께 사용해 상호작용하세요. 질문을 하거나, 모델의 응답을 중간에 끊어 보거나, 연속 대화를 실험할 수 있습니다.

8. NVIDIA PersonaPlex

NVIDIA PersonaPlex는 자연스러운 실시간 대화를 위해 설계된 70억 파라미터 음성-음성 모델입니다. Moshi 아키텍처 기반으로 풀 듀플렉스 통신을 지원해, 동시에 듣고 말할 수 있습니다. 별도의 전사·음성 생성 시스템 없이도 인터럽트와 겹치는 발화를 처리합니다.

출처: NVIDIA PersonaPlex

PersonaPlex는 보조자의 음성과 성격을 제어할 수 있어, 고객 지원, 가상 튜터 등 다양한 보이스 에이전트의 역할과 화법을 맞춤화할 수 있습니다. 오디오 대화에 집중하며 시각 입력은 지원하지 않으므로, 비디오가 필요하면 MiniCPM-o를 선택하세요. 가중치는 NVIDIA Open Model License로 공개되었습니다.

퀵 스타트: NVIDIA GPU가 장착된 지원 Linux 시스템에서 공식 저장소를 클론하고 종속성을 설치하세요.

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

sudo apt install libopus-dev
pip install moshi/.제공

Hugging Face에서 모델 라이선스를 수락하고 액세스 토큰을 설정하세요:

export HF_TOKEN="YOUR_HUGGINGFACE_TOKEN"제공

공식 PersonaPlex 서버를 시작합니다:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"제공

GPU 메모리가 제한적이라면 --cpu-offload 플래그를 추가하세요. 이 경우 accelerate 패키지가 필요합니다.

브라우저에서 https://localhost:8998을 열고 마이크 접근을 허용하세요. 이제 PersonaPlex와 직접 대화하고, 질문을 하며, 응답을 중간에 끊어 보고, 다양한 보이스 페르소나를 시험할 수 있습니다.

최고의 오디오·음악 생성 모델

오디오 생성 모델은 텍스트 프롬프트로부터 원본 음악, 연주곡, 멜로디를 만듭니다. 일부는 보컬이 포함된 완전한 곡을 생성하거나, 기존 녹음을 편집하거나, 기준 멜로디에 기반해 음악을 만들 수도 있습니다.

9. ACE-Step 1.5

ACE-Step 1.5는 텍스트 설명에서 완전한 곡을 생성하는 오픈 소스 음악 생성 모델입니다. 보컬, 사용자 정의 가사, 다양한 음악 스타일, 최대 10분 길이의 곡을 지원합니다. 또한 템포, 조성, 길이를 제어하거나, 기존 녹음을 활용해 커버를 만들고 곡의 일부를 편집할 수 있습니다.

출처: ACE-Step 1.5

ACE-Step의 강점은 대형 음악 생성 모델에 비해 접근성이 높다는 점입니다. NVIDIA, AMD, Intel, Apple Silicon 하드웨어에서 실행되며, 기술 보고서에 따르면 4GB 미만 VRAM의 GPU에서도 실행 가능합니다. README는 A100에서 곡 1개를 2초 미만, RTX 3090에서 10초 미만에 생성한다고 밝힙니다.

Gradio 웹 인터페이스와 REST API가 포함됩니다. 40억 파라미터 DiT 디코더를 사용하는 XL 변형은 더 많은 메모리를 쓰는 대신 음질을 높이며, 오프로딩 시 최소 12GB, 미오프로딩 시 20GB 이상의 VRAM이 필요합니다. 프로젝트는 MIT 라이선스입니다.

퀵 스타트: Linux 또는 macOS에서 uv 패키지 관리자를 설치하세요:

curl -LsSf https://astral.sh/uv/install.sh | sh제공

공식 저장소를 클론하고 종속성을 설치합니다:

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5

uv sync제공

음악 생성 인터페이스를 실행합니다:

uv run acestep제공

브라우저에서 http://localhost:7860을 엽니다. 애플리케이션은 최초 실행 시 필요한 모델 파일을 다운로드하고, 하드웨어에 맞는 구성을 자동으로 선택합니다.

음악을 생성하려면, 예를 들어 에너지 넘치는 드럼과 신시사이저가 들어간 신나는 일렉트로닉 트랙처럼 원하는 곡의 설명을 입력하세요. 사용자 정의 가사를 제공하고 길이를 조절하거나, 연주곡을 선택할 수도 있습니다. 생성 버튼을 눌러 음악을 만든 뒤, 결과를 들어보고 오디오 파일을 다운로드하세요.

10. Meta MusicGen Large

MusicGen Large는 Meta가 AudioCraft 프로젝트의 일환으로 개발한 33억 파라미터 텍스트-음악 모델입니다. 장르, 분위기, 악기, 스타일을 아우르는 텍스트 설명에서 연주 음악을 생성합니다. 오리지널 MusicGen 릴리스 중 가장 큰 텍스트-음악 체크포인트입니다.

출처: MusicGen Large

MusicGen Large는 몇 마디의 프롬프트만으로도 배경 음악, 사운드트랙, 연주 클립을 정교하게 만들어내며, Hugging Face Transformers와 AudioCraft에서 사용할 수 있습니다. 이 목록에서 가장 오래된 모델이기도 합니다. Meta는 2023년 4~5월에 20,000시간의 라이선스 음악으로 학습했으며, 현실적인 보컬 생성은 지원하지 않습니다.

GPU 사용을 권장합니다. 사전 학습 가중치는 상업적 사용을 제한하는 CC BY-NC 4.0 라이선스를 사용하며, 코드는 MIT 라이선스입니다.

퀵 스타트: Transformers와 SciPy를 설치하세요.

pip install --upgrade transformers scipy제공

공식 Hugging Face 예제로 텍스트 프롬프트에서 음악을 생성합니다:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-audio", "facebook/musicgen-large")

music = synthesiser(
    "lo-fi music with a soothing melody",
    forward_params={"do_sample": True}
)

scipy.io.wavfile.write(
    "musicgen_out.wav",
    rate=music["sampling_rate"],
    data=music["audio"]
)제공

모델은 처음 사용 시 자동으로 다운로드되며, 프롬프트를 바탕으로 연주 트랙을 생성해 musicgen_out.wav로 저장합니다. 텍스트를 바꿔 다양한 장르, 악기, 분위기를 실험해 보세요.

어떤 오픈 소스 AI 오디오 모델을 선택해야 할까요?

최적의 모델은 음성을 전사할지, 사실적인 목소리를 만들지, 실시간 보조자를 구축할지, 음악을 생성할지에 따라 달라집니다. 아래 비교는 용도별 기능, 모델 크기, 라이선스를 정리했습니다.

맺음말

오픈 소스 오디오 모델은 음성 인식, 텍스트-음성 변환, 실시간 대화, 음악 생성 전반에서 빠르게 발전하고 있습니다. 정확도는 높아지고, 속도는 빨라지며, 실행은 쉬워져서, 개발자가 값비싼 상용 서비스에만 의존하지 않고도 오디오 애플리케이션을 만들 수 있게 되었습니다.

개인적으로 전사 작업의 거의 전부를 Spokenly를 통해 Voxtral로 처리하고 있으며 매우 만족합니다. 정확도가 인상적이고, 오픈 웨이트 모델이 매우 크긴 하지만 저는 Mistral의 호스티드 API를 호출하는데, 제 사용량 기준으로는 무료였습니다. 이런 모델들이 일상 업무에도 충분히 실용적이 되어 가는 좋은 예입니다.

더 기대되는 것은 대화형 AI의 진전입니다. 우리는 이미 ChatGPT와의 음성 대화가 얼마나 자연스러운지 알고 있고, NVIDIA PersonaPlex와 MiniCPM-o 4.5 같은 오픈 소스 모델은 자체 보조자를 만들고자 하는 개발자에게 유사한 역량을 제공합니다. 한편 ACE-Step은 완전한 곡 생성을 가능하게 하고, Kokoro 같은 경량 옵션은 음성 생성을 더 쉽게 만듭니다.

모든 용도에 완벽한 단일 모델은 없습니다. 그렇기에 이 분야가 더 흥미롭습니다. 정확한 전사, 사실적인 목소리, 자연스러운 대화, 생성 음악 중 무엇을 원하든, 시도해 볼 만한 오픈 소스 모델이 있을 것입니다.