SAM Audio'yu Yerelde Nasıl Çalıştırırsınız

Görüntü ve video segmentasyonuna aşina olabilirsiniz, ancak ses segmentasyonu çok daha az keşfedilmiş bir alandır. Bir ses akışı içindeki sesleri ayırma ve izole etme yeteneğini ifade eder; örneğin arka plan müziğinden konuşan bir sesi çıkarmak veya bir grup toplantısında tek bir kişinin sesini izole etmek gibi. Yakın zamana kadar bu görevler, özel, göreve özgü araçlar ve hatırı sayılır miktarda manuel çaba gerektiriyordu.

Bu eğitimde, Segment Anything Model'in ses uzantısı olan SAM Audio'yu inceleyeceğiz. Yerel bir ortam kuracak, gerekli bağımlılıkları yükleyecek, modeli yükleyecek ve bir RTX 3090 GPU üzerinde çıkarım çalıştıracağız. 

Bu sırada, SAM Audio'nun bir ses sinyalinin belirli bölümlerini, geleneksel ses işleme yaklaşımlarından çok daha sezgisel ve klinik olarak hassas bir şekilde nasıl segmentleyebildiğini görselleştireceğiz.

SAM Audio nedir?

SAM Audio, ses ayrıştırmayı tıpkı sesle etkileşim kurmak kadar sezgisel hale getirmek için tasarlanmış türünün ilk örneği birleşik çok modlu bir modeldir. Görüntü alanında Segment Anything Model'in başarısından ilham alan SAM Audio, ister metinle, ister videodaki görsel ipuçlarıyla, ister zaman aralıklarını işaretleyerek olsun, doğal istemler kullanarak kullanıcıların karmaşık ses karışımlarından herhangi bir sesi izole etmesine olanak tanır. Bu birleşik yaklaşım, parçalı ve tek amaçlı ses araçlarının yerini, konuşma, müzik ve genel sesler arasında güvenilir bir şekilde çalışan ve gerçek dünyadaki serbest ortam senaryolarında bile etkili olan tek bir sistemle değiştirir.

Kaynak: facebookresearch/sam-audio

SAM Audio'nun merkezinde, duyulanla görüleni zamana yayılmış şekilde birlikte kodlayarak hizalayan güçlü bir motor olan Perception Encoder Audiovisual (PE-AV) bulunur. 

Meta'nın açık kaynak Perception Encoder'ı üzerine kurulu PE-AV, çok modlu ses ayrıştırmada son teknoloji performansı mümkün kılan zengin ve zamansal olarak hassas temsiller sunar. 

Birlikte, SAM Audio ve PE-AV, yaratıcı medya, erişilebilirlik ve ses anlama için yeni olasılıkların kapısını açarak profesyonel düzeyde ses segmentasyonunu her zamankinden daha hızlı, erişilebilir ve kontrol edilebilir hale getirir.

SAM Audio Eğitimi 

Şimdi, SAM Audio'yu yerelde nasıl hızlıca kullanıma alacağınızı adım adım göstereceğim. 

1. Ortam kurulumu

SAM Audio bir geçitli modeldir; yani yerelde indirip kullanmadan önce erişim talep etmeniz gerekir. Başlamak için Hugging Face model sayfasını ziyaret edin: facebook/sam-audio-large ve erişim talep formunu doldurun. Onay genellikle yaklaşık 10 dakika sürer; ancak bazı durumlarda, konumunuz veya Meta tarafından uygulanan diğer politikalara bağlı olarak erişiminiz reddedilebilir.

Kaynak: facebook/sam-audio-large · Hugging Face

Erişim verildikten sonra, yerel bir Jupyter Notebook başlatın ve SAM Audio kütüphanesini doğrudan resmi depodan yükleyin:

!pip install -q git+https://github.com/facebookresearch/sam-audio.gitAltyapı:

SAM Audio ile çalışırken yaygın bir sorun, Jupyter çekirdeğinin çökmesi veya beklenmedik şekilde yeniden başlamasıdır. Bu genellikle uyumsuz bir torchcodec sürümünden kaynaklanır. Bunu düzeltmek için mevcut sürümü kaldırın ve önerilen sürümü açıkça kurun:

!pip uninstall -y torchcodec
!pip install --no-cache-dir "torchcodec==0.7.0" -f https://download.pytorch.org/whl/torchcodec/Altyapı:

Model ve bağımlılıkların daha hızlı indirilmesi için hf_transfer kullanacağız: 

!pip install hf_transferAltyapı:

Son olarak, bir erişim belirteci kullanarak Hugging Face Hub'a giriş yapın. Hugging Face hesabınızdan bir API belirteci oluşturduğunuzdan ve bunu bir ortam değişkeni (HF_TOKEN) olarak sakladığınızdan emin olun:

import os
from huggingface_hub import login

login(token=os.environ["HF_TOKEN"])Altyapı:

2. SAM Audio Modelini Yükleyin (CUDA üzerinde FP16)

Bu adımda, SAM Audio temel modelini indirecek ve yükleyeceğiz. SAM Audio büyük bir varyant da sunsa da, temel model neredeyse aynı ayrıştırma kalitesini sunarken GPU belleğinde belirgin şekilde daha hafiftir. 

Bu da özellikle RTX 3090 gibi tüketici GPU'larında yerel denemeler için çok daha uygun hale getirir.

Bellek yetersizliği (OOM) hatalarından kaçınmak için modeli FP32 yerine FP16 (yarım hassasiyet) olarak yüklemek önemlidir. 

RTX 3090, FP16 desteğinde mükemmeldir ve yarım hassasiyete geçmek, çıkarım kalitesini fark edilir ölçüde etkilemeden VRAM kullanımını neredeyse yarıya indirir.

import torch
import torchaudio
from pathlib import Path

from sam_audio import SAMAudio, SAMAudioProcessor

MODEL_ID = "facebook/sam-audio-base"  # base model
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = SAMAudio.from_pretrained(MODEL_ID).eval()

# Use fp16 on GPU to cut VRAM roughly in half (3090 supports fp16 well)
model = model.to(device=device, dtype=torch.float16).eval()

processor = SAMAudioProcessor.from_pretrained(MODEL_ID)

print("Device:", device)
print("Sampling rate:", processor.audio_sampling_rate)Altyapı:

Bunu ilk kez çalıştırdığınızda, indirme biraz zaman alabilir. SAM Audio, algılama kodlayıcısı ve üretken ayrıştırma modülleri de dahil olmak üzere, birlikte tam ses segmentasyon hattını oluşturan birden çok bileşen ve kontrol noktası indirir. Bu beklenen bir davranıştır ve yalnızca bir kez gerçekleşir; dosyalar gelecekteki çalıştırmalar için yerelde önbelleğe alınır.

Model yüklendikten sonra, her şeyin sınırlar içinde çalıştığından emin olmak için GPU bellek kullanımını kontrol etmek iyi bir uygulamadır:

!nvidia-smiAltyapı:

Şunu gözlemlemelisiniz: SAM Audio temel modeli yaklaşık 14 GB VRAM kullanır ve bu, bir RTX 3090 üzerinde rahatça sığar. Bu, bellek sorunlarını tetiklemeden çıkarım ve denemeler için yeterli boşluk bırakarak kurulumu yerel ses segmentasyonu görevleri için istikrarlı ve güvenilir kılar.

3. AudioCaps'ten örnek bir ses örneği yükleyin

SAM Audio'yu test etmek için, birden fazla üst üste binen ses kaynağı içeren gerçekçi bir ses örneğine ihtiyacımız var. Bu eğitimde, AudioCaps adlı, ses anlama ve açıklama için yaygın olarak kullanılan bir kıyaslama veri setinden bir örnek kullanacağız. 

AudioCaps, gerçek dünya ortamlarından toplanan kısa ve çeşitli ses klipleri içerir; bu da onu ses ayrıştırma modellerini değerlendirmek için ideal kılar.

Veri setini doğrudan Hugging Face üzerinden datasets kütüphanesini kullanarak yüklüyoruz. Örnek ses, Parquet formatında saklanır ve örnekleme hızı gibi hem dalga formu verilerini hem de meta verileri içerir.

from datasets import load_dataset
from IPython.display import Audio

# Get an example audio from AudioCaps
dset = load_dataset(
    "parquet",
    data_files="hf://datasets/OpenSound/AudioCaps/data/test-00000-of-00041.parquet",
)

samples = dset["train"][8]["audio"].get_all_samples()
Audio(samples.data, rate=samples.sample_rate)Altyapı:

Bu kod, AudioCaps test kümesinin tek bir parçasını indirir ve gösterim için bir ses klibi çıkarır. Audio bileşeni, ham karışımı doğrudan not defteri içinde dinlemenize olanak tanır; bu da segmentasyondan önce orijinal sesin ne kadar karmaşık olduğunu anlamak için kullanışlıdır. İşte nasıl ses çıkıyor:

4. Ses parçasını görselleştirme

Dinlemek, bir ses karışımını anlamanın en hızlı yoludur; ancak dalga formunu görselleştirmek size olayların nerede gerçekleştiğini görmenize yardımcı olur. 

Bir dalga formu grafiği; güçlü enerjiye sahip anları (korna, alkış veya bağırma gibi), daha sessiz bölgeleri (duraklamalar veya arka plan gürültüsü) ve genellikle kısa ses olaylarına karşılık gelen ani sıçramaları fark etmeyi kolaylaştırır. 

Sesleri ayırmaya başladığımızda bu özellikle faydalı hale gelir; çünkü orijinal karışımı segmentlenmiş çıktıyla karşılaştırabilir ve SAM Audio'nun gerçekten doğru bölgeyi çıkarıp çıkarmadığını hızlıca doğrulayabilirsiniz.

Aşağıda, grafiğin okunabilir kalması için sabit bir süreye kadar dalga formunu çizen basit bir yardımcı işlev yer alıyor. Hem mono hem stereo sesi destekler ve dizileri otomatik olarak CPU'ya taşır; böylece bir not defterinde sorunsuz çalışır.

import matplotlib.pyplot as plt
import torch

def plot_waveform(wav, sr, title="Waveform", max_seconds=15):
    """
    wav: Tensor [C, T] or [T]
    sr: sample rate (int)
    """
    if isinstance(wav, torch.Tensor):
        w = wav.detach().cpu()
    else:
        w = torch.tensor(wav)

    if w.ndim == 1:
        w = w.unsqueeze(0)

    # limit duration for readability
    max_samples = int(sr * max_seconds)
    w = w[:, :max_samples]

    t = torch.arange(w.shape[1]) / sr

    plt.figure(figsize=(14, 3))
    for c in range(w.shape[0]):
        plt.plot(t, w[c].numpy(), label=f"ch{c}")
    plt.title(title)
    plt.xlabel("Time (s)")
    plt.ylabel("Amplitude")
    if w.shape[0] > 1:
        plt.legend()
    plt.tight_layout()
    plt.show()
plot_waveform(samples.data, samples.sample_rate, title="Traffic noise + Horn")Altyapı:

Bu örnekte genellikle, sürekli arka plan gürültüsünü (trafik) temsil eden yoğun, sıkışık bir dalga formu ve sıklıkla kısa ve daha yüksek sesli olaylarla (korna gibi) eşleşen daha keskin tepe noktaları fark edersiniz. 

5. Çıkarım için sesi hazırlama

SAM Audio'yu çalıştırmadan önce, giriş dalga formunun modelin beklediği biçimle eşleştiğinden emin olmamız gerekir. Uygulamada, veri setlerinden gelen ham sesler şekil, dtype, kanal sayısı ve örnekleme hızı bakımından farklılık gösterebilir. Bu adımı atlarsanız, sıklıkla hatalarla (yanlış boyutlar) karşılaşır, zayıf sonuçlar alır (yanlış örnekleme hızı) veya GPU belleğini boşa harcarsınız (yanlış dtype).

Standartlaştıracağımız noktalar şunlar:

• Şekil: SAM Audio, sesi [C, T] formatında (kanallar önce) bekler.
• Hassasiyet: Güvenli işlem için önce float32'ye dönüştürün, ardından model dtype'ıyla eşleştirin (CUDA üzerinde FP16).
• Örnekleme hızı: İşleyicinin belirttiği modelin gerektirdiği örnekleme hızına yeniden örnekleyin.
• Kanallar: Ayrıştırmayı basitleştirmek ve çıkarımı tutarlı tutmak için monoya dönüştürün.
• Cihaz + dtype: Dalga formunu GPU'ya ve model ağırlıklarıyla aynı dtype'a taşıyın; böylece örtük döküm ve ekstra bellek yükünden kaçının.

wav = torch.tensor(samples.data)

# Ensure [C, T]
if wav.ndim == 1:
    wav = wav.unsqueeze(0)  # [1, T]
elif wav.ndim == 2 and wav.shape[0] > wav.shape[1]:
    wav = wav.transpose(0, 1)  # [T, C] -> [C, T]

wav = wav.float()

orig_sr = int(samples.sample_rate)
target_sr = int(processor.audio_sampling_rate)

if orig_sr != target_sr:
    wav = torchaudio.functional.resample(wav, orig_sr, target_sr)

# Mono
wav = wav.mean(0, keepdim=True)  # [1, T]

# Move to device + match model dtype (FP16 on CUDA)
wav = wav.to(device=device, dtype=next(model.parameters()).dtype)

duration_s = wav.shape[-1] / target_sr
print(f"Resampled duration: {duration_s:.2f}s @ {target_sr} Hz")Altyapı:

Her şey doğru ayarlandıysa, aşağıdakine benzer bir çıktı görmelisiniz:

Resampled duration: 10.00s @ 48000 HzAltyapı:

Bu, (1) ses uzunluğunun beklediğimiz gibi olduğunu ve (2) dalga formunun artık modelin tercih ettiği örnekleme hızını kullandığını doğrular.

6. SAM Audio ile ses ayrıştırma çalıştırma

Şimdi işin eğlenceli kısmına geldik: orijinal ses karışımından hedef bir sesi ayıracağız. SAM Audio, bunu doğal istemler kullanarak yapmanıza olanak tanır ve bu örnekte, trafik gürültüsü ve korna olayları içeren bir klipten “korna sesi” çıkaracağız.

Aynı anda iki tür yönlendirme kullanacağız:

• Metin istemi (description): modelden ne istediğimizi söyler (“A horn honking”).
• Zaman aralığı sabitleyicileri (anchors): hedefin zamanda nerede gerçekleştiğini belirtir (saniye cinsinden).

Bu, özellikle ses karışımı yoğun olduğunda veya hedef ses kısa sürdüğünde ayrıştırmayı çok daha güvenilir hale getirir.

Sabitleyici (anchors) biçiminde:

• + işareti, bu zaman bölgesinin hedef sesin olumlu kanıtı olarak dahil edilmesi anlamına gelir
• [6.3, 7.0] saniye cinsinden zaman penceresidir (başlangıç, bitiş)

description = "A horn honking"
anchors = [[["+", 6.3, 7.0]]]  # batch -> one sample -> one anchor

# (Optional) sanity-check anchors
assert 0 <= anchors[0][0][1] < anchors[0][0][2] <= duration_s + 1e-6, "Anchor out of range!"
inputs = processor(
    audios=[wav],
    descriptions=[description],
    anchors=anchors,
).to(device)

with torch.inference_mode():
    result = model.separate(inputs)
target_np = result.target[0].detach().float().cpu().numpy()
resid_np = result.residual[0].detach().float().cpu().numpy()
Audio(target_np, rate=processor.audio_sampling_rate)Altyapı:

Bu doğru çalıştığında çıktı gerçekten etkileyicidir: hedef ses, arka planın çoğu çıkarılmış, temiz bir korna parçası gibi gelmelidir. SAM Audio'nun temel fikri budur: mükemmel stem'lere veya manuel düzenlemeye ihtiyacınız yok; modeli sezgisel istemlerle yönlendirirsiniz ve o da sesi sizin için izole eder. Aşağıda nasıl ses çıktığı yer alıyor:

Dinlemek en iyi kanıttır, ancak dalga formu ne olduğunu görmeyi kolaylaştırır. 

plot_waveform(target_np, processor.audio_sampling_rate, title="Cleand Audio with only Horn")Altyapı:

Ayrıştırılmış çıktıdaki dalga formunda genellikle kornanın olduğu yerlerde belirgin sivri uçlar görürsünüz; dalga formunun geri kalanı ise nispeten sessiz kalır.

SAM Audio ayrıca, hedeften arındırıldıktan sonra esasen “sesin geri kalanı” olan artık (residual) bir parça döndürür. 

plot_waveform(resid_np, processor.audio_sampling_rate, title="Residual Audio with no Horn")Altyapı:

Burada sadece trafik/arka plan gürültüsünü görüyoruz ve korna sesi yok. 

7. Veri setinden başka bir örnek yükleme

Daha zor ve daha gerçekçi bir örnek deneyelim. Bu kez, yoğun arka plan gürültüsü (sokak gürültüsü, ambiyans, üst üste binen sesler) varken, ana dili İngilizce olmayan bir kişinin telefonda konuştuğu bir klip seçeceğiz. 

Bu, ses ayrıştırmanın gerçekten faydalı hale geldiği türden bir durumdur: konuşma mevcut, ancak karışım dağınık olduğu için anlamak zordur.

Önce yeni bir örnek yükleyin ve ham ses karışımını dinleyin:

samples_2 = dset["train"][45]["audio"].get_all_samples()
Audio(samples_2.data, rate=samples_2.sample_rate)Altyapı:

Şimdi dalga formunu görselleştirin. 

plot_waveform(samples_2.data, samples_2.sample_rate, title="Background Noise and a Man Talking")Altyapı:

Klibin çoğu boyunca yoğun, yüksek enerjili bir sinyal göreceksiniz; bu genellikle güçlü arka plan gürültüsünü ve üst üste binen sesleri gösterir:

Öncekiyle aynı ön işleme adımlarını çalıştıracağız: [C, T] şeklini sağlayın, işleyicinin hedef örnekleme hızına yeniden örnekleyin, monoya dönüştürün ve FP16 olarak GPU'ya taşıyın.

# Convert numpy → torch
wav = torch.tensor(samples_2.data)

# Ensure [C, T]
if wav.ndim == 1:
    wav = wav.unsqueeze(0)
elif wav.ndim == 2 and wav.shape[0] > wav.shape[1]:
    wav = wav.transpose(0, 1)

wav = wav.float()

orig_sr = int(samples.sample_rate)
target_sr = int(processor.audio_sampling_rate)

# Resample if needed
if orig_sr != target_sr:
    wav = torchaudio.functional.resample(wav, orig_sr, target_sr)

# Mono
wav = wav.mean(0, keepdim=True)

# Move to GPU + FP16
wav = wav.to(device=device, dtype=next(model.parameters()).dtype)

duration_s = wav.shape[-1] / target_sr
print(f"Duration: {duration_s:.2f}s @ {target_sr} Hz")
Altyapı:

Aşağıdakine benzer bir çıktı görmelisiniz:

Duration: 10.00s @ 48000 HzAltyapı:

Önceki örnekte, modele zaman aralığı sabitleyicisi ve metin istemiyle yardımcı olmuştuk. Burada, ek yönlendirme olmadan modelin ne kadar iyi genelleyebildiğini test etmek için yalnızca metinle istemleme yapacağız.

description = "A man speaking"

inputs = processor(
    audios=[wav],
    descriptions=[description],
).to(device)

with torch.inference_mode():
    result = model.separate(inputs)
target_np = result.target[0].detach().float().cpu().numpy()

plot_waveform(target_np, processor.audio_sampling_rate, title="Clean Audio with a Man Talking")Altyapı:

Son olarak, ayrıştırılmış konuşmanın dalga formunu çizin. Orijinal karışımla karşılaştırıldığında, özellikle daha önce arka plan gürültüsünün baskın olduğu bölgelerde, dalga formu daha temiz ve daha az “yoğun” görünmelidir:

Yukarıdaki kodu çalıştırırken herhangi bir sorunla karşılaşırsanız, lütfen aşağıda bağlantısı verilen DataLab not defterine başvurun; burada eksiksiz, çalışan bir referans ve ek yönlendirme bulacaksınız: Using SAM-Audio Locally — DataLab.

SAM Audio'nun Kullanım Senaryoları

SAM Audio, gerçek dünya ses anlama ve düzenleme için tasarlanmıştır. Göreve özgü araçlara güvenmek yerine, konuşma, müzik ve günlük ortamlar boyunca sesleri ayırmak ve izole etmek için doğal istemler kullanır. 

Bu özellikler, temiz ve kontrol edilebilir sesin önemli olduğu yaratıcı, profesyonel ve araştırma iş akışlarında onu kullanışlı kılar.

• Podcast ve ses kaydı temizleme: Konuşmacıyı arka plan gürültüsünden ve ortam seslerinden ayırarak podcast, röportaj ve ses kayıtlarında konuşma netliğini artırın.
• Müzik prodüksiyonu ve stem çıkarımı: Yeniden miksleme, örnekleme, mastering veya yaratıcı ses tasarımı için karışık müzik parçalarından vokalleri veya tekil enstrümanları izole edin.
• Film ve video post-prodüksiyon: Diyaloğu ve önemli ses efektlerini korurken trafik, rüzgar veya kalabalık gürültüsü gibi istenmeyen arka plan seslerini kaldırın.
• Erişilebilirlik ve işitme iyileştirme: Erişilebilirliğe ve daha net iletişime odaklanan işitme destek araçları ve uygulamalarını desteklemek için gürültülü ortamlarda konuşmayı iyileştirin.
• Ses araştırması ve ses analizi: Akustik olay tespiti, adli ses incelemesi ve ses sahnesi analizi gibi araştırma görevleri için karmaşık gerçek dünya ses kayıtlarını segmentleyin.

Son Düşünceler

Açık konuşmak gerekirse, SAM Audio'yu yerelde nasıl çalıştıracağınızla ilgili pek fazla bilgi yok. T4 GPU'larla Kaggle üzerinde çalıştırmayı denedim ve başarısız oldu. UV kullanmayı ve sanal bir Python ortamı kurmayı da denedim; o da başarısız oldu. 

Sürekli karşılaştığım temel sorun bağımlılık çatışmalarıydı. SAM Audio'yu doğrudan GitHub deposundan yüklemek, sıklıkla mevcut ses ve PyTorch kütüphanelerinin üzerine yazarak Jupyter çekirdeğinin çökmesine neden oluyor. 

Bu nedenle, Conda veya temiz bir Python sanal ortamı kullanarak sıfırdan başlamanızı, önce PyTorch ve CUDA'yı kurmanızı ve ardından gerekli kütüphaneleri eklemenizi şiddetle öneririm. Bu eğitimde, doğru torchcodec sürümünü yeniden yükleyerek çökme sorununu düzelttikten sonra kurulum kararlı hale geldi.

Bu eğitimde, yaklaşık 14 GB VRAM kullanarak bir RTX 3090 üzerinde SAM Audio temel modelini başarıyla çalıştırdık; bu da yerel çıkarım için oldukça makul. Çıkarım hızı hızlı ve ses ayrıştırma kalitesi gerçekten etkileyici. Bu kurulumu, SAM Audio'nun görsel ipuçlarına dayalı olarak sesi izole etmek için SAM 3 ile birlikte çalıştığı video tabanlı istemlemeye de genişletebilirsiniz.

SAM 3 hakkında daha fazla bilgi edinmek için SAM 3 Eğitimimize göz atmanızı öneririm.