SAM 2: Meta'nın Segment Anything Model 2'si ile Başlarken

Bu video, SAM 2'nin video segmentasyonu için kullanımını göstererek, nesneleri birden fazla kare boyunca doğru şekilde izleyip segmente etme yeteneğini sergiler. SAM 2, örtülmelerin veya hızlı hareketlerin olduğu zorlu senaryolarda bile segmentasyon tutarlılığını korur.

SAM 2'nin bilgisayarla görme alanındaki olanakları nasıl genişlettiğini ve gerçekleştirilebilir olan için yeni ölçütler belirlediğini inceleyelim.

SAM 2 Nedir?

SAM 2 (Segment Anything Model 2), Meta AI'nin bilgisayarla görme teknolojisindeki en yeni gelişmesidir. Orijinal SAM'in attığı temelin üzerine inşa edilerek görüntü ve video segmentasyonu için geliştirilmiş yetenekler sunar.

Özünde, SAM 2 bir görüntü veya videodaki nesneleri tanımlayan ve birbirinden ayıran hassas segmentasyon maskeleri üretebilir.

Birden fazla nesnenin bulunduğu karmaşık bir görüntünüz olduğunu ve daha fazla düzenleme için belirli bir nesneyi seçmeniz gerektiğini hayal edin. Geleneksel olarak, bu nesnenin dış hatlarını piksel piksel dikkatlice izlemek gerekir ki bu zaman alıcı ve yorucu olabilir. SAM 2, dağınık sahnelerde bile hassas segmentasyon maskelerini otomatik olarak üretmenize imkân tanıyarak bu süreci basitleştirir.

Bir karakterin etrafta hareket ettiği bir videoyu düzenlemek ve sahne boyunca onu odakta tutmak istediğinizde, SAM 2 ile karakterin hareketlerini geçici olarak kaybolsa ya da şekil değiştirse bile kolayca takip edebilirsiniz.

Karakter kaybolduğunda ya da şekil değiştirdiğinde bile odağı koruma ve hareketleri doğru biçimde takip etme konusunda SAM 2'nin başka bir örneği; modelin karmaşık video düzenleme senaryolarını ele alma konusundaki dayanıklılığını gösterir.

SAM 2 ve SAM Karşılaştırması

Orijinal SAM modeli etkileyici olsa da, SAM 2 birkaç önemli iyileştirmeyle işi bir üst seviyeye taşır.

Video segmentasyonu

SAM 2, videolarda nesneleri segmente etme yeteneğini getirerek selefine kıyasla önemli bir ilerleme sağlar.

Bu yetenek, kareler arasında hedef nesnenin takibini sürdüren oturum başına bellek modülü sayesinde elde edilir. Bu bellek, nesneye ilişkin uzamsal özellik haritalarını ve anlamsal bilgileri tutan bir "bellek bankasında" depolanır.

Bu haritalar ve bilgiler, modelin dikkat mekanizmaları—özellikle öz-dikkat ve çapraz dikkat—tarafından mevcut karenin özelliklerini önceki karelerle karşılaştırmak için kullanılır.

Geliştirilmiş performans

SAM 2, video karelerini yaklaşık saniyede 44 kare hızında gerçek zamanlı işler; bu da onu canlı video uygulamaları ve etkileşimli düzenleme için uygun kılar. Bu, hız ve doğruluk açısından önemli bir iyileşme olup SAM 2'nin karmaşık görevleri yüksek hassasiyetle ele almasını sağlar.

İyileştirilmiş istem verme

SAM 2, maskelerin giriş istemi olarak kullanılmasını da içeren daha gelişmiş istem tekniklerini destekler. Bu genişletilmiş işlevsellik, ilgi alanlarını daha büyük bir hassasiyetle tanımlamaya yardımcı olarak modelin, birbiriyle örtüşen çok sayıda nesnenin bulunduğu karmaşık sahneleri ele alma becerisini artırır.

Etkileşimli segmentasyon

SAM 2 ile herhangi bir kareye istemler sağlayarak segmentasyon sonuçlarını gerçek zamanlı olarak ayarlayabilirsiniz. Bu etkileşim, yinelemeli iyileştirmeye olanak tanıyarak SAM 2'yi özellikle post-prodüksiyon video düzenleme gibi yüksek hassasiyet gerektiren iş akışlarında faydalı kılar.

SAM 2'nin Kullanım Alanları

SAM 2 sadece basit fotoğraf veya video düzenlemeleri için değil—güçlü özellikleri dijital sanat, sağlık hizmetleri veya sürücüsüz araçlar gibi pek çok alanda kullanılabilir.

Yaratıcı endüstriler

SAM 2, nesne kaldırma, arka plan değiştirme ve gelişmiş kompozitleme gibi görevleri basitleştirerek görüntü ve video düzenlemeyi dönüştürebilir.

Örneğin, farklı kaynaklardaki ögeleri birleştirerek sürreal bir manzara oluşturmak, SAM 2 ile karmaşık düzenlemeleri neredeyse zahmetsiz kılan basit bir sürece dönüşür.

Geleneksel düzenlemenin ötesinde, SAM 2 üretken yapay zekâ alanında da mükemmeldir ve üretilen görüntü ve videolardaki ögeler üzerinde hassas kontrol sağlar. Bu özellik, içerik üretiminde yeni fikirleri tetikleyerek benzersiz ve kişiselleştirilmiş sonuçlar üretmeyi kolaylaştırır.

Ayrıca SAM 2'nin Instagram gibi sosyal medya platformlarına entegrasyonu, nesnelere ve sahnelere gerçek zamanlı uyum sağlayan yeni filtreler veya efektlerin geliştirilmesini mümkün kılarak kullanıcı etkileşimini ve yaratıcılığı artırabilir.

Bilim ve araştırma

Tıbbi görüntülemede, SAM 2 taramalarda farklı vücut bölümlerini doğru bir şekilde belirleyip ayırmada kritik öneme sahip olabilir.

Bilim insanları ayrıca SAM 2'yi, yeni bir ilacı denerken bir tümörün boyutunun nasıl değiştiğini yakından izlemek için kullanabilir; bu da daha doğru sonuçlara ve tedavinin etkinliğini daha iyi anlamaya yol açar.

Ancak SAM 2 sadece tıpta faydalı değildir. Çevre çalışmaları gibi diğer bilimsel alanlarda da yardımcı olabilir. Örneğin, ormansızlaşmayı, eriyen buzulları veya şehirlerin zaman içindeki değişimini takip etmek için uydu görüntülerini hassas bir şekilde analiz edebilir. Bu da SAM 2'yi, yüksek doğrulukta görsel veriye ihtiyaç duyan araştırmacılar için harika bir araç yapar.

Otonom sistemler

Otomotiv sektörü, SAM 2'nin gerçek zamanlı ve doğru nesne segmentasyonundan büyük ölçüde faydalanabilir. SAM 2, otonom araçların algılama sistemlerini geliştirerek yayaları, diğer araçları ve engelleri hassas bir şekilde tanımlayıp takip etmeye yardımcı olur; bu da karmaşık sürüş ortamlarında güvenli seyir için kritik öneme sahiptir.

Kalabalık bir şehirde yol alan bir sürücüsüz aracı hayal edin. SAM 2'nin gelişmiş segmentasyonu, aracın potansiyel tehlikeleri doğru bir şekilde algılayıp yanıt vermesini sağlayarak yolda güvenliği önemli ölçüde artırır. Bu yetenek, otonom araçların güvenilirliğini artırır ve otonom sürüş teknolojisinin daha geniş çapta benimsenmesine katkıda bulunur.

Artırılmış gerçeklik

SAM 2, artırılmış gerçeklik (AR) alanında büyük bir potansiyele sahiptir. Nesneleri gerçek zamanlı olarak hassas şekilde takip edebilmesi sayesinde sanal ögeler gerçek dünyayla kusursuz biçimde bütünleşerek daha sürükleyici AR deneyimleri yaratır. Bu teknoloji, oyun, eğitim ve hatta uzaktan çalışma gibi alanlardaki AR uygulamalarını önemli ölçüde geliştirebilir ve kullanıcılara daha etkileşimli ve duyarlı araçlar sunar.

Veri anotasyonu ve yapay zekâ modellerini eğitme

SAM 2'nin bir diğer önemli kullanım alanı da (görüntüler ve videolardan oluşan) anotasyonlu veri kümeleri oluşturmaktır. SAM 2, büyük veri kümelerinde segmentasyon sürecini otomatikleştirerek manuel çalışma için gereken zaman ve çabayı azaltır. Bu, yapay zekâ geliştirmesini hızlandırır ve eğitim verilerinin kalitesini artırarak daha güçlü ve daha doğru modellere yol açar.

SAM2: Nasıl Çalışır?

SAM 2'nin perde arkasında nasıl çalıştığına bakalım. 

SAM 2, bir görüntü kodlayıcı, esnek bir istem kodlayıcı ve hızlı bir maske kod çözücüden oluşan sofistike bir mimari üzerine kuruludur. Bu bileşenler, hem görüntüleri hem de videoları verimli bir şekilde işlemek için birlikte çalışır.

1. Görüntü kodlayıcı: Görüntü kodlayıcı, video karelerinden çok ölçekli özellikleri yakalamasına olanak tanıyan hiyerarşik bir mimari kullanarak hem genel desenleri hem de ince ayrıntıları tanır.
2. İstem kodlayıcı: İstem kodlayıcı, tıklamalar veya maskeler gibi kullanıcı girdilerine dayalı olarak segmentasyonu iyileştirmek için öz-dikkat ve çapraz dikkat mekanizmalarının bir kombinasyonunu kullanır.
3. Maske kod çözücü: Hızlı maske kod çözücü, kodlayıcılardan gelen bilgileri hızla işleyerek, karmaşık sahneler için bile gerçek zamanlı olarak yüksek kaliteli segmentasyon maskeleri üretir.

Bellek dikkati ve uzamsal-zamansal kavrayış

SAM 2'nin öne çıkan özelliklerinden biri, video segmentasyonu için kritik olan bellek dikkat modülünü kullanmasıdır. Bu modül, modelin önceki karelerden gelen bilgileri hatırlayıp kullanmasına olanak tanıyarak videoda nesneleri tutarlı bir şekilde takip etme yeteneğini artırır.

Bunu daha iyi anlamak için orijinal SAM mimarisini inceleyelim:

SAM 2, SAM mimarisini görüntülerden videolara genişleterek nesneleri video kareleri boyunca segmente edebilmesini sağlar. Bir çerçevede nesnenin kapsamını tanımlamak için tıklamalar veya sınırlayıcı kutular gibi çeşitli istemler kullanır. Hafif bir maske kod çözücü, bu istemleri ve görüntü gömülerini işleyerek bir segmentasyon maskesi oluşturur; bu maske daha sonra tüm video karelerine yayılıp bir "masklet" oluşturur.

Sistem, nesneler ve kullanıcı etkileşimleri hakkında bilgileri depolayıp sonraki karelerde maske tahminlerini iyileştirmek için kullanmasını sağlayan bir bellek kodlayıcı, banka ve dikkat modülünden oluşan bir bellek mekanizmasını içerir.

Bellek kodlayıcı, her karenin maske tahminiyle bellek bankasını güncelleyerek, daha fazla kare işlendiğinde SAM 2'nin tahminlerini rafine etmesini sağlar. Mimari, gerçek zamanlı, akış video işlemesini verimli şekilde ele alacak biçimde tasarlanmıştır ve robotik ile veri kümesi anotasyonu gibi uygulamalar için uygundur.

SAM 2, görüntüleri tek karelik bir video olarak ele alarak görüntülerle de çalışır. Bu modda bellek mekanizması devre dışıdır. Görüntüleri işlerken SAM 2, bellek bileşenlerini kullanmadan segmentasyon maskeleri üretir ve yalnızca mevcut karenin (görüntünün) dikkate alındığı basitleştirilmiş bir durumu etkili bir şekilde ele alır.

Gerçek zamanlı performans

Optimize edilmiş mimarisi ve verimli işleme teknikleri sayesinde SAM 2 yaklaşık saniyede 44 kare hızında çalışabilir. Bu gerçek zamanlı yetenek, canlı video düzenlemeden etkileşimli yapay zekâ sistemlerine kadar geniş bir uygulama yelpazesi için uygundur.

Eğitim verisi

SAM 2, 51.000 video boyunca 600.000'den fazla masklet anotasyonu içeren yeni tanıtılan SA-V veri kümesi de dahil olmak üzere kapsamlı ve çeşitli bir veri kümesi üzerinde eğitildi. Bu büyük ve çeşitli veri kümesi, SAM 2'nin gündelik nesnelerden son derece uzmanlaşmış alanlara kadar çeşitli senaryolarda genelleme yapabilmesini sağlar.

SAM 2'nin Sınırlamaları

SAM 2 oldukça ileri düzeyde olsa da, bazı sınırlamaları vardır. 

SAM 2, görüntüler ve kısa videolardaki nesneleri segmente etmede etkili olmakla birlikte zorlu senaryolarda sınırlamalar gösterir. Drastik bakış açısı değişimleri, uzun süreli örtülmeler, kalabalık sahneler veya uzun videolarda nesneleri izlemekte zorlanabilir. Bunu gidermek için model, etkileşimli istemler yoluyla manuel düzeltmelere olanak tanır. 

Kalabalık sahnelerde, özellikle hedef nesne yalnızca bir karede belirtildiyse, SAM 2 benzer görünen nesneleri karıştırabilir. Ancak, sonraki karelerde ek istemler bu durumu düzeltmeye yardımcı olabilir.

Modelin verimliliği, aynı anda birden fazla nesneyi segmente ederken azalır; çünkü her nesneyi nesneler arası iletişim olmadan ayrı ayrı işler. Ayrıca, SAM 2 hızlı hareket eden nesnelerde ince ayrıntıları kaçırabilir ve zamansal düzgünlük zorlanmadığı için tahminleri kareler arasında kararsız olabilir.

SAM 2 gelişmiş otomatik masklet üretimine sahip olsa da, maske kalitesinin doğrulanması ve düzeltme gerektiren karelerin belirlenmesi gibi görevler için hâlâ insan anotörlere ihtiyaç vardır. Daha fazla otomasyon ve iyileştirme gereklidir ve geliştiriciler, araştırmayı ilerletmek ve yeni uygulamalar oluşturmak için yapay zekâ topluluğunu SAM 2 üzerine inşa etmeye teşvik etmektedir.

SAM2: SAM 2'yi Nereden İndirebilir veya Erişebilirim?

Model ağırlıklarını ve kodu indirmek için Meta AI web sitesini ziyaret edin. SAM 2, Apache 2.0 lisansı altında yayımlanmıştır; bu da onu geliştiriciler ve araştırmacılar için açık kaynak ve erişilebilir kılar. Modeli ve kodu buradan indirebilirsiniz.

Bununla birlikte, SAM2'yi denemek istiyorsanız, etkileşimli demoyu buradan deneyebilirsiniz.

Venedik'teki son tatilimden bir videoda SAM 2'yi denedim. Kendi videolarınızla deneyerek, çekimleriniz boyunca nesneleri kolayca seçip takip edebilirsiniz.

SAM 2: Ek Kaynaklar

Modelin mimarisini, eğitim sürecini ve uygulamalarını daha derinlemesine anlamak için resmî araştırma makalesine erişebilirsiniz. Makale, SAM 2'nin ardındaki yeniliklere dair ayrıntılı içgörüler sunar.

SAM 2'ye daha derinlemesine dalmak isterseniz, size yardımcı olacak pek çok kaynak mevcut. Resmî dokümantasyon, eğitimler ve daha fazlasını Meta AI web sitesinde bulabilirsiniz. Model mimarisinden adım adım uygulama rehberlerine kadar ihtiyaç duyacağınız her şeyle dolu.

Topluluk da açık kaynak projelerine katkıda bulunarak SAM 2'yi geliştirmeye aktif olarak katılıyor. En son güncellemelerle bağlantıda kalmak ve topluluğun bir parçası olmak, SAM 2'nin geleceğini şekillendirmeye yardımcı olabilir ve yeni özellikler çıktıkça bunlardan yararlanmanızı sağlar.

Tüm bu güncellemelerin zirvesinde kalmak için Meta AI blogunu takip etmek ve GitHub depolarını düzenli olarak kontrol etmek iyi bir fikirdir. Bu platformlar yeni özellikler, gerçek dünya uygulamaları ve hatta sıradaki gelişmelere dair ipuçları hakkında haberler sunar. Bilgili olmak, yalnızca SAM 2'den en iyi şekilde yararlanmanıza yardımcı olmakla kalmaz, aynı zamanda onun evrimine katkıda bulunma şansı da verir. 

SAM 2: Etik hususlar

Güçlü her teknolojide olduğu gibi, SAM 2'yi nasıl kullandığımız konusunda dikkatli düşünmeliyiz. Büyük veri kümelerine dayanması nedeniyle, tahminlerinde önyargı riski vardır; bu da özellikle gözetim ve otonom araçlar gibi hassas alanlarda dikkat edilmesi gereken bir husustur.

Ayrıca, SAM 2'nin insanların izlenmesi veya takip edilmesinde nasıl kullanılabileceğine ilişkin gizlilik endişeleri de bulunmaktadır. SAM 2'nin sorumlu bir şekilde kullanıldığından emin olmak için açık tartışmalar yapmak ve net etik yönergeler belirlemek önemlidir. Bu, SAM 2'nin herkes için faydalı ve adil biçimde kullanılmasını sağlamaya yardımcı olacaktır.

Ayrıca SAM 2 gibi yapay zekâ modellerinin yalnızca eğitildikleri veri kadar iyi olduğunu unutmamak gerekir. Bu da, SAM 2'yi eğitmek için çeşitli ve dengeli veri kümeleri kullanmayı kritik hâle getirir ve adil olmayan sonuçların riskini en aza indirir.

SAM 2'nin nasıl kullanıldığına ilişkin sürekli değerlendirme ve şeffaflık, kamu güvenini korumada ve bu teknolojinin insanların haklarına saygı gösteren, toplumsal refahı artıran bir şekilde uygulanmasını sağlamada da kilit önem taşır.

Sonuç

Segment Anything Model 2 (SAM 2), hem görüntüler hem de videolar için ileri segmentasyon yetenekleri sunarak bilgisayarla görme dünyasında önemli bir etki yaratıyor.

Gerçek zamanlı nesne takibi yapabilmesi, geliştirilmiş doğruluğu ve kullanıcı dostu istem teknikleriyle birleştiğinde, onu çeşitli sektörlerde değerli bir araç hâline getiriyor.

SAM 2 gelişmeye devam ettikçe yaratıcılık odaklı tasarım, bilimsel araştırma ve daha birçok alanda yeni fırsatlar sunuyor. Etkileşimli bir demo ve model ile kapsamlı eğitim veri kümesine açık kaynak erişim sağlayan Meta AI, yapay zekâ topluluğu içinde yenilikçiliği ve iş birliğini teşvik ederek görsel anlama ve etkileşimli uygulamalarda gelecekteki ilerlemelerin önünü açıyor.