SAM 2: Mulai Menggunakan Segment Anything Model 2 dari Meta

Video ini memperlihatkan penerapan SAM 2 untuk segmentasi video, menampilkan kemampuannya dalam melacak dan mensegmentasi objek secara akurat di banyak frame. SAM 2 mempertahankan konsistensi segmentasi, bahkan pada skenario menantang dengan okklusi atau pergerakan cepat.

Mari jelajahi bagaimana SAM 2 memperluas kemungkinan visi komputer dan menetapkan tolok ukur baru atas apa yang dapat dicapai.

Apa Itu SAM 2?

SAM 2 (Segment Anything Model 2) adalah kemajuan terbaru Meta AI dalam teknologi visi komputer. Model ini dibangun di atas fondasi SAM asli, dengan kapabilitas yang lebih baik untuk segmentasi gambar dan video.

Pada dasarnya, SAM 2 dapat menghasilkan mask segmentasi yang presisi, yang mengidentifikasi dan memisahkan objek di dalam gambar atau video.

Bayangkan Anda memiliki gambar kompleks dengan banyak objek, dan Anda perlu memilih satu objek tertentu untuk pengeditan lebih lanjut. Secara tradisional, Anda harus menelusuri kontur objek dengan cermat, piksel demi piksel, yang memakan waktu dan melelahkan. SAM 2 menyederhanakan proses ini dengan memungkinkan Anda menghasilkan mask segmentasi yang presisi secara otomatis, bahkan pada adegan yang ramai.

Jika Anda ingin mengedit video saat sebuah karakter bergerak, dan Anda perlu menjaga fokus pada karakter tersebut sepanjang adegan, dengan SAM 2, Anda dapat dengan mudah melacak pergerakan karakter, meski ia sempat menghilang atau berubah bentuk.

Contoh lain kemampuan SAM 2 untuk tetap fokus dan secara akurat melacak pergerakan karakter, bahkan saat karakter menghilang atau berubah bentuk, menunjukkan ketangguhan model ini dalam menangani skenario pengeditan video yang kompleks.

SAM 2 vs. SAM

Meskipun model SAM asli sudah mengesankan, SAM 2 membawanya ke tingkat berikutnya dengan sejumlah peningkatan kunci.

Segmentasi video

SAM 2 memperkenalkan kemampuan untuk mensegmentasi objek dalam video, sebuah lompatan signifikan dibanding pendahulunya.

Kapabilitas ini dicapai melalui modul memori per sesi, yang melacak objek target lintas frame. Memori ini disimpan dalam apa yang disebut "bank memori," yang menyimpan peta fitur spasial dan informasi semantik tentang objek.

Peta dan informasi ini digunakan oleh mekanisme atensi model—khususnya, self-attention dan cross-attention—untuk membandingkan fitur frame saat ini dengan frame sebelumnya.

Kinerja yang meningkat

SAM 2 memproses frame video secara real-time sekitar 44 frame per detik, sehingga cocok untuk aplikasi video langsung dan pengeditan interaktif. Ini merupakan peningkatan substansial dalam kecepatan dan akurasi, yang memungkinkan SAM 2 menangani tugas kompleks dengan presisi tinggi.

Prompting yang disempurnakan

SAM 2 mendukung teknik prompting yang lebih maju, termasuk penggunaan mask sebagai prompt input. Fungsionalitas yang diperluas ini membantu menentukan area minat tertentu dengan presisi lebih tinggi, meningkatkan kemampuan model untuk menangani adegan kompleks dengan banyak objek yang saling tumpang tindih.

Segmentasi interaktif

Dengan SAM 2 Anda dapat menyesuaikan hasil segmentasi secara real-time dengan memberikan prompt pada frame mana pun. Interaktivitas ini memungkinkan penyempurnaan iteratif, menjadikan SAM 2 sangat bermanfaat dalam alur kerja yang menuntut presisi tinggi, seperti pada pengeditan video pascaproduksi.

Penerapan SAM 2

SAM 2 tidak hanya untuk pengeditan foto atau video dasar—fitur-fiturnya yang kuat dapat digunakan di banyak bidang berbeda seperti seni digital, layanan kesehatan, atau mobil swakemudi.

Industri kreatif

SAM 2 dapat mengubah pengeditan gambar dan video dengan menyederhanakan tugas seperti penghapusan objek, penggantian latar belakang, dan komposit tingkat lanjut.

Misalnya, menciptakan lanskap surealis dengan menggabungkan elemen dari berbagai sumber menjadi proses yang mudah dengan SAM 2, membuat pengeditan kompleks nyaris tanpa usaha.

Di luar pengeditan tradisional, SAM 2 juga unggul dalam AI generatif, memberikan kontrol presisi atas elemen dalam gambar dan video yang dihasilkan. Fitur ini memicu ide-ide baru dalam pembuatan konten, memudahkan menghasilkan hasil yang unik dan personal.

Selain itu, integrasi SAM 2 ke dalam platform media sosial seperti Instagram dapat memungkinkan pengembangan filter atau efek baru yang beradaptasi dengan objek dan adegan secara real time, meningkatkan keterlibatan dan kreativitas pengguna.

Sains dan riset

Dalam pencitraan medis, SAM 2 dapat sangat penting untuk mengidentifikasi dan memisahkan bagian tubuh yang berbeda dalam pemindaian secara akurat.

Ilmuwan juga dapat menggunakan SAM 2 untuk memantau secara cermat bagaimana ukuran tumor berubah saat menguji obat baru, menghasilkan hasil yang lebih akurat dan pemahaman yang lebih baik tentang efektivitas pengobatan.

Namun SAM 2 tidak hanya berguna di bidang medis. Ini juga dapat membantu di bidang ilmiah lain seperti studi lingkungan. Misalnya, SAM 2 dapat menganalisis citra satelit secara presisi untuk melacak deforestasi, pencairan gletser, atau perubahan kota dari waktu ke waktu. Hal ini menjadikan SAM 2 alat yang hebat bagi peneliti yang membutuhkan data visual berakurasi tinggi.

Sistem otonom

Industri otomotif akan sangat diuntungkan dari segmentasi objek SAM 2 yang akurat dan real-time. Dengan meningkatkan sistem persepsi kendaraan otonom, SAM 2 dapat membantu identifikasi dan pelacakan pejalan kaki, kendaraan lain, dan rintangan secara presisi, yang krusial untuk navigasi aman di lingkungan berkendara yang kompleks.

Bayangkan sebuah mobil swakemudi menavigasi kota yang ramai. Segmentasi canggih SAM 2 memastikan kendaraan dapat mendeteksi dan merespons potensi bahaya secara akurat, sehingga meningkatkan keselamatan di jalan. Kapabilitas ini meningkatkan keandalan kendaraan otonom dan berkontribusi pada adopsi yang lebih luas dari teknologi berkendara otonom.

Augmented reality

SAM 2 memiliki potensi besar dalam augmented reality (AR). Dengan kemampuannya melacak objek secara presisi dalam waktu nyata, elemen virtual dapat berpadu mulus dengan dunia nyata, menciptakan pengalaman AR yang lebih imersif. Teknologi ini dapat sangat meningkatkan aplikasi AR di bidang gim, pendidikan, bahkan kerja jarak jauh, dengan menawarkan alat yang lebih interaktif dan responsif kepada pengguna.

Anotasi data dan pelatihan model AI

Kegunaan penting lain untuk SAM 2 adalah dalam membuat dataset beranotasi (terdiri dari gambar dan video). SAM 2 mengotomatiskan proses segmentasi pada dataset besar, mengurangi waktu dan upaya yang dibutuhkan untuk pekerjaan manual. Hal ini mempercepat pengembangan AI dan meningkatkan kualitas data pelatihan, menghasilkan model yang lebih kuat dan akurat.

SAM2: Bagaimana Cara Kerjanya?

Mari kita lihat bagaimana SAM 2 bekerja di balik layar. 

SAM 2 dibangun di atas arsitektur canggih yang terdiri dari tiga komponen inti: image encoder, flexible prompt encoder, dan fast mask decoder. Komponen-komponen ini bekerja bersama untuk memproses gambar dan video secara efisien.

1. Image encoder: Image encoder menggunakan arsitektur hierarkis yang memungkinkannya menangkap fitur multi-skala dari frame video, mengenali pola luas dan detail halus.
2. Prompt encoder: Prompt encoder menggunakan kombinasi mekanisme self-attention dan cross-attention untuk menyempurnakan segmentasi berdasarkan masukan pengguna, seperti klik atau mask.
3. Mask decoder: Fast mask decoder memproses informasi dari encoder dengan cepat untuk menghasilkan mask segmentasi berkualitas tinggi secara real-time, bahkan untuk adegan yang kompleks.

Memory attention dan pemahaman spatio-temporal

Fitur menonjol dari SAM 2 adalah penggunaan modul memory attention, yang krusial untuk segmentasi video. Modul ini memungkinkan model mengingat dan menggunakan informasi dari frame sebelumnya, meningkatkan kemampuannya untuk melacak objek secara konsisten di seluruh video.

Untuk memahaminya lebih baik, mari tinjau arsitektur SAM asli:

SAM 2 memperluas arsitektur SAM dari gambar ke video, memungkinkannya mensegmentasi objek di seluruh frame video. Model ini menggunakan berbagai prompt, seperti klik atau bounding box, untuk menentukan cakupan objek dalam sebuah frame. Sebuah mask decoder ringan memproses prompt dan embedding gambar untuk membuat mask segmentasi, yang kemudian dipropagasikan ke semua frame video untuk membentuk sebuah "masklet."

Sistem ini menyertakan mekanisme memori dengan memory encoder, bank, dan modul attention, memungkinkannya menyimpan dan menggunakan informasi tentang objek dan interaksi pengguna untuk meningkatkan prediksi mask pada frame berikutnya.

Memory encoder memperbarui bank memori dengan prediksi mask tiap frame, memungkinkan SAM 2 menyempurnakan prediksinya seiring semakin banyak frame yang diproses. Arsitektur ini dirancang untuk menangani pemrosesan video streaming real-time secara efisien, sehingga cocok untuk aplikasi seperti robotika dan anotasi dataset.

SAM 2 juga berfungsi untuk gambar dengan memperlakukannya sebagai video satu frame. Dalam mode ini, mekanisme memori dinonaktifkan. Saat memproses gambar, SAM 2 menghasilkan mask segmentasi tanpa menggunakan komponen memori, secara efektif menangani tugas sebagai kasus sederhana di mana hanya frame saat ini (gambar) yang dipertimbangkan.

Kinerja real-time

Berkat arsitektur yang dioptimalkan dan teknik pemrosesan yang efisien, SAM 2 dapat beroperasi sekitar 44 frame per detik. Kapabilitas real-time ini membuatnya cocok untuk berbagai aplikasi, dari pengeditan video langsung hingga sistem AI interaktif.

Data pelatihan

SAM 2 dilatih pada dataset yang luas dan beragam, termasuk dataset SA-V yang baru diperkenalkan, yang berisi lebih dari 600.000 anotasi masklet di 51.000 video. Dataset yang besar dan beragam ini memungkinkan SAM 2 melakukan generalisasi di berbagai skenario, dari objek sehari-hari hingga domain yang sangat spesialis.

Keterbatasan SAM 2

Walau sangat canggih, SAM 2 bukan tanpa keterbatasan. 

SAM 2, meskipun efektif untuk segmentasi objek pada gambar dan video pendek, memiliki keterbatasan pada skenario menantang. Model ini bisa kesulitan melacak objek saat terjadi perubahan sudut pandang yang drastis, okklusi berkepanjangan, adegan padat, atau video yang panjang. Untuk mengatasinya, model mengizinkan koreksi manual melalui prompt interaktif. 

Dalam adegan yang padat, SAM 2 mungkin tertukar dengan objek yang mirip, terutama jika objek target hanya ditentukan pada satu frame. Namun, prompt tambahan pada frame berikutnya dapat membantu mengoreksinya.

Efisiensi model menurun saat mensegmentasi banyak objek secara bersamaan, karena model memproses tiap objek secara terpisah tanpa komunikasi antarbenda. Selain itu, SAM 2 mungkin melewatkan detail halus pada objek yang bergerak cepat, dan prediksinya bisa tidak stabil antar frame karena tidak ada pemaksaan kelancaran temporal.

Meski SAM 2 memiliki pembuatan masklet otomatis yang canggih, anotator manusia tetap diperlukan untuk tugas seperti memverifikasi kualitas mask dan mengidentifikasi frame yang perlu dikoreksi. Diperlukan otomatisasi dan peningkatan lebih lanjut, dan para pengembang mendorong komunitas AI untuk membangun di atas SAM 2 guna memajukan riset dan menciptakan aplikasi baru.

SAM2: Di Mana Saya Dapat Mengunduh atau Mengakses SAM 2?

Untuk mengunduh bobot model dan kodenya, kunjungi situs Meta AI. SAM 2 dirilis di bawah lisensi Apache 2.0, menjadikannya sumber terbuka dan dapat diakses oleh pengembang serta peneliti. Anda dapat mengunduh model dan kode di sini.

Namun, jika Anda ingin mencoba SAM2, Anda dapat menjajal demo interaktif di sini.

Saya menjajal SAM 2 pada video dari liburan terakhir saya di Venesia. Anda dapat mencobanya dengan video Anda sendiri untuk dengan mudah memilih dan melacak objek di sepanjang rekaman.

SAM 2: Sumber Daya Tambahan

Untuk pemahaman yang lebih mendalam tentang arsitektur model, proses pelatihan, dan aplikasinya, Anda dapat mengakses makalah riset resmi. Makalah tersebut memberikan wawasan mendetail tentang inovasi di balik SAM 2.

Jika Anda ingin menggali lebih dalam tentang SAM 2, tersedia banyak sumber yang dapat membantu. Anda dapat menemukan dokumentasi resmi, tutorial, dan lainnya di situs Meta AI. Situs ini berisi semua yang Anda butuhkan, dari detail arsitektur model hingga panduan implementasi langkah demi langkah.

Komunitas juga aktif terlibat dalam meningkatkan SAM 2 dengan berkontribusi pada proyek sumber terbuka. Tetap terhubung dengan pembaruan terbaru dan menjadi bagian dari komunitas dapat membantu membentuk masa depan SAM 2 dan memanfaatkan fitur-fiturnya yang baru ketika dirilis.

Untuk selalu mengikuti semua pembaruan ini, sebaiknya ikuti blog Meta AI dan pantau repositori GitHub mereka secara berkala. Platform ini menyediakan kabar tentang fitur baru, penerapan di dunia nyata, dan bahkan bocoran tentang yang akan datang. Tetap terinformasi tidak hanya membantu Anda memaksimalkan SAM 2 tetapi juga memberi kesempatan untuk berkontribusi pada evolusinya. 

SAM 2: Pertimbangan etis

Seperti halnya teknologi yang kuat, kita perlu berpikir cermat tentang bagaimana kita menggunakan SAM 2. Karena bergantung pada dataset yang besar, ada risiko bias dalam prediksinya, yang perlu kita waspadai, terutama di area sensitif seperti pengawasan dan kendaraan otonom.

Ada juga kekhawatiran privasi yang perlu dipertimbangkan, khususnya terkait bagaimana SAM 2 mungkin digunakan untuk memantau atau melacak orang. Untuk memastikan SAM 2 digunakan secara bertanggung jawab, penting untuk mengadakan diskusi terbuka dan menetapkan pedoman etika yang jelas. Ini akan membantu memastikan bahwa SAM 2 digunakan dengan cara yang bermanfaat dan adil bagi semua orang.

Penting juga untuk diingat bahwa model AI seperti SAM 2 hanya sebaik data yang digunakan untuk melatihnya. Hal ini menjadikannya krusial untuk menggunakan dataset yang beragam dan seimbang guna melatih SAM 2, meminimalkan risiko hasil yang tidak adil.

Evaluasi berkelanjutan dan transparansi dalam penggunaan SAM 2 juga akan menjadi kunci untuk menjaga kepercayaan publik dan memastikan teknologi ini diterapkan dengan cara yang menghormati hak-hak orang dan meningkatkan kesejahteraan sosial.

Kesimpulan

Segment Anything Model 2 (SAM 2) memberikan dampak signifikan di dunia visi komputer, menawarkan kapabilitas segmentasi tingkat lanjut untuk gambar dan video.

Kemampuannya melacak objek secara real-time, dikombinasikan dengan akurasi yang meningkat dan teknik prompting yang ramah pengguna, menjadikannya alat berharga di berbagai industri.

Seiring perkembangan SAM 2, model ini membuka peluang baru dalam desain kreatif, riset ilmiah, dan lainnya. Dengan menawarkan demo interaktif dan akses sumber terbuka ke model serta dataset pelatihannya yang ekstensif, Meta AI mendorong inovasi dan kolaborasi dalam komunitas AI, membuka jalan bagi kemajuan masa depan dalam pemahaman visual dan aplikasi interaktif.