SAM 2: iniziare con il Segment Anything Model 2 di Meta

Questo video mostra l'applicazione di SAM 2 per la segmentazione video, mettendo in evidenza la sua capacità di tracciare e segmentare con precisione gli oggetti su più fotogrammi. SAM 2 mantiene la coerenza della segmentazione anche in scenari complessi con occlusioni o movimenti rapidi.

Esploriamo come SAM 2 stia ampliando le possibilità della computer vision e fissando nuovi standard per ciò che è realizzabile.

Che cos'è SAM 2?

SAM 2 (Segment Anything Model 2) è l'ultimo passo avanti di Meta AI nella tecnologia di computer vision. Si basa sulle fondamenta dell'originale SAM, offrendo capacità migliorate per la segmentazione di immagini e video.

In sostanza, SAM 2 può generare maschere di segmentazione precise, che identificano e separano gli oggetti all'interno di un'immagine o di un video.

Immagina di avere un'immagine complessa con più oggetti e di doverne selezionare uno specifico per ulteriori modifiche. Tradizionalmente, dovresti tracciare con attenzione il contorno dell'oggetto, pixel per pixel, un'operazione lunga e frustrante. SAM 2 semplifica questo processo permettendoti di generare automaticamente maschere di segmentazione precise, anche in scene affollate.

Se vuoi modificare un video in cui un personaggio si muove e devi tenerlo a fuoco per tutta la scena, con SAM 2 puoi tracciare facilmente i movimenti del personaggio, anche se scompare temporaneamente o cambia forma.

Un altro esempio della capacità di SAM 2 di mantenere il fuoco e tracciare accuratamente i movimenti di un personaggio, anche quando il personaggio scompare o cambia forma, a dimostrazione della robustezza del modello nella gestione di scenari di editing video complessi.

SAM 2 vs. SAM

Sebbene il modello SAM originale fosse già notevole, SAM 2 alza l'asticella con diversi miglioramenti chiave.

Segmentazione video

SAM 2 introduce la possibilità di segmentare oggetti nei video, un avanzamento significativo rispetto al predecessore.

Questa capacità è resa possibile dal modulo di memoria per sessione, che tiene traccia dell'oggetto target tra i fotogrammi. Questa memoria è archiviata in quella che viene chiamata una "memory bank", che conserva mappe di caratteristiche spaziali e informazioni semantiche sull'oggetto.

Queste mappe e informazioni sono utilizzate dai meccanismi di attenzione del modello—nello specifico, self-attention e cross-attention—per confrontare le caratteristiche del fotogramma corrente con quelle dei fotogrammi precedenti.

Prestazioni migliorate

SAM 2 elabora i fotogrammi video in tempo reale a circa 44 frame al secondo, rendendolo adatto ad applicazioni video live e a editing interattivo. Si tratta di un notevole miglioramento in termini di velocità e accuratezza, che consente a SAM 2 di gestire compiti complessi con alta precisione.

Prompting raffinato

SAM 2 supporta tecniche di prompting più avanzate, incluso l'uso di maschere come prompt di input. Questa funzionalità ampliata aiuta a definire con maggiore precisione aree di interesse specifiche, migliorando la capacità del modello di gestire scene complesse con più oggetti sovrapposti.

Segmentazione interattiva

Con SAM 2 puoi regolare i risultati della segmentazione in tempo reale fornendo prompt in qualsiasi fotogramma. Questa interattività consente un perfezionamento iterativo, rendendo SAM 2 particolarmente utile in flussi di lavoro che richiedono alta precisione, come nel montaggio video in post-produzione.

Applicazioni di SAM 2

SAM 2 non serve solo per semplici modifiche a foto o video: le sue potenti funzionalità possono essere usate in molti ambiti diversi, come arte digitale, sanità o auto a guida autonoma.

Industrie creative

SAM 2 può rivoluzionare l'editing di immagini e video semplificando attività come la rimozione di oggetti, la sostituzione dello sfondo e il compositing avanzato.

Ad esempio, creare un paesaggio surreale combinando elementi da fonti diverse diventa un processo lineare con SAM 2, rendendo quasi senza sforzo modifiche altrimenti complesse.

Oltre all'editing tradizionale, SAM 2 eccelle anche nella generative AI, offrendo un controllo preciso sugli elementi all'interno di immagini e video generati. Questa caratteristica stimola nuove idee nella creazione di contenuti, rendendo più facile produrre risultati unici e personalizzati.

Inoltre, l'integrazione di SAM 2 in piattaforme social come Instagram potrebbe consentire lo sviluppo di nuovi filtri o effetti che si adattano in tempo reale a oggetti e scene, migliorando coinvolgimento e creatività degli utenti.

Scienza e ricerca

Nell'imaging medico, SAM 2 può essere cruciale per identificare e separare con precisione diverse parti del corpo nelle scansioni.

Gli scienziati possono anche usare SAM 2 per monitorare da vicino come cambia la dimensione di un tumore durante il test di un nuovo farmaco, ottenendo risultati più accurati e una migliore comprensione dell'efficacia del trattamento.

Ma SAM 2 non è utile solo in ambito medico. Può aiutare anche in altre aree scientifiche come gli studi ambientali. Per esempio, può analizzare con precisione immagini satellitari per monitorare la deforestazione, lo scioglimento dei ghiacciai o i cambiamenti delle città nel tempo. Questo rende SAM 2 uno strumento prezioso per i ricercatori che hanno bisogno di dati visivi altamente accurati.

Sistemi autonomi

Il settore automotive può trarre grande vantaggio dalla segmentazione oggetti accurata e in tempo reale di SAM 2. Migliorando i sistemi di percezione dei veicoli autonomi, SAM 2 può aiutare a identificare e tracciare con precisione pedoni, altri veicoli e ostacoli, aspetto cruciale per una guida sicura in ambienti complessi.

Immagina un'auto a guida autonoma che attraversa una città affollata. La segmentazione avanzata di SAM 2 assicura che il veicolo possa rilevare e reagire con precisione ai potenziali pericoli, migliorando sensibilmente la sicurezza su strada. Questa capacità aumenta l'affidabilità dei veicoli autonomi e contribuisce alla più ampia adozione della guida autonoma.

Realtà aumentata

SAM 2 ha un grande potenziale nella realtà aumentata (AR). Grazie alla capacità di tracciare oggetti con precisione in tempo reale, gli elementi virtuali possono fondersi senza soluzione di continuità con il mondo reale, creando esperienze AR più immersive. Questa tecnologia potrebbe migliorare notevolmente le applicazioni AR in gaming, istruzione e persino nel lavoro da remoto, offrendo strumenti più interattivi e reattivi.

Annotazione dei dati e training di modelli di IA

Un altro uso chiave di SAM 2 è la creazione di dataset annotati (composti da immagini e video). SAM 2 automatizza il processo di segmentazione su grandi dataset, riducendo tempo e sforzo necessari per il lavoro manuale. Questo accelera lo sviluppo dell'IA e migliora la qualità dei dati di training, con modelli più robusti e accurati.

SAM2: come funziona?

Vediamo come funziona SAM 2 dietro le quinte. 

SAM 2 si basa su un'architettura sofisticata composta da tre componenti principali: un image encoder, un prompt encoder flessibile e un mask decoder veloce. Questi componenti lavorano insieme per elaborare in modo efficiente sia immagini sia video.

1. Image encoder: utilizza un'architettura gerarchica che gli consente di catturare caratteristiche multi-scala dai fotogrammi video, riconoscendo sia schemi ampi sia dettagli fini.
2. Prompt encoder: utilizza una combinazione di meccanismi di self-attention e cross-attention per affinare la segmentazione in base agli input dell'utente, come clic o maschere.
3. Mask decoder: elabora rapidamente le informazioni provenienti dagli encoder per produrre maschere di segmentazione di alta qualità in tempo reale, anche in scene complesse.

Memory attention e comprensione spazio-temporale

Una caratteristica distintiva di SAM 2 è l'uso di un modulo di memory attention, cruciale per la segmentazione video. Questo modulo permette al modello di ricordare e utilizzare informazioni dai fotogrammi precedenti, migliorando la capacità di tracciare gli oggetti in modo coerente lungo un video.

Per capire meglio, vediamo l'architettura originale di SAM:

SAM 2 estende l'architettura di SAM dalle immagini ai video, consentendo di segmentare oggetti lungo i fotogrammi video. Utilizza vari prompt, come clic o bounding box, per definire l'estensione dell'oggetto in un fotogramma. Un mask decoder leggero elabora questi prompt e gli embedding dell'immagine per creare una maschera di segmentazione, che viene poi propagata su tutti i fotogrammi del video per formare un "masklet".

Il sistema include un meccanismo di memoria con un memory encoder, una memory bank e un modulo di attention, che gli consente di archiviare e utilizzare informazioni su oggetti e interazioni dell'utente per migliorare le previsioni di maschera nei fotogrammi successivi.

Il memory encoder aggiorna la memory bank con la previsione di maschera di ciascun fotogramma, permettendo a SAM 2 di affinare le proprie previsioni man mano che vengono elaborati più fotogrammi. L'architettura è progettata per gestire in modo efficiente l'elaborazione video in streaming e in tempo reale, rendendola adatta ad applicazioni come la robotica e l'annotazione di dataset.

SAM 2 funziona anche con le immagini trattandole come un video a singolo fotogramma. In questa modalità, il meccanismo di memoria è disattivato. Durante l'elaborazione delle immagini, SAM 2 genera maschere di segmentazione senza utilizzare i componenti di memoria, gestendo efficacemente il compito come un caso semplificato in cui si considera solo il fotogramma corrente (l'immagine).

Prestazioni in tempo reale

Grazie all'architettura ottimizzata e a tecniche di elaborazione efficienti, SAM 2 può operare a circa 44 frame al secondo. Questa capacità in tempo reale lo rende adatto a un'ampia gamma di applicazioni, dall'editing video live ai sistemi di IA interattivi.

Dati di training

SAM 2 è stato addestrato su un dataset ampio e diversificato, incluso il nuovo dataset SA-V, che contiene oltre 600.000 annotazioni di masklet su 51.000 video. Questo dataset grande e variegato consente a SAM 2 di generalizzare in vari scenari, da oggetti quotidiani a domini altamente specializzati.

Limitazioni di SAM 2

Pur essendo altamente avanzato, SAM 2 non è privo di limiti. 

SAM 2, sebbene efficace nel segmentare oggetti in immagini e brevi video, presenta limitazioni in scenari difficili. Può faticare a tracciare oggetti in presenza di cambiamenti drastici del punto di vista, lunghe occlusioni, scene affollate o video estesi. Per affrontare questi casi, il modello consente correzioni manuali tramite prompt interattivi. 

In scene affollate, SAM 2 potrebbe confondere oggetti simili, specialmente se l'oggetto target è specificato in un solo fotogramma. Tuttavia, prompt aggiuntivi nei fotogrammi successivi possono aiutare a correggere il risultato.

L'efficienza del modello diminuisce quando si segmentano più oggetti simultaneamente, poiché elabora ciascun oggetto separatamente senza comunicazione tra oggetti. Inoltre, SAM 2 può perdere dettagli fini in oggetti in rapido movimento e le sue previsioni possono essere instabili tra i fotogrammi a causa della mancanza di una regolarizzazione di uniformità temporale.

Sebbene SAM 2 disponga di una generazione automatica avanzata dei masklet, sono ancora necessari annotatori umani per attività come la verifica della qualità delle maschere e l'identificazione dei fotogrammi da correggere. Sono necessari ulteriori automatismi e miglioramenti, e gli sviluppatori incoraggiano la comunità IA a costruire su SAM 2 per far progredire la ricerca e creare nuove applicazioni.

SAM2: dove posso scaricare o accedere a SAM 2?

Per scaricare i pesi del modello e il codice, visita il sito di Meta AI. SAM 2 è rilasciato con licenza Apache 2.0, risultando open-source e accessibile a sviluppatori e ricercatori. Puoi scaricare modello e codice qui.

Se però vuoi provare SAM2, puoi testare la demo interattiva qui.

Ho provato SAM 2 su un video della mia ultima vacanza a Venezia. Puoi provarlo con i tuoi video per selezionare e tracciare facilmente gli oggetti in tutte le riprese.

SAM 2: risorse aggiuntive

Per comprendere meglio l'architettura del modello, il processo di training e le applicazioni, puoi consultare l'articolo di ricerca ufficiale. Il paper offre approfondimenti dettagliati sulle innovazioni alla base di SAM 2.

Se vuoi approfondire SAM 2, ci sono molte risorse utili. Puoi trovare documentazione ufficiale, tutorial e altro sul sito di Meta AI. È ricco di tutto ciò che ti serve, dai dettagli sull'architettura del modello a guide passo passo per l'implementazione.

La comunità è anche attivamente coinvolta nel migliorare SAM 2 contribuendo ai suoi progetti open-source. Restare aggiornati e partecipare alla community può aiutare a plasmare il futuro di SAM 2 e sfruttarne le nuove funzionalità man mano che vengono rilasciate.

Per non perderti gli aggiornamenti, ti conviene seguire il blog di Meta AI e controllare regolarmente il loro repository GitHub. Queste piattaforme offrono notizie su nuove funzionalità, applicazioni reali e anche anticipazioni su ciò che arriverà. Restare informati non solo ti aiuta a sfruttare al meglio SAM 2, ma ti dà anche l'opportunità di contribuire alla sua evoluzione. 

SAM 2: considerazioni etiche

Come con qualsiasi tecnologia potente, è importante riflettere attentamente su come usiamo SAM 2. Poiché si basa su grandi dataset, esiste un rischio di bias nelle sue previsioni, un aspetto da monitorare soprattutto in ambiti sensibili come sorveglianza e veicoli autonomi.

Ci sono anche questioni di privacy da considerare, in particolare per come SAM 2 potrebbe essere usato per monitorare o tracciare le persone. Per assicurare un uso responsabile di SAM 2, è importante promuovere discussioni aperte e definire linee guida etiche chiare. Questo aiuterà a garantire che SAM 2 venga usato in modi utili ed equi per tutti.

È anche fondamentale ricordare che modelli di IA come SAM 2 sono tanto validi quanto i dati su cui sono addestrati. È quindi cruciale utilizzare dataset diversificati ed equilibrati per addestrare SAM 2, riducendo il rischio di risultati non equi.

Valutazioni continue e trasparenza su come viene utilizzato SAM 2 saranno fondamentali per mantenere la fiducia del pubblico e garantire che questa tecnologia sia applicata nel rispetto dei diritti delle persone e a beneficio della società.

Conclusione

Segment Anything Model 2 (SAM 2) sta avendo un impatto significativo nel mondo della computer vision, offrendo capacità di segmentazione avanzate per immagini e video.

La capacità di tracciare oggetti in tempo reale, insieme a un'accuratezza migliorata e a tecniche di prompting intuitive, lo rende uno strumento prezioso in vari settori.

Man mano che SAM 2 continua a svilupparsi, apre nuove opportunità nel design creativo, nella ricerca scientifica e oltre. Con una demo interattiva e l'accesso open-source al modello e al suo ampio dataset di training, Meta AI incoraggia innovazione e collaborazione nella comunità IA, preparando il terreno per futuri progressi nella comprensione visiva e nelle applicazioni interattive.