SAM 2: Aan de slag met Meta's Segment Anything Model 2

Deze video laat zien hoe SAM 2 wordt toegepast voor videosegmentatie en demonstreert het vermogen om objecten nauwkeurig te volgen en te segmenteren over meerdere frames. SAM 2 behoudt consistente segmentatie, zelfs in lastige scenario’s met occlusies of snelle bewegingen.

Laten we ontdekken hoe SAM 2 de mogelijkheden van computervisie uitbreidt en nieuwe maatstaven zet voor wat haalbaar is.

Wat is SAM 2?

SAM 2 (Segment Anything Model 2) is de nieuwste vooruitgang van Meta AI op het gebied van computervisie. Het bouwt voort op de basis van de oorspronkelijke SAM en biedt verbeterde mogelijkheden voor segmentatie van afbeeldingen en video’s.

Kort gezegd kan SAM 2 nauwkeurige segmentatiemaskers genereren die objecten in een afbeelding of video identificeren en van elkaar scheiden.

Stel, je hebt een complexe afbeelding met meerdere objecten en je wilt er één selecteren voor verdere bewerking. Traditioneel zou je de omtrek van het object zorgvuldig, pixel voor pixel, moeten traceren—tijdrovend en frustrerend. SAM 2 vereenvoudigt dit door automatisch precieze segmentatiemaskers te genereren, zelfs in rommelige scènes.

Wil je een video bewerken waarin een personage zich verplaatst en wil je diegene door de hele scène in focus houden? Met SAM 2 kun je de bewegingen eenvoudig volgen, zelfs als het personage tijdelijk verdwijnt of van vorm verandert.

Nog een voorbeeld van het vermogen van SAM 2 om de focus te behouden en de bewegingen van een personage nauwkeurig te volgen, zelfs wanneer het personage verdwijnt of van vorm verandert—een bewijs van de robuustheid van het model bij complexe videobewerkingsscenario’s.

SAM 2 vs. SAM

Hoewel het oorspronkelijke SAM-model indrukwekkend was, tilt SAM 2 alles naar een hoger niveau met verschillende belangrijke verbeteringen.

Videosegmentatie

SAM 2 introduceert de mogelijkheid om objecten in video’s te segmenteren—een grote stap vooruit ten opzichte van zijn voorganger.

Deze mogelijkheid komt voort uit de sessiegeheugenmodule, die het doelobject over frames heen bijhoudt. Dit geheugen wordt opgeslagen in een zogenoemde "memory bank", die ruimtelijke feature maps en semantische informatie over het object bewaart.

Deze kaarten en informatie worden gebruikt door de aandachtmechanismen van het model—specifiek self-attention en cross-attention—om de kenmerken van het huidige frame te vergelijken met die uit eerdere frames.

Verbeterde prestaties

SAM 2 verwerkt videoframes in realtime met ongeveer 44 frames per seconde en is daardoor geschikt voor livevideo en interactieve bewerking. Dit is een aanzienlijke verbetering in snelheid en nauwkeurigheid, waardoor SAM 2 complexe taken met hoge precisie aankan.

Verfijnde prompting

SAM 2 ondersteunt geavanceerdere promptingtechnieken, waaronder het gebruik van maskers als invoerprompt. Deze uitgebreide functionaliteit helpt met meer precisie specifieke interessegebieden te definiëren en verbetert het vermogen van het model om complexe scènes met overlappende objecten aan te kunnen.

Interactieve segmentatie

Met SAM 2 kun je segmentatieresultaten in realtime bijsturen door prompts te geven op elk frame. Deze interactiviteit maakt iteratieve verfijning mogelijk en is vooral waardevol in workflows die hoge precisie vereisen, zoals in postproductie van video.

Toepassingen van SAM 2

SAM 2 is niet alleen voor simpele foto- of videobewerkingen—de krachtige functies zijn inzetbaar in talloze domeinen zoals digitale kunst, gezondheidszorg of zelfrijdende auto’s.

Creatieve industrieën

SAM 2 kan beeld- en videobewerking veranderen door taken als objectverwijdering, achtergrondvervanging en geavanceerde compositing te vereenvoudigen.

Zo wordt het creëren van een surrealistisch landschap door elementen uit verschillende bronnen te combineren met SAM 2 een eenvoudig proces, waardoor complexe bewerkingen bijna moeiteloos gaan.

Naast traditionele bewerking blinkt SAM 2 ook uit in generatieve AI, met precieze controle over elementen in gegenereerde beelden en video’s. Dit wakkert nieuwe ideeën aan in contentcreatie en maakt het makkelijker om unieke, gepersonaliseerde resultaten te produceren.

Bovendien kan integratie van SAM 2 in socialmediaplatforms zoals Instagram nieuwe filters of effecten mogelijk maken die zich in realtime aanpassen aan objecten en scènes, wat de betrokkenheid en creativiteit van gebruikers vergroot.

Wetenschap en onderzoek

Bij medische beeldvorming kan SAM 2 cruciaal zijn voor het nauwkeurig identificeren en scheiden van verschillende lichaamsdelen in scans.

Wetenschappers kunnen met SAM 2 ook nauwlettend volgen hoe een tumor in omvang verandert bij het testen van een nieuw medicijn, wat leidt tot nauwkeurigere resultaten en beter inzicht in de effectiviteit van de behandeling.

Maar SAM 2 is niet alleen nuttig in de geneeskunde. Het kan ook helpen in andere wetenschappelijke domeinen zoals milieukunde. Zo kan het satellietbeelden nauwkeurig analyseren om ontbossing, smeltende gletsjers of veranderingen in steden in de tijd te volgen. Dit maakt SAM 2 een uitstekende tool voor onderzoekers die zeer nauwkeurige visuele data nodig hebben.

Autonome systemen

De auto-industrie kan sterk profiteren van de realtime, nauwkeurige objectsegmentatie van SAM 2. Door de perceptiesystemen van autonome voertuigen te verbeteren, helpt SAM 2 bij het nauwkeurig identificeren en volgen van voetgangers, andere voertuigen en obstakels—cruciaal voor veilige navigatie in complexe verkeersomgevingen.

Stel je een zelfrijdende auto voor die door een bruisende stad rijdt. Dankzij de geavanceerde segmentatie van SAM 2 kan het voertuig potentiële gevaren nauwkeurig detecteren en erop reageren, wat de veiligheid op de weg aanzienlijk verbetert. Deze capaciteit verhoogt de betrouwbaarheid van autonome voertuigen en draagt bij aan bredere adoptie van deze technologie.

Augmented reality

SAM 2 heeft veel potentie in augmented reality (AR). Dankzij het vermogen om objecten in realtime nauwkeurig te volgen, kunnen virtuele elementen naadloos opgaan in de echte wereld, wat zorgt voor meeslepender AR-ervaringen. Deze technologie kan AR-toepassingen in gaming, onderwijs en zelfs remote werken aanzienlijk versterken met meer interactieve en responsieve tools.

Data-annotatie en AI-modellen trainen

Een andere belangrijke toepassing van SAM 2 is het maken van geannoteerde datasets (bestaande uit afbeeldingen en video’s). SAM 2 automatiseert het segmentatieproces op grote datasets, waardoor de tijd en moeite voor handmatig werk afnemen. Dit versnelt AI-ontwikkeling en verbetert de kwaliteit van de trainingsdata, wat resulteert in sterkere en nauwkeurigere modellen.

SAM2: Hoe werkt het?

Kijken we eens onder de motorkap van SAM 2. 

SAM 2 is opgebouwd uit een geavanceerde architectuur met drie kerncomponenten: een image encoder, een flexibele prompt encoder en een snelle mask decoder. Deze componenten werken samen om efficiënt zowel afbeeldingen als video’s te verwerken.

1. Image encoder: De image encoder gebruikt een hiërarchische architectuur die multi-scale features uit videoframes kan vastleggen, waarbij zowel grove patronen als fijne details worden herkend.
2. Prompt encoder: De prompt encoder gebruikt een combinatie van self-attention en cross-attention om de segmentatie te verfijnen op basis van gebruikersinvoer, zoals klikken of maskers.
3. Mask decoder: De snelle mask decoder verwerkt de informatie uit de encoders razendsnel tot hoogwaardige segmentatiemaskers in realtime, zelfs bij complexe scènes.

Memory attention en spatio-temporeel begrip

Een opvallende eigenschap van SAM 2 is het gebruik van een memory attention-module, cruciaal voor videosegmentatie. Deze module laat het model informatie uit eerdere frames onthouden en gebruiken, waardoor objecten consistenter over een video heen worden gevolgd.

Om dit beter te begrijpen, bekijken we eerst de oorspronkelijke SAM-architectuur:

SAM 2 breidt de SAM-architectuur uit van afbeeldingen naar video’s en kan daardoor objecten over videoframes segmenteren. Het gebruikt verschillende prompts, zoals klikken of bounding boxes, om de omvang van het object in een frame te bepalen. Een lichte mask decoder verwerkt deze prompts en image embeddings tot een segmentatiemasker, dat vervolgens over alle videoframes wordt voortgeplant tot een "masklet".

Het systeem omvat een geheugensysteem met een memory encoder, bank en attentionmodule, zodat informatie over objecten en gebruikersinteracties kan worden opgeslagen en gebruikt om maskervoorspellingen in volgende frames te verbeteren.

De memory encoder werkt de memory bank bij met de maskervoorspelling van elk frame, waardoor SAM 2 zijn voorspellingen kan verfijnen naarmate meer frames worden verwerkt. De architectuur is ontworpen voor efficiënte realtime, streaming videoprocessing en is daardoor geschikt voor toepassingen zoals robotica en datasetannotatie.

SAM 2 werkt ook met afbeeldingen door ze te behandelen als een video van één frame. In deze modus is het geheugensysteem uitgeschakeld. Bij het verwerken van afbeeldingen genereert SAM 2 segmentatiemaskers zonder de geheugencomponenten te gebruiken—feitelijk als een vereenvoudigd geval waarin alleen het huidige frame (de afbeelding) wordt beschouwd.

Realtime prestaties

Dankzij de geoptimaliseerde architectuur en efficiënte verwerkingstechnieken kan SAM 2 werken met ongeveer 44 frames per seconde. Deze realtime capaciteit maakt het geschikt voor uiteenlopende toepassingen, van live videobewerking tot interactieve AI-systemen.

Trainingsdata

SAM 2 is getraind op een omvangrijke en diverse dataset, waaronder de nieuw geïntroduceerde SA-V-dataset met meer dan 600.000 masklet-annotaties over 51.000 video’s. Deze grote en gevarieerde dataset stelt SAM 2 in staat te generaliseren over uiteenlopende scenario’s, van alledaagse objecten tot sterk gespecialiseerde domeinen.

Beperkingen van SAM 2

Hoewel SAM 2 zeer geavanceerd is, kent het ook beperkingen. 

SAM 2 is effectief voor het segmenteren van objecten in afbeeldingen en korte video’s, maar heeft moeite in uitdagende scenario’s. Het kan worstelen met het volgen van objecten bij sterke veranderingen in kijkhoek, lange occlusies, drukke scènes of zeer lange video’s. Daarom biedt het model handmatige correcties via interactieve prompts. 

In drukke scènes kan SAM 2 vergelijkbare objecten verwarren, vooral als het doelobject slechts in één frame is gespecificeerd. Extra prompts in volgende frames kunnen dit echter verhelpen.

De efficiëntie neemt af bij het gelijktijdig segmenteren van meerdere objecten, omdat elk object afzonderlijk wordt verwerkt zonder onderlinge communicatie. Ook kan SAM 2 fijne details missen bij snel bewegende objecten en kunnen voorspellingen instabiel zijn over frames door het gebrek aan afgedwongen temporele gladheid.

Hoewel SAM 2 geavanceerde automatische masklet-generatie heeft, zijn menselijke annotators nog steeds nodig voor taken als het verifiëren van maskkwaliteit en het identificeren van frames die correctie behoeven. Verdere automatisering en verbeteringen zijn nodig, en de ontwikkelaars moedigen de AI-community aan om op SAM 2 voort te bouwen om onderzoek en nieuwe toepassingen te stimuleren.

SAM2: Waar kan ik SAM 2 downloaden of gebruiken?

Ga naar de website van Meta AI om de modelgewichten en code te downloaden. SAM 2 is uitgebracht onder een Apache 2.0-licentie, is open source en toegankelijk voor ontwikkelaars en onderzoekers. Je kunt het model en de code hier downloaden.

Wil je SAM2 uitproberen? Test dan de interactieve demo hier.

Ik probeerde SAM 2 uit op een video van mijn laatste vakantie in Venetië. Jij kunt het ook testen met je eigen video’s om eenvoudig objecten in je beelden te selecteren en te volgen.

SAM 2: Extra bronnen

Voor een diepgaander begrip van de architectuur, het trainingsproces en de toepassingen kun je het officiële onderzoekspaper raadplegen. Het paper geeft gedetailleerde inzichten in de innovaties achter SAM 2.

Als je dieper in SAM 2 wilt duiken, zijn er volop bronnen beschikbaar. Je vindt officiële documentatie, tutorials en meer op de website van Meta AI. Die staat vol met alles wat je nodig hebt, van details over de modelarchitectuur tot stapsgewijze implementatiegidsen.

De community werkt ook actief mee aan het verbeteren van SAM 2 door bij te dragen aan de open-sourceprojecten. Op de hoogte blijven van de laatste updates en onderdeel zijn van de community helpt de toekomst van SAM 2 vorm te geven en nieuwe functies te benutten zodra ze verschijnen.

Om niets te missen, is het slim om de Meta AI-blog te volgen en regelmatig hun GitHub-repository te checken. Deze platforms delen nieuws over nieuwe features, toepassingen in de praktijk en zelfs sneak peeks van wat er komt. Goed geïnformeerd blijven helpt je niet alleen het meeste uit SAM 2 te halen, maar geeft je ook de kans om bij te dragen aan de evolutie ervan. 

SAM 2: Ethische overwegingen

Zoals met elke krachtige technologie is het belangrijk goed na te denken over hoe we SAM 2 gebruiken. Omdat het afhankelijk is van grote datasets, bestaat er een risico op bias in de voorspellingen—iets om alert op te zijn, zeker in gevoelige domeinen zoals surveillance en autonome voertuigen.

Er zijn ook privacyzorgen om rekening mee te houden, met name bij het gebruik van SAM 2 voor het monitoren of volgen van mensen. Om te zorgen dat SAM 2 verantwoord wordt ingezet, zijn open discussies en duidelijke ethische richtlijnen belangrijk. Zo borgen we dat SAM 2 op een nuttige en eerlijke manier voor iedereen wordt gebruikt.

Vergeet ook niet dat AI-modellen zoals SAM 2 alleen zo goed zijn als de data waarop ze zijn getraind. Het is dus cruciaal om diverse en evenwichtige datasets te gebruiken om SAM 2 te trainen en zo de kans op oneerlijke uitkomsten te verkleinen.

Doorlopende evaluatie en transparantie over het gebruik van SAM 2 zijn eveneens essentieel om het vertrouwen van het publiek te behouden en ervoor te zorgen dat deze technologie wordt toegepast met respect voor rechten en ter bevordering van maatschappelijk welzijn.

Conclusie

Segment Anything Model 2 (SAM 2) maakt een grote impact in de wereld van computervisie en biedt geavanceerde segmentatiemogelijkheden voor zowel afbeeldingen als video’s.

Het vermogen om objecten in realtime te volgen, gecombineerd met betere nauwkeurigheid en gebruiksvriendelijke promptingtechnieken, maakt het tot een waardevol hulpmiddel in tal van sectoren.

Naarmate SAM 2 zich verder ontwikkelt, ontstaan er nieuwe kansen in creatief ontwerp, wetenschappelijk onderzoek en meer. Met een interactieve demo en open-source toegang tot het model en de uitgebreide trainingsdataset, stimuleert Meta AI innovatie en samenwerking binnen de AI-community en legt het de basis voor toekomstige doorbraken in visueel begrip en interactieve toepassingen.