Wat is data labeling en waarom is het noodzakelijk voor AI?

Goede AI-algoritmen zijn gebouwd op de basis van hoogwaardige data. Ondanks de complexe wiskunde achter zulke algoritmen, schuilt de echte superkracht van AI in de data.

Zonder nauwkeurige, betrouwbare en volledige datasets blijven AI-systemen achter bij hun potentieel — “Garbage in, garbage out,” zoals practitioners zeggen. Veel van de magie achter AI zit in de kwaliteit van de data, daarom ligt er veel nadruk op het belang van data labeling.

In dit artikel gaan we dieper in op:

• Wat data labeling is
• Waarom data labeling noodzakelijk is voor AI
• Technieken voor data labeling
• De uitdagingen van data labeling
• Best practices voor data labeling

Data labeling begrijpen

Data labeling is het proces van het identificeren en taggen van datamonsters die doorgaans worden gebruikt om machine learning (ML)-modellen te trainen. Met andere woorden: data labeling biedt ML-modellen context om van te leren.

Een gelabelde dataset kan bijvoorbeeld aangeven of iemand in aanmerking komt voor een lening, wat er in een geluidsopname is gezegd, of dat er op een röntgenfoto een tumor te zien is.

Data labeling in AI kent diverse toepassingen. De meer algemene use-cases zijn onder meer:

• Afbeeldingslabeling: het identificeren en taggen van specifieke details in een afbeelding.

• Tekstannotatie: labels toekennen aan een tekstdocument of aan verschillende elementen van de inhoud om de kenmerken van zinnen te identificeren.

• Audio-transcriptie: spraak in een audiobestand omzetten naar geschreven tekst.

• Video-annotatie: videoclips labelen of taggen die worden gebruikt voor het trainen van computer vision-modellen om objecten te detecteren of te identificeren.

Waarom data labeling noodzakelijk is voor AI

Omdat veel van de meest praktische toepassingen van vandaag de dag machine learning inzetten, speelt data labeling een belangrijke rol binnen AI.

Supervised learning is een tak van machine learning die gelabelde datasets gebruikt om modellen te trainen om uitkomsten te voorspellen en patronen te herkennen. Zonder gelabelde data zijn de meeste supervised ML-modellen niet in staat de input-outputkoppelingen te leren die nodig zijn om beslissingen te nemen en te generaliseren naar nieuwe gevallen.

Zodra een supervised learning-algoritme een gelabelde dataset krijgt, kan het beginnen met het leren van de onderliggende patronen in de data, ook wel modeltraining genoemd.

Als de data niet correct is gelabeld, leert het model verkeerde patronen. De kwaliteit van het ML-model dat wordt gebruikt voor modeltraining is dus sterk afhankelijk van de nauwkeurigheid van het vastgestelde groundtruth-label tijdens het labelen.

Door datamonsters nauwkeurig te labelen, krijgt het machine learning-model een goede kans om zeer betekenisvolle patronen te leren en voorspellingen van betere kwaliteit te doen.

Technieken en tools voor data labeling

Een van de eerste beslissingen die projectleiders moeten nemen bij de start van een nieuw AI-project, is hoe de data gelabeld gaat worden. Hoewel er nuances bestaan, vallen hun keuzes vaak in een van drie categorieën.

• Handmatig data labelen
• Halfgeautomatiseerd data labelen
• Geautomatiseerd data labelen

Het bepalen welke aanpak voor data labeling het meest effectief is voor het project hangt af van je begrip van elke aanpak, inclusief de voor- en nadelen.

Handmatig data labelen

De standaardtechniek voor het ontwikkelen van een trainingsdataset is handmatig data labelen. Dit houdt in dat je vakspecifieke expertise inzet om elk datapunt te bekijken en er handmatig een label aan toe te kennen.

Handmatig labelen is bijzonder effectief in scenario’s met hoge faalkosten. Vraag bijvoorbeeld een groep artsen om röntgenbeelden met de hand te labelen om een model te ontwikkelen dat kan voorspellen of er sprake is van kanker; dat vergroot de betrouwbaarheid van de data.

Voordelen:

• Vermogen om randgevallen vast te leggen
• Zeer bekwame labelaars kunnen precieze en consistente labels leveren
• Betere kwaliteitsborging van data

Nadelen:

• Kost veel tijd en moeite
• Hoge kosten voor het inhuren van professionele labelaars

Let op: handmatig labelen kan ook extern worden gedaan (bijv. tijdelijke krachten en zzp’ers), ook wel crowdsourcing genoemd.

Halfgeautomatiseerd data labelen

Het combineren van de kracht van menselijke expertise en de efficiëntie van machines staat bekend als halfgeautomatiseerd data labelen.

Concreet verwijst halfgeautomatiseerd labelen naar het proces waarbij je machine learning inzet om snel data te labelen, waarna menselijke labelaars de door het algoritme gemaakte fouten beoordelen en corrigeren.

Dit proces versnelt het labelen aanzienlijk, terwijl de datakwaliteit behouden blijft. Voorbeelden van tools die dit mogelijk maken zijn Labelbox en SuperAnnotate.

Voordelen:

• Menselijke experts kunnen ingrijpen waar machines tekortschieten
• Kan leiden tot aanzienlijke besparingen in kosten en tijd vergeleken met handmatig labelen

Nadelen:

• Kan leiden tot ruis, ambiguïteit en inconsistentie omdat de oorspronkelijke labels mogelijk niet precies, relevant of volledig genoeg waren voor de data.
• De hoeveelheid menselijke controle, feedback en iteratie die nodig kan zijn, kan de schaalbaarheid en efficiëntie van de data beïnvloeden.

Geautomatiseerd data labelen

Bij geautomatiseerd data labelen zijn menselijke labelaars volledig buiten de lus van het labelproces. ML-modellen trainen zichzelf: ze leiden de labelregels af uit de datamonsters en passen die toe op de niet-gelabelde gevallen.

Voordelen:

• Uiterst hoge verwerkingssnelheid
• Kosteneffectief
• Consistent labelen
• Sterk schaalbaar

Nadelen:

• Uitdagingen bij het labelen van ongeziene data
• Eén fout in labeling kan de kans op toekomstige fouten vergroten.

Vergelijking van technieken voor data labeling

In de onderstaande tabel vergelijken we de verschillende technieken voor data labeling op basis van bovenstaande informatie:

Uitdagingen en aandachtspunten bij data labeling

Het labelen van data kent verschillende uitdagingen die de prestaties en betrouwbaarheid van AI-systemen aanzienlijk kunnen beïnvloeden.

Data labeling opschalen voor grote datasets

Handmatig labelen wordt praktisch onhaalbaar naarmate de dataset groeit. Dit komt door de exponentieel stijgende kosten voor labelaars en de onpraktische tijdsdruk die de taak met zich meebrengt.

In zulke gevallen is geautomatiseerd labelen noodzakelijk. Toch kent geautomatiseerd labelen ook z’n eigen uitdagingen, zoals het omgaan met verschillende datatypen en het hanteren van een consistent labelpatroon.

Ongestructureerde en ruisgevoelige data aanpakken

Data uit de echte wereld is zelden netjes georganiseerd. Ze zit vaak vol ruis en kan essentiële informatie missen. Soms is ze zelfs ronduit irrelevant. Uitgebreide datapreprocessing is nodig vóór het eigenlijke labelproces om de data bruikbaar te maken.

Afbeelding gemaakt door de auteur met Midjourney

Hoewel dit extra tijd kost, is het noodzakelijk omdat zelfs ervaren labelaars misleid kunnen worden door rommelige data, wat waarschijnlijk leidt tot onnauwkeurige labels.

De kern is dat datacleaning en preprocessing noodzakelijke onderdelen zijn van de data labeling-pijplijn, maar dat deze activiteiten op zichzelf al lastig zijn.

Kosten en budgetbeperkingen

Een van de meest gebruikte methoden voor het labelen van data is handmatig labelen. Hoewel dit AI-teams in staat stelt om de kennis van domeinexperts te benutten, randgevallen te vangen en consistente labels te leveren, kan het ook tijdrovend en intensief zijn.

Afbeelding gemaakt door de auteur met Midjourney

Zoals hierboven vermeld, nemen de kosten voor het inhuren van zulke bekwame labelaars toe naarmate de omvang van de data groeit. Dit proces is niet eenvoudig schaalbaar.

Ambiguïteit en subjectiviteit

Een aanzienlijke hindernis bij data labeling is de subjectiviteit en ambiguïteit van bepaalde labeltaken. Labelaars kunnen dezelfde scène verschillend interpreteren, wat bijvoorbeeld bij beeldherkenning tot inconsistente annotaties kan leiden.

Dit verschil kan de kwaliteit van de gelabelde data schaden en ruis introduceren, wat de robuustheid en nauwkeurigheid van het AI-model kan ondermijnen.

Toepassingen van data labeling in de echte wereld

We hebben vastgesteld dat data labeling cruciaal is om machine learning-modellen effectief te laten presteren.

Hier zijn enkele belangrijke praktijktoepassingen om te illustreren waar data labeling kan worden ingezet:

• Autonome voertuigen: Data labeling is essentieel voor het trainen van autonome en zelfrijdende voertuigen. Dergelijke voertuigen kunnen objecten, voetgangers, verkeersborden en andere elementen op de weg detecteren en erop reageren dankzij gelabelde data van sensoren, camera’s en Lidar-systemen, wat zorgt voor veilige en betrouwbare werking.
• Gezondheidszorg: Data labeling is cruciaal voor verschillende toepassingen in de zorg. Medische beeldlabeling helpt bij diagnose en behandelplanning door tumoren of afwijkingen op MRI’s en röntgenfoto’s te herkennen. Elektronische patiëntendossiers worden ondersteund door geannoteerde patiëntdata, wat zorgprofessionals helpt bij besluitvorming.
• eCommerce: Aanbevelingssystemen in e-commerce leunen sterk op data labeling. Het gaat om het begrijpen van consumentengedrag, voorkeuren en productbeschrijvingen. Correct labelen verhoogt de betrokkenheid en stimuleert de verkoop door relevante productaanbevelingen te doen.
• Sociale media: Data labeling vormt de basis voor contentmoderatie op sociale media. In berichten en reacties wordt inhoud die als aanstootgevend of schadelijk wordt beschouwd gemarkeerd. Zo wordt het internet veiliger en gebruiksvriendelijker.
• Financiële dienstverlening: Gelabelde transactiedata wordt in de financiële sector gebruikt voor risicobeoordeling en fraudedetectie. Data labeling beschermt consumenten en instellingen door te helpen risico’s nauwkeurig te beoordelen en ongewone patronen van mogelijk frauduleuze activiteiten te identificeren.
• Taalvertaling: Bij taalvertaaldiensten wordt tekstdata gelabeld om nauwkeurige vertalingen te faciliteren. Machinevertalingsmodellen verbeteren nauwkeurigheid en effectiviteit door training met gelabelde vertaaldatasets.

Best practices voor data labeling-projecten

In deze sectie bespreken we enkele best practices die AI-teams helpen om kwaliteit, consistentie en efficiëntie te bereiken in hun labelproces.

Definieer duidelijke en specifieke labelrichtlijnen

Labelrichtlijnen zijn instructies die specificeren hoe data gelabeld moet worden. Voorbeeld: voordat je afbeeldingen labelt, moet je definiëren wat een voorbeeld in een bepaalde categorie plaatst, hoe je omgaat met gedeeltelijk zichtbare of verborgen beelden, en hoe je onbelangrijke of achtergrondobjecten labelt.

Met precieze en gedetailleerde richtlijnen kun je de nauwkeurigheid en betrouwbaarheid van de gelabelde data verhogen en subjectiviteit en variabiliteit in het proces verminderen.

Leid labelaars op en monitor ze

Labelaars moeten worden getraind en gemonitord om te waarborgen dat ze de richtlijnen volgen en labels van hoge kwaliteit produceren. Door dit te borgen, blijven consistentie en kwaliteit in het labelproces behouden.

Training omvat het geven van achtergrondinformatie, voorbeelden, feedback en ondersteuning, zodat labelaars de taak effectief begrijpen. Monitoring houdt in dat je de prestaties van labelaars meet en evalueert op nauwkeurigheid, snelheid, overeenstemming en retentiegraad, en dat je obstakels tijdens het proces aanpakt.

Valideer en verbeter labels

Na het labelproces moet de gelabelde data worden gevalideerd om te verzekeren dat deze voldoet aan de behoeften en verwachtingen van het AI-team – zo niet, verbeter de data.

Validatie houdt in dat je de nauwkeurigheid, volledigheid, diversiteit, dekking en consistentie van de gelabelde data onderzoekt, evenals de betrouwbaarheid en overeenstemming tussen labelaars. Deze praktijk helpt bruikbare van minder bruikbare data te onderscheiden en de robuustheid en prestaties van ML-modellen te bepalen.

Ethische overwegingen bij data labeling

Om onpartijdige en eerlijke procedures te garanderen, is het cruciaal om de ethische vraagstukken rond data labeling te begrijpen.

Het opsporen en aanpakken van mogelijke vooroordelen, het begrijpen van de impact van biased data op ML-algoritmen en het onderzoeken van ethische kwesties zoals toestemming, privacy en rechtvaardigheid zijn allemaal essentiële stappen om verantwoorde en ethische labelpraktijken te ontwikkelen.

Door data-ethiek voorop te zetten bij het labelen, help je meer eerlijke en betrouwbare AI-systemen te creëren.

Privacy

Een van de ethische implicaties van data labeling is privacy. Wees voorzichtig bij het annoteren van gevoelige gegevens, waaronder namen en adressen. Er moeten goede toestemmingsprocedures zijn, omdat individuen geïnformeerde toestemming moeten kunnen geven voor het labelen en verdere gebruik van hun data.

Bias

Wanneer vooroordelen tijdens het labelproces binnensluipen, kunnen integriteit en eerlijkheid van gelabelde datasets in het geding komen. Dit kan voortkomen uit vooringenomenheden van labelaars, bijvoorbeeld op basis van hun opvattingen over het geslacht, de etniciteit of de sociaaleconomische status van personen.

Omdat dergelijke vooroordelen de gelabelde data kunnen vertekenen, is de kans groter dat discriminatie en ongelijkheid voortduren.

Vooringenomen data die zonder ethische waarborgen is gelabeld, kan de prestaties en uitkomsten van ML-algoritmen negatief beïnvloeden. Algoritmen die op onjuiste informatie zijn getraind, zullen maatschappelijke vooroordelen en discriminatie waarschijnlijk weerspiegelen en versterken.

Eerlijkheid

Eerlijk labelen is een ander ethisch punt – dat betekent iedereen en elke groep gelijk behandelen. Door een breed scala aan meningen te horen, stereotypen te bevragen en nieuwe ideeën te overwegen, kan oneerlijk labelen worden voorkomen of beperkt.

De mogelijke effecten van labelbeslissingen op verschillende gemeenschappen moeten zorgvuldig worden overwogen, en elke vorm van vooroordeel of oneerlijke behandeling moet worden aangepakt.

Conclusie

Data labeling is een essentiële stap bij het creëren van hoogpresterende ML-modellen. Hoewel het van buitenaf eenvoudig kan lijken, is de praktijk weerbarstig. Bedrijven moeten verschillende variabelen en technieken afwegen om te bepalen welke labelstrategie het beste is. Een grondige evaluatie van de taakcomplexiteit, samen met de omvang, reikwijdte en duur van het project, is aan te bevelen, omdat elke methode voor data labeling eigen voor- en nadelen heeft.

Blijf leren over AI en het belang van data labeling via andere DataCamp-bronnen:

• AI Fundamentals-skill track
• Wat is ongelabelde data?
• Categorische data in machine learning verwerken met Python