Wat is synthetische data?

Synthetische data, gebruikt in data science en machine learning, verwijst naar kunstmatig gegenereerde data waarmee onderzoekers en ontwikkelaars algoritmen kunnen testen en verbeteren zonder de privacy of veiligheid van real-world data in gevaar te brengen.

Uitleg over synthetische data

Synthetische data is in essentie kunstmatige data die algoritmisch wordt gecreëerd. Ze zijn ontworpen om de kenmerken van real-world data na te bootsen zonder echte informatie te bevatten. Veelgebruikt in data science en machine learning stelt synthetische data je in staat om algoritmen te testen en te verbeteren zonder de privacy of veiligheid van real-world data te riskeren. Ze kunnen ook worden gebruikt om bestaande datasets aan te vullen, vooral wanneer de oorspronkelijke data beperkt of bevooroordeeld is.

Het genereren van synthetische data gebeurt met statistische methoden, machine learning of een combinatie daarvan om data te produceren die de structuur en patronen van de originele data weerspiegelt. Zo worden Generative Adversarial Networks (GANs), een klasse van machine-learningframeworks waarbij twee neurale netwerken met elkaar wedijveren, vaak ingezet. GANs werken met één netwerk, de generator, die synthetische datapunten aanmaakt, terwijl het andere netwerk, de discriminator, ze beoordeelt op echtheid. Via dit proces leert de generator steeds realistischer data te produceren.

Er zijn ook diverse commerciële tools om synthetische data te genereren, zoals MOSTLY AI en Hazy.

Toepassingen van synthetische data in de praktijk

Synthetische data wordt in verschillende domeinen toegepast:

• Autonome voertuigen. Bedrijven als Waymo en Tesla gebruiken synthetische data om hun zelfrijdende algoritmen te trainen. Ze creëren virtuele omgevingen die realistische scenario’s nabootsen, zodat algoritmen leren reageren in uiteenlopende situaties zonder het risico van testen in de echte wereld.
• Gezondheidszorg. Synthetische data wordt gebruikt om medische dossiers te genereren voor onderzoeksdoeleinden. Hierdoor kunnen onderzoekers werken met data die de statistische eigenschappen van echte patiëntgegevens behoudt zonder de privacy te schenden. Zo kan synthetische data worden gebruikt om realistische beelden van organen of weefsels te genereren, die vervolgens worden ingezet om algoritmen te trainen patronen te herkennen en afwijkingen in echte patiëntbeelden op te sporen. Dit maakt diagnosestelling en behandelplanning nauwkeuriger en efficiënter, zonder grote hoeveelheden echte patiëntgegevens nodig te hebben. Leer gevoelige informatie verwerken met een cursus gegevensprivacy en anonimisering in Python of R.
• Financiën. Synthetische data wordt gebruikt om financiële markten te simuleren, zodat handelstrategieën en risicomodellen getest kunnen worden zonder echte marktdata. In kredietrisicomodellering kan synthetische data bijvoorbeeld worden ingezet om kenmerken van kredietnemers en hun kredietgedrag te simuleren, waardoor kredietverstrekkers hun risicomodellen kunnen testen en verfijnen zonder gevoelige klantinformatie bloot te leggen. Dit kan de nauwkeurigheid van kredietbeoordeling verbeteren en het wanbetalingsrisico voor kredietverstrekkers verlagen.
• Machine learning. Een manier om de prestaties en nauwkeurigheid van ML-modellen in het algemeen te verbeteren, is het gebruik van synthetische data. Dit kan helpen bij problemen als ongebalanceerde data en kan ook vooroordelen in bestaande datasets verminderen.

Wat zijn de beperkingen van synthetische data?

Ondanks de voordelen kent synthetische data ook beperkingen:

• Kwaliteit. De kwaliteit van synthetische data hangt af van de algoritmen waarmee ze worden gegenereerd. Als de algoritmen de onderliggende verdeling van real-world data niet goed vastleggen, is de synthetische data mogelijk niet representatief.
• Bias. Synthetische data wordt gegenereerd op basis van bepaalde aannames, algoritmen of modellen. Als die onderliggende aannames bevooroordeeld zijn of realistische scenario’s niet goed weerspiegelen, kan de synthetische data die bias overnemen. Bevooroordeelde synthetische data kan leiden tot scheve of onnauwkeurige modellen of voorspellingen.
• Onvermogen om zeldzame gebeurtenissen te vangen. Zeldzame gebeurtenissen of uitschieters in echte data worden mogelijk niet voldoende vastgelegd in synthetische data. Het is lastig om synthetische data te genereren die extreem zeldzame verschijnselen of uitschieters nauwkeurig vertegenwoordigt. Deze beperking kan de prestaties beïnvloeden van modellen die uitsluitend op synthetische data zijn getraind wanneer ze met zulke uitzonderingen te maken krijgen.
• Complexiteit. Het genereren van synthetische data van hoge kwaliteit kan complex zijn en vereist geavanceerde kennis van ML-technieken en aanzienlijke rekenbronnen.

Synthetische data gebruiken voor projecten

Gartner voorspelt dat in 2024 60% van de data die wordt gebruikt om machine-learning- en analytische toepassingen te ontwikkelen, kunstmatig gegenereerd zal zijn. Deze trend komt door de hoge kosten en de schaarste van het verzamelen en opschonen van real-world data.

Data over bijvoorbeeld bankfraude, borstkanker, zelfrijdende auto’s en malware-aanvallen is in de echte wereld moeilijk te verkrijgen. En zelfs als je de data hebt, kost het veel tijd en middelen om die schoon te maken en te verwerken voor gebruik in ML-taken.

Daarnaast gebruik ik de Python-bibliotheek faker om voorbeelddatasets te genereren voor het testen van databases en verschillende applicaties. Voor machine learning is die echter minder bruikbaar, omdat de data uit een beperkte pool wordt gegenereerd. Voor ML gebruik ik Conditional GANs om synthetische tabeldata te genereren. Dit heeft de modelprestaties en stabiliteit verbeterd.

Als je een gespecialiseerd ML-probleem aanpakt, moet je mogelijk technieken voor het genereren van synthetische data verkennen die aansluiten op jouw specifieke vereisten. Verouderde Kaggle- en Accuriqin-data zijn hiervoor namelijk niet flexibel genoeg.

Wil je meer leren over AI en machine learning? Bekijk dan deze resources:

• Cursus Understanding machine learning
• Cursus Understanding AI
• Cursus Learn ChatGPT
• Wat is machine learning?
• Tutorial Generative Adversarial Networks (GANs)