5 veelvoorkomende data science-uitdagingen en effectieve oplossingen

Dit artikel is een gewaardeerde bijdrage uit onze community en is door DataCamp geredigeerd voor duidelijkheid en nauwkeurigheid.

Wil je jouw eigen expertise delen? We horen graag van je! Dien je artikelen of ideeën in via ons Community Contribution Formulier.

Data science is het proces van het bestuderen van data om bruikbare inzichten te verkrijgen voor besluitvorming. Het omvat alles van statistiek en wiskunde tot kunstmatige intelligentie en computertechnologie.

Hoe belangrijk data science ook is, er zijn verschillende obstakels die het voor bedrijven lastig maken om het volledige potentieel ervan te benutten. In dit artikel leer je vijf belangrijke data science-uitdagingen die je moet overwinnen om het meeste uit data-analyse te halen en betere zakelijke beslissingen te nemen.

1. Omgaan met meerdere databronnen

De juiste data voor analyse verkrijgen is een uitdagende taak, zeker wanneer je data uit verschillende bronnen haalt. Daarom is het voor effectieve data science essentieel om data uit meerdere bronnen te consolideren.

Het samenvoegen van data uit uiteenlopende en semi-gestructureerde bronnen is echter een complex en tijdrovend proces.

Een snelle oplossing voor deze data science-uitdaging is het gebruik van dataintegratietools of een datamanagementsysteem zoals Informatica en Oracle. Deze softwareoplossingen helpen je data uit verschillende bronnen te verzamelen en te aggregeren en te filteren voor eenvoudige toegang.

Ze doen dit door te fungeren als een gecentraliseerd platform dat integreert met de databronnen. Het resultaat is dat je een holistisch beeld krijgt van al je data, waardoor je nauwkeurigere en betekenisvollere inzichten kunt genereren.

Je kunt ook zakelijke AI-oplossingen gebruiken om snel data te analyseren en nuttige bedrijfsbeslissingen te suggereren. Hoewel er risico’s van generatieve AI zijn, zoals AI-hallucinaties, kun je die eenvoudig ondervangen met tegenmaatregelen zoals factchecking.

2. Niet genoeg vakmensen

De wereld wordt in toenemende mate afhankelijk van data science voor besluitvorming. Maar liefst 59% van de bedrijven gebruikt data science op verschillende manieren om hun prestaties te verbeteren. Dit heeft geleid tot een grote vraag naar bekwame data science-professionals die het aanbod overstijgt. Denk hier eens over na: er zijn drie keer zoveel vacatures voor data science als dat er zoekopdrachten naar zulke banen zijn.

Bron

Maar dat is niet alles. Zelfs sommige van de huidige data scientists beschikken niet over de geüpdatete vaardigheden die nodig zijn om met data in de moderne wereld om te gaan. De traditionele manier van werken met data is in de huidige omgeving niet langer toepasbaar door opkomende technologieën zoals generatieve AI. Daarnaast zijn er nog twee ontwikkelingen die een upskilling of reskilling van dataprofessionals vereisen: de explosie aan data en de toegenomen rekenkracht.

Het op- en bijscholen van bestaande data science-experts beperkt zich niet tot technische vaardigheden. Data science-experts hebben ook verbeterde probleemoplossende en communicatieve vaardigheden nodig. Met de enorme hoeveelheid beschikbare data komen nieuwe uitdagingen en vraagstukken die moeten worden aangepakt.

De oplossingen voor deze problemen moeten op de juiste manier worden gecommuniceerd naar teamleden en management, die mogelijk niet de expertise hebben om data zelfstandig te interpreteren. Daar gaan we later dieper op in.

Om de uitdaging van een kleinere vijver aan data scientists ten opzichte van de vraag aan te pakken, moet je je onderscheiden als potentiële werkgever en professionals uit die vijver aantrekken. Bied dus concurrerende salarissen en secundaire voorwaarden. Het gemiddelde basissalaris voor data scientists in de VS is $146.422, volgens Glassdoor, en als je meer kunt bieden, des te beter.

Of je nu data scientists aanneemt of al dataprofessionals in dienst hebt, je moet investeren in workshops en trainingen op het gebied van data science. Die helpen ervoor te zorgen dat de data science-vaardigheden van je team aansluiten bij de tijd en rekening houden met de huidige praktijken en standaarden in de data science-industrie.

3. Dataprivacy en -beveiliging

De overgang naar cloudomgevingen heeft bijgedragen aan de toename van databeveiligingsincidenten in de 21e eeuw. Naar schatting wordt 60% van de bedrijfsdata in de cloud opgeslagen. In 2020 ontving de FBI alleen al meer dan 2.000 meldingen van cybercriminaliteit per dag. Ransomware, aanvallen op datasystemen en datadiefstal zijn enkele veelvoorkomende vormen van datalekken.

Als gevolg daarvan zetten bedrijven nu cybersecurity-experts in, waaronder ethische hackers die ChatGPT gebruiken voor hacking, om te zorgen dat klantdata veilig blijft. Dit ethisch hacken helpt om potentiële databeveiligingsrisico’s te identificeren en het probleem vooraf te verhelpen.

Met zoveel data die in verkeerde handen kan vallen, hebben instanties zoals de Europese Unie ook maatregelen genomen.

De Algemene Verordening Gegevensbescherming, die in 2018 van kracht werd, is er bijvoorbeeld op gericht de data van mensen in de EU te beschermen. Ze legt boetes en sancties op die kunnen oplopen tot miljoenen euro’s voor organisaties die de privacy- en beveiligingsnormen van de AVG schenden.

Bron

Als bedrijf moet je dus zorgen voor de veiligheid en privacy, niet alleen van je eigen organisatie maar ook van je klanten.

Om deze data effectief te beschermen, moet je eerst weten welke data je hebt en waar die zich bevindt, een proces dat data discovery wordt genoemd. Je kunt geautomatiseerde data discovery-tools gebruiken, zoals Tableau en IBM Cognos Analytics, om snel de gevoelige data te identificeren die je bezit.

Kies vervolgens een betrouwbare dataopslagoplossing als extra beveiligingslaag. Maak daarnaast altijd back-ups van je data, zodat je die bij verlies of corruptie eenvoudig kunt herstellen.

Zorg voor fijnmazige toegangscontroles. Wat voor bedrijf je ook hebt, het is niet logisch om iedereen dezelfde toegangsrechten te geven.

Bron

Neem een softwarebedrijf als voorbeeld. De data die het finance-team nodig heeft voor de dagelijkse werkzaamheden is heel anders dan wat de marketingafdeling nodig heeft om hun SaaS-marketingstrategieën uit te voeren. Evenzo hebben het salesteam en de klantenserviceafdeling verschillende datasets nodig om te kunnen presteren.

Belangrijker nog: fijnmazige toegangscontroles voorkomen ongeautoriseerde toegang en verkleinen het risico op inbreuk op de privacy en beveiliging van je klanten. Dit is essentieel omdat organisaties en data-experts moeten balanceren tussen het privé houden van vertrouwelijke klantdata en het delen van de benodigde datasets met relevante teamleden. Overweeg het gebruik van een datacatalogus om gevoelige data te beperken en tegelijkertijd data-experts toegang te geven tot relevante datasets.

4. Datacleaning

Ongewenste data uit je datasets verwijderen is een van de belangrijkste uitdagingen waar je mee te maken krijgt. Slechte data kost bedrijven veel geld; sommige verliezen er jaarlijks tot $12,1 miljoen door. Het is de nachtmerrie van elke data scientist om te werken met data die onnauwkeurig, gedupliceerd, inconsistent of ongeschikt is. Dat kan leiden tot onjuiste conclusies en dus verkeerde beslissingen.

Als bedrijf is het essentieel om de vier V’s van big data te kennen om je te helpen bij datacleaning. Dat zijn:

• Velocity - Dit is de snelheid waarmee data wordt overgedragen. Omdat de overdracht in real time plaatsvindt, moet je deze datasets ook in real time analyseren.
• Veracity - Je moet de data kiezen die relevant is voor je bedrijf, zodat mensen erop kunnen vertrouwen dat de daaruit voortkomende beslissingen deugen.
• Volume - De uitwisseling van data groeit met de dag. Dat betekent dat je technologie nodig hebt om daarmee om te gaan.
• Variety - Je komt veel soorten data tegen, waaronder gestructureerde, ongestructureerde en semi-gestructureerde data. Het is essentieel om een gestandaardiseerd formaat in te stellen om met die variatie om te gaan.

Gezien de enorme volumes en variatie aan data waar je mee moet werken, kan het opschonen van inconsistente data je uren kosten.

Overweeg data governance als manier om dit data science-probleem op te lossen. Dit verwijst naar de procedures die een bedrijf instelt om zijn data-assets te beheren. Er zijn moderne data governance-tools die je helpen je datasets op te schonen, te formatteren en de nauwkeurigheid te behouden. IBM Data Governance, OvalEdge en Collibra zijn goede voorbeelden van data governance-tools.

Neem daarnaast dataprofessionals in dienst die verantwoordelijk zijn voor de datakwaliteit in elke afdeling. Dat helpt je aan hoogwaardige datasets om mee te werken en bespaart tijd en geld.

5. Rapporteren aan niet-technische stakeholders

Het vergroten van het vermogen van een organisatie om weloverwogen beslissingen te nemen, is een belangrijk doel van data science. Deze beslissingen moeten in lijn zijn met het bedrijfsplan. Alleen zo kan het bedrijf zijn doelen bereiken.

We noemden dit net al kort. Omdat data science een zeer technisch vakgebied is, kan het lastig zijn om de bevindingen van data scientists te communiceren aan managers en leidinggevenden die de technische taal niet spreken. Veel managers en organisatieleiders zijn niet bekend met de tools en machinelearningmodellen die in data science worden gebruikt.

Daar komt bij dat sommige organisaties geen duidelijk gedefinieerde bedrijfsbegrippen en KPI’s hebben. Dat kan voor je data scientists een uitdaging vormen bij het rapporteren. Als elke afdeling bedrijfsbegrippen anders interpreteert en verschillende maten gebruikt om KPI’s te berekenen, dan hebben je data scientists hun handen vol.

Ze moeten dan de impact van hun werk uitleggen in relatie tot de specifieke KPI’s van elke afdeling. Daardoor kan het lastig zijn om tot een holistische bedrijfsbeslissing te komen die elke afdeling ten goede komt.

De oplossing voor deze grote uitdagingen? We noemden er één: reskillen en upskillen van je data scientists zodat ze hun communicatieve vaardigheden kunnen aanscherpen. Je kunt ze trainen in dataverhalen vertellen voor een effectieve visualisatie van bevindingen door hun publiek. Data storytelling zorgt ervoor dat data-analyse gemakkelijk te begrijpen is. Het kan worden gebruikt om het publiek te overtuigen waarom de genomen bedrijfsbeslissing passend is.

Een andere oplossing is om niet-technisch personeel–het publiek van de data scientist—een goede basis in data science te geven.

Definieer ook de KPI’s van je organisatie duidelijk en zorg dat alle afdelingen een gemeenschappelijk begrip hebben van elk bedrijfsbegrip. Dat maakt het voor data scientists makkelijker om belangrijke inzichten uit hun analyse te communiceren.

Een manier om die consistentie te waarborgen is, opnieuw, het gebruik van een datacatalogus. Die fungeert als single source of truth voor je bedrijfsbegrippen en KPI’s, zodat iedereen dezelfde interpretatie heeft van wat ze betekenen.

Conclusie

Kortom, er blijven veel data science-uitdagingen opduiken nu bedrijven voortdurend technologie omarmen om dingen gedaan te krijgen. Meerdere of onbetrouwbare databronnen maken het moeilijk voor data scientists om bruikbare inzichten uit grote hoeveelheden data te halen. Er is ook een talentkloof die het lastig maakt om bekwame data science-experts met praktijkervaring te vinden.

Zorgen rond dataprivacy en -beveiliging blijven het voor bedrijven lastig maken om toegang te krijgen tot de data die ze moeten analyseren. Datacleaning kost veel tijd en geld terwijl organisaties proberen slechte data te identificeren en te verwijderen. Tot slot kan rapporteren aan niet-technische stakeholders moeilijk zijn omdat data science een technisch vakgebied is.

Om deze data science-uitdagingen op te lossen, bied je concurrerende salarissen om moderne data scientists aan te trekken uit een schijnbaar kleine talentpool ten opzichte van de vraag. School je dataprofessionals bij en om zodat ze kunnen meekomen met veranderende technologieën en opkomende data science-eisen. Leid ook je andere medewerkers op zodat zij een basisbegrip van data science hebben. Overweeg bovendien het gebruik van tools zoals datacatalogi en data governance-software.

Volg deze tips en je ontketent het volledige potentieel van data science voor je bedrijf en ontdekt spannende kansen.