De meest succesvolle organisaties van vandaag leunen zwaar op data om beslissingen te nemen. Veel van deze datavaardige organisaties genereren dagelijks miljoenen rijen aan data die door uiteenlopende teams worden gebruikt en geanalyseerd. Een van de grootste uitdagingen om teams in staat te stellen met data te werken, is ervoor zorgen dat data verzameld, betrouwbaar, bruikbaar en vindbaar is.
Om hun weg te vinden in deze complexe datalandschappen, hebben veel organisaties interne technologieën ontwikkeld en open source gemaakt, zogeheten tools voor data discovery.
In een recent webinar beschrijft Ramnath Vaidyanathan, VP Product Research bij DataCamp, hoe organisaties kunnen evolueren van data-reactief, waar niemand de vaardigheden of toegang heeft om met data te werken, naar datavaardig, waar iedereen toegang en vaardigheden heeft om met data te werken en datagedreven beslissingen te nemen. Organisaties kunnen hun datavolwassenheid vergroten door te investeren in het IPTOP-raamwerk: infrastructuur, people, tools, organisatie en processen. Naarmate organisaties de toegang tot data opschalen via investeringen in datainfrastructuur, zullen ze eenvoudige vindbaarheid van data moeten bieden met tools voor data discovery.
Data is niet nuttig als mensen er geen toegang toe hebben, als ze de context van de verzamelde data niet begrijpen en als ze niet kunnen vinden wat ze nodig hebben. Daarom zijn tools voor data discovery echt cruciaal. Ramnath Vaidyanathan, VP Product Research bij DataCamp
Hoe datavaardige bedrijven tools voor data discovery gebruiken
Veel datagedreven bedrijven hebben tools voor data discovery in hun datainfrastructuur geïmplementeerd. Laten we kijken naar de drijfveren achter opvallende tools als Uber Databook en Lyft Amundsen.
Uitdagingen rond data discovery om rekening mee te houden
Een belangrijke uitdaging bij data discovery is productiviteit en compliance. Lyft gaf aan dat het hiermee te maken kreeg naarmate de hoeveelheid data exponentieel groeide en naar verwachting ten minste de komende 10 jaar in vergelijkbaar tempo zou blijven groeien. Bij de ontwikkeling van Amundsen merkten ze dat ongeveer 25% van de tijd van een analist opging aan data discovery. Ook zagen ze steeds strengere compliance-eisen in de landen waar ze actief waren.
Uber uitte vergelijkbare zorgen toen het verder uitbreidde dan de primaire functie als ride-sharing app, met diensten als Uber Eats, Uber Freight en Jump Bikes. Bij de ontwikkeling van Databook verwerkte Uber meer dan 15 miljoen ritten per dag en had het 18.000 medewerkers in verschillende teams. Een andere uitdaging was dat hun data in veel verschillende vormen bestond, waaronder Hive, Presto en Vertica. Analisten moesten de verschillende databronnen efficiënt kunnen benaderen en begrijpen om datavaardigheid te bereiken.
Facebook bouwde het Nemo-platform voor data discovery om te voldoen aan de behoefte aan hoogwaardige, betrouwbare data naarmate de omvang en complexiteit van data toenam over rollen en locaties heen. Door de privacyvraagstukken rond de data die ze analyseren, had Facebook bovendien aanzienlijke compliance-zorgen die moesten worden aangepakt bij het aanbieden van tabellen aan specifieke analisten.
John Bodley van Airbnb zei in een talk op een conferentie in 2017: “Naarmate Airbnb groeit, groeien ook de uitdagingen rond de hoeveelheid, complexiteit en ondoorzichtigheid van data.” Dit betekende dat medewerkers data vaak als “gesiloed, onbereikbaar en zonder context” ervoeren. Daardoor maakten medewerkers dubbele tabellen en gebruikten ze data niet als ze die niet vertrouwden. Airbnb ontwikkelde Dataportal om het proces van data discovery veel efficiënter te maken door deze barrières voor productieve data-analyse weg te nemen.
Deze uitdagingen zijn wijdverspreid, sectoronafhankelijk en gelden voor elke organisatie die datagedreven besluitvorming wil opschalen. De behoefte aan makkelijk vindbare data wordt cruciaal naarmate organisaties datavaardig willen worden.
De vier belangrijkste doelen van tools voor data discovery
Nu we de uitdagingen begrijpen, kijken we hoe verschillende tools voor data discovery hiermee omgaan. Uber deelt de doelen van een succesvol data-discoveryplatform op in vier onderdelen:
- Uitbreidbaarheid: de mogelijkheid om eenvoudig metadata, opslag en entiteiten aan tabellen toe te voegen
- Toegankelijkheid: de mogelijkheid om programmatisch toegang te krijgen tot alle metadata
- Schaalbaarheid: de mogelijkheid om veel gelijktijdige read-verzoeken te ondersteunen
- Power: de mogelijkheid om read- en write-verzoeken over meerdere datacenters te ondersteunen
Het behalen van deze doelen wordt belangrijker naarmate organisaties hun datacompetenties volwassen maken. Naarmate de schaal van hun data toeneemt, wordt elk van deze onderdelen steeds crucialer.
Lyft en Airbnb bieden gedetailleerde metadata
Het engineeringteam van Lyft stelt dat “metadata de heilige graal is van toekomstige applicaties”. Ze splitsen metadata op in twee subcategorieën. De eerste is een beschrijvende set data die bestaat uit applicatiecontext (dus wat mensen moeten weten over de data om ermee te werken), gedrag (wie eigenaar is van een bepaald dataset en veelvoorkomende gebruikspatronen) en verandering (hoe de dataset in de tijd verandert). De tweede component is de data die beschreven wordt: alle data die in de organisatie is opgeslagen, in welk formaat dan ook, zoals datastores, dashboards, datastreams en meer.
Bij de ontwikkeling van Dataportal, Airbnb’s platform voor data discovery, was metadata een integraal onderdeel van de meerwaarde in de datapijplijn. Vóór de introductie van Dataportal vertrouwden veel medewerkers de data die ze gebruikten niet, door een gebrek aan context en metadata. Airbnb stelt dat “het begrip van het volledige data-ecosysteem, van het produceren van een eventlog tot het gebruik in een visualisatie, meer waarde oplevert dan de som der delen.”
Bron: Airbnb
Zorg voor hoogwaardige zoekresultaten met data discovery
Als deze context eenmaal aanwezig is, vereist data discovery effectieve zoekfunctionaliteit. Hoe betrouwbaar en begrijpelijk een tabel ook is, platforms voor data discovery zijn alleen nuttig als analisten snel de data kunnen vinden die ze nodig hebben.
De landingspagina van Lyft Amundsen laat gebruikers tabellen zoeken met natuurlijke taal en toont de populairste tabellen binnen de organisatie voor snelle toegang. Daarnaast kunnen analisten feedback achterlaten op de tabel om toekomstige zoekresultaten te verbeteren.
Facebooks oplossing voor data discovery, Nemo, laat analisten filteren op gebruik, privacybeperkingen en actualiteit van data, en benut Facebooks expertise in natural language processing door gebruikers vragen in de zoekbalk te laten typen om relevante tabellen te krijgen.
Uber Databook biedt vergelijkbare filtermogelijkheden door analisten te laten filteren op dimensies als naam, eigenaar, kolom en geneste kolommen. Uber gebruikt Elasticsearch om snel en effectief zoekresultaten te leveren.
Naar datademocratisering via data discovery
Het opschalen van datavaardigheid en datavindbaarheid gaan hand in hand, omdat analisten eenvoudige toegang tot data nodig hebben om datagedreven beslissingen te nemen.
Organisaties met een lage datavolwassenheid moeten zich richten op het opbouwen van datavaardigheden en -cultuur en het opschalen van datainfrastructuur. Maar naarmate organisaties vorderen in hun datavolwassenheid en de data-toegang uitbreiden, wordt het mogelijk maken van uitbreidbare en schaalbare data discovery essentieel om een datagedreven organisatie te worden. Voor een diepgaande bespreking van alle hefbomen om de organisatorische datavolwassenheid te vergroten, bekijk ons webinar over het pad naar datavaardigheid of doe de datavolwassenheidsmeting.
