Wat is een Data Mesh?

Wat is een Data Mesh?

Een data mesh is een moderne benadering van data-architectuur die databeheer verschuift van een gecentraliseerd naar een gedecentraliseerd model.

De nadruk ligt op domeingeoriënteerd eigenaarschap, waarbij databeheer aansluit op specifieke bedrijfsdomeinen. Deze afstemming maakt data-operaties schaalbaarder en flexibeler en benut de kennis en expertise van degenen die het dichtst bij de data staan.

Kernprincipes

In de kern van een data mesh zitten vier sleutelprincipes die de implementatie en werking sturen.

Domeingeoriënteerd eigenaarschap

Data is in bezit en beheer van de domeinteams die het dichtst bij de bron staan. Deze teams begrijpen de context en waarde van de data het best en zijn daardoor de ideale beheerders van hun eigen data.

Data als product

Data als product behandelen betekent duidelijke interfaces, kwaliteitsstandaarden en documentatie inrichten. Hierdoor wordt data eenvoudiger te ontdekken, te benaderen en te gebruiken. Dit helpt om te borgen dat de data waarde levert aan haar gebruikers.

Selfservice-datainfrastructuur

Teams krijgen de tools en infrastructuur om hun dataprodukten zelfstandig te bouwen, uit te rollen en te beheren. Dit vermindert de afhankelijkheid van centrale IT-teams en versnelt data-operaties.

Gefedereerd computationeel bestuur

Een gefedereerd governancemodel bewaakt consistentie, beveiliging en compliance van data in de hele organisatie. Het balanceert centrale sturing en domeinspecifieke autonomie, zodat governancepraktijken op maat mogelijk zijn.

Lees voor meer achtergrond dit artikel over wat datafederatie is.

Deze principes creëren samen een omgeving waarin data toegankelijker, betrouwbaarder en waardevoller is binnen een grote organisatie.

Hoe een Data Mesh werkt

Dataproducten zijn de bouwstenen van een data mesh. Het zijn herbruikbare en vindbare assets die domeinspecifieke data omvatten, ontworpen met duidelijke interfaces en kwaliteitsstandaarden. Ze maken het eenvoudig om data organisatiebreed te integreren en te gebruiken. 

Zo kan een salesteam een dataproduct creëren met klantkoopgeschiedenis en verkooptrends. Het marketingteam kan deze data vervolgens eenvoudig benaderen en gebruiken om campagnes te verfijnen.

De bovenstaande graphic toont een vereenvoudigde weergave van een voorbeeld van een data mesh voor een organisatie. Overkoepelende datagovernancebeleid stuurt elk van de vier afdelingen aan: Sales, Finance, Marketing en Productontwikkeling. Elke afdeling is verantwoordelijk voor de eigen data en creëert een volledig dataproduct dat wordt gehost op een gedeeld platform. Dataconsumenten interacteren met dataproducten door de hele organisatie via een uniforme data-mesh experience-laag.

Data-mesharchitectuur

Een typische data-mesharchitectuur bestaat uit meerdere kerncomponenten die samenwerken:

Domeindataproducten

Dataproducten vormen het hart van de data mesh. Domeinteams bezitten en beheren ze. Deze teams zijn verantwoordelijk voor de kwaliteit en het onderhoud van hun dataproducten en zorgen dat ze aansluiten op de behoeften van gebruikers.

Datainfrastructuurplatform

Het datainfrastructuurplatform biedt een gedeelde basis voor dataopslag, -verwerking en governance. Het ondersteunt de ontwikkeling en uitrol van dataproducten door de benodigde tools en technologieën te leveren.

Datagovernance

Datagovernance stelt beleid en standaarden vast voor datakwaliteit, beveiliging en toegang, zodat consistente en conforme databeheerpraktijken worden geborgd. Deze component is cruciaal om vertrouwen in de data organisatiebreed te behouden. Je leert meer in deze cursus over Data Governance Concepts.

Data-mesh experience-laag

De data-mesh experience-laag is de gebruiksvriendelijke interface die het ontdekken, benaderen en consumeren van dataproducten mogelijk maakt. Zo kunnen dataconsumenten makkelijk vinden en gebruiken wat ze nodig hebben. Ik zie dit graag als een winkel waar ik alle dataproducten binnen de organisatie kan vinden.

Implementatie van een Data Mesh

Stel, we willen een data mesh in onze organisatie implementeren. Waar beginnen we? Laten we enkele kernstappen doorlopen.

Identificeer domeinen

Begin met het afbakenen van duidelijke grenzen rond bedrijfsdomeinen. Deze afstemming helpt om data-eigenaarschap bij de juiste teams te beleggen. Identificeer onderscheidende bedrijfsgebieden binnen de organisatie, zoals sales, marketing, finance of productontwikkeling.

Stel data-eigenaarschap vast

Wijs data-eigenaarschap toe aan de relevante domeinteams. Deze teams zijn verantwoordelijk voor de kwaliteit en het beheer van hun eigen data.

Bouw dataproducten

Definieer en ontwikkel dataproducten die aansluiten op de behoeften van dataconsumenten. Dit kunnen medewerkers binnen dezelfde organisatie zijn, investeerders of andere stakeholders. Zorg dat deze producten vindbaar, goed gedocumenteerd en herbruikbaar zijn om hun waarde te maximaliseren. 

Zo kan het salesteam een dataproduct maken met klantkoopgeschiedenis en verkooptrends, dat vervolgens wordt gebruikt door het marketingteam – de dataconsumenten in dit voorbeeld.

Federeer governance

Richt een gefedereerd governancemodel in om dataconsistentie en compliance te waarborgen. Deze aanpak maakt domeinspecifieke governancepraktijken mogelijk, terwijl ook aan overkoepelende organisatiestandaarden wordt voldaan. 

Ons governancemodel zou centrale sturing moeten balanceren met domeinspecifieke autonomie. Bekijk dit Data Governance-cheatsheet voor tips.

Implementeer een selfservice-infrastructuur

Voorzie teams van de tools en platforms die ze nodig hebben om hun dataproducten zelfstandig te beheren. Geef domeinteams toegang tot een gemeenschappelijk datainfrastructuurplatform met tools voor dataopslag, -verwerking, -beheer en data lineage (lees meer in dit artikel over wat data lineage is). Dit verkleint de afhankelijkheid van centrale IT-teams en versnelt data-operaties.

De overgang naar een data-mesharchitectuur kan intimiderend lijken, maar de opbrengst kan voor grote organisaties aanzienlijk zijn.

Tools voor Data Meshes

Data meshes vragen vaak om tools die domeinteams ondersteunen bij het zelfstandig bouwen, uitrollen en beheren van hun dataproducten. Deze tools variëren van dataopslag- en verwerkingsplatforms tot governance- en discovery-oplossingen.

Betaalde tools

Hier zijn enkele populaire tools die in data meshes worden gebruikt:

Open-sourcetools

Laten we nu enkele populaire open-sourcetools voor data meshes bekijken:

Deze tools bieden een mix van mogelijkheden die organisaties kunnen helpen om een data-mesharchitectuur effectief te implementeren. Het is belangrijk verschillende tools te onderzoeken en zo een op maat gemaakte toolset samen te stellen die past bij de specifieke behoeften van een organisatie.

Voordelen van een Data Mesh

Een data mesh biedt organisaties schaalbaarheid door groeiende datavolumes en complexiteit effectiever op te vangen dan gecentraliseerde benaderingen. Deze schaalbaarheid zorgt ervoor dat organisaties enorme hoeveelheden data kunnen beheren en verwerken zonder knelpunten of prestatieproblemen.

Door databeheer te decentraliseren bevordert een data mesh wendbaarheid, zodat organisaties sneller kunnen reageren op veranderende bedrijfsbehoeften en marktomstandigheden. Deze flexibiliteit stelt teams in staat hun individuele datastrategieën in realtime aan te passen, zodat ze vooroplopen in een snel veranderend bedrijfslandschap.

In een data-mesharchitectuur verbetert de datakwaliteit door domeinspecifiek eigenaarschap. Domeinteams, met de meest relevante kennis en context, beheren en onderhouden hun dataproducten. Deze aanpak borgt nauwkeurigheid, betrouwbaarheid en aansluiting op bedrijfsdoelen.

Daarnaast bevordert een data mesh samenwerking en kennisdeling over domeinen heen. Door datasilo’s af te breken kunnen teams elkaars expertise benutten, wat leidt tot betere besluitvorming en sterkere resultaten.

Uitdagingen bij het omarmen van een Data Mesh

Een data mesh invoeren brengt uitdagingen met zich mee waar organisaties doorheen moeten navigeren.

Een grote hobbel is de cultuurverandering die nodig is. Overstappen op een data mesh vraagt om een fundamentele omslag in organisatiecultuur. In plaats van één gecentraliseerd datateam dat alle data beheert, vereist een data mesh gedecentraliseerde besluitvorming en data-eigenaarschap. Dit vergt draagvlak op alle niveaus en kan weerstand oproepen bij mensen die gewend zijn aan centrale controle.

Ook de technische complexiteit van een data mesh kan een uitdaging zijn. Er komen nieuwe tools, processen en vaardigheden bij, wat kan vragen om aanzienlijke investeringen in training en infrastructuur. Organisaties moeten zorgen dat ze de middelen en expertise hebben om de overgang naar een data-mesharchitectuur succesvol te maken.

De juiste balans vinden tussen domeinautonomie en centrale governance is een andere uitdaging. Domeinteams hebben vrijheid nodig om te innoveren en hun dataproducten zelfstandig te beheren, terwijl centrale governance cruciaal is voor consistentie, beveiliging en compliance. Deze balans vraagt om zorgvuldige planning en afstemming om governancekaders te ontwerpen die zowel domeinspecifieke behoeften als overkoepelende organisatiedoelen dienen.

Wanneer een Data Mesh overwegen

Grote en complexe organisaties met uitgebreide en gevarieerde datalandschappen merken vaak dat gecentraliseerde benaderingen onvoldoende schaalbaar zijn. In zulke omgevingen, waar datavolumes en complexiteit blijven groeien, biedt een data mesh een gedecentraliseerd alternatief dat beter bij de behoeften past.

Organisaties die in wendbare omgevingen opereren, waar snelle reacties op marktveranderingen of klantvragen essentieel zijn, profiteren ook van de flexibiliteit van een data mesh. De gedecentraliseerde opzet maakt snellere aanpassing aan veranderende eisen mogelijk. Dit vergroot de wendbaarheid en reactiekracht.

Een data mesh is vooral nuttig voor organisaties met van nature gedistribueerd data-eigenaarschap over verschillende teams of afdelingen. Door databeheerpraktijken te laten aansluiten op de bestaande structuur krijgen domeinteams eigenaarschap over hun eigen dataproducten. Deze verdeling stimuleert verantwoordelijkheid en zorgt dat data wordt beheerd door mensen met de meest relevante expertise en context.

Organisaties die echter sterk leunen op gestandaardiseerde, geharmoniseerde datapraktijken in alle afdelingen of die geen duidelijke bedrijfsdomeinen hebben, profiteren mogelijk minder van een data mesh. Zonder duidelijke grenzen en gedecentraliseerde besluitvorming gaan de voordelen van domeinspecifiek eigenaarschap en wendbaarheid verloren. Deze organisaties zijn waarschijnlijk beter af met een gecentraliseerde benadering van databeheer.

Data Mesh vs. Data Fabric

Een data fabric is een meer gecentraliseerde aanpak om een uniforme data-omgeving te creëren binnen een organisatie. Het integreert diverse databronnen en systemen in één samenhangend platform en geeft gebruikers een eenduidig beeld van de data. 

Data fabrics leggen vaak de nadruk op dataintegratie, governance en beveiliging om organisatiebreed consistentie en betrouwbaarheid te borgen. Lees meer in dit artikel over wat een data fabric is.

Hoewel zowel data mesh als data fabric de uitdagingen van modern databeheer aanpakken, doen ze dat via verschillende routes. Een data mesh geeft prioriteit aan decentralisatie en domeingeoriënteerd eigenaarschap, terwijl een data fabric juist inzet op centralisatie en integratie. 

De keuze tussen deze benaderingen hangt af van factoren zoals organisatiestructuur, datalandschap en bedrijfsdoelen.

Conclusie

Het data-meshparadigma biedt een oplossing voor de uitdagingen van gecentraliseerde data-architecturen in grote organisaties. Door databeheer te decentraliseren en te koppelen aan bedrijfsdomeinen verbetert data mesh de schaalbaarheid, wendbaarheid, datakwaliteit en innovatie.

Wil je meer leren over databeheer? Bekijk dan deze resources:

• Introduction to Data Quality
• Responsible AI Data Management
• Making Data Governance Fun
• How Data Leaders Can Make Data Governance a Priority