Data-engineering blijft een topprioriteit voor bedrijven, en in 2021 zijn er spannende ontwikkelingen binnen het datainfrastructuurlandschap. In een recent webinar lichtte Maksim Percherskiy, Data Engineer bij The World Bank en voormalig Chief Data Officer van de stad San Diego, drie trends uit om in het bijzonder in de gaten te houden: data-orkestratieplatforms, data discovery engines en data lakehouses.
Data-orkestratieplatforms
Hoewel orkestratieplatforms al jaren bestaan om computersystemen en software te beheren, is data-orkestratie een relatief nieuw concept dat data-toegang over opslagsystemen heen abstraheert, data virtualiseert en data aanbiedt aan datagedreven applicaties. Data-orkestratieplatforms helpen bedrijven datagedrevener te worden door gesiloëde data uit meerdere opslaglocaties te combineren en bruikbaar te maken. Voorbeelden zijn Apache Airflow, Prefect, Luigi en Stitch, die compatibel zijn met moderne softwareaanpakken zoals versiebeheer, DevOps en continuous integration.
De DataCamp-cursus Introduction to Airflow in Python is een uitstekend startpunt om te leren hoe je ETL en data-engineeringworkflows op een eenvoudige en herhaalbare manier implementeert en plant.
Data discovery engines
Het is logisch dat naarmate de hoeveelheid data toeneemt, bedrijven meer tijd investeren in het in staat stellen van teams om de benodigde data te vinden, te documenteren en dubbel werk te verminderen. Data discovery engines zoals Lyft’s Amundsen en Uber’s Databook willen de productiviteit van datagebruikers verbeteren door een zoekinterface voor data te bieden. Deze tools steunen op metadata, die productiviteit en compliance ondersteunen door de datainfrastructuur te laten schalen naarmate bedrijven groeien. Het doel van data discovery is om data meer FAIR te maken: findable, accessible, interoperable en reusable.
Data lakehouse
Er zijn verschillende use-cases voor data lakes versus data warehouses. Elk is ontworpen voor andere doelen en voor andere eindgebruikers. Zo worden datawarehouses doorgaans gebruikt door analisten voor business intelligence; ze bevatten platte bestanden die expliciet voor hun werk zijn verwerkt. Data lakes daarentegen worden opgezet en beheerd door data-engineers, die ze integreren in datapijplijnen. Data scientists werken nauwer met data lakes omdat die data van een bredere en actuelere scope bevatten.
Data lakehouses zijn precies wat de naam doet vermoeden: een combinatie van data lakes en data warehouses. Platforms zoals Snowflake en Databrick's Delta Lake hebben oplossingen ontwikkeld om één enkele bron van waarheid voor data te bieden die de voordelen van data lakes en data warehouses combineert. Data lakehouses implementeren de datastructuren en beheermogelijkheden van datawarehouses voor data lakes, die doorgaans kostenefficiënter zijn voor dataopslag. Tegelijkertijd behouden ze het schema en de versies van de data. Met data lakehouses kunnen data scientists zowel machine learning als business intelligence uitvoeren.
Bron: Databricks
Alle drie deze trends zijn cruciaal voor bedrijven om hun datainfrastructuur in 2021 op te schalen. Ze zijn nuttig voor bedrijven die om data heen zijn gebouwd, maar ook voor organisaties die worstelen om data op een duurzame manier in hun workflows te integreren. Kom meer te weten over de uitdagingen waar grote bedrijven mee te maken hebben om hun data te operationaliseren en datagedreven te worden.
