Dagster vs Airflow: vergelijking van toptools voor data-orchestratie in moderne data stacks

Het lijkt wel alsof er elke keer dat je door LinkedIn scrolt, weer een nieuw hulpmiddel opduikt in een toch al druk data­landschap. Naarmate datateams blijven bouwen aan hun “data stack”, hebben ze een manier nodig om al die verschillende tools te beheren en met elkaar te verbinden.

Data-orchestratie is het proces van het ontwikkelen, uitvoeren en monitoren van processen die data in het hele ecosysteem combineren, transformeren en organiseren. Hiervoor gebruiken data-engineers data orchestratie­tools. Hier bekijken we twee van de populairste orkestratietools: Apache Airflow en Dagster. Aan de slag!

Wat is Airflow?

Airflow is de industriestandaard voor het bouwen, draaien en monitoren van datapijplijnen als code. Het werd oorspronkelijk in 2014 ontwikkeld door het Data Engineering-team van Airbnb. Sindsdien is het project geadopteerd door de Apache Software Foundation en uitgegroeid tot het populairste aanbod onder hun licentie. 

Airflow wordt elke maand meer dan dertig miljoen keer gedownload en heeft een levendige community van bijdragers en gebruikers. In Airflow worden datapijplijnen DAG’s genoemd, oftewel directed acyclic graphs. 

Je kunt meer over Airflow leren in onze tutorial over aan de slag met Apache Airflow. 

Wat is Dagster?

Net als Airflow is Dagster een orkestratietool waarmee gebruikers datapijplijnen als code kunnen definiëren. Het is open-source en werd oorspronkelijk gelanceerd in 2019. Dagster gebruikt Python om “assets” te definiëren, de bouwstenen van een datapijplijn. 

Dagster is uitgegroeid tot een concurrent van Airflow in een relatief niet-overvol domein. Het project wordt onderhouden door de open-sourcecommunity en commercieel ondersteund door Dagster Labs.

Een moderne data stack verbinden

Waar passen Airflow en Dagster in een moderne data stack? We beginnen met het onderstaande architectuurdiagram.

Een architectuurdiagram met een selectie van veelgebruikte tools in de moderne data stack.

Dit architectuurdiagram toont wat velen zien als een standaard data stack. Die bestaat uit bronsystemen, datawarehousing- en transformatietools, en downstream “bestemmingen” zoals Tableau en Looker. 

Hier zijn Airflow en Dagster de pijlen die dit data-ecosysteem verbinden. Zonder orkestratietool is het lastig om data van de ene tool naar de andere te verplaatsen. 

Orkestratietools zoals Airflow en Dagster bieden ook een laag observability, waardoor je eenvoudig kunt begrijpen waar, hoe en wanneer data van bron naar bestemming wordt gepipelined, en hoe die onderweg wordt gemanipuleerd.

Dagster vs Airflow: belangrijkste features en functionaliteit

Zoals je misschien al vermoedde, delen Airflow en Dagster verschillende overeenkomsten in hun beoogde gebruik en de rol die ze spelen in de moderne data stack. Denk aan:

• Pipelines als code definiëren
• Ingebouwde integraties met de moderne data stack
• Ervaring met lokale ontwikkeling

Toch heeft elk zijn eigen set features en functionaliteit waarmee het op zichzelf kan staan.

Airflow

Laten we beginnen met een aantal kernfeatures van Airflow: 

Airflow en DAG’s begrijpen

In Airflow heten datapijplijnen DAG’s—kort voor directed acyclic graphs. Zie een DAG als een verzameling taken die in een specifieke volgorde verbonden zijn. De basisbouwsteen van een DAG is een taak. In een pijplijn die extractie, transformatie en laden (ETL) uitvoert, zou de “transform”-stap bijvoorbeeld een eigen taak zijn.

Deze taken worden doorgaans gedefinieerd met Airflow-operators. Maar zoals je zo zult zien, is er ook een andere manier om taken te definiëren met de TaskFlow API.

DAG’s plannen in Airflow

Het plannen van een pijplijn in Airflow is eindeloos flexibel. Moet een pijplijn dagelijks draaien? Geen probleem. Wil je die op de eerste vrijdag van elke maand uitvoeren? Ook dat is eenvoudig. En wat als je manager je vraagt een DAG te triggeren wanneer een dataset wordt bijgewerkt? Airflow kan dat ook aan.

Airflow biedt veel maatwerkopties voor het plannen van je DAG’s. Met features als CRON, Timetables en data-aware scheduling kun je DAG’s laten draaien wanneer jij dat nodig hebt.

TaskFlow API

Om het schrijven van DAG’s toegankelijker te maken voor dataprofessionals, introduceerde de Airflow-community de TaskFlow API. In plaats van de traditionele aanpak met operators laat de TaskFlow API je taken definiëren door simpelweg functies te decoreren. Dit maakt het veel eenvoudiger en intuïtiever om data tussen taken te delen en afhankelijkheden vast te leggen.

Bovendien zijn tools zoals de Astro SDK bovenop de TaskFlow API gebouwd, waardoor de mogelijkheden verder worden uitgebreid.

Dagster

Zo verhoudt Dagster zich: 

Dagsters asset-gebaseerde aanpak

Dagster hanteert een unieke asset-gebaseerde aanpak voor het bouwen van datapijplijnen. In Dagster wordt elk data-object dat in persistente opslag staat—zoals een bestand of een tabel—een asset genoemd. 

Deze assets worden in code gedefinieerd met Python-functies. Wanneer deze functies worden uitgevoerd, creëert Dagster automatisch afhankelijkheden en materialiseert het de asset. Deze assetcentrische methode maakt het makkelijk om te volgen hoe data binnen een pijplijn wordt geproduceerd en geconsumeerd.

Ops in Dagster begrijpen

Een ander belangrijk concept in Dagster is “ops”, die enigszins vergelijkbaar zijn met taken in Airflow. Ops vertegenwoordigen individuele stappen in een datapijplijn, en elke op heeft inputs en outputs die uit assets kunnen bestaan. Bovendien kunnen deze inputs en outputs getypt zijn om de verwerkte data duidelijk te definiëren.

Wat is dan de relatie tussen ops en assets? Ops zijn in wezen de stappen (zoals extract, transform, load) die opereren op de assets, de data-objecten zelf.

Dagsters typingsysteem

Om duidelijkheid te brengen in de data die door een pijplijn stroomt, gebruikt Dagster een robuust typingsysteem om de inputs en outputs van elke op te valideren. Hoewel Airflow Python-typedefinities ondersteunt, heeft Dagster typen tot een kernonderdeel van de pijplijnauteurservaring gemaakt. 

Je kunt niet alleen ops typen, maar ook asset­definities, zodat de data die een asset oplevert correct is en gevalideerd wordt.

Airflow vs Dagster: developer experience

Bij het kiezen van een orkestratietool spelen zaken als feature­dichtheid, totale eigendomskosten en schaalbaarheid vaak mee in de acceptatiecriteria. Toch is het belangrijk om de developer experience in gedachten te houden. Een intuïtieve, efficiënte en robuuste developer experience maakt snelle iteratie mogelijk en helpt proactief uitdagingen aan te pakken, zoals het draaien van unit-tests en het beheren van afhankelijkheden.

Airflow

Airflow-community

Heb je een Airflow-vraag of -bug waar je niet uitkomt? De kans is groot dat die al eens is opgelost. Airflow heeft een van de grootste Slack-community’s van alle Apache-projecten en telt meer dan drieduizend bijdragers. Duizenden blogs, tutorials en cursussen zijn rondom het Airflow-project ontwikkeld. Naast support voor gebruikers is de community verantwoordelijk voor het bouwen en onderhouden van het project.

Astronomer, de commerciële ontwikkelaar achter het Apache Airflow-project, heeft de developer experience van Airflow naar een hoger niveau getild. De astro CLI biedt een extra laag abstractie en functionaliteit voor Airflow-utilities. Astronomer levert ook hun registry en de “Ask Astro”-chatbot om elke Airflow-vraag van een developer te tackelen.

Lokaal ontwikkelen en testen

Een feature die Airflow aantrekkelijk maakt voor orkestratie is de mogelijkheid om lokaal te ontwikkelen en te testen. Met de airflow CLI kan een developer in enkele seconden een Airflow-instance opzetten. Vervolgens kun je lokaal code wijzigen en testen via de UI of CLI. Dit maakt snelle iteratie en een kortere releasecyclus mogelijk, vooral voor teams die zwaar op Airflow leunen.

Nieuwe tools om DAG’s te ontwikkelen

Lange tijd was de enige manier om een Airflow-DAG te definiëren via traditionele operators. De TaskFlow API veranderde dat snel en bood een alternatief voor het maken van DAG’s. Nu maken tools als dag-factory en gusty het makkelijker dan ooit om te beginnen met het schrijven en uitvoeren van DAG’s.

Dagster

Veel van de lokale ontwikkelervaring van Dagster komt overeen met die van Airflow, inclusief de mogelijkheid om lokaal pijplijnen te ontwikkelen, testen en uitvoeren. Beide bieden ondersteuning voor gangbare SDLC-praktijken op ondernemingsniveau, zoals CI/CD. 

Toch is het lastig om de pure omvang van de Airflow-community te vergelijken met die van Dagster. Waar Airflow duizenden communityresources heeft, probeert Dagster nog in te halen. Bij het ontwikkelen en troubleshooten van pijplijnen met Dagster kunnen practitioners moeite hebben om snel de juiste resources te vinden om een oplossing te implementeren.

Makkelijk te testen

Dagsters asset-gebaseerde aanpak voor het ontwikkelen van pijplijnen maakt ze vrij eenvoudig te testen. Sterker nog, testen is een van de kernbeginselen van Dagsters waardepropositie. Samen met het hierboven genoemde typingsysteem heeft Dagster prioriteit gegeven aan het testen van datapijplijnen op een manier die lijkt op hoe je een softwareproduct zou testen. 

De documentatie van Dagster benadrukt de uitdaging van verstrengelde bedrijfslogica in elke pijplijndefinitie en biedt gangbare technieken om dit bij het testen aan te pakken. Dit is een gebied waar velen vinden dat de developer experience van Airflow tekortschiet.

Dagster vs Airflow: sterke en zwakke punten

Krijg je al een idee hoe het is om met Airflow en Dagster te werken? Nu zetten we uiteen waar elke tool in uitblinkt ten opzichte van de ander, en noemen we een handvol bekende tekortkomingen.

Airflow

Oneindige uitbreidbaarheid

Cliché, maar met Airflow is de lucht de limiet. De uitbreidbaarheid van het project is ongeëvenaard. Airflow-ontwikkelaars kunnen hun eigen operators, sensors, executors en zelfs timetables bouwen. Voor datateams met unieke use-cases is dit erg aantrekkelijk. Wil je geen eigen integraties bouwen? 

Geen zorgen, de kans is klein dat het hoeft. Er zijn meer dan 1.600 bestaande integraties die klaar zijn voor gebruik na een simpele pip-install. Als industriestandaard voor data-orchestratie profiteert Airflow van voortdurende innovatie, wat een soort “positieve feedbacklus” creëert.

Airflow in productie draaien 

Als echt open-sourceproduct zijn er talloze manieren om Airflow in productie te draaien. Van on-prem Kubernetes-clusters tot een volledig beheerde dienst: duizenden enterprises draaien Airflow in een productieomgeving. 

Overheids- en rapportage­regels, toewijding aan dataprivacy en -beveiliging, en een jungle aan netwerken dwingen datateams soms tot onvoorstelbare toolingconfiguraties. Zulke teams hebben alle flexibiliteit en maatwerk nodig die ze kunnen krijgen bij het draaien van een tool als Airflow in productie. Andere teams willen misschien een managed service provider die al het zware werk doet. Met Airflow zijn beide uitersten (en alles ertussenin) haalbaar.

Leercurve

Airflow is uitbreidbaar en heeft duizenden plug-ins. DAG’s kunnen op meerdere manieren gedefinieerd worden, pijplijnen kunnen getriggerd worden met data-aware scheduling, en je kunt een custom secrets-backend configureren. 

Dit alles betekent dat het volledig benutten van Airflow een aardige leercurve met zich meebrengt. 

Voor data-engineers die snel pijplijnen willen schrijven en uitvoeren, vormt Airflow een drempel. Dat jaagt data-engineers en soortgenoten vaak richting een meer rechttoe-rechtaan aanbod, zoals Dagster.

Dagster

Intuïtief pijplijnen schrijven

Datapijplijnen bouwen met Dagster is intuïtief. De asset-gebaseerde aanpak is aantrekkelijk voor dataprofessionals die een pijplijn met zo min mogelijk overhead in productie willen zetten. 

Dagster kent een veel kleinere leercurve dan werken met traditionele Airflow-operators, zeker voor gebruikers die gewend zijn Python-functies te schrijven om hun pijplijnen te bouwen. Dit is een van Dagsters grootste krachten en vaak een belangrijke reden voor een datateam om Dagster te vertrouwen voor hun datapijplijnen.

Groeiende community

Concurreren met de Airflow-community is lastig, zelfs voor Dagster. Van bijdragen aan het open-sourceproject tot het bouwen van connectors voor de nieuwste toevoegingen aan de data stack, tot vragen beantwoorden en documentatie cureren—er is weinig wat de Airflow-community niet biedt. Dat gezegd hebbende: de Dagster-community groeit snel. Op enterprise-niveau is deze ontluikende community zowel een risico als een kans om invloed uit te oefenen op het Dagster-project.

Airflow vs. Dagster: welke kies je?

Welke tool past nu bij jou? In de onderstaande tabel hebben we een vergelijking samengesteld: 

In de onderstaande graphic worden de belangrijkste overeenkomsten en verschillen in features en functionaliteit van zowel Airflow als Dagster samengevat. 

Overeenkomsten tussen Airflow en Dagster.

Dan nu de hamvraag: welke orkestratietool kies je voor de klus?

Waarom kiezen voor Airflow?

Kort en goed: Airflow is de de facto standaard voor het schrijven en draaien van datapijplijnen in productie. Ja, sommige ontwerppatronen van Dagster zijn technisch misschien superieur aan Airflow. Maar de uitbreidbaarheid van Airflow en de community die het project ondersteunt maken het een makkelijke keuze voor gevestigde datateams. Airflow biedt het beste van twee werelden: een enorme bibliotheek aan bestaande tooling plus de mogelijkheid om elke operator, sensor of hook te bouwen die je je kunt voorstellen. Airflow heeft zijn niche gevonden en verdwijnt voorlopig niet.

Waarom kiezen voor Dagster?

Voor kleine datateams die gewend zijn zelfgebouwde pijplijnen te schrijven, kan Dagster precies de juiste tool zijn. Hoewel Dagster misschien niet kan pronken met alle “bells and whistles” die Airflow biedt, levert het een snelle route van idee naar productie. Dagster biedt uitstekende ondersteuning voor wat ertoe doet (denk aan lokale ontwikkeling, robuuste unit-testing en een modulaire structuur), plus een scala aan integraties. Naarmate het project volwassener wordt en de community groeit, blijft Dagster het feature­gat met Airflow dichten, terwijl de drempel laag blijft.

Conclusie

Tools vergelijken is altijd lastig. Het is moeilijk om te zeggen dat de één “beter” is dan de ander, of om een bepaalde tool in een specifiek gebruik te dwingen. Eerlijk is eerlijk: het onderliggende framework achter Airflow en Dagster lijkt opvallend veel op elkaar. De beste dataprofessionals kiezen geen tool op basis van features, maar kijken naar hoe de tool die ze in hun ecosysteem integreren, het proces beïnvloedt.

Maakt Airflow het mijn teams mogelijk om sneller te itereren? Helpt een tool als Dagster engineers om code beter te testen voordat die naar productie gaat? Past deze orkestratietool binnen de grotere visie voor een dataplatform? Dit soort vragen helpt waarde te creëren voor datateams en hun stakeholders.

Klaar om te beginnen met Apache Airflow? Bekijk DataCamp’s cursus Introduction to Airflow in Python. Daar leer je de basis van taken, sensors en alles wat je nodig hebt om je eerste Airflow-DAG’s te bouwen.