Apache Airflow 3.0 is er eindelijk, en het is zonder twijfel de meest ingrijpende release in de geschiedenis van het project.
Deze release verandert de manier waarop je naar workflowbeheer kijkt, of je nu net begint met data of al jaren met Airflow werkt.
Na de nieuwe versie zelf te hebben uitgeprobeerd, kan ik met zekerheid zeggen dat dit veel meer is dan een incrementele update.
Enkele van de grootste highlights zijn:
- Een nieuwe servicegeoriënteerde architectuur met volledige remote execution
- Gloednieuwe React-gebaseerde UI gebouwd op FastAPI
- DAG-versiebeheer en wijzigingstracking
- Asset-gedreven en event-based triggers voor DAGs
- Native ondersteuning voor moderne ML-workflows
- Duidelijke upgradepaden en gesplitste, modulaire CLI
Deze gids loodst je door Airflow 3.0 en alles wat het te bieden heeft.
Wat is Apache Airflow?
Apache Airflow is een open-sourceplatform waarmee gebruikers dataworkflows programmeermatig kunnen opzetten, plannen en monitoren.
Het is dé orkestrator geworden voor complexe ETL-pijplijnen, data-engineeringworkflows en, recenter, machinelearningpijplijnen.
Het fundamentele concept in Airflow is de DAG (een gericht acyclisch graaf die een reeks taken en hun afhankelijkheden definieert).
Taken kunnen in Airflow variëren van Python-scripts tot SQL-transformaties en zelfs gecontaineriseerde operaties.
Het platform is flexibel, uitbreidbaar en nu, met 3.0, toekomstbestendiger dan ooit.
Als je net begint met Airflow, is de Introduction to Apache Airflow in Python-cursus een geweldige bron met praktische oefeningen.
Een korte geschiedenis van Apache Airflow
Airflow werd in 2014 oorspronkelijk ontwikkeld door Airbnb en in 2015 open-source gemaakt.
Het werd later een Apache-project en is sindsdien uitgegroeid tot een van de meest gebruikte orkestratietools in het data-engineeringecosysteem.
- Airflow 1.x: Introduceerde Python-gebaseerde DAG-authoring, scheduler- en executor-basisprincipes.
- Airflow 2.0 (2020): Een mijlpaalrelease die de TaskFlow-API, REST API en high-availability scheduler toevoegde.
- Airflow 2.3–2.5: Introduceerde datasets, data-aware scheduling en verbeterde observability.
- Airflow 3.0 (2025): Markeert een fundamenteel herontwerp dat modulariteit, ML-native mogelijkheden en cloud-native ondersteuning prioriteert.
Uit de onderstaande afbeelding blijkt duidelijk dat GitHub-bijdragen jaar op jaar sterk zijn toegenomen, wat laat zien dat Apache Airflow een van de actiefste open-sourceprojecten is in de data-orkestratieruimte.
Grafiek met het toenemende aantal GitHub-bijdragen aan Apache Airflow door de jaren heen. Bron: Airflow 3.0 Introduction Video
Wat is er nieuw in Apache Airflow 3.0?
Apache Airflow 3.0 is een release die rust op drie kernthema’s.
Screenshot van de Apache Airflow 3.0-releasepagina. Bron: Apache Airflow
Deze thema’s weerspiegelen de visie van het project om te voldoen aan de eisen van moderne dataplatforms, de ontwikkelaarservaring te verbeteren en Airflows positie te versterken als centrale orkestrator in gedistribueerde, hybride en door ML aangestuurde omgevingen.
De kernthema’s zijn grofweg als volgt te categoriseren:
Afbeelding met een samenvatting van de drie kernthema’s van Apache Airflow 3.0. Afbeelding gemaakt met Napkin AI
Makkelijker in gebruik
Een van de belangrijkste doelstellingen van de 3.0-release is het verbeteren van de bruikbaarheid over de hele linie, van de command line tot de gebruikersinterface en onderliggende API-interacties.
Airflow is nu makkelijker te leren, prettiger in het dagelijks gebruik en beter toegerust om complexe operationele vereisten te ondersteunen.
Sterkere beveiliging
Beveiliging is een centraal aandachtspunt geworden in data engineering, mede door strengere privacyregels en de schaal van datainfrastructuur.
Airflow 3.0 pakt deze zorgen aan met diepere architecturale ondersteuning voor task-isolatie en uitvoeringscontrole.
De beveiligingsverbeteringen in Airflow 3.0 zijn zowel proactief als strategisch, in lijn met de behoeften van enterprise-omgevingen, sterk gereguleerde sectoren en moderne DevSecOps-praktijken.
Draaien waar en wanneer je wilt
De moderne datastack is niet langer beperkt tot on-premises datacenters of zelfs gecentraliseerde cloudomgevingen.
Airflow 3.0 speelt hierop in met ondersteuning voor diverse deploymenttopologieën en uitvoeringspatronen.
Door taken overal te kunnen draaien (en workflows op elk moment te kunnen laten uitvoeren) ontstaat ongeëvenaarde flexibiliteit, veerkracht en schaalbaarheid voor het orkestreren van de moderne datalifecycle.
Afbeelding met remote clusters en lokale workers, gebruikt om overal en altijd te kunnen draaien. Bron: Airflow 3.0 Astronomer Introduction Video
De rest van deze gids behandelt aspecten van het kernthema van Airflow 3.0 in meer detail.
Grote architectuurwijzigingen in Airflow 3.0
De release van Apache Airflow 3.0 herdefinieert hoe taken worden uitgevoerd, waar ze kunnen draaien en hoe developers en operators met het systeem werken.
De focus ligt op ontkoppeling, modularisatie, schaalbaarheid en flexibele deployment, zodat Airflow voldoet aan de eisen van hybride en multicloud-dataplatforms.
Afbeelding met de architectuur van Airflow 2 en Airflow 3. Bron: Airflow 3.0 Astronomer Introduction Video
Task Execution API en Task SDK
Een van de belangrijkste vernieuwingen in Airflow 3.0 is de introductie van een Task Execution API en een bijbehorende Task SDK.
Deze componenten maken het mogelijk om taken te definiëren en uit te voeren los van de kern-runtime van Airflow.
Dit heeft een aantal belangrijke implicaties:
- Taalflexibiliteit: Taken zijn niet langer beperkt tot Python. Met de nieuwe SDK kunnen ze worden geschreven in talen als Java, Go of R, wat bredere adoptie en integratie met diverse techstacks mogelijk maakt.
- Ontkoppelde omgevingen: Taken kunnen nu draaien in geïsoleerde, remote of gecontaineriseerde omgevingen, los van de scheduler en workers. Dit elimineert dependencyconflicten en verbetert de consistentie van uitvoering.
- Gestroomlijnde ontwikkelworkflow: Een gestandaardiseerde interface voor task-ontwikkeling vereenvoudigt testen en deployment, bevordert hergebruik van code en verkort de inwerktijd voor nieuwe developers.
Deze architectuur is een grote sprong voorwaarts om Airflow flexibeler en meer cloud-native te maken.
Het sluit aan bij de bredere verschuiving in data engineering richting taaldifferentiatie, containerisatie en reproduceerbaarheid op taakniveau.
Edge Executor
De Edge Executor is een andere, ingrijpende toevoeging aan Airflow 3.0.
Hij is ontworpen om event-gedreven en geografisch gedistribueerde uitvoering van taken mogelijk te maken.
In plaats van alle uitvoeringen in een gecentraliseerd cluster te laten plaatsvinden, maakt de Edge Executor het mogelijk om taken bij of dicht bij de databron te draaien.
Enkele belangrijke voordelen van Edge Execution zijn:
Afbeelding met de belangrijkste voordelen van Edge Execution. Afbeelding gemaakt met Napkin AI
- Geografische flexibiliteit: Taken kunnen draaien in remote of regionale clusters, datacenters of zelfs op edge-apparaten.
- Realtime-responsiviteit: Ideaal voor low-latency, event-gedreven use-cases zoals IoT, financiële datastromen of operationele monitoring.
- Lagere netwerk-latency: Omdat de compute dicht bij de databron plaatsvindt, is er minder overhead voor het verplaatsen van grote datavolumes naar een centraal cluster.
- Event-getriggerde pijplijnen: Edge Executor ondersteunt het nieuwe event-gedreven schedulerparadigma dat in Airflow 3.0 is geïntroduceerd.
Task-isolatie en deploymenttopologieën
Airflow 3.0 introduceert een nieuw niveau van task-isolatie dat zowel de beveiliging als de prestaties aanzienlijk verbetert.
Taken in sandboxed omgevingen uitvoeren verkleint het risico op datalekken en resourceconflicten.
Het maakt ook flexibel dependencybeheer mogelijk, omdat verschillende taken of DAGs met hun eigen versies van libraries, Python-omgevingen of runtime-engines kunnen werken.
Deze isolatie ondersteunt bovendien soepelere upgrades. De kerncomponenten van Airflow kunnen worden bijgewerkt zonder draaiende taken te onderbreken of compatibiliteit te breken.
De verbeterde architectuur maakt ook diverse deploymentscenario’s mogelijk voor uiteenlopende infrastructuurbehoeften.
In public cloud-omgevingen kunnen Airflow-workers eenvoudig worden verdeeld over providers als AWS, GCP of Azure.
Voor private of hybride cloudopstellingen kunnen controlplane-componenten binnen een beveiligd netwerk blijven terwijl taken in een DMZ of lokaal datacenter draaien.
Daarnaast ondersteunt Airflow 3.0 edge-deployments, waarmee use-cases zoals ML-inferentie of anomaliedetectie direct op industriële of mobiele hardware mogelijk worden.
Deze mogelijkheden ondersteunen naleving van regelgeving rond datalocaliteit, fault-tolerant scheduling en GPU-versnelde uitvoering.
CLI-splitsing: airflow en airflowctl
Airflow 3.0 introduceert een gesplitste command-line interface (CLI) die is ontworpen als aanvulling op de modulaire backend, met een onderscheid tussen lokale ontwikkeling en remote operationele taken.
airflow
- Gebruikt voor lokale ontwikkeling en testen
- Interageert met lokale DAGs, metadata-DB en componenten
- Ondersteunt snel testen, DAG-parsing en CLI-gebaseerd debuggen
airflowctl
- Ontworpen voor productie en remote orkestratie
- Beheert omgevingen, deployment en clouduitvoering
- Nuttig voor CI/CD-pijplijnen, observability en beheer van gedistribueerde clusters
Deze verdeling vereenvoudigt workflows voor zowel individuele developers als platformteams.
Voor volledige technische details en een complete lijst met wijzigingen, bekijk de officiële Airflow 3.0 release notes.
Samenvatting van architectuurverbeteringen
Hieronder staat een tabel met een samenvatting van de architectuurverbeteringen:
|
Functie
|
Beschrijving
|
|
Task SDK + API
|
Taken schrijven en draaien in elke taal met ondersteuning voor remote execution
|
|
Edge Executor
|
Gedistribueerde taakuitvoering dicht bij databronnen of over regio’s heen
|
|
Task-isolatie
|
Veilige en onafhankelijke taakomgevingen; flexibel dependencybeheer
|
|
CLI-splitsing
|
Duidelijk onderscheid tussen lokale (airflow) en remote (airflowctl) commando’s
|
|
Deploymenttopologieën
|
Ondersteunt hybride, multicloud, edge en GPU-versnelde uitvoeringspatronen
|
Nieuwe React-gebaseerde UI en DAG-versiebeheer
Airflow 3.0 introduceert een volledig vernieuwde gebruikersinterface, vanaf de basis opgebouwd met React voor de frontend en FastAPI als het nieuwe backendframework.
Snellere en responsievere UI
De nieuwe UI-architectuur biedt een aanzienlijk vloeiendere gebruikerservaring, vooral in omgevingen met honderden of duizenden DAGs.
Pagina’s laden sneller, UI-elementen zijn intuïtiever en het navigatiemodel voelt consistent en responsief aan in verschillende weergaven.
Enkele belangrijke UI-verbeteringen zijn:
- Verbeteringen in Grid view: Betere tijdlijnnavigatie, zoeken en filteren. Gebruikers kunnen nu makkelijker de uitvoeringsstatus van DAGs scannen en mislukte of vastgelopen taken troubleshooten.
- Verbeteringen in Graph view: Betere zoom, panning en interactieve verkenning van task-metadata. Dit helpt om complexe DAG-structuren in één oogopslag te begrijpen.
- Asset-paneel: Een nieuwe weergave speciaal voor asset-gedreven workflows. Hiermee kun je assets, hun producers en consumers en lineage over DAGs heen visualiseren.
Ingebouwde ondersteuning voor dark mode
Dark mode is nu native en doordacht geïntegreerd in Airflow, met een verfijnde visuele ervaring die is ontworpen voor helderheid en langdurig comfort.
Hoewel er in 2.x een versie van dark mode bestond, introduceert deze release een volledig uitgewerkt en doelgericht designthema.
Het is duidelijk zorgvuldig geoptimaliseerd voor contrast, leesbaarheid en minder oogbelasting tijdens lange werksessies.
Als iemand die tijd in de ontwikkelwereld heeft doorgebracht, waardeer ik dit enorm.
Het was een van de meest gevraagde communityfeatures en is vooral waardevol voor developers die vaak in weinig licht werken of gewoon een donkerder interface prefereren.
De onderstaande afbeeldingen tonen het visuele contrast tussen light en dark mode in het Airflow-console-dashboard.
Screenshot van de Airflow-console in light mode. Bron: Airflow 3.0 Astronomer Introduction Video
Screenshot van de Airflow-console in dark mode. Bron: Airflow 3.0 Astronomer Introduction Video
DAG-versiebeheer
Een van de meest impactvolle nieuwe mogelijkheden in Airflow 3.0 is first-class versiebeheer voor DAGs.
De uitdaging in Airflow 2.x
In eerdere versies van Airflow werden DAGs geparset uit broncodebestanden en werd de nieuwste versie van de DAG overal toegepast, zelfs met terugwerkende kracht, op eerdere DAG-runs.
Deze aanpak leidde tot een aantal bekende problemen.
Een groot probleem was uitvoeringsdrift. Als je een DAG tijdens een run bijwerkte, konden taken uiteindelijk onder verschillende codeversies draaien.
Er ging ook auditbaarheid verloren, omdat Airflow geen native mechanisme had om bij te houden welke versie van een DAG voor een specifieke uitvoering is gebruikt.
Daarnaast leed de historische nauwkeurigheid eronder, omdat de UI altijd de nieuwste DAG-structuur weergaf, ongeacht wanneer de DAG daadwerkelijk draaide, wat leidde tot inconsistente en mogelijk misleidende uitvoeringshistorie.
Wat Airflow 3.0 verandert
Airflow 3.0 introduceert gestructureerde tracking van DAG-versies rechtstreeks in het platform:
- DAGs krijgen een nieuwe versie bij elke deployment of codewijziging.
- Historische runs blijven behouden met precies de DAG-versie die ze heeft geproduceerd.
- Gebruikers kunnen vanuit de UI een specifieke versie van een DAG selecteren om te bekijken, opnieuw uit te voeren of te analyseren.
Ik waardeer deze feature enorm, omdat het in de praktijk vrijwel onmogelijk is om een DAG te maken die nooit aanpassingen nodig heeft.
DAGs moeten evolueren door nieuwe businesslogica, bugfixes of performance-optimalisaties, en ingebouwd versiebeheer maakt dat proces veel transparanter en beheersbaarder.
Je ziet dit in actie in de onderstaande screenshots, die de interface voor DAG-orkestratie en het nieuwe dropdownmenu met versiehistorie tonen.
Afbeelding van DAG-orkestratie. Bron: Airflow 3.0 Astronomer Introduction Video
Schermafbeelding van DAG-orkestratie met een dropdown voor versies. Bron: Airflow 3.0 Astronomer Introduction Video
Waarom DAG-versiebeheer belangrijk is
DAG-versiebeheer speelt een cruciale rol bij het behouden van betrouwbare, traceerbare en conforme dataworkflows. Daarom is het belangrijk:
- Reproduceerbaarheid: Je kunt nu een DAG betrouwbaar opnieuw draaien, precies zoals die in het verleden is uitgevoerd, zelfs als de huidige code is gewijzigd.
- Debuggen: Fouten zijn te herleiden naar de specifieke versie van de verantwoordelijke DAG, wat de rootcause-analyse helpt.
- Governance: In gereguleerde omgevingen ondersteunt versiebeheer compliance door een audittrail bij te houden van welke code wanneer en hoe is gebruikt.
- CI/CD-integratie: Teams die GitOps-workflows gebruiken, kunnen DAG-versies in Airflow koppelen aan commit-hashes in source control voor een volledig traceerbare leveringspijplijn.
De onderstaande schermafbeeldingen laten zien hoe sommige wijzigingen in de UI zichtbaar worden, met versiebewuste weergaven in zowel het DAG-overzicht als het codepaneel.
Schermafbeelding van het overzichtspaneel binnen een DAG in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video)
Schermafbeelding van het codepaneel binnen een DAG in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video
Samenwerking en transparantie
DAG-versiebeheer maakt het ook makkelijker voor datateams om samen te werken. Bijvoorbeeld:
- Engineers kunnen DAG-wijzigingen direct in de UI bekijken zonder Git-toegang nodig te hebben.
- Analisten en QA-teams kunnen historisch gedrag verifiëren zonder het risico te lopen productie-DAGs te verstoren.
- Platformengineers kunnen veilig nieuwe DAG-versies testen naast stabiele varianten.
Slimmere planning en backfills
Airflow 3.0 markeert een belangrijke evolutie in hoe workflows worden getriggerd, beheerd en gecoördineerd.
Asset-gedreven DAGs
De kern van slimmer plannen in Airflow 3.0 is het concept van Assets.
Geïnspireerd door de evolutie van datasets die in eerdere versies zijn geïntroduceerd, stelt de nieuwe @asset-decorator gebruikers in staat om pipelines te definiëren die worden aangestuurd door de beschikbaarheid en status van logische data-entiteiten.
Wat is een asset?
Een asset in Airflow vertegenwoordigt een stuk data of een output die wordt geproduceerd, getransformeerd of geconsumeerd door een DAG.
Dit kan een databasetabel zijn, een bestand in cloudopslag, een getraind ML-model of zelfs een API-respons.
Met de @asset-decorator:
- Worden assets gedeclareerd als Python-functies die data retourneren of genereren.
- Worden deze assets als volwaardige bouwstenen behandeld in het orkestratieproces.
- Houdt Airflow automatisch afhankelijkheden tussen assets en DAGs bij.
De onderstaande schermafbeelding laat zien hoe assets in de Airflow-console worden weergegeven.
Schermafbeelding van assets in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video
Enkele belangrijke features van assets in Airflow 3.0 zijn:
Afbeelding van belangrijkste features van Assets in Airflow 3.0. Afbeelding gemaakt met Napkin AI
- Gestructureerde metadata: Assets ondersteunen namen, URI's, groeps-ID's en willekeurige metadata-velden, wat rijke lineage en ontdekking mogelijk maakt.
- Samenstelbaar ontwerp: Assets kunnen naar elkaar verwijzen om onderling afhankelijke, modulaire pipelines te bouwen.
- Watcher-ondersteuning: Assets kunnen worden geconfigureerd met Watchers, die externe signalen (momenteel AWS SQS) monitoren en daarop DAG-uitvoering triggeren.
Dit model transformeert DAG-planning van "elk uur draaien" naar "draaien wanneer relevante data klaar is".
Dit maakt écht reactieve workflows mogelijk die nauw gekoppeld zijn aan de staat van data, niet aan de klok.
Voor meer diepgaande voorbeelden en productiepatronen met deze nieuwe mogelijkheden biedt de Astronomer-gids over data-aware scheduling een gedetailleerde walkthrough. Je kunt ook leren hoe je een volledige datapijplijn met deze features implementeert in de gids Building an ETL Pipeline with Airflow.
Planning op basis van externe events
Airflow 3.0 introduceert robuuste ondersteuning voor eventgedreven planning van buitenaf, waarmee workflows kunnen worden gestart op basis van echte triggers van buiten het Airflow-ecosysteem.
Deze feature is een belangrijke verschuiving ten opzichte van Airflows traditionele polling-gebaseerde aanpak.
Ondersteunde eventbronnen zijn onder meer AWS SQS voor integratie met message queues in cloud-native, ontkoppelde workflows, geplande ondersteuning voor Kafka voor streaming en coördinatie van microservices, en HTTP/webhooks voor het ontvangen van signalen van monitoringsystemen, API's of andere orkestratieplatforms.
Use-cases variëren van het starten van een datapijplijn wanneer een nieuw bestand in S3 landt tot het lanceren van een DAG naar aanleiding van een update in een ML-modelregister of het coördineren van realtime alerting- en incidentrespons-workflows.
Eventgedreven DAGs maken Airflow flexibeler en krachtiger, in staat om in realtime te reageren op externe systemen.
Scheduler-gestuurde backfills
Een van de meest verwachte verbeteringen in Airflow 3.0 is de vernieuwing van de backfill-mechaniek, het proces van het opnieuw draaien van historische dataintervallen of het repareren van mislukte DAGs.
Enkele uitdagingen in Airflow 2.x waren het gebrek aan UI- en API-ondersteuning voor backfills, die handmatig via de CLI moesten worden gestart.
Als gevolg hiervan zijn in Airflow 3.0 verbeteringen doorgevoerd, waaronder:
Afbeelding met verbeteringen in Airflow 3.0. Afbeelding gemaakt met Napkin AI
- Uniform uitvoeringsmodel: Backfills worden nu afgehandeld door de hoofd-scheduler, wat consistentie met reguliere DAG-runs garandeert.
- Multimodaal triggeren: Backfills kunnen worden gestart via de UI, API of CLI, wat flexibiliteit biedt voor zowel interactieve gebruikers als geautomatiseerde systemen.
- Asynchrone uitvoering: Backfills draaien nu niet-blokkerend en asynchroon; meerdere backfills kunnen in de wachtrij worden gezet en gelijktijdig worden beheerd.
- Volledige observeerbaarheid: De UI bevat een voortgangstracker voor backfills met gedetailleerde task-niveauweergaven, realtime logs en statusindicatoren.
- Annuleerbare runs: Backfills kunnen nu worden gepauzeerd of beëindigd vanuit de UI, zodat je dynamisch kunt reageren op issues zonder hele workflows opnieuw te moeten starten.
Ondersteuning voor machine learning en AI-use-cases in Airflow 3.0
Airflow 3.0 zet een belangrijke stap richting een eersteklas orkestratietool voor moderne machine learning (ML)- en AI-gedreven workflows.
Niet-data-interval DAGs
Een van de meest ingrijpende wijzigingen in 3.0 is het verwijderen van de lang bestaande beperking rond execution date.
In Airflow 2.x en eerder moest elke DAG-run een unieke execution_date hebben, die primair gekoppeld was aan het planningsinterval.
Hoewel dit model goed werkte voor tijdgebaseerde ETL-jobs, zorgde het voor frictie in experimentele en inferentiescenario's.
Met niet-data-interval DAGs introduceert Airflow 3.0 echte uitvoeringsonafhankelijkheid:
Enkele use-cases die door deze wijziging worden mogelijk gemaakt, zijn:
- Modelexperimentatie: Voer dezelfde DAG meerdere keren uit voor verschillende modelconfiguraties of dataslices zonder je zorgen te maken over conflicterende execution dates.
- Hyperparameter-tuning: Start gelijktijdige DAG-runs voor verschillende parameterrasters of zoekstrategieën, afzonderlijk gevolgd maar parallel uitgevoerd.
- Inferredriven DAGs: Roep dezelfde DAG continu of herhaaldelijk aan voor realtime- of batchvoorspellingen die worden getriggerd door nieuwe data, externe events of gebruikersacties.
Deze ontkoppeling vereenvoudigt de orkestratielogica voor ML-engineers drastisch en maakt meer automatisering, parallelisme en reproduceerbaarheid mogelijk.
Taken op elk moment uitvoeren
Airflow 3.0 ondersteunt nu officieel meerdere uitvoeringsparadigma's, in de erkenning dat moderne dataworkflows niet altijd aan vaste schema's voldoen.
Deze update maakt Airflow beter aanpasbaar aan diverse operationele en dataprosesbehoeften.
Ondersteunde uitvoeringsmodi omvatten traditionele Scheduled (Batch)-uitvoering, die cron-achtige planning gebruikt en goed geschikt is voor taken zoals nachtelijke rapportages, uurlijkse syncs of batch-ETL-pipelines.
Airflow 3.0 ondersteunt ook eventgedreven uitvoering, waarbij DAGs kunnen worden getriggerd door externe events—zoals een nieuw bestand dat in een cloudopslagbucket verschijnt of een bericht dat op Kafka binnenkomt—waardoor responsieve, realtime orkestratie mogelijk is. Daarnaast is Ad-hoc-/Inferentie-uitvoering nu mogelijk, waarmee DAGs kunnen draaien zonder specifieke timestamp.
Dit is vooral nuttig voor use-cases zoals machinelearning-inferentie, datakwaliteitscontroles of door gebruikers getriggerde jobs waarbij gelijktijdigheid en directheid belangrijk zijn.
Upgraden naar Airflow 3.0
Airflow 3.0 introduceert aanzienlijke verbeteringen, maar breekt ook op betekenisvolle manieren met legacy-patronen.
Om je soepel te laten overstappen, hebben de kernbijdragers een uitgebreide en goed gestructureerde upgradegids beschikbaar gesteld.
Dit is een major release, dus zorgvuldig plannen is aan te raden.
Dat gezegd hebbende, is het upgradeproces zo eenvoudig mogelijk gemaakt met duidelijke documentatie, upgradechecklists en compatibiliteitstooling.
Enkele aspecten die in de gids aan bod komen, zijn:
- Omgevings- en afhankelijkheidssetup
- Afstemming van scheduler en executor
- Databaseschema-migraties en back-ups
- Gedragsverschillen in taakuitvoering en DAG-parsing
Schermafbeelding van de Apache Airflow-webpagina over upgraden naar 3.0. Bron: Apache Airflow
Het is belangrijk dat je de volgende gebieden evalueert voordat je doorgaat met de upgrade:
- DAG-compatibiliteit: Zorg ervoor dat DAGs gebruikmaken van API's en constructies die door de 3.0 Task SDK worden ondersteund, vooral als je nieuwe uitvoeringsfeatures adopteert.
- CLI-transitie: Vervang verouderd CLI-gebruik door airflowctl waar passend, met name in CI/CD- en remote-executiecontexten.
- Plugin-validatie: Bevestig dat aangepaste plugins en integraties van derden compatibel zijn met het nieuwe architecturale ontwerp en de CLI-splitsing.
Als je een soepele upgrade wilt, bekijk dan vooraf de volledige documentatie Upgraden naar Airflow 3.0 voordat je Airflow bijwerkt.
Evaluatie op basis van demo's
Om de nieuwe features van Airflow 3.0 in actie te zien, bieden de officiële demo-DAGs van Astronomer een hands-on manier om de nieuwste mogelijkheden van het platform te verkennen.
Deze demo's dienen als een uitgebreide showcase en zijn ideaal om te begrijpen hoe features zoals DAG-versiebeheer, asset-gedreven workflows en eventgedreven uitvoering in echte scenario's werken.
Schermafbeelding van een voorbeeld-use-case waar Airflow 3.0 gebruikt kan worden. Bron: Astronomer GitHub
De vernieuwde interface viel meteen op. De Asset-weergave bood een duidelijke visuele kaart van data-afhankelijkheden en lineage, wat vooral nuttig bleek bij asset-gedreven DAGs.
Het paneel met de versiegeschiedenis van de DAG was een ander hoogtepunt. Het maakte snelle inspectie van eerdere wijzigingen mogelijk, zorgde voor eenvoudige reproduceerbaarheid en maakte het gemakkelijk om specifieke runs te correleren met de code die ze produceerde.
Bovendien bood de nieuw vormgegeven donkere modus uitstekende contrasten en leesbaarheid, wat een welkome verbetering is voor langere debugsessies of laat ontwikkelwerk.
Als je het zelf wilt proberen, biedt Astronomer stapsgewijze instructies en een kant-en-klare demo-omgeving in hun GitHub-repository. Je kunt de repo clonen, de setupgids volgen en de nieuwe features van Airflow 3.0 verkennen.
Apache Airflow is altijd gedreven door de community, en dat geldt ook voor Airflow 3.0.
Veel van de meest impactvolle features in deze release waren directe reacties op community-enquêtes, GitHub-discussies en feedback van gebruikers.
Als je Airflow gebruikt, overweeg dan om mee te doen. Zo kun je impact maken:
- Word lid van de Apache Airflow Slack-community om feedback te delen, vragen te stellen en in contact te komen met andere practitioners.
- Doe mee op GitHub door deel te nemen aan issues, featurevoorstellen en ontwerpsessies om toekomstige releases vorm te geven.
- Neem deel aan feature-enquêtes wanneer die worden gedeeld. Airflow 3.0 is zelf gevormd door inzichten van gebruikers zoals jij.
Conclusie
Apache Airflow 3.0 brengt een servicegerichte architectuur, polyglot-taakuitvoering, slimmer plannen en een volledig gemoderniseerde UI, allemaal in één release.
De verandering kan ingrijpend aanvoelen, zeker met de nieuwe scheiding in de CLI en op edge gerichte executors, maar het resultaat is een modulairder, schaalbaarder en productieklare orkestratieplatform.
Het is ook flexibeler voor ML-teams, cloud-native stacks en eventgedreven systemen waar responsiviteit en observeerbaarheid cruciaal zijn.
Als je nog op een oudere versie van Airflow zit, is upgraden naar 3.0 zeker het overwegen waard.
Wil je hands-on aan de slag met Airflow, begin dan met onze cursus, Getting Started with Apache Airflow, of verdiep je in de kernconcepten in Introduction to Apache Airflow in Python.
Apache Airflow 3.0 is er eindelijk, en het is zonder twijfel de meest ingrijpende release in de geschiedenis van het project.
Deze release verandert de manier waarop je naar workflowbeheer kijkt, of je nu net begint met data of al jaren met Airflow werkt.
Na de nieuwe versie zelf te hebben uitgeprobeerd, kan ik met zekerheid zeggen dat dit veel meer is dan een incrementele update.
Enkele van de grootste highlights zijn:
Deze gids loodst je door Airflow 3.0 en alles wat het te bieden heeft.
Wat is Apache Airflow?
Apache Airflow is een open-sourceplatform waarmee gebruikers dataworkflows programmeermatig kunnen opzetten, plannen en monitoren.
Het is dé orkestrator geworden voor complexe ETL-pijplijnen, data-engineeringworkflows en, recenter, machinelearningpijplijnen.
Het fundamentele concept in Airflow is de DAG (een gericht acyclisch graaf die een reeks taken en hun afhankelijkheden definieert).
Taken kunnen in Airflow variëren van Python-scripts tot SQL-transformaties en zelfs gecontaineriseerde operaties.
Het platform is flexibel, uitbreidbaar en nu, met 3.0, toekomstbestendiger dan ooit.
Als je net begint met Airflow, is de Introduction to Apache Airflow in Python-cursus een geweldige bron met praktische oefeningen.
Een korte geschiedenis van Apache Airflow
Airflow werd in 2014 oorspronkelijk ontwikkeld door Airbnb en in 2015 open-source gemaakt.
Het werd later een Apache-project en is sindsdien uitgegroeid tot een van de meest gebruikte orkestratietools in het data-engineeringecosysteem.
Uit de onderstaande afbeelding blijkt duidelijk dat GitHub-bijdragen jaar op jaar sterk zijn toegenomen, wat laat zien dat Apache Airflow een van de actiefste open-sourceprojecten is in de data-orkestratieruimte.
Grafiek met het toenemende aantal GitHub-bijdragen aan Apache Airflow door de jaren heen. Bron: Airflow 3.0 Introduction Video
Wat is er nieuw in Apache Airflow 3.0?
Apache Airflow 3.0 is een release die rust op drie kernthema’s.
Screenshot van de Apache Airflow 3.0-releasepagina. Bron: Apache Airflow
Deze thema’s weerspiegelen de visie van het project om te voldoen aan de eisen van moderne dataplatforms, de ontwikkelaarservaring te verbeteren en Airflows positie te versterken als centrale orkestrator in gedistribueerde, hybride en door ML aangestuurde omgevingen.
De kernthema’s zijn grofweg als volgt te categoriseren:
Afbeelding met een samenvatting van de drie kernthema’s van Apache Airflow 3.0. Afbeelding gemaakt met Napkin AI
Makkelijker in gebruik
Een van de belangrijkste doelstellingen van de 3.0-release is het verbeteren van de bruikbaarheid over de hele linie, van de command line tot de gebruikersinterface en onderliggende API-interacties.
Airflow is nu makkelijker te leren, prettiger in het dagelijks gebruik en beter toegerust om complexe operationele vereisten te ondersteunen.
Sterkere beveiliging
Beveiliging is een centraal aandachtspunt geworden in data engineering, mede door strengere privacyregels en de schaal van datainfrastructuur.
Airflow 3.0 pakt deze zorgen aan met diepere architecturale ondersteuning voor task-isolatie en uitvoeringscontrole.
De beveiligingsverbeteringen in Airflow 3.0 zijn zowel proactief als strategisch, in lijn met de behoeften van enterprise-omgevingen, sterk gereguleerde sectoren en moderne DevSecOps-praktijken.
Draaien waar en wanneer je wilt
De moderne datastack is niet langer beperkt tot on-premises datacenters of zelfs gecentraliseerde cloudomgevingen.
Airflow 3.0 speelt hierop in met ondersteuning voor diverse deploymenttopologieën en uitvoeringspatronen.
Door taken overal te kunnen draaien (en workflows op elk moment te kunnen laten uitvoeren) ontstaat ongeëvenaarde flexibiliteit, veerkracht en schaalbaarheid voor het orkestreren van de moderne datalifecycle.
Afbeelding met remote clusters en lokale workers, gebruikt om overal en altijd te kunnen draaien. Bron: Airflow 3.0 Astronomer Introduction Video
De rest van deze gids behandelt aspecten van het kernthema van Airflow 3.0 in meer detail.
Grote architectuurwijzigingen in Airflow 3.0
De release van Apache Airflow 3.0 herdefinieert hoe taken worden uitgevoerd, waar ze kunnen draaien en hoe developers en operators met het systeem werken.
De focus ligt op ontkoppeling, modularisatie, schaalbaarheid en flexibele deployment, zodat Airflow voldoet aan de eisen van hybride en multicloud-dataplatforms.
Afbeelding met de architectuur van Airflow 2 en Airflow 3. Bron: Airflow 3.0 Astronomer Introduction Video
Task Execution API en Task SDK
Een van de belangrijkste vernieuwingen in Airflow 3.0 is de introductie van een Task Execution API en een bijbehorende Task SDK.
Deze componenten maken het mogelijk om taken te definiëren en uit te voeren los van de kern-runtime van Airflow.
Dit heeft een aantal belangrijke implicaties:
Deze architectuur is een grote sprong voorwaarts om Airflow flexibeler en meer cloud-native te maken.
Het sluit aan bij de bredere verschuiving in data engineering richting taaldifferentiatie, containerisatie en reproduceerbaarheid op taakniveau.
Edge Executor
De Edge Executor is een andere, ingrijpende toevoeging aan Airflow 3.0.
Hij is ontworpen om event-gedreven en geografisch gedistribueerde uitvoering van taken mogelijk te maken.
In plaats van alle uitvoeringen in een gecentraliseerd cluster te laten plaatsvinden, maakt de Edge Executor het mogelijk om taken bij of dicht bij de databron te draaien.
Enkele belangrijke voordelen van Edge Execution zijn:
Afbeelding met de belangrijkste voordelen van Edge Execution. Afbeelding gemaakt met Napkin AI
Task-isolatie en deploymenttopologieën
Airflow 3.0 introduceert een nieuw niveau van task-isolatie dat zowel de beveiliging als de prestaties aanzienlijk verbetert.
Taken in sandboxed omgevingen uitvoeren verkleint het risico op datalekken en resourceconflicten.
Het maakt ook flexibel dependencybeheer mogelijk, omdat verschillende taken of DAGs met hun eigen versies van libraries, Python-omgevingen of runtime-engines kunnen werken.
Deze isolatie ondersteunt bovendien soepelere upgrades. De kerncomponenten van Airflow kunnen worden bijgewerkt zonder draaiende taken te onderbreken of compatibiliteit te breken.
De verbeterde architectuur maakt ook diverse deploymentscenario’s mogelijk voor uiteenlopende infrastructuurbehoeften.
In public cloud-omgevingen kunnen Airflow-workers eenvoudig worden verdeeld over providers als AWS, GCP of Azure.
Voor private of hybride cloudopstellingen kunnen controlplane-componenten binnen een beveiligd netwerk blijven terwijl taken in een DMZ of lokaal datacenter draaien.
Daarnaast ondersteunt Airflow 3.0 edge-deployments, waarmee use-cases zoals ML-inferentie of anomaliedetectie direct op industriële of mobiele hardware mogelijk worden.
Deze mogelijkheden ondersteunen naleving van regelgeving rond datalocaliteit, fault-tolerant scheduling en GPU-versnelde uitvoering.
CLI-splitsing: airflow en airflowctl
Airflow 3.0 introduceert een gesplitste command-line interface (CLI) die is ontworpen als aanvulling op de modulaire backend, met een onderscheid tussen lokale ontwikkeling en remote operationele taken.
airflow
airflowctl
Deze verdeling vereenvoudigt workflows voor zowel individuele developers als platformteams.
Voor volledige technische details en een complete lijst met wijzigingen, bekijk de officiële Airflow 3.0 release notes.
Samenvatting van architectuurverbeteringen
Hieronder staat een tabel met een samenvatting van de architectuurverbeteringen:
Functie
Beschrijving
Task SDK + API
Taken schrijven en draaien in elke taal met ondersteuning voor remote execution
Edge Executor
Gedistribueerde taakuitvoering dicht bij databronnen of over regio’s heen
Task-isolatie
Veilige en onafhankelijke taakomgevingen; flexibel dependencybeheer
CLI-splitsing
Duidelijk onderscheid tussen lokale (airflow) en remote (airflowctl) commando’s
Deploymenttopologieën
Ondersteunt hybride, multicloud, edge en GPU-versnelde uitvoeringspatronen
Nieuwe React-gebaseerde UI en DAG-versiebeheer
Airflow 3.0 introduceert een volledig vernieuwde gebruikersinterface, vanaf de basis opgebouwd met React voor de frontend en FastAPI als het nieuwe backendframework.
Snellere en responsievere UI
De nieuwe UI-architectuur biedt een aanzienlijk vloeiendere gebruikerservaring, vooral in omgevingen met honderden of duizenden DAGs.
Pagina’s laden sneller, UI-elementen zijn intuïtiever en het navigatiemodel voelt consistent en responsief aan in verschillende weergaven.
Enkele belangrijke UI-verbeteringen zijn:
Ingebouwde ondersteuning voor dark mode
Dark mode is nu native en doordacht geïntegreerd in Airflow, met een verfijnde visuele ervaring die is ontworpen voor helderheid en langdurig comfort.
Hoewel er in 2.x een versie van dark mode bestond, introduceert deze release een volledig uitgewerkt en doelgericht designthema.
Het is duidelijk zorgvuldig geoptimaliseerd voor contrast, leesbaarheid en minder oogbelasting tijdens lange werksessies.
Als iemand die tijd in de ontwikkelwereld heeft doorgebracht, waardeer ik dit enorm.
Het was een van de meest gevraagde communityfeatures en is vooral waardevol voor developers die vaak in weinig licht werken of gewoon een donkerder interface prefereren.
De onderstaande afbeeldingen tonen het visuele contrast tussen light en dark mode in het Airflow-console-dashboard.
Screenshot van de Airflow-console in light mode. Bron: Airflow 3.0 Astronomer Introduction Video
Screenshot van de Airflow-console in dark mode. Bron: Airflow 3.0 Astronomer Introduction Video
DAG-versiebeheer
Een van de meest impactvolle nieuwe mogelijkheden in Airflow 3.0 is first-class versiebeheer voor DAGs.
De uitdaging in Airflow 2.x
In eerdere versies van Airflow werden DAGs geparset uit broncodebestanden en werd de nieuwste versie van de DAG overal toegepast, zelfs met terugwerkende kracht, op eerdere DAG-runs.
Deze aanpak leidde tot een aantal bekende problemen.
Een groot probleem was uitvoeringsdrift. Als je een DAG tijdens een run bijwerkte, konden taken uiteindelijk onder verschillende codeversies draaien.
Er ging ook auditbaarheid verloren, omdat Airflow geen native mechanisme had om bij te houden welke versie van een DAG voor een specifieke uitvoering is gebruikt.
Daarnaast leed de historische nauwkeurigheid eronder, omdat de UI altijd de nieuwste DAG-structuur weergaf, ongeacht wanneer de DAG daadwerkelijk draaide, wat leidde tot inconsistente en mogelijk misleidende uitvoeringshistorie.
Wat Airflow 3.0 verandert
Airflow 3.0 introduceert gestructureerde tracking van DAG-versies rechtstreeks in het platform:
Ik waardeer deze feature enorm, omdat het in de praktijk vrijwel onmogelijk is om een DAG te maken die nooit aanpassingen nodig heeft.
DAGs moeten evolueren door nieuwe businesslogica, bugfixes of performance-optimalisaties, en ingebouwd versiebeheer maakt dat proces veel transparanter en beheersbaarder.
Je ziet dit in actie in de onderstaande screenshots, die de interface voor DAG-orkestratie en het nieuwe dropdownmenu met versiehistorie tonen.
Afbeelding van DAG-orkestratie. Bron: Airflow 3.0 Astronomer Introduction Video
Schermafbeelding van DAG-orkestratie met een dropdown voor versies. Bron: Airflow 3.0 Astronomer Introduction Video
Waarom DAG-versiebeheer belangrijk is
DAG-versiebeheer speelt een cruciale rol bij het behouden van betrouwbare, traceerbare en conforme dataworkflows. Daarom is het belangrijk:
De onderstaande schermafbeeldingen laten zien hoe sommige wijzigingen in de UI zichtbaar worden, met versiebewuste weergaven in zowel het DAG-overzicht als het codepaneel.
Schermafbeelding van het overzichtspaneel binnen een DAG in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video)
Schermafbeelding van het codepaneel binnen een DAG in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video
Samenwerking en transparantie
DAG-versiebeheer maakt het ook makkelijker voor datateams om samen te werken. Bijvoorbeeld:
Slimmere planning en backfills
Airflow 3.0 markeert een belangrijke evolutie in hoe workflows worden getriggerd, beheerd en gecoördineerd.
Asset-gedreven DAGs
De kern van slimmer plannen in Airflow 3.0 is het concept van Assets.
Geïnspireerd door de evolutie van datasets die in eerdere versies zijn geïntroduceerd, stelt de nieuwe @asset-decorator gebruikers in staat om pipelines te definiëren die worden aangestuurd door de beschikbaarheid en status van logische data-entiteiten.
Wat is een asset?
Een asset in Airflow vertegenwoordigt een stuk data of een output die wordt geproduceerd, getransformeerd of geconsumeerd door een DAG.
Dit kan een databasetabel zijn, een bestand in cloudopslag, een getraind ML-model of zelfs een API-respons.
Met de @asset-decorator:
De onderstaande schermafbeelding laat zien hoe assets in de Airflow-console worden weergegeven.
Schermafbeelding van assets in de Airflow-console. Bron: Airflow 3.0 Astronomer Introduction Video
Enkele belangrijke features van assets in Airflow 3.0 zijn:
Afbeelding van belangrijkste features van Assets in Airflow 3.0. Afbeelding gemaakt met Napkin AI
Dit model transformeert DAG-planning van "elk uur draaien" naar "draaien wanneer relevante data klaar is".
Dit maakt écht reactieve workflows mogelijk die nauw gekoppeld zijn aan de staat van data, niet aan de klok.
Voor meer diepgaande voorbeelden en productiepatronen met deze nieuwe mogelijkheden biedt de Astronomer-gids over data-aware scheduling een gedetailleerde walkthrough. Je kunt ook leren hoe je een volledige datapijplijn met deze features implementeert in de gids Building an ETL Pipeline with Airflow.
Planning op basis van externe events
Airflow 3.0 introduceert robuuste ondersteuning voor eventgedreven planning van buitenaf, waarmee workflows kunnen worden gestart op basis van echte triggers van buiten het Airflow-ecosysteem.
Deze feature is een belangrijke verschuiving ten opzichte van Airflows traditionele polling-gebaseerde aanpak.
Ondersteunde eventbronnen zijn onder meer AWS SQS voor integratie met message queues in cloud-native, ontkoppelde workflows, geplande ondersteuning voor Kafka voor streaming en coördinatie van microservices, en HTTP/webhooks voor het ontvangen van signalen van monitoringsystemen, API's of andere orkestratieplatforms.
Use-cases variëren van het starten van een datapijplijn wanneer een nieuw bestand in S3 landt tot het lanceren van een DAG naar aanleiding van een update in een ML-modelregister of het coördineren van realtime alerting- en incidentrespons-workflows.
Eventgedreven DAGs maken Airflow flexibeler en krachtiger, in staat om in realtime te reageren op externe systemen.
Scheduler-gestuurde backfills
Een van de meest verwachte verbeteringen in Airflow 3.0 is de vernieuwing van de backfill-mechaniek, het proces van het opnieuw draaien van historische dataintervallen of het repareren van mislukte DAGs.
Enkele uitdagingen in Airflow 2.x waren het gebrek aan UI- en API-ondersteuning voor backfills, die handmatig via de CLI moesten worden gestart.
Als gevolg hiervan zijn in Airflow 3.0 verbeteringen doorgevoerd, waaronder:
Afbeelding met verbeteringen in Airflow 3.0. Afbeelding gemaakt met Napkin AI
Ondersteuning voor machine learning en AI-use-cases in Airflow 3.0
Airflow 3.0 zet een belangrijke stap richting een eersteklas orkestratietool voor moderne machine learning (ML)- en AI-gedreven workflows.
Niet-data-interval DAGs
Een van de meest ingrijpende wijzigingen in 3.0 is het verwijderen van de lang bestaande beperking rond execution date.
In Airflow 2.x en eerder moest elke DAG-run een unieke execution_date hebben, die primair gekoppeld was aan het planningsinterval.
Hoewel dit model goed werkte voor tijdgebaseerde ETL-jobs, zorgde het voor frictie in experimentele en inferentiescenario's.
Met niet-data-interval DAGs introduceert Airflow 3.0 echte uitvoeringsonafhankelijkheid:
Enkele use-cases die door deze wijziging worden mogelijk gemaakt, zijn:
Deze ontkoppeling vereenvoudigt de orkestratielogica voor ML-engineers drastisch en maakt meer automatisering, parallelisme en reproduceerbaarheid mogelijk.
Taken op elk moment uitvoeren
Airflow 3.0 ondersteunt nu officieel meerdere uitvoeringsparadigma's, in de erkenning dat moderne dataworkflows niet altijd aan vaste schema's voldoen.
Deze update maakt Airflow beter aanpasbaar aan diverse operationele en dataprosesbehoeften.
Ondersteunde uitvoeringsmodi omvatten traditionele Scheduled (Batch)-uitvoering, die cron-achtige planning gebruikt en goed geschikt is voor taken zoals nachtelijke rapportages, uurlijkse syncs of batch-ETL-pipelines.
Airflow 3.0 ondersteunt ook eventgedreven uitvoering, waarbij DAGs kunnen worden getriggerd door externe events—zoals een nieuw bestand dat in een cloudopslagbucket verschijnt of een bericht dat op Kafka binnenkomt—waardoor responsieve, realtime orkestratie mogelijk is. Daarnaast is Ad-hoc-/Inferentie-uitvoering nu mogelijk, waarmee DAGs kunnen draaien zonder specifieke timestamp.
Dit is vooral nuttig voor use-cases zoals machinelearning-inferentie, datakwaliteitscontroles of door gebruikers getriggerde jobs waarbij gelijktijdigheid en directheid belangrijk zijn.
Upgraden naar Airflow 3.0
Airflow 3.0 introduceert aanzienlijke verbeteringen, maar breekt ook op betekenisvolle manieren met legacy-patronen.
Om je soepel te laten overstappen, hebben de kernbijdragers een uitgebreide en goed gestructureerde upgradegids beschikbaar gesteld.
Dit is een major release, dus zorgvuldig plannen is aan te raden.
Dat gezegd hebbende, is het upgradeproces zo eenvoudig mogelijk gemaakt met duidelijke documentatie, upgradechecklists en compatibiliteitstooling.
Enkele aspecten die in de gids aan bod komen, zijn:
Schermafbeelding van de Apache Airflow-webpagina over upgraden naar 3.0. Bron: Apache Airflow
Het is belangrijk dat je de volgende gebieden evalueert voordat je doorgaat met de upgrade:
Als je een soepele upgrade wilt, bekijk dan vooraf de volledige documentatie Upgraden naar Airflow 3.0 voordat je Airflow bijwerkt.
Evaluatie op basis van demo's
Om de nieuwe features van Airflow 3.0 in actie te zien, bieden de officiële demo-DAGs van Astronomer een hands-on manier om de nieuwste mogelijkheden van het platform te verkennen.
Deze demo's dienen als een uitgebreide showcase en zijn ideaal om te begrijpen hoe features zoals DAG-versiebeheer, asset-gedreven workflows en eventgedreven uitvoering in echte scenario's werken.
Schermafbeelding van een voorbeeld-use-case waar Airflow 3.0 gebruikt kan worden. Bron: Astronomer GitHub
De vernieuwde interface viel meteen op. De Asset-weergave bood een duidelijke visuele kaart van data-afhankelijkheden en lineage, wat vooral nuttig bleek bij asset-gedreven DAGs.
Het paneel met de versiegeschiedenis van de DAG was een ander hoogtepunt. Het maakte snelle inspectie van eerdere wijzigingen mogelijk, zorgde voor eenvoudige reproduceerbaarheid en maakte het gemakkelijk om specifieke runs te correleren met de code die ze produceerde.
Bovendien bood de nieuw vormgegeven donkere modus uitstekende contrasten en leesbaarheid, wat een welkome verbetering is voor langere debugsessies of laat ontwikkelwerk.
Als je het zelf wilt proberen, biedt Astronomer stapsgewijze instructies en een kant-en-klare demo-omgeving in hun GitHub-repository. Je kunt de repo clonen, de setupgids volgen en de nieuwe features van Airflow 3.0 verkennen.
Community en toekomstige ontwikkeling
Apache Airflow is altijd gedreven door de community, en dat geldt ook voor Airflow 3.0.
Veel van de meest impactvolle features in deze release waren directe reacties op community-enquêtes, GitHub-discussies en feedback van gebruikers.
Als je Airflow gebruikt, overweeg dan om mee te doen. Zo kun je impact maken:
Conclusie
Apache Airflow 3.0 brengt een servicegerichte architectuur, polyglot-taakuitvoering, slimmer plannen en een volledig gemoderniseerde UI, allemaal in één release.
De verandering kan ingrijpend aanvoelen, zeker met de nieuwe scheiding in de CLI en op edge gerichte executors, maar het resultaat is een modulairder, schaalbaarder en productieklare orkestratieplatform.
Het is ook flexibeler voor ML-teams, cloud-native stacks en eventgedreven systemen waar responsiviteit en observeerbaarheid cruciaal zijn.
Als je nog op een oudere versie van Airflow zit, is upgraden naar 3.0 zeker het overwegen waard.
Wil je hands-on aan de slag met Airflow, begin dan met onze cursus, Getting Started with Apache Airflow, of verdiep je in de kernconcepten in Introduction to Apache Airflow in Python.