Apache Airflow 3.0 Telah Hadir: Rilis Paling Signifikan Sejauh Ini

Apache Airflow 3.0 akhirnya hadir, dan ini jelas merupakan rilis paling signifikan dalam sejarah proyek ini. 

Rilis ini akan mengubah cara Anda memandang pengelolaan workflow, baik Anda baru memulai di dunia data maupun sudah bertahun-tahun bekerja dengan Airflow.

Setelah mencoba langsung versi barunya, saya dapat mengatakan dengan yakin bahwa ini jauh lebih dari sekadar pembaruan inkremental.

Beberapa sorotan utamanya mencakup:

• Arsitektur berorientasi layanan baru dengan eksekusi jarak jauh penuh
• UI baru berbasis React yang dibangun di atas FastAPI
• Versioning DAG dan pelacakan perubahan
• Pemicu DAG berbasis aset dan berbasis peristiwa
• Dukungan native untuk workflow ML modern
• Jalur upgrade yang jelas dan pemisahan CLI modular

Panduan ini akan mengajak Anda menelusuri Airflow 3.0 dan semua yang ditawarkannya.

Apa Itu Apache Airflow?

Apache Airflow adalah platform open-source yang membantu pengguna membuat, menjadwalkan, dan memantau workflow data secara terprogram. 

Ini telah menjadi orkestrator andalan untuk pipeline ETL yang kompleks, workflow rekayasa data, dan belakangan ini pipeline machine learning.

Konsep dasar di Airflow adalah DAG (Directed Acyclic Graph yang mendefinisikan urutan tugas dan ketergantungannya). 

Dalam penggunaan Airflow, tugas dapat berupa skrip Python, transformasi SQL, hingga operasi ter-kontainerisasi.

Platform ini fleksibel, dapat diperluas, dan kini, dengan 3.0, lebih siap masa depan daripada sebelumnya.

Jika Anda baru memulai dengan Airflow, kursus Introduction to Apache Airflow in Python adalah sumber yang sangat baik untuk pengalaman praktik langsung.

Sejarah Singkat Apache Airflow

Airflow awalnya dikembangkan oleh Airbnb pada 2014 dan dibuka sebagai open-source pada 2015. 

Kemudian menjadi proyek Apache dan sejak itu menjadi salah satu alat orkestrasi yang paling banyak diadopsi dalam ekosistem rekayasa data.

• Airflow 1.x: Memperkenalkan penulisan DAG berbasis Python, dasar-dasar scheduler, dan executor.
• Airflow 2.0 (2020): Rilis tonggak yang menambahkan TaskFlow API, REST API, dan scheduler high-availability.
• Airflow 2.3–2.5: Memperkenalkan dataset, penjadwalan sadar data, dan peningkatan observabilitas.
• Airflow 3.0 (2025): Menandai desain ulang fundamental yang memprioritaskan modularitas, kapabilitas ML-native, dan dukungan cloud-native.

Terlihat jelas dari gambar di bawah bahwa kontribusi GitHub meningkat signifikan dari tahun ke tahun, yang menunjukkan Apache Airflow adalah salah satu proyek open-source paling aktif di ranah orkestrasi data.

Bagan yang menunjukkan peningkatan jumlah kontribusi GitHub ke Apache Airflow dari tahun ke tahun. Sumber: Video Pengantar Airflow 3.0

Apa yang Baru di Apache Airflow 3.0?

Apache Airflow 3.0 adalah rilis yang berakar pada tiga tema dasar. 

Tangkapan layar halaman rilis Apache Airflow 3.0. Sumber: Apache Airflow

Tema-tema ini mencerminkan visi proyek untuk memenuhi tuntutan platform data modern, meningkatkan pengalaman pengembang, dan memperkuat posisi Airflow sebagai orkestrator sentral di lingkungan terdistribusi, hibrida, dan bertenaga ML.

Tema kunci tersebut secara garis besar dapat dikategorikan sebagai berikut:

Gambar yang merangkum tiga tema inti Apache Airflow 3.0. Gambar dibuat dengan Napkin AI

Lebih mudah digunakan

Salah satu tujuan paling signifikan dari rilis 3.0 adalah meningkatkan kemudahan penggunaan di seluruh aspek, mulai dari command line hingga antarmuka pengguna dan interaksi API yang mendasarinya.

Airflow kini lebih mudah dipelajari, lebih menyenangkan digunakan sehari-hari, dan lebih siap mendukung kebutuhan operasional yang kompleks.

Keamanan lebih kuat

Keamanan menjadi perhatian utama dalam rekayasa data, terutama akibat meningkatnya regulasi privasi dan skala infrastruktur data. 

Airflow 3.0 menjawab kekhawatiran ini dengan dukungan arsitektur yang lebih dalam untuk isolasi tugas dan kontrol eksekusi.

Peningkatan keamanan di Airflow 3.0 bersifat proaktif dan strategis, selaras dengan kebutuhan penerapan di level enterprise, industri yang sangat teregulasi, dan praktik DevSecOps modern.

Jalankan di mana saja, kapan saja

Tumpukan data modern tidak lagi terbatas pada pusat data on-premise atau bahkan lingkungan cloud terpusat. 

Airflow 3.0 menjawab tantangan ini dengan dukungan untuk berbagai topologi deployment dan pola eksekusi.

Memungkinkan tugas berjalan di mana saja (dan mendukung workflow yang dieksekusi kapan saja) memberikan fleksibilitas, ketangguhan, dan skalabilitas yang tak tertandingi untuk mengorkestrasi siklus hidup data modern.

Gambar yang menunjukkan klaster jarak jauh dengan pekerja lokal, digunakan untuk menjalankan di mana saja, kapan saja. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Bagian selanjutnya dari panduan ini akan membahas aspek tema kunci Airflow 3.0 secara lebih detail.

Perubahan Arsitektur Utama di Airflow 3.0

Rilis Apache Airflow 3.0 membayangkan ulang bagaimana tugas dieksekusi, di mana tugas dapat dijalankan, dan bagaimana pengembang serta operator berinteraksi dengan sistem. 

Fokusnya adalah pada pemisahan, modularisasi, skalabilitas, dan fleksibilitas deployment, memungkinkan Airflow memenuhi tuntutan platform data hibrida dan multi-cloud.

Gambar yang menunjukkan arsitektur untuk Airflow 2 dan Airflow 3. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Task Execution API dan Task SDK

Salah satu inovasi terpenting di Airflow 3.0 adalah diperkenalkannya Task Execution API dan Task SDK pendampingnya. 

Komponen-komponen ini memungkinkan tugas didefinisikan dan dieksekusi secara independen dari mesin runtime inti Airflow.

Berikut beberapa implikasi utamanya:

• Fleksibilitas bahasa: Tugas tidak lagi terbatas pada Python. Dengan SDK baru, tugas dapat ditulis dalam bahasa seperti Java, Go, atau R, sehingga memperluas adopsi dan integrasi dengan tumpukan teknologi yang beragam.
• Pemisahan lingkungan: Tugas kini dapat berjalan di lingkungan terisolasi, jarak jauh, atau terkontainerisasi, terpisah dari scheduler dan worker. Ini menghilangkan konflik dependensi dan meningkatkan konsistensi eksekusi.
• Alur kerja pengembang yang lebih ringkas: Antarmuka standar untuk pengembangan tugas menyederhanakan pengujian dan deployment, meningkatkan penggunaan ulang kode, dan mengurangi waktu onboarding bagi pengembang baru.

Arsitektur ini merupakan lompatan besar dalam menjadikan Airflow lebih fleksibel dan cloud-native. 

Ini selaras dengan pergeseran yang lebih luas dalam rekayasa data menuju keragaman bahasa, kontainerisasi, dan reprodusibilitas di tingkat tugas.

Edge Executor

Edge Executor adalah tambahan lain pada Airflow 3.0 yang bersifat transformatif. 

Ini dirancang untuk memungkinkan eksekusi tugas yang digerakkan oleh peristiwa dan tersebar secara geografis. 

Alih-alih mengharuskan semua eksekusi terjadi di klaster terpusat, Edge Executor memungkinkan tugas berjalan di lokasi sumber data atau di dekatnya.

Beberapa manfaat utama dari Edge Execution meliputi:

Gambar yang menunjukkan manfaat utama Edge Execution. Gambar dibuat dengan Napkin AI

• Fleksibilitas geografis: Tugas dapat berjalan di klaster jarak jauh atau regional, pusat data, bahkan pada perangkat edge.
• Respons waktu nyata: Ideal untuk kasus penggunaan berlatensi rendah yang digerakkan peristiwa seperti IoT, feed data finansial, atau pemantauan operasional.
• Latensi jaringan berkurang: Karena komputasi terjadi di dekat sumber data, overhead untuk mentransfer data berukuran besar ke klaster pusat berkurang.
• Pipeline dipicu peristiwa: Edge Executor mendukung paradigma penjadwalan berbasis peristiwa yang diperkenalkan di Airflow 3.0.

Isolasi tugas dan topologi deployment

Airflow 3.0 memperkenalkan tingkat isolasi tugas baru yang secara signifikan meningkatkan keamanan dan kinerja. 

Memungkinkan tugas berjalan di lingkungan sandbox mengurangi risiko kebocoran data dan konflik sumber daya. 

Ini juga memungkinkan manajemen dependensi yang lebih fleksibel, karena tugas atau DAG yang berbeda dapat beroperasi dengan versi library, lingkungan Python, atau mesin runtime masing-masing. 

Isolasi ini semakin mendukung proses upgrade yang lebih mulus. Komponen inti Airflow dapat diperbarui tanpa mengganggu tugas yang berjalan atau merusak kompatibilitas.

Arsitektur yang ditingkatkan ini juga memungkinkan berbagai skenario deployment yang disesuaikan dengan kebutuhan infrastruktur yang beragam. 

Di lingkungan cloud publik, worker Airflow dapat dengan mudah didistribusikan di penyedia seperti AWS, GCP, atau Azure.

Untuk pengaturan cloud privat atau hibrida, komponen control plane dapat tetap berada dalam jaringan yang aman sementara tugas dieksekusi di DMZ atau pusat data lokal.

Selain itu, Airflow 3.0 mendukung deployment edge, yang memungkinkan use case seperti inferensi ML atau deteksi anomali langsung pada perangkat industri atau mobile.

Kemampuan ini mendukung kepatuhan terhadap regulasi lokasi data, penjadwalan yang toleran terhadap kegagalan, dan eksekusi yang dipercepat GPU.

Pemisahan CLI: airflow dan airflowctl

Airflow 3.0 memperkenalkan pemisahan command-line interface (CLI) yang dirancang untuk melengkapi backend modular, yang membedakan antara pengembangan lokal dan tugas operasional jarak jauh.

airflow

• Digunakan untuk pengembangan dan pengujian lokal
• Berinteraksi dengan DAG lokal, DB metadata, dan komponen
• Mendukung pengujian cepat, parsing DAG, dan debug berbasis CLI

airflowctl

• Dirancang untuk produksi dan orkestrasi jarak jauh
• Menangani manajemen lingkungan, deployment, dan eksekusi cloud
• Berguna untuk pipeline CI/CD, observabilitas, dan manajemen klaster terdistribusi

Pemisahan ini menyederhanakan alur kerja baik untuk pengembang individual maupun tim platform. 

Untuk detail teknis lengkap dan daftar perubahan selengkapnya, lihat catatan rilis Airflow 3.0 resmi.

Ringkasan peningkatan arsitektur

Berikut tabel yang merangkum peningkatan arsitektur:

UI Baru Berbasis React dan Versioning DAG

Airflow 3.0 memperkenalkan antarmuka pengguna yang sepenuhnya didesain ulang, dibangun dari nol menggunakan React untuk frontend dan FastAPI sebagai framework backend baru. 

UI lebih cepat dan responsif

Arsitektur UI baru menawarkan pengalaman pengguna yang jauh lebih mulus, terutama di lingkungan dengan ratusan atau ribuan DAG. 

Pemuatan halaman lebih cepat, elemen UI lebih intuitif, dan model navigasi terasa konsisten serta responsif di berbagai tampilan.

Beberapa peningkatan UI utama meliputi:

• Peningkatan tampilan Grid: Navigasi linimasa, pencarian, dan penyaringan yang ditingkatkan. Pengguna kini lebih mudah memindai status eksekusi DAG dan menelusuri tugas yang gagal atau macet.
• Peningkatan tampilan Graph: Pembesaran, penggeseran, dan eksplorasi metadata tugas yang interaktif lebih baik. Ini membantu memahami struktur DAG yang kompleks secara sekilas.
• Panel aset: Tampilan baru yang dirancang khusus untuk workflow berbasis aset. Memungkinkan pengguna memvisualisasikan aset, pihak yang memproduksi dan mengonsumsinya, serta lineage lintas DAG.

Dukungan bawaan untuk mode gelap

Mode gelap kini terintegrasi secara native dan matang ke dalam Airflow, menawarkan pengalaman visual yang disempurnakan untuk kejelasan dan kenyamanan jangka panjang.

Meskipun versi mode gelap tersedia di 2.x, rilis ini memperkenalkan lapisan desain yang sepenuhnya dikembangkan dan dibuat khusus. 

Jelas terlihat dioptimalkan dengan cermat untuk kontras, keterbacaan, dan mengurangi ketegangan mata selama sesi kerja yang panjang.

Sebagai seseorang yang pernah berkecimpung di dunia pengembangan, saya sangat menghargai hal ini. 

Ini adalah salah satu fitur yang paling banyak diminta komunitas dan sangat berharga bagi pengembang yang sering bekerja di lingkungan minim cahaya atau sekadar lebih menyukai antarmuka yang lebih gelap.

Gambar di bawah menyoroti kontras visual antara mode terang dan gelap di dasbor konsol Airflow.

Tangkapan layar konsol Airflow dalam mode terang. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Tangkapan layar konsol Airflow dalam mode gelap. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Versioning DAG

Salah satu kapabilitas baru paling berdampak di Airflow 3.0 adalah versioning DAG kelas satu. 

Tantangan di Airflow 2.x

Pada versi Airflow sebelumnya, DAG diparsing dari berkas kode sumber, dan versi DAG terbaru diterapkan secara universal, bahkan secara retroaktif, pada run DAG di masa lalu. 

Pendekatan ini menimbulkan beberapa masalah yang sudah dikenal. 

Salah satu masalah besar adalah execution drift. Jika Anda memperbarui DAG saat run berlangsung, tugas dapat berakhir dieksekusi di bawah versi kode yang berbeda. 

Ada juga hilangnya kemampuan audit karena Airflow tidak memiliki mekanisme native untuk melacak versi DAG mana yang digunakan untuk eksekusi tertentu. 

Selain itu, akurasi historis terganggu karena UI selalu menampilkan struktur DAG terbaru, terlepas dari kapan DAG sebenarnya dijalankan, yang menghasilkan riwayat eksekusi yang tidak konsisten dan berpotensi menyesatkan.

Apa yang diubah oleh Airflow 3.0

Airflow 3.0 memperkenalkan pelacakan versi DAG terstruktur langsung ke dalam platform:

• DAG diberi versi setiap kali terjadi deployment baru atau perubahan kode.
• Run historis dipertahankan bersama versi DAG persis yang menghasilkan run tersebut.
• Pengguna dapat memilih versi DAG tertentu untuk ditinjau, dijalankan ulang, atau dianalisis dari UI.

Saya sangat menghargai fitur ini karena, dalam praktiknya, hampir mustahil membuat DAG yang tidak memerlukan perubahan. 

DAG perlu berevolusi akibat logika bisnis baru, perbaikan bug, atau pengoptimalan kinerja, dan adanya versioning bawaan membuat proses itu jauh lebih transparan dan mudah dikelola.

Anda dapat melihat ini secara langsung pada tangkapan layar di bawah, yang menampilkan antarmuka orkestrasi DAG dan menu tarik-turun riwayat versi yang baru.

Gambar orkestrasi DAG. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Tangkapan layar orkestrasi DAG dengan menu tarik-turun riwayat versi. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Mengapa versioning DAG penting

Versioning DAG berperan krusial dalam menjaga workflow data yang andal, dapat ditelusuri, dan patuh. Inilah alasannya:

• Reprodusibilitas: Anda kini dapat menjalankan ulang DAG dengan andal persis seperti saat dieksekusi di masa lalu, meski kode saat ini sudah berubah.
• Debugging: Kesalahan dapat ditelusuri kembali ke versi DAG spesifik yang bertanggung jawab, membantu analisis akar masalah.
• Governance: Di lingkungan teregulasi, versioning mendukung kepatuhan dengan menjaga jejak audit tentang kode apa yang digunakan, kapan, dan bagaimana.
• Integrasi CI/CD: Tim yang menggunakan workflow GitOps dapat menautkan versi DAG di Airflow ke hash commit di source control untuk pipeline delivery yang sepenuhnya dapat ditelusuri.

Tangkapan layar di bawah menunjukkan bagaimana sebagian perubahan ditampilkan di UI, dengan tampilan sadar versi di ringkasan DAG dan panel kode.

Tangkapan layar panel ringkasan dalam sebuah DAG di konsol Airflow. Sumber: Video Pengantar Airflow 3.0 dari Astronomer)

Tangkapan layar panel kode dalam sebuah DAG di konsol Airflow. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Kolaborasi dan transparansi

Versioning DAG juga memudahkan tim data untuk berkolaborasi. Misalnya:

• Engineer dapat meninjau perubahan DAG langsung di UI tanpa akses Git.
• Analis dan tim QA dapat memverifikasi perilaku historis tanpa berisiko mengganggu DAG produksi.
• Engineer platform dapat dengan aman menguji versi DAG baru berdampingan dengan yang stabil.

Penjadwalan dan Backfill yang Lebih Cerdas

Airflow 3.0 menandai evolusi signifikan dalam cara workflow dipicu, dikelola, dan dikoordinasikan.

DAG berbasis aset

Inti dari penjadwalan yang lebih cerdas di Airflow 3.0 adalah konsep Aset. 

Terinspirasi oleh evolusi dataset yang diperkenalkan pada versi sebelumnya, decorator @asset yang baru memungkinkan pengguna mendefinisikan pipeline yang digerakkan oleh ketersediaan dan status entitas data logis.

Apa itu aset?

Aset di Airflow merepresentasikan potongan data atau keluaran yang diproduksi, ditransformasikan, atau dikonsumsi oleh DAG. 

Ini bisa berupa tabel basis data, berkas di penyimpanan cloud, model ML terlatih, atau bahkan respons API.

Dengan decorator @asset:

• Aset dideklarasikan sebagai fungsi Python yang mengembalikan atau menghasilkan data.
• Aset diperlakukan sebagai warga negara kelas satu dalam proses orkestrasi.
• Airflow secara otomatis melacak dependensi antara aset dan DAG.

Tangkapan layar di bawah menunjukkan bagaimana aset divisualisasikan di konsol Airflow.

Tangkapan layar aset dalam konsol Airflow. Sumber: Video Pengantar Airflow 3.0 dari Astronomer

Beberapa fitur utama aset di Airflow 3.0 meliputi:

Gambar fitur utama Assets di Airflow 3.0. Gambar dibuat dengan Napkin AI

• Metadata terstruktur: Aset mendukung nama, URI, pengenal grup, dan field metadata arbitrer, memungkinkan lineage dan penemuan yang kaya.
• Desain yang dapat dikomposisi: Aset dapat mereferensikan satu sama lain untuk membangun pipeline modular yang saling bergantung.
• Dukungan Watcher: Aset dapat dikonfigurasi dengan Watcher, yang memantau sinyal eksternal (saat ini AWS SQS) dan memicu eksekusi DAG sebagai respons.

Model ini mengubah penjadwalan DAG dari “jalan setiap jam” menjadi “jalan saat data relevan siap.” 

Ini memungkinkan workflow yang benar-benar reaktif dan terikat erat pada kondisi data, bukan jam.

Untuk contoh yang lebih mendalam dan pola produksi menggunakan kapabilitas baru ini, panduan Astronomer tentang penjadwalan sadar data menawarkan penjelasan terperinci. Anda juga dapat mempelajari cara membangun pipeline data lengkap dengan fitur-fitur ini dalam panduan Membangun ETL Pipeline dengan Airflow.

Penjadwalan peristiwa eksternal

Airflow 3.0 memperkenalkan dukungan kuat untuk penjadwalan berbasis peristiwa eksternal, yang memungkinkan workflow dimulai berdasarkan pemicu dunia nyata dari luar ekosistem Airflow.

Fitur ini merupakan pergeseran signifikan dari pendekatan tradisional Airflow yang berbasis polling.

Sumber peristiwa yang didukung mencakup AWS SQS untuk integrasi dengan message queue dalam workflow cloud-native yang terlepas, dukungan Kafka yang direncanakan untuk mendukung streaming dan koordinasi microservices, serta HTTP/webhook untuk menerima sinyal dari sistem pemantauan, API, atau platform orkestrasi lainnya.

Use case berkisar dari memulai pipeline data saat berkas baru masuk ke S3 hingga meluncurkan DAG sebagai respons atas pembaruan registry model ML atau mengoordinasikan workflow peringatan dan respons insiden waktu nyata. 

DAG berbasis peristiwa memungkinkan Airflow menjadi lebih fleksibel dan kuat, mampu bereaksi terhadap sistem eksternal secara waktu nyata.

Backfill yang dikelola scheduler

Salah satu peningkatan yang paling dinantikan di Airflow 3.0 adalah perombakan mekanisme backfill, proses menjalankan ulang interval data lampau atau memperbaiki DAG yang gagal.

Beberapa tantangan di Airflow 2.x termasuk tidak adanya dukungan UI dan API untuk backfill, yang harus dipicu secara manual melalui CLI. 

Sebagai hasilnya, dilakukan peningkatan di Airflow 3.0 yang mencakup:

Gambar yang memuat peningkatan di Airflow 3.0. Gambar dibuat dengan Napkin AI

• Model eksekusi terpadu: Backfill kini ditangani oleh scheduler utama, memastikan konsistensi dengan run DAG reguler.
• Pemicu multimodal: Backfill dapat dijalankan melalui UI, API, atau CLI, menawarkan fleksibilitas bagi pengguna interaktif dan sistem otomatis.
• Eksekusi asinkron: Backfill sekarang berjalan secara non-blocking, async; beberapa backfill dapat diantrekan dan dikelola bersamaan.
• Observabilitas penuh: UI menyertakan pelacak progres backfill dengan tampilan tingkat tugas yang terperinci, log waktu nyata, dan indikator status.
• Run dapat dibatalkan: Backfill kini dapat dijeda atau dihentikan dari UI, memungkinkan pengguna merespons secara dinamis terhadap masalah tanpa memulai ulang seluruh workflow.

Dukungan Use Case Machine Learning dan AI di Airflow 3.0

Airflow 3.0 mengambil langkah signifikan menuju menjadi alat orkestrasi kelas satu untuk workflow machine learning (ML) dan AI modern.

DAG non-data-interval

Salah satu perubahan paling transformatif di 3.0 adalah penghapusan batasan execution date yang telah lama ada.

Di Airflow 2.x dan sebelumnya, setiap run DAG harus memiliki execution_date yang unik, yang utamanya terkait dengan interval penjadwalan. 

Walau model ini cocok untuk pekerjaan ETL berbasis waktu, model ini menimbulkan friksi pada skenario eksperimental dan inferensi.

Dengan DAG non-data-interval, Airflow 3.0 memperkenalkan kemandirian eksekusi yang sesungguhnya:

Beberapa use case yang didukung oleh perubahan ini meliputi:

• Eksperimen model: Menjalankan DAG yang sama berkali-kali untuk konfigurasi model atau irisan data berbeda tanpa khawatir bentrok execution date.
• Penyetelan hiperparameter: Meluncurkan run DAG simultan untuk grid parameter atau strategi pencarian berbeda, dilacak terpisah namun berjalan paralel.
• DAG inferensi: Memanggil DAG yang sama secara kontinu atau berulang untuk prediksi waktu nyata atau batch yang dipicu oleh data baru, peristiwa eksternal, atau aksi pengguna.

Pemisahan ini secara dramatis menyederhanakan logika orkestrasi bagi engineer ML dan memungkinkan tingkat automasi, paralelisme, dan reprodusibilitas yang lebih tinggi.

Jalankan tugas kapan saja

Airflow 3.0 kini secara resmi mendukung berbagai paradigma eksekusi, mengakui bahwa workflow data modern tidak selalu mengikuti jadwal tetap. 

Pembaruan ini membuat Airflow lebih adaptif terhadap berbagai kebutuhan operasional dan pemrosesan data.

Mode eksekusi yang didukung termasuk Scheduled (Batch) tradisional, yang menggunakan penjadwalan mirip cron dan cocok untuk pekerjaan seperti laporan malam, sinkronisasi per jam, atau pipeline ETL batch. 

Airflow 3.0 juga mendukung eksekusi berbasis Peristiwa, di mana DAG dapat dipicu oleh peristiwa eksternal—seperti munculnya berkas baru di bucket penyimpanan cloud atau pesan yang datang di Kafka—memungkinkan orkestrasi waktu nyata yang responsif. Selain itu, kini dimungkinkan Eksekusi Ad Hoc/Inferensi, yang memungkinkan DAG berjalan tanpa memerlukan timestamp spesifik. 

Ini sangat berguna untuk use case seperti inferensi machine learning, pemeriksaan kualitas data, atau pekerjaan yang dipicu pengguna di mana konkruensi dan kelangsunghan sangat penting.

Upgrade ke Airflow 3.0

Airflow 3.0 memperkenalkan peningkatan signifikan namun juga berpisah dari pola warisan dengan cara yang bermakna. 

Untuk membantu Anda bertransisi dengan mulus, para kontributor inti telah menyediakan panduan upgrade yang luas dan terstruktur dengan baik.

Ini adalah rilis mayor, dan perencanaan yang cermat sangat disarankan. 

Meski demikian, proses upgrade dibuat sesederhana mungkin dengan dokumentasi yang jelas, daftar periksa upgrade, dan tooling kompatibilitas.

Beberapa aspek yang dibahas panduan tersebut meliputi:

• Penyiapan lingkungan dan dependensi
• Penyelarasan scheduler dan executor
• Migrasi skema basis data dan backup
• Perbedaan perilaku dalam eksekusi tugas dan parsing DAG

Tangkapan layar halaman web Apache Airflow tentang upgrade ke 3.0. Sumber: Apache Airflow

Penting bagi Anda untuk mengevaluasi area berikut sebelum melanjutkan upgrade:

• Kompatibilitas DAG: Pastikan DAG menggunakan API dan konstruksi yang didukung oleh Task SDK 3.0, khususnya jika mengadopsi fitur eksekusi baru.
• Transisi CLI: Ganti penggunaan CLI yang sudah usang dengan airflowctl bila perlu, terutama dalam konteks CI/CD dan eksekusi jarak jauh.
• Validasi plugin: Pastikan plugin kustom dan integrasi pihak ketiga kompatibel dengan desain arsitektur baru dan pemisahan CLI.

Jika Anda menginginkan pengalaman upgrade yang mulus, lihat dokumentasi Upgrading to Airflow 3.0 secara lengkap sebelum Anda memperbarui Airflow.

Evaluasi Berbasis Demo

Untuk melihat fitur baru Airflow 3.0 secara langsung, DAG demo resmi yang disediakan oleh Astronomer menawarkan cara praktik langsung untuk mengeksplorasi kapabilitas terbaru platform ini. 

Demo ini berfungsi sebagai etalase komprehensif dan ideal untuk memahami cara kerja fitur seperti versioning DAG, workflow berbasis aset, dan eksekusi berbasis peristiwa dalam skenario nyata.

Tangkapan layar contoh use case di mana Airflow 3.0 dapat digunakan. Sumber: GitHub Astronomer

Antarmuka yang diperbarui langsung terasa menonjol. Tampilan Aset menawarkan peta visual yang jelas atas ketergantungan data dan lineage, yang terbukti sangat berguna saat bekerja dengan DAG berbasis aset. 

Panel riwayat versi DAG juga menjadi sorotan lain. Panel ini memungkinkan inspeksi cepat terhadap perubahan di masa lalu, membuat reprodusibilitas menjadi sederhana, dan mempermudah mengaitkan run tertentu dengan kode yang menghasilkannya. 

Selain itu, mode gelap yang didesain ulang memberikan kontras dan keterbacaan yang sangat baik, menjadikannya peningkatan yang disambut baik untuk sesi debug yang diperpanjang atau pekerjaan pengembangan larut malam.

Jika Anda ingin mencobanya sendiri, Astronomer menyediakan instruksi langkah demi langkah dan lingkungan demo siap jalan di repositori GitHub mereka. Anda dapat mengkloning repo, mengikuti panduan penyiapan, dan mengeksplorasi fitur-fitur baru Airflow 3.0.

Komunitas dan Pengembangan Masa Depan

Apache Airflow selalu digerakkan oleh komunitasnya, dan ini juga berlaku untuk Airflow 3.0. 

Banyak fitur paling berdampak dalam rilis ini merupakan respons langsung terhadap survei komunitas, diskusi GitHub, dan masukan pengguna.

Jika Anda menggunakan Airflow, pertimbangkan untuk terlibat. Berikut cara Anda dapat berkontribusi:

• Bergabunglah dengan Komunitas Slack Apache Airflow untuk berbagi masukan, bertanya, dan terhubung dengan praktisi lain.
• Terlibat di GitHub dengan berpartisipasi dalam issue, usulan fitur, dan diskusi desain untuk membantu membentuk rilis mendatang.
• Ikut serta dalam survei fitur saat dibagikan. Airflow 3.0 sendiri dibentuk oleh wawasan dari pengguna seperti Anda.

Kesimpulan

Apache Airflow 3.0 menghadirkan arsitektur berorientasi layanan, eksekusi tugas poliglot, penjadwalan yang lebih cerdas, dan UI yang sepenuhnya dimodernisasi, semuanya dalam satu rilis.

Perubahannya mungkin terasa dramatis, terutama dengan pemisahan CLI baru dan executor berfokus edge, tetapi hasilnya adalah platform orkestrasi yang lebih modular, dapat diskalakan, dan siap produksi. 

Platform ini juga lebih fleksibel untuk tim ML, tumpukan cloud-native, dan sistem berbasis peristiwa di mana responsivitas dan observabilitas adalah kunci.

Jika Anda masih menggunakan versi Airflow yang lebih lama, mempertimbangkan upgrade ke 3.0 jelas layak dilakukan.

Untuk praktik langsung dengan Airflow, mulailah dengan kursus kami, Getting Started with Apache Airflow, atau perdalam pemahaman Anda tentang konsep inti di Introduction to Apache Airflow in Python.