Dagster ve Airflow: Modern Veri Yığınları İçin Önde Gelen Veri Orkestrasyon Araçlarının Karşılaştırması

LinkedIn’de her aşağı kaydırışınızda, zaten kalabalık olan veri dünyasında yeni bir aracın ortaya çıktığını görür gibisiniz. Veri ekipleri “veri yığınlarına” bileşenler eklemeye devam ettikçe, bu farklı araçları yönetmenin ve birbirine bağlamanın bir yoluna ihtiyaç duyarlar.

Veri orkestrasyonu, tüm veri ekosistemi boyunca verileri birleştiren, dönüştüren ve düzenleyen süreçlerin geliştirilmesi, yürütülmesi ve izlenmesi sürecidir. Bunu yapmak için veri mühendisleri veri orkestrasyon araçlarını kullanır. Burada, en popüler orkestrasyon araçlarından ikisini — Apache Airflow ve Dagster — inceleyeceğiz. Haydi başlayalım!

Airflow nedir?

Airflow, veri hatlarını kod olarak oluşturmak, çalıştırmak ve izlemek için sektör standardıdır. İlk olarak 2014’te Airbnb’nin Veri Mühendisliği ekibi tarafından geliştirildi. O zamandan beri proje Apache Software Foundation tarafından benimsendi ve lisansları altındaki en popüler çözüm haline geldi. 

Airflow her ay otuz milyondan fazla kez indirilir ve canlı bir katkıcı ve kullanıcı topluluğuna sahiptir. Airflow’da veri hatlarına DAG (directed acyclic graph — yönlendirilmiş çevrimsiz grafik) denir. 

Airflow hakkında daha fazla bilgiyi Apache Airflow’a başlangıç öğreticimizde bulabilirsiniz. 

Dagster nedir?

Airflow gibi, Dagster da kullanıcıların veri hatlarını kod olarak yazmasına olanak tanıyan bir orkestrasyon aracıdır. Açık kaynaktır ve ilk olarak 2019’da yayınlanmıştır. Dagster, bir veri hattının yapı taşları olan “varlıkları” (asset) tanımlamak için Python kullanır. 

Dagster, nispeten kalabalık olmayan bir alanda Airflow’a rakip olarak ortaya çıktı. Proje açık kaynak topluluğu tarafından sürdürülmekte ve ticari olarak Dagster Labs tarafından desteklenmektedir.

Modern Bir Veri Yığınını Bağlama

Peki Airflow ve Dagster modern bir veri yığınına nerede oturur? Aşağıdaki mimari diyagramla başlayalım.

Modern veri yığınında yaygın olarak kullanılan araçlardan bir örneklem içeren bir mimari diyagram.

Bu mimari diyagram, pek çok kişinin standart bir veri yığını olarak gördüğü yapıyı gösterir. Kaynak sistemlerden, veri ambarı ve dönüşüm araçlarından ve Tableau ile Looker gibi aşağı yönlü “hedeflerden” oluşur. 

Burada, Airflow ve Dagster bu veri ekosistemini birbirine bağlayan oklardır. Bir orkestrasyon aracı olmadan, veriyi bir araçtan diğerine taşımak zordur. 

Airflow ve Dagster gibi orkestrasyon araçları ayrıca, verinin kaynaktan hedefe nerede, nasıl ve ne zaman hatlar halinde aktığını ve bu süreçte nasıl dönüştürüldüğünü anlamayı kolaylaştıran bir gözlemlenebilirlik katmanı sağlar.

Dagster vs Airflow: Temel Özellikler ve İşlevler

Tahmin edebileceğiniz gibi, Airflow ve Dagster amaçlanan kullanım ve modern veri yığınındaki rolleri açısından bir dizi benzerliği paylaşır. Bunlar şunları içerir:

• Hatları kod olarak yazabilme
• Modern veri yığınıyla yerleşik entegrasyonlar
• Yerel geliştirme deneyimi

Bununla birlikte, her birinin tek başına öne çıkmasını sağlayan benzersiz özellik ve işlev seti vardır.

Airflow

Airflow’un başlıca özelliklerinden bazılarına bakalım: 

Airflow ve DAG’leri Anlamak

Airflow’da veri hatlarına DAG denir — yönlendirilmiş çevrimsiz grafiklerin kısaltması. Bir DAG’i belirli bir sırayla birbirine bağlanan görevlerin bir koleksiyonu olarak düşünün. Bir DAG’in en temel yapı taşı bir görevdir. Örneğin, çıkarma, dönüştürme ve yükleme (ETL) yapan bir hatta “transform” adımı kendi başına bir görev olur.

Bu görevler genellikle Airflow operatörleri kullanılarak tanımlanır. Ancak az sonra göreceğiniz gibi, görevleri TaskFlow API ile tanımlamanın başka bir yolu daha vardır.

Airflow’da DAG Zamanlama

Airflow’da bir hattı zamanlamak son derece esnektir. Bir hattı günlük mü çalıştırmak istiyorsunuz? Sorun değil. Her ayın ilk Cumasında mı yürütülsün? Bu da kolay. Peki yöneticiniz bir veri kümesi güncellendiğinde bir DAG’in tetiklenmesini isterse? Airflow bunu da halledebilir.

Airflow, DAG’lerinizi zamanlama konusunda bolca özelleştirme seçeneği sunar. CRON, Timetable’lar ve veriye duyarlı zamanlama gibi özelliklerle DAG’leri ihtiyacınız olan her an çalışacak şekilde ayarlayabilirsiniz.

TaskFlow API

DAG yazımını veri profesyonelleri için daha erişilebilir kılmak amacıyla Airflow topluluğu TaskFlow API’yi tanıttı. Geleneksel operatör yaklaşımı yerine TaskFlow API, görevleri sadece fonksiyonları süsleyerek (decorator) tanımlamanıza olanak tanır. Bu, görevler arasında veri paylaşımını ve görev bağımlılıklarını kurmayı çok daha kolay ve sezgisel hale getirir.

Ayrıca, Astro SDK gibi araçlar TaskFlow API’nin üzerine inşa edilerek yeteneklerini daha da genişletmiştir.

Dagster

Dagster nasıl karşılaştırılıyor, inceleyelim: 

Dagster’ın Varlık (Asset) Tabanlı Yaklaşımı

Dagster, veri hatları kurarken benzersiz bir varlık tabanlı yaklaşım benimser. Dagster’da kalıcı depolamada tutulan herhangi bir veri nesnesine — bir dosya veya tablo gibi — varlık denir. 

Bu varlıklar Python fonksiyonları kullanılarak kodda tanımlanır. Bu fonksiyonlar yürütüldüğünde, Dagster otomatik olarak bağımlılıkları oluşturur ve varlığı somutlaştırır (materialize eder). Bu varlık merkezli yöntem, bir hattın içinde verinin nasıl üretildiğini ve tüketildiğini izlemeyi kolaylaştırır.

Dagster’da Op’leri Anlamak

Dagster’daki bir başka temel kavram “op”lerdir; Airflow’daki görevlere bir ölçüde benzerler. Op’ler, bir veri hattındaki bireysel adımları temsil eder ve her op’un girdileri ve çıktıları vardır; bunlar varlıklardan oluşabilir. Dahası, bu giriş ve çıkışlar, işlenen veriyi net biçimde tanımlamak için türlenebilir.

Peki op’ler ile varlıkların ilişkisi nedir? Op’ler, varlıklar üzerinde çalışan (extract, transform, load gibi) adımlardır; varlıklar ise bizzat veri nesneleridir.

Dagster’ın Tür Sistemi

Bir hattan akan veriye açıklık getirmek için Dagster, her op’un giriş ve çıkışlarını doğrulamak üzere sağlam bir tür sistemi kullanır. Airflow Python tür tanımlarını desteklese de Dagster, türlendirmeyi hat yazım deneyiminin merkezine koymuştur. 

Sadece op’leri değil, varlık tanımlarını da türleyebilir, böylece bir varlığın ürettiği verinin doğru ve doğrulanmış olmasını sağlayabilirsiniz.

Airflow vs Dagster: Geliştirici Deneyimi

Bir orkestrasyon aracı seçerken özellik yoğunluğu, toplam sahip olma maliyeti ve ölçeklenebilirlik gibi unsurlar kabul kriterleri listesinde yer alabilir. Bununla birlikte, geliştirici deneyimini akılda tutmak önemlidir. Sezgisel, verimli ve sağlam bir geliştirici deneyimi, hızlı yinelemeyi mümkün kılar ve birim testleri çalıştırma ile bağımlılıkları yönetme gibi zorluklara proaktif şekilde çözüm getirir.

Airflow

Airflow Topluluğu

Çözemediğiniz bir Airflow sorusu veya hatası mı var? Büyük olasılıkla daha önce çözülmüştür. Airflow, herhangi bir Apache projesi içindeki en büyük Slack topluluklarından birine sahiptir ve üç binden fazla katkıcıdan oluşan bir topluluğa övünür. Airflow projesi etrafında binlerce blog, öğretici ve kurs geliştirilmiştir. Topluluk, Airflow kullanıcılarını desteklemenin yanı sıra Airflow projesini inşa etmek ve sürdürmekten sorumludur.

Apache Airflow projesinin arkasındaki ticari geliştirici Astronomer, Airflow geliştirici deneyimini bir üst seviyeye taşıdı. astro CLI, Airflow yardımcı programları için ek bir soyutlama ve işlevsellik katmanı sağlar. Astronomer ayrıca, geliştiricilerin aklına gelebilecek her türlü Airflow sorusunu ele almak için kendi kayıt defterini ve “Ask Astro” sohbet botunu sunar.

Yerelde Geliştirin ve Test Edin

Airflow’u orkestrasyon için bu kadar cazip kılan özelliklerden biri yerelde geliştirme ve test etme olanağıdır. airflow CLI kullanarak bir geliştirici saniyeler içinde bir Airflow örneği ayağa kaldırabilir. Ardından, kodda yerel değişiklikler yapılıp UI veya CLI üzerinden test edilebilir. Bu, özellikle Airflow ağırlıklı ekiplerde hızlı yineleme ve daha kısa bir yayın döngüsü sağlar.

DAG Geliştirmeye Yönelik Yeni Araçlar

Bir süre boyunca bir Airflow DAG’ini tanımlamanın tek yolu geleneksel operatörlerdi. TaskFlow API bunu hızla değiştirdi ve DAG oluşturma için alternatif sundu. Şimdi, dag-factory ve gusty gibi araçlar, DAG yazmaya ve çalıştırmaya başlamayı her zamankinden kolay hale getiriyor.

Dagster

Dagster’ın yerel geliştirme deneyiminin büyük bölümü, yerelde hat geliştirip test edip çalıştırabilme dahil olmak üzere Airflow ile örtüşür. Her ikisi de CI/CD gibi kurumsal düzeyde yaygın SDLC uygulamalarına destek verir. 

Bununla birlikte, Airflow’un topluluğunun salt büyüklüğünü Dagster’ınkiyle kıyaslamak zordur. Airflow’un binlerce topluluk kaynağı varken Dagster hâlâ yetişmeye çalışıyor. Dagster ile veri hatları geliştirip sorun giderirken, uygulayıcılar bir çözümü hayata geçirmek için ihtiyaç duydukları kaynakları bulmakta zorlanabilir.

Test Etmesi Kolay

Dagster’ın varlık tabanlı hat geliştirme yaklaşımı, test etmeyi oldukça kolaylaştırır. Nitekim test, Dagster’ın değer önerisinin temel taşlarından biridir. Yukarıda bahsedilen tür sistemiyle birlikte Dagster, veri hatlarının bir yazılım ürünü test edilir gibi test edilmesini öncelik haline getirmiştir. 

Dagster’ın dokümantasyonu, herhangi bir hat tanımında iç içe geçmiş iş mantığının oluşturduğu zorlukları ve test sırasında bunu ele almak için yaygın teknikleri vurgular. Birçok kişinin Airflow geliştirici deneyiminde eksik bulduğu bir alan budur.

Dagster vs Airflow: Güçlü ve Zayıf Yönler

Airflow ve Dagster’ı kullanmanın nasıl bir şey olduğuna dair fikir oluşmaya başladı mı? Şimdi, her bir aracın diğerine göre nerede öne çıktığını ve bilinen birkaç eksik yönü inceleyelim.

Airflow

Sonsuz Genişletilebilirlik

Klişe olacak ama Airflow ile sınır gökyüzü. Projenin genişletilebilirliği eşi benzeri yoktur. Airflow geliştiricileri kendi operatörlerini, sensörlerini, yürütücülerini ve hatta zaman çizelgelerini (timetable) oluşturabilir. Benzersiz kullanım senaryolarına sahip veri ekipleri için bu oldukça çekicidir. Kendi özel entegrasyonlarınızı oluşturmak istemiyor musunuz? 

Endişelenmeyin, büyük olasılıkla gerek kalmayacak. Basit bir pip kurulumu sonrası kullanıma hazır 1.600’den fazla mevcut entegrasyon var. Veri orkestrasyonunda sektör standardı olmak, Airflow’un sürekli yenilikten faydalanmasını sağlar ve bir tür “pozitif geri besleme döngüsü” yaratır.

Airflow’u Üretimde Çalıştırın 

Gerçek anlamda açık kaynak bir ürün olarak Airflow’u üretimde çalıştırmanın sayısız yolu vardır. Şirket içi Kubernetes kümelerinden tam yönetilen bir hizmete kadar binlerce işletme Airflow’u üretim ortamında kullanır. 

Devlet ve raporlama düzenlemeleri, veri gizliliği ve güvenliğine bağlılıklar ve ağ ormanları, veri ekiplerini bazen hayal edilemeyecek biçimlerde araçları yapılandırmaya zorlar. Bu tür ekipler, Airflow gibi bir aracı üretimde çalıştırırken mümkün olduğunca fazla esneklik ve özelleştirilebilirlik ister. Diğer ekipler tüm ağır işi bir yönetilen hizmet sağlayıcısının yapmasını isteyebilir. Airflow ile bu iki uç (ve aradaki her seçenek) mümkündür.

Öğrenme Eğrisi

Airflow genişletilebilir ve binlerce eklentiye sahiptir. DAG’ler çeşitli tekniklerle tanımlanabilir, hatlar veriye duyarlı zamanlamayla tetiklenebilir ve özel bir gizli anahtar arka ucu yapılandırılabilir. 

Tüm bunlar, Airflow’u en geniş kapsamıyla kullanmanın bir miktar öğrenme eğrisi gerektirdiği anlamına gelir. 

Veri hatlarını hızla yazıp çalıştırmak isteyen Veri Mühendisleri için Airflow bir giriş bariyeri oluşturur. Bu durum sıklıkla Veri Mühendislerini ve benzerlerini Dagster gibi daha yalın bir çözüme yönlendirir.

Dagster

Sezgisel Hat Yazımı

Dagster ile veri hatları kurmak sezgiseldir. Varlık tabanlı yaklaşım, hattı mümkün olan en az ek yükle üretime almak isteyen veri uygulayıcıları için çekicidir. 

Dagster, özellikle veri hatlarını oluşturmak için Python fonksiyonları yazmaya alışkın kullanıcılar açısından, geleneksel Airflow operatörleriyle çalışmaya kıyasla çok daha düşük bir öğrenme eğrisi sunar. Bu, Dagster’ın en büyük güçlerinden biridir ve çoğu zaman bir veri ekibinin veri hatlarını çalıştırmak için Dagster’a güvenmesinin başlıca nedenidir.

Güçlenen Topluluk

Airflow topluluğu ile rekabet etmek Dagster için bile zordur. Açık kaynak projeye katkı sunmaktan veri yığınına yeni eklenen araçlar için bağlayıcılar geliştirmeye, soruları yanıtlamaya ve dokümantasyonu derlemeye kadar Airflow topluluğunun sunmadığı pek bir şey yoktur. Bununla birlikte Dagster topluluğu hızla büyüyor. Kurumsal düzeyde, bu filizlenen topluluk hem bir risk hem de Dagster projesine etki katmak için bir fırsattır.

Airflow vs. Dagster: Hangisini Seçmeli?

Artık her iki aracı da karşılaştırdığımıza göre, hangisi sizin için doğru? Aşağıdaki tabloda her birini karşılaştırdık: 

Aşağıdaki görsel, Airflow ve Dagster’ın özellikleri ve işlevlerindeki temel benzerlik ve farkları özetlemektedir. 

Airflow ve Dagster arasındaki benzerlikler.

Şimdi, milyon dolarlık soru; bu iş için hangi orkestrasyon aracını seçmelisiniz?

Neden Airflow?

Açık ve net, Airflow üretimde veri hatları yazmanın ve çalıştırmanın fiili standardıdır. Evet, Dagster’ın tasarım kalıplarının Airflow’a göre teknik olarak üstün olduğu bileşenler olabilir. Ancak Airflow’un genişletilebilirliği ve projeyi desteklemek üzere büyüyen topluluk, onu yerleşik veri ekipleri için kolay bir tercih kılar. Airflow iki dünyanın en iyisini sunar: devasa bir mevcut araç kütüphanesi artı hayal edebileceğiniz her operatör, sensör veya hook’u oluşturma imkanı. Airflow kendi nişini buldu ve yakın zamanda bir yere gitmiyor.

Neden Dagster?

Kendi yazdığı veri hatlarına alışkın küçük veri ekipleri için Dagster doğru araç olabilir. Dagster, Airflow’un sunduğu tüm “süslü özelliklerle” övünmeyebilir; ancak fikirden üretime giden hızlı bir yol sunar. Dagster; önemli olan konular için (yerel geliştirme, sağlam birim testleri ve modüler bir çerçeve düşünün) birinci sınıf destek sunar ve pek çok entegrasyonla gelir. Proje olgunlaştıkça ve topluluk büyüdükçe Dagster, düşük giriş bariyerini korurken Airflow ile arasındaki özellik farkını kapatmaya devam ediyor.

Sonuç

Araçları karşılaştırmak her zaman zordur. Birinin diğerinden “daha iyi” olduğunu söylemek ya da belirli bir aracı belirli bir kullanım tabanına zorlamak kolay değildir. Doğrusunu söylemek gerekirse, Airflow ve Dagster’ın altında yatan çerçeve şaşırtıcı derecede benzerdir. En iyi veri uygulayıcıları araç seçerken özellik peşinde koşmaz; bunun yerine, ekosistemlerine entegre ettikleri aracın süreci nasıl etkilediğine odaklanırlar.

Airflow ekiplerimin daha hızlı yineleme yapmasını sağlıyor mu? Dagster gibi bir araç, üretime göndermeden önce mühendislerin kodu daha iyi test etmesine yardımcı olur mu? Bu orkestrasyon aracı bir veri platformu için daha büyük vizyona uyuyor mu? Bu tür sorular, veri ekipleri ve hizmet verdikleri paydaşlar için değeri artırmaya yardımcı olur.

Apache Airflow ile başlamaya hazırsanız DataCamp’in Python ile Airflow’a Giriş kursuna göz atın. Burada görevler, sensörler ve ilk Airflow DAG’lerinizi oluşturmak için ihtiyaç duyduğunuz her şeyin temellerini öğreneceksiniz.