After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kurs Açıklaması
Airflow becerilerini bir adım ileri taşımak ister misin? Bu kursta Airflow 3.2 kullanıyoruz, yani en güncel yöntemleri öğreneceksin. TaskFlow API ile Dag'ler yazacak, Assets ve yeni Asset Partitions ile veriye dayalı zamanlama yapacak ve tekrar denemeler, geri çağrılar ve testlerle iş hatlarını güvenilir hale getireceksin.Son bölümde, DuckDB üzerinde uçtan uca bir SQL ETL hattı kuracak ve üçüncü taraf kütüphanelere gerek kalmadan veri kalite kontrollerini doğrudan Airflow içinde ekleyeceksin; böylece hattının ürettiği verinin güvenilirliği korunacak. Kursun sonunda, bir hattı prototipten alıp üretimde gerçekten çalıştırabileceğin bir yapıya nasıl dönüştüreceğini biliyor olacaksın.
Ön Koşullar
Müfredat
Kurs içeriği
1
TaskFlow ve XCom ile Dag Yazımı
Önce Airflow bileşenleriyle tanışacak, TaskFlow API ile ilk Dag'lerini yazacak ve XCom ile görevler arasında veri aktaracaksın.
- Airflow temel kavramları50 XP
- Minimal bir TaskFlow Dag yazma100 XP
- Airflow bileşenlerini rollerine eşleştirme100 XP
- TaskFlow API50 XP
- Klasik bir Dag'i TaskFlow'a dönüştürme100 XP
- Bir görev ekleme ve bağımlılıkları bağlama100 XP
- Airflow UI'da bir veri hattını keşfetme50 XP
- Görevler arasında veri paylaşımı50 XP
- Bir TaskFlow fonksiyonundan veri döndürme100 XP
- Klasik bir operatorü TaskFlow göreviyle bağlama100 XP
- XCom kısıtlarını anlama50 XP
2
Dinamik ve Veriye Duyarlı İş Hatları
Ardından dinamik görev eşleme ile görevleri paralel çalıştıracak, Assets ile veriye göre Dag zamanlayacak ve insan onayı adımları ekleyeceksin.
3
Dag'leri Üretime Hazırlama
Bu bölümde, tekrar denemeler ve geri çağrılarla hataları yönetecek, ertelenebilir sensörlerle kaynak tasarrufu yapacak ve Dag'lerini üç düzeyde test edeceksin.
4
Üretim Düzeyi Bir SQL ETL Hattı Kurma
Son bölümde, DuckDB üzerinde bir SQL ETL hattı kuracak, Asset Partitions ile bölüme duyarlı zamanlama ekleyecek ve veri kalite kontrollerini gömeceksin.
Airflow ile Veri İş Hatları Oluşturma
Kurs
Tamamlandı
