2021 İçin Veri Altyapısındaki En İyi 3 Trend

Veri mühendisliği işletmeler için öncelikli olmaya devam ediyor ve 2021'de veri altyapısı alanında heyecan verici gelişmeler olacak. yakın tarihli bir web seminerinde, Dünya Bankası'nda Veri Mühendisi ve San Diego Şehri'nin eski Chief Data Officer'ı Maksim Percherskiy özellikle üç trende dikkat çekti: veri orkestrasyon platformları, veri keşif motorları ve veri lakehouse’ları.

Veri orkestrasyon platformları

Orkestrasyon platformları bilgisayar sistemlerini ve yazılımları yönetmek için uzun yıllardır bulunsa da, veri orkestrasyonu, depolama sistemleri genelinde veri erişimini soyutlayan, veriyi sanallaştıran ve veri odaklı uygulamalara sunan nispeten yeni bir kavramdır. Veri orkestrasyon platformları, birden çok veri depolama konumundaki yalıtılmış verileri bir araya getirip kullanılabilir hale getirerek şirketlerin daha veri odaklı olmasına yardımcı olur. Örnekler arasında modern yazılım yaklaşımları olan sürüm kontrolü, DevOps ve sürekli entegrasyonla uyumlu Apache Airflow, Prefect, Luigi ve Stitch yer alır.

DataCamp’in Python ile Airflow’a Giriş kursu, ETL ve veri mühendisliği iş akışlarını kolay ve tekrarlanabilir bir şekilde nasıl uygulayıp zamanlayacağınızı öğrenmek için harika bir başlangıç noktasıdır.

Veri keşif motorları

Veri arttıkça, şirketlerin ekiplerinin ihtiyaç duydukları veriyi bulmasını, belgelemesini ve yeniden çalışmayı azaltmasını sağlamak için daha fazla zaman harcaması mantıklıdır. Lyft’in Amundsen’i ve Uber’in Databook’u gibi veri keşif motorları, veriler için bir arama arayüzü sunarak veri kullanıcılarının üretkenliğini artırmayı hedefler. Bu araçlar, şirketler büyürken veri altyapısının ölçeklenmesine imkân tanıyarak üretkenliği ve uyumluluğu destekleyen metadatalara dayanır. Veri keşfinin hedefi, veriyi daha FAIR hale getirmektir: bulunabilir, erişilebilir, birlikte çalışabilir ve yeniden kullanılabilir.

Veri lakehouse

Veri gölleri ile veri ambarlarının farklı kullanım senaryoları vardır. Her biri farklı amaçlar ve farklı son kullanıcılar için tasarlanmıştır. Örneğin, veri ambarları genellikle iş zekâsı toplamak amacıyla analistler tarafından kullanılır—çalışmaları için özel olarak işlenmiş düz dosyalar içerirler. Öte yandan, veri gölleri veri hatlarına entegre eden veri mühendisleri tarafından kurulur ve yönetilir. Veri bilimciler, daha geniş ve daha güncel kapsamlı veri barındırdıkları için veri gölleriyle daha yakından çalışır.

Veri lakehouse’ları adlarının çağrıştırdığı gibidir: veri gölleri ve veri ambarlarının bir kombinasyonu. Snowflake ve Databrick's Delta Lake gibi platformlar, veri göllerinin ve veri ambarlarının faydalarını birleştirerek veriler için tek bir doğru kaynak sağlayan çözümler oluşturdu. Veri lakehouse’ları, genellikle veri depolama için daha maliyet etkin olan veri gölleri üzerine veri ambarlarının veri yapıları ve yönetim özelliklerini uygular. Aynı zamanda verinin şemasını ve sürümlemesini korurlar. Veri lakehouse’ları ile veri bilimciler hem makine öğrenimi hem de iş zekâsını yürütebileceklerdir.

Kaynak: Databricks

Bu üç trendin tamamı, 2021'de kurumsal şirketlerin veri altyapılarını ölçeklendirmesi için kritik önemde olacak. Hem veriyi merkeze alarak kurulan şirketler hem de veriyi iş akışlarına sürdürülebilir şekilde entegre etmekte zorlananlar için faydalıdırlar. Büyük şirketlerin verilerini operasyonelleştirme ve veri odaklı hale gelme yolunda karşılaştıkları zorluklar hakkında daha fazla bilgi edinin.