Yoğun talep üzerine DataCamp, bir Veri Mühendisliği öğrenim yolu oluşturmaya hazırlanıyor. Genişleyen Veri Bilimi Evrenindeki çoğu terimde olduğu gibi, “Veri Mühendisliği” tanımı konusunda da epey belirsizlik var. Bazı Veri Mühendisleri çokça raporlama ve gösterge paneli (dashboard) çalışması yapar. Bazıları zamanlarının çoğunu veri boru hatları (pipeline) üzerinde harcar. Diğerleri ise Veri Bilimcilerden gelen Python kodunu alıp Java veya C’de çalışacak şekilde optimize eder.
Kurs geliştirmeye başlayabilmemiz için, üzerinde çalışacağımız tek bir “Veri Mühendisi” tanımı seçmemiz gerekiyor. Uzun tartışmalar ve değerlendirmelerden sonra, Amerikan televizyon programı “Law and Order”ı (Yasa ve Düzen) şöyle yeniden ifade etmeyi seçtik:
Veri Mühendisleri vs Veri Analistleri vs Veri Bilimcileri
Veri Bilimi dünyasında, veriler üç ayrı ama aynı derecede önemli meslek tarafından temsil edilir:
- Veri Mühendisleri: Programlama dilleri kullanarak verilere ve veritabanlarına temiz, güvenilir ve yüksek performanslı erişimi sağlar
- Veri Analistleri: Programlama dilleri, e-tablolar ve iş zekâsı araçlarını kullanarak mevcut verileri betimler ve sınıflandırır
- Veri Bilimcileri: Mevcut bilgileri temel alarak gelecekteki verileri tahmin etmek için algoritmalar kullanır
Örnekler
Örneğin, bir şirketin web sitesinde birçok farklı türde kanepe sattığını hayal edin. Web sitesini ziyaret eden biri belirli bir kanepenin üzerine her tıkladığında yeni bir veri parçası oluşur. Bir Veri Mühendisi, bu verilerin nasıl toplanacağını, her tıklama olayına hangi türde metaverilerin ekleneceğini ve verilerin kolay erişilebilir bir formatta nasıl saklanacağını tanımlar. Bir Veri Analisti, satış ve pazarlamanın hangi kanepenin kim tarafından satın alındığını ve şirketin ne kadar gelir elde ettiğini takip etmesine yardımcı olacak görselleştirmeler oluşturur. Bir Veri Bilimcisi ise her kanepenin hangi müşteriler tarafından satın alındığına ilişkin verileri alır ve bunu, siteye gelen her yeni ziyaretçi için en uygun kanepeleri tahmin etmekte kullanır.
Veri mühendisi nedir?
Birçok organizasyonda, veri ekibindeki ilk işe alımlar veri mühendisleridir. Toplanan veriler, öngörücü yöntemlerle analiz edilip değer üretmeden önce düzenlenip temizlenmelidir. Veri Mühendisleri bu sürece, hangi verilerin saklandığını gösteren bir liste oluşturarak, yani bir veri şeması hazırlayarak başlar. Sonrasında verileri saklamak için güvenilir ve kolay erişilebilir bir konum, yani bir veri ambarı seçmeleri gerekir. Veri ambarı sistemlerine örnek olarak Amazon Redshift veya Google Cloud verilebilir. Son olarak, Veri Mühendisleri verilerin veri ambarına ulaşmasını sağlamak için ETL (Extract, Transform, Load – Çıkar, Dönüştür, Yükle) süreçlerini oluşturur.
Organizasyon büyüdükçe, Veri Mühendisleri yeni veri kaynaklarını veri ekosistemine entegre etmekten ve depolanan verileri farklı analiz araçlarına aktarmaktan sorumludur. Veri ambarı çok büyük hale geldiğinde, Veri Mühendisleri paralel analizler yapmak veya hızlı sorgulama için daha küçük alt kümeler oluşturmak gibi analizlerin performansını artıracak yeni yollar bulmak zorundadır.
Üç meslek arasındaki ilişki
Veri Bilimi evreninde, bu üç meslek arasında her zaman bir örtüşme vardır. Veri Mühendisleri çoğu zaman basit Veri Analizi projelerinden sorumludur veya Veri Bilimciler tarafından yazılan algoritmaları paralel çalıştırılabilir, daha sağlam formatlara dönüştürür. Veri Analistleri ve Veri Bilimcileri ise özellikle mühendislik kaynaklarının kısıtlı olduğu erken aşama girişimlerde çalışıyorlarsa temel Veri Mühendisliği becerilerini öğrenmek zorundadır.
DataCamp ile veri mühendisliği öğrenin!
DataCamp olarak, Veri Mühendisliği kurs portföyümüzü geliştirmekten heyecan duyuyoruz. Neleri öğretmek istediğimizi biliyoruz ve bu kursları tasarlamaları için eğitmenler kazanmaya başlıyoruz. İlginizi çekiyorsa, başvuru formumuza ve şu anda önceliklendirdiğimiz kursların listesine göz atın.
