Bu makale topluluğumuzdan değerli bir katkıdır ve DataCamp tarafından açıklık ve doğruluk açısından düzenlenmiştir.
Kendi uzmanlığınızı paylaşmakla ilgileniyor musunuz? Sizden haber almak isteriz! Topluluk Katkı Formu üzerinden yazılarınızı veya fikirlerinizi bizimle paylaşabilirsiniz.
Günümüzde birçok kuruluş karar almak için veriye dayanır. Veriler çoğunlukla farklı kaynaklardan, çeşitli biçim ve formatlarda kaydedilir ve toplanır. Çoğu zaman bu veriler kendi silosunda saklanır ve dönüştürülür; buradan da o veriye dair belirli sorulara yanıt üretmek için yararlanılır. Kuruluşlar veri odaklı bir yaklaşıma yöneldikçe, veri ekipleri şu gibi basit görünen bir soruyla karşılaşır: Şirketin tüm müşterilerinin performansını tek bir merkezi yerde değerlendirebilir miyiz? (ya da tüm veri noktalarını tek bir yerde görebilir miyiz?)
Bu eğitimde, halihazırda bildiğiniz teknikleri nasıl kullanıp üzerine ekleyerek bu soruya yanıt vermeye yardımcı olacak bir çözüm geliştirebileceğinizi öğreneceksiniz.
Temel Hususlar
Bu makalenin devamında ele alacağımız bazı temel kavramları burada özetledik.
Veri gölü
Her ölçekte yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi saklayan geniş, merkezi bir havuz. Çeşitli kaynaklardan gelen farklı veri türlerini büyük hacimlerde saklamak için esnek ve maliyet etkin bir çözüm sunar.
Geleneksel veri depolama sistemlerinden farklı olarak, bir veri gölü önceden veri modellemesi ya da katı şema zorunluluğu gerektirmez; veriler olduğu gibi saklanabilir. Bu ham ve işlenmemiş veriler ihtiyaç duyulduğunda işlenebilir, analiz edilebilir ve dönüştürülebilir; bu da veri odaklı karar alma ve gelişmiş analitik için değerli bir kaynak sağlar.
Veri gölü ile veri ambarını ayrı bir yazıda karşılaştırabilirsiniz.
Veri ambarı
Veri ambarı, yapılandırılmış veriyi saklayan ve yöneten büyük, merkezi bir depodur. İş zekâsı, raporlama ve veri analizi faaliyetlerini desteklemek üzere tasarlanmıştır. Veri ambarları, birden çok veritabanı, uygulama ve sistemden gelen verileri birleştirir ve verimli sorgulama ve analiz için bunları tekil ve tutarlı bir formata dönüştürür.
Mikro hizmetler
Mikro hizmetler, yazılımın iyi tanımlanmış API'ler üzerinden iletişim kuran küçük, bağımsız hizmetlerden oluşturulduğu mimari ve organizasyonel bir yaklaşımdır. Bu hizmetler, küçük ve özerk ekiplerin sahipliğindedir. Mikro hizmet mimarileri, uygulamaların ölçeklenmesini kolaylaştırır ve geliştirme sürecini hızlandırır; bu da yeniliği teşvik eder ve yeni özelliklerin pazara sunulma süresini kısaltır.
Uyarlanabilir Bir Veri Hattı Kurmak
Bu yaklaşım; veri toplama, depolama, işleme, hazırlık (staging) görünümleri oluşturma ve ölçekli analitik üretme adımlarından oluşur.
Görsel: Yazar
Adım 1: Veri toplama ve önkoşullar
Bu ilk aşamada, işe başlamadan önce önemli önkoşulları ele almak kritik önem taşır. Verinin kökenlerini ve nerede saklandığını ayrıntılı biçimde inceleyerek kaynaklarını kapsamlı şekilde anlayın.
Toplanan veriyi faydalı ve analize hazır hale getirmek için etkili stratejiler geliştirin. Veri düzenleme (data wrangling), verinin temiz ve kullanılabilir bir formatta olmasını sağlayarak sonraki işlemlere hazırlamada kritik rol oynar. Ayrıca, öncelik; farklı müşterilerden gelen veri noktalarını sorunsuz biçimde entegre ederken verinin bütünlüğünü ve güvenliğini koruyan bir çözüm bulmaktır.
DataCamp’in Veri Analizi Nedir rehberi bu süreci daha ayrıntılı inceler.
Adım 2: Veri gölü ve veri ambarı
Veriler çeşitli müşterilerden toplanır ve S3 Bucket’larda (Amazon Simple Storage Service (Amazon S3) içindeki depolama konumları) birleştirilir; böylece ham hâliyle çeşitli bilgileri tutan bir veri gölü oluşur. Sonraki adımda, toplanan veriyi veri ambarına sorunsuzca uyacak şekilde yapılandırılmış bir veri setine dönüştürmek için Çek, Dönüştür, Yükle (ETL) süreçleri kullanılır. Sonuçta, veri ambarı; şemaların ve yapılandırılmış verilerin titizlikle düzenlendiği bir depo hâline gelir. Ancak, her bir müşteriye ait veriler yine ayrı kalır ve veri ambarı içinde kendi silolarında yer alır.
Görsel: Yazar
Adım 3: Hazırlık (staging) görünümü (Bu operasyonun kalbi)
Hazırlık görünümleri, bir veri ambarındaki şema, tablolar ve sütunlar arasındaki ilişkilerden yararlanılarak oluşturulur. Bu da karmaşıklığı gizleyen ve analiz için boyutlar ile olguların tutarlı biçimde anlaşılmasını sağlayan basitleştirilmiş bir iş görünümüyle sonuçlanır. Tüm kurumsal kullanıcılar, merkezi olarak yönetilen doğru verilere erişebilir ve çeşitli boyutlarda performansa ilişkin değerli içgörüler elde edebilir.
Bu yaklaşımın özünde, hazırlık görünümlerini oluşturma sürecinin teknik boyutu yatar. Bu görünümler, raporlama ve analitik için gereken hesaplamaları ve öznitelikleri barındırır; bu da tüm ekosistemi ölçeklenebilir kılar. Yeni bir mantık ya da değişiklikler bu hazırlık görünümlerinde uygulanır.
Etkili sorun giderme için, hazırlık görünümleri müşteri ve performans göstergesi bazında oluşturulur; böylece sorunları nokta atışıyla saptayıp verimli şekilde ele almak mümkün olur. Bu yaklaşım, tek ve devasa bir saklı yordam kullanmaya kıyasla sorun tespitini daha az zaman alır ve daha az zorluk çıkarır.
Segmentasyon ve toplulaştırma teknikleriyle, işlem verileri analiz edilip ustalıkla birleştirilerek üst düzey/toplam performans göstergeleri üretilir. Her hazırlık görünümü, istenen çıktı değerini sunmak için hesaplama mantığını ve boyutları gömülü olarak barındırır. Bu süreç her müşteri için tekrarlanır; böylece her müşteri başına her performans göstergesi için ayrı bir hazırlık görünümü elde edilirken, hassas bilgilerin güvenliği korunur.
Adım 4: Veri modelleme
Sürecimizin 3. adımında, tüm verileri tek bir ana görünümde konsolide ettik. Bu ana görünüm, belirli müşteriyle ilgili özniteliklere dayalı filtreler uygulayarak müşteri özelinde görünümler oluşturmanın temelini sağlar. Tüm müşterilere ait boyutsal özniteliklerin tek bir yerde bulunması, görünüm oluşturma sürecini kolaylaştırır.
Ayrıca ana görünüm birden çok yılın verisini saklayabilir; ancak her müşterinin özel gereksinimlerine göre yalnızca birkaç aylık veriyle sınırlandırılması da kolaydır. Bu esneklik, müşterilere tam olarak ihtiyaç duydukları veriyi sunmamıza olanak tanır; böylece analitiğin ilgililiği ve verimliliği artar.
Yıldız şeması modeli (veriyi düzenlemek için kullanılan çok boyutlu bir veri modeli) veri modeli olarak kullanılır. Bu model, veriyi iki temel bileşene etkili biçimde ayırır: olgu (fact) tablosu ve boyut (dimension) tabloları.
Olgu tablosundaki sayısal veriler, birincil anahtarlar üzerinden boyut tablolarına sorunsuzca bağlanarak anlaşılması kolay ilişkiler kurar. Bu kurulum, kullanıcıların çeşitli boyutlara göre veriyi filtreleyip toplulaştırarak hızlı ve doğrudan sorgular yürütmesini sağlar. Kullanıcılar, çok sayıda tablo arasında karmaşık birleştirmelerle uğraşmadan belirli veri noktalarını keşfedebildiği için veri analizi oldukça kolaylaşır.
Yıldız şemasının mükemmel denormalize yapısı, boyut tablolarının bağımsız olmasını sağlar ve bu da son derece hızlı sorgu performansı sunar. Veritabanı motoru, yoğun işlemeye gerek kalmadan veriyi zahmetsizce getirir ve en karmaşık analitik sorgularda bile daha iyi yanıt süreleri sağlar.
Kısacası Yıldız Şeması, veri analizini basit ve verimli hale getiren güçlü bir müttefiktir. Veriyi Olgu ve Boyut Tablolarına ayırmak, sorgulamayı hızlandırır, keşfi kolaylaştırır ve bilinçli karar alma için içgörü dünyasının kapılarını aralar.
Görsel: Yazar
Verimlilik ve Esneklik
Bu yaklaşımın gerçek parlaklığı, dikkat çekici verimliliğinde ve eşsiz esnekliğinde yatar. İşte burada mikro hizmetler kavramından yararlanılır.
Değişiklik gerektiğinde—ister yeniden hesaplama olsun ister veri sorunlarını ele alma—performans göstergesinin mantığını hazırlık betiği içinde güncelleriz. Ayrıca bu süreç, sorun giderme ve değişiklikleri kesintisiz ve son derece hızlı görevlere dönüştürerek olası kesinti sürelerini ciddi ölçüde azaltır.
Bu yaklaşımın gücünü gerçekten kavramak için, belirli bir müşterinin performans göstergesinin uyuşmayan bir veri noktası gösterdiği bir senaryoyu hayal edin. Geleneksel sorun giderme yönteminde, yeniden hesaplamalar, kod çalıştırmaları ve veri doğrulama gibi birden fazla adımı içeren uzun bir kök neden bulma sürecinden geçmemiz gerekirdi.
Mevcut yaklaşımla ise benzersiz bir verimlilik seviyesine ulaşılır ve sorun giderme süreci sadeleşir.
Artık herhangi bir tutarsızlıktan sorumlu olan performans göstergesini hızla belirleyebilir, mantığını ayrıntılı biçimde inceleyebilir ve ilgili hesaplama tablosunu derhal doğrulayabiliriz. Sonuç olarak, hataların kaynağını belirlemek zahmetsizleşir ve gerekli düzeltmeleri uygulamak son derece hızlı gerçekleşir. Bu sayede, uzun ve yorucu adımlara takılmak yerine sorunları hızla ele almaya odaklandığımız için sorun giderme süresi dramatik biçimde azalır.
Uygulama ve Raporlama
Performans düzeylerini—iyi mi, kötü mü, yoksa geliştirme mi gerekiyor—değerlendirmek için hedeflere güveniriz. Bunu başarmak üzere, ana tabloya bağlı bir uygulama arayüzü geliştirilebilir. Bu kullanıcı dostu arayüz, kullanıcılardan öznitelik düzeyinde hedef girdilerini alır ve bunları özel bir tabloda saklar. Ana tabloyu, veri ambarı tablosunda mevcut verilerden doğrudan girdi alan bir uygulamayla entegre ederek bu yaklaşımın çözüm üretmedeki temel potansiyelini gösteririz.
Ardından hedefler tablosu, Performans Ana tabloyla birleştirilir ve performans göstergeleri ile ilgili hedeflerinin yan yana yer aldığı bütüncül bir görünüm oluşturulur. Bu entegrasyon, hedeflerin ne ölçüde karşılandığını kapsamlı biçimde anlamamızı sağlar.
Bu veriye dayalı raporlar oluşturmak çözümü tamamlar ve karar alma süreçlerine yön verecek güçlü içgörüler sunar.
Sonuç
Özetlediğimiz yaklaşım, tüm verileri bir araya getirerek şu büyük soruya yanıt verme yolunu açtı: Şirketin tüm müşterilerinin performansını tek bir merkezi yerde değerlendirebilir miyiz?
Ama hepsi bu kadar değil! Bu çözüm gelip geçici bir proje değil; sayısız olasılığın kapısını aralayan sağlam ve kalıcı bir çözüm. Bu çözümü güçlü bir temel olarak kullanan birden fazla rapor oluşturduğunuzu hayal edin.
Şimdi heyecan verici kısım başlıyor—bu paha biçilmez bilgiyi aktararak potansiyelinden yararlanabilecek yetkin bireyler yetiştirmek. Bir çözüm inşa etmek tek başına yeterli değildir; bunu gerçekten ölçeklenebilir ve sürdürülebilir kılmak için ekipleri güçlendirmeli ve bu kusursuz işleyen motoru eksiksiz çalışır halde tutmak üzere veri okuryazarlığı uzmanlığını geliştirmeliyiz.
Tıpkı iş süreçlerini iyileştirmeye yardımcı olan Altı Sigma metodolojisinde olduğu gibi, süreçleri sürekli geliştirir, iş akışlarını sadeleştirir ve bu istisnai yaklaşımı sürdürmek için önlemler alırız.
Özünde, yalnızca bir çözüm inşa etmiyoruz; yıllar boyu ilerlemeyi ve mükemmelliği tetikleyecek bir dönüşümü ateşliyoruz.
Çoğu durumda, en basit sorular sofistike bir veri altyapısı gerektirir. Veri bilimi özü itibarıyla veriyi kullanarak kuruluşunuzda anlamlı bir etki yaratmaktır. Bu güçlü çözüm elinizdeyken, verinizin gerçek potansiyelini açığa çıkarabilir ve dönüştürücü bir etki yaratabilirsiniz.
Veri mühendisliği ve analitiği dünyasına daha derin dalmaya hazır mısınız? Veri toplama, alma ve dönüştürmeyi optimize etme becerileri kazanmak için DataCamp’in pandas ile Kolaylaştırılmış Veri Alımı kursuna kaydolun. Alternatif olarak, işletmelerin aradığı talep gören becerileri edinmek için Python ile Veri Mühendisi kariyer yoluna göz atın ve hazır olduğunuzda Veri Mühendisi Sertifikası alın.
