Günümüzde en başarılı kuruluşlar kararlarını büyük ölçüde veriye dayanarak alıyor. Bu veri yetkinliğine sahip kuruluşların birçoğu, her gün milyonlarca satır veri üretiyor ve bu veriler geniş bir ekip yelpazesi tarafından kullanılıp analiz ediliyor. Ekiplerin veriye erişmesini ve verilerle çalışmasını sağlama yolundaki temel zorluklardan biri, verinin toplanmış, güvenilir, tutarlı, eyleme dönüştürülebilir ve keşfedilebilir olmasını temin etmektir.
Bu karmaşık veri manzaralarında yol alabilmek için pek çok kuruluş, veri keşfi araçları adı verilen kurum içi teknolojiler geliştirdi ve açık kaynak olarak yayımladı.
Yakın tarihli bir webinarda DataCamp Ürün Araştırması Başkan Yardımcısı Ramnath Vaidyanathan, kuruluşların verilerle çalışacak beceri ya da erişimin olmadığı veri tepkisel bir durumdan, herkesin veriye erişimi ve veriyle çalışacak becerileri olduğu, veriye dayalı kararlar alabildiği veri yetkin bir duruma nasıl geçebileceğini anlattı. Kuruluşlar, IPTOP çerçevesine—altyapı, insanlar, araçlar, organizasyon ve süreçler—yatırım yaparak veri olgunluklarını artırabilir. Kuruluşlar veri altyapısına yaptıkları yatırımlarla veriye erişimi ölçeklendirdikçe, veri keşfi araçlarıyla kolay veri keşfedilebilirliği sağlamaları gerekecektir.
İnsanlar veriye erişemiyorsa, toplanan verinin bağlamını anlamıyorsa ve ihtiyaç duyduklarını bulamıyorsa veri faydalı değildir. Bu nedenle veri keşfi araçları gerçekten kritik öneme sahiptir. Ramnath Vaidyanathan, DataCamp Ürün Araştırması Başkan Yardımcısı
Veri yetkinliğine sahip şirketler veri keşfi araçlarını nasıl kullanır
Pek çok veri odaklı şirket, veri altyapılarında veri keşfi araçlarını uygulamaya aldı. Uber Databook ve Lyft Amundsen gibi dikkat çeken veri keşfi araçlarının arkasındaki motivasyon ve itici güçlere bakalım.
Dikkate alınması gereken veri keşfi zorlukları
Temel bir veri keşfi zorluğu, üretkenlik ve uyumluluktur. Lyft, verilerinin boyutu katlanarak arttıkça ve en az önümüzdeki 10 yıl boyunca benzer hızda artmasının öngörüldüğü dönemde bu zorluklarla karşılaştığını belirtti. Amundsen’i geliştirirken bir analistin zamanının yaklaşık %25’inin veri keşfine harcandığını saptadılar. Hizmet verdikleri ülkelerde giderek daha sıkılaşan uyumluluk gereklilikleriyle de karşılaşıyorlardı.
Uber de benzer endişeleri dile getirdi; yalnızca bir araç çağırma uygulaması olmanın ötesine geçerek Uber Eats, Uber Freight ve Jump Bikes gibi hizmetlere genişlemeye başladıklarında bu durum belirginleşti. Databook’u geliştirirken Uber’in günde 15 milyonun üzerinde yolculuğu ve farklı ekiplerde 18.000 çalışanı vardı. Bir diğer zorluk, verilerinin birçok farklı biçimde bulunmasıydı, örneğin Hive, Presto ve Vertica. Analistlerin veri yetkinliğine ulaşabilmeleri için çeşitli veri kaynaklarına verimli biçimde erişmeleri ve bunları anlamaları gerekiyordu.
Facebook, Nemo adlı veri keşfi platformunu veri boyutu ve karmaşıklığı roller ve coğrafyalar arasında arttıkça yüksek kaliteli, güvenilir veriye duyulan ihtiyacı karşılamak için inşa etti. Analiz ettikleri verilerle ilişkili gizlilik endişeleri nedeniyle, belirli analistlere tablolar sunarken ele alınması gereken önemli uyumluluk meseleleriyle de karşılaştılar.
Airbnb’den John Bodley, 2017’de bir konferansta yaptığı konuşmada “Airbnb büyüdükçe, verinin hacmi, karmaşıklığı ve anlaşılmazlığıyla ilgili zorluklar da büyüyor.” dedi. Bu da çalışanların veriyi sıklıkla “silo halinde, erişilemez ve bağlamdan yoksun” bulduğu anlamına geliyordu. Sonuç olarak çalışanlar yinelenen tablolar oluşturuyor ve güvenmedikleri veriyi kullanmıyorlardı. Airbnb, bu verimli veri analizi önündeki engelleri kaldırarak veri keşfi sürecini çok daha etkin hale getirmek için Dataportal’ı geliştirdi.
Bu zorluklar yaygın, sektörden bağımsız ve veriye dayalı karar almayı ölçeklendirmek isteyen her kuruluş için geçerlidir. Kuruluşlar veri yetkinliğine ulaşmayı hedefledikçe, kolayca keşfedilebilir veriye duyulan ihtiyaç hayati önem kazanacaktır.
Veri keşfi araçlarının dört temel hedefi
Artık veri keşfi zorluklarını anladığımıza göre, çeşitli veri keşfi araçlarının bunları nasıl ele aldığına bakalım. Uber, başarılı bir veri keşfi platformunun hedeflerini dört bileşene ayırıyor:
- Genişletilebilirlik: Tablolara kolayca meta veri, depolama ve varlık ekleyebilme
- Erişilebilirlik: Tüm meta verilere programatik olarak erişebilme
- Ölçeklenebilirlik: Çok sayıda eşzamanlı okuma isteğini destekleyebilme
- Güç: Birden fazla veri merkezi genelinde okuma ve yazma isteklerini destekleyebilme
Kuruluşlar veri yetkinliklerini olgunlaştırdıkça bu veri keşfi hedeflerine ulaşma düzeyi artar. Verinin ölçeği büyüdükçe bu bileşenlerin her biri daha da önemli hale gelir.
Lyft ve Airbnb ayrıntılı meta veriler sunar
Lyft’in mühendislik ekibi, “meta verinin geleceğin uygulamalarının kutsal kâsesi” olduğunu savunuyor. Meta veriyi iki alt kategoriye ayırıyorlar. İlki; uygulama bağlamı (ör. veriyle çalışmak için insanların bilmesi gerekenler), davranış (ör. belirli bir veri kümesinin sahibi ve yaygın kullanım örüntüleri) ve değişim (ör. veri kümesinin zaman içinde nasıl değiştiği) gibi öğelerden oluşan, betimleyici bir veri kümesidir. İkinci bileşen ise veri mağazaları, panolar, veri akışları ve daha fazlası gibi, kuruluşta herhangi bir biçimde depolanan verilerin tamamı olan betimlenen veridir.
Dataportal, yani Airbnb’nin veri keşfi platformu geliştirilirken, meta veri platformun veri hattına kattığı değerin ayrılmaz bir parçasıydı. Dataportal tanıtılmadan önce, birçok çalışan bağlam ve meta veri eksikliği nedeniyle kullandıkları veriye güvenmiyordu. Airbnb, “Bir olay günlüğünün üretiminden görselleştirmede tüketimine kadar tüm veri ekosisteminin anlaşılmasının, parçaların toplamından daha fazla değer sağladığını” savunuyor.
Kaynak: Airbnb
Veri keşfi ile yüksek kaliteli arama sonuçlarını sağlayın
Bu bağlam sunulduktan sonra, veri keşfi etkili bir arama gerektirir. Her tablo ne kadar güvenilir ve kolay anlaşılır olursa olsun, analistler ihtiyaç duydukları veriyi hızla bulamadıkça veri keşfi platformları faydalı olmaz.
Lyft Amundsen’in açılış sayfası, kullanıcıların doğal dil sorgularıyla tabloları aramasına olanak tanır ve hızlı erişim için kuruluşta en çok kullanılan tablolara görünürlük sağlar. Ayrıca analistler, gelecekteki arama sonuçlarını iyileştirmek amacıyla tablo hakkında geri bildirim bırakma seçeneğine sahiptir.
Facebook’un veri keşfi çözümü Nemo, analistlerin kullanım, gizlilik kısıtları ve verinin güncelliğine göre filtreleme yapmasına imkân tanırken, kullanıcıların arama çubuğuna soru yazarak ilgili tablolara ulaşmasını sağlayan doğal dil işleme yetkinliklerini de kullanır.
Uber Databook da benzer arama filtreleme yetenekleri sunar; analistlerin ad, sahip, sütun ve iç içe sütunlar gibi boyutlara göre filtreleme yapmasına olanak tanır. Uber, arama sonuçlarını hızlı ve etkili şekilde sunmak için Elasticsearch’ten yararlanır.
Veri keşfi yoluyla veri demokratikleşmesine ulaşmak
Veri yetkinliğini ölçeklendirme ile veri keşfedilebilirliği el ele gider; çünkü analistlerin veriye dayalı kararlar alabilmesi için veriye kolay erişime ihtiyacı vardır.
Veri olgunluğu düşük olan kuruluşlar, veri becerileri ve kültürünü geliştirmeye ve veri altyapısını ölçeklendirmeye odaklanmalıdır. Ancak kuruluşlar veri olgunluğu yolculuklarında ilerledikçe ve veriye erişimi genişlettikçe, genişletilebilir ve ölçeklenebilir veri keşfini etkinleştirmek, veriye dayalı bir organizasyon olmanın ayrılmaz bir parçası olacaktır. Kurumsal veri olgunluğunu artırmanın tüm kaldıraçlarına ilişkin derinlemesine bir tartışma için veri yetkinliğine giden yol başlıklı webinarımızı izleyin veya veri olgunluğu değerlendirmesini yapın.
