Olgun Bir Veri Altyapısı Nasıl Görünür

Veri odaklı dijital dönüşümün durumu

Kuruluşlar COVID-19 pandemisi sırasında hızlanan dijital dönüşümlerden geçerken, veriden, makine öğreniminden ve analitikten yararlanmanın önemi hiç olmadığı kadar arttı.

Yapay Zekânın Durumu konulu 2020 McKinsey Küresel Araştırması, işletmelerin %50’sinin en az bir iş fonksiyonunda yapay zekâyı benimsediğini ve kuruluşların %22’sinin faiz ve vergi öncesi kazançlarının en az %5’ini yapay zekâ girişimlerine atfettiğini bildirdi.

Ancak, veri ve yapay zekânın değerini ölçekli olarak açığa çıkarmak için kuruluşların verilerini demokratikleştirmesi ve organizasyon genelinde veri yetkinliğini sağlaması gerekir. Bunu yapmanın yollarından biri, ekipler ve yetkinlik düzeyleri genelinde güvenilir ve eyleme dönüştürülebilir verilere erişim sağlayarak herkesin veriyle bilgilendirilmiş iş kararları almasını mümkün kılmaktır.

Veri demokratikleşmesinin merkezinde veri altyapısı

Veri yetkinliğine ulaşmadan önce kuruluşların temelleri doğru atması gerekir. Bu, verinin bir organizasyon içinde nasıl aktığını anlamakla başlar ve ardından düzenli ve birleşik bir veri altyapısına doğru inşa edilir.

2021 veri trendleri ve öngörüleri konulu bir web seminerinde, DataCamp Ürün Araştırmaları Başkan Yardımcısı Ramnath Vaidyanathan, verinin tipik olarak bir organizasyon içinde nasıl aktığını anlattı. Bu akış, ham veriyi almak, içeri aktarmak ve dönüştürmek, merkezi bir konumda depolamak ve gösterge tabloları ve raporlar, makine öğrenimi çıktıları ve daha fazlası şeklinde veri içgörüleri üretmek için veri mühendisliği araçlarını gerektirir.

Kuruluş içinde veriye erişimi ölçeklendirmek, büyük ölçüde sağlam bir veri altyapısı mimarisinin varlığına ve en yeni veri altyapısı araçlarının kullanımına bağlıdır. Bu da kuruluşların ham veriyi erişilebilir ve değerli veri içgörülerine dönüştürmesini sağlar.

Veri altyapısı araçlarının durumu

Veri altyapısı ve araçlarının önemi, veri altyapısı pazarının hızlı büyümesi ve evrimiyle kanıtlanmaktadır. Birçok çözüm, bir kuruluşun veri altyapısının belirli bir unsuruyla çalışmayı kolaylaştırmayı amaçlar; bu da gezinmesi zor olabilen, giderek daha parçalı bir araç manzarasıyla sonuçlanmıştır.

Dataiku tarafından oluşturulan aşağıdaki görsel, veri altyapısı pazarının çok sayıda ayrıntılı kategoriye nasıl bölündüğünü ve her segmentte yer alan, sayıları artan rakip çözümleri yerinde bir şekilde göstermektedir.

Kaynak: Dataiku

Veri altyapısı araçlarının geleceği

Geçtiğimiz yılın sonlarında, Andreessen Horowitz bu karmaşık veri altyapısı manzarasına netlik kazandırmak amacıyla birleşik bir mimari çerçeve geliştirdi. Büyük hacimli verilerle çalışmaya yönelik artan ihtiyaç ve mevcut çözümlerin bolluğu karşısında bu çerçeve, bir kuruluşun veri yığınını modernize ederken, haritalarken ve inşa ederken pratik bir referans sunmaktadır.

Kaynak: Andreessen Horowitz

Bu alan ve eğilim geliştikçe, veri altyapısı yığınındaki çeşitli araçların konsolidasyonunu ve standartlaşmasını göreceğiz. Bu da bulut benimsemesi, veri keşfi araçları ve merkezi veri yönetişimi platformlarıyla birlikte, kuruluşların ekipler ve fonksiyonlar genelinde veriye ölçeklenebilir erişim sağlamasına imkân tanıyacaktır.

Peki ideal bir geleceğin veri altyapısı ne sunar? Dünya Bankası’nda Veri Mühendisi ve San Diego şehrinin eski CDO’su Maksim Pecherskiy’ye göre veri toplanmış, keşfedilebilir, güvenilir, anlaşılır, uyumlu ve eyleme dönüştürülebilir olmalıdır. Sonuçta amaç, veriyi kullanılabilir ve güvenilir kılmaktır; bu da organizasyon genelinde veri yetkinliğini besler.

Olgun veri altyapısı; bulut benimsemesi, veri keşfi araçları ve merkezi veri yönetişimi platformlarını içerir

2021 ve sonrasında veri demokratikleşmesi etrafındaki veri altyapısı araçları olgunlaştıkça, aşağıdaki teknolojilerin benimsenmesi ve büyümesi de artacaktır:

1. Bulut Benimsemesi

Bulut teknolojilerinin kullanımı, özellikle 2020’de gördüğümüz hızlanan veri odaklı dijital dönüşümün ardından, norm haline geliyor.

Bulut çözümleri, veri depolamayı ve erişimi geliştirmesinin yanı sıra, veriyi toplamak, içeri aktarmak, dönüştürmek, depolamak ve içgörü üretmek için sayısız kullanıcı dostu ürün de sunar.

Bulut platformu alanında çok sayıda sağlayıcı vardır ve kilit oyunculardan biri Amazon Web Services’tır (AWS). AWS, işletmelerin verilerinden yüksek hızda, ölçekte ve düşük maliyetle en iyi şekilde yararlanmasını sağlayan 100’den fazla ürüne sahiptir.

2. Veri Keşfi Araçları

Kurumsal veri manzaralarına veri tabloları, raporlar ve modeller eklendikçe veri altyapısını ölçeklendirmek kritik olacaktır. Paydaşlar, en iyi işleri çıkarabilmek için güvenilir, anlaşılır, uyumlu ve eyleme dönüştürülebilir veri ve içgörülere kolaylıkla ulaşabilmelidir.

Bu zorluğun üstesinden gelmek için, (ayrıca meta veri yönetimi araçları veya veri katalogları olarak da anılır) kuruluş içindeki bu veri hazineleri için çok yönlü arama motorları gibi çalışabilir. Meta veri, esasen belirli bir veriyi tanımlayan bir veri kümesine karşılık gelir ve mevcut geniş veri çeşitliliğini dizine eklemek için faydalıdır.

Lyft, kendi veri keşfi aracı olan Amundsen’i açık kaynaklı hale getirerek, kuruluşların analizlerinde kullandıkları verileri keşfetmelerine, anlamalarına, paylaşmalarına ve güvenmelerine yardımcı olmayı amaçlayan bir meta veri motoru çözümü sundu. Bu yetenek, veri yetkinliklerini ölçeklemek isteyen her kuruluş için hayati önem taşır.

3. Merkezi Veri Yönetişimi Platformları

Daha önce de belirtildiği gibi, veride güven oluşturmak veri demokratikleşmesini teşvik etmek için esastır. İşte bu noktada veri yönetişimi büyük rol oynar. Sürekli artan veri hacmi ve çeşitliliği karşısında veri kalitesinin, tutarlılığının ve uygunluğunun merkezi olarak denetlenmesi kritik önemdedir.

Collibra ve Alation gibi şirketler tarafından sunulan merkezi veri yönetişimi platform hizmetleri, kuruluşların verilerinin erişilebilirliğini, tutarlılığını ve bütünlüğünü etkin bir şekilde yönetmelerine yardımcı olur. Böylece tüm paydaşlar güvenilir ve tek bir doğru kaynağından çalışabilir.

Olgunlaşan bir veri altyapısı, 2021 ve sonrasına ilişkin öngördüğümüz veri eğilimlerinden yalnızca biri. Daha fazlası için Veri Trendleri ve Öngörüleri 2021: Veri Yetkinliği Yılı başlıklı teknik raporumuzu indirin veya web seminerimizi izleyin.