Büyük veriyi depolamaya gelince, en popüler iki seçenek veri gölleri ve veri ambarlarıdır. Veri ambarları, arşivlenmiş yapılandırılmış veriyi analiz etmek için kullanılırken, veri gölleri her türdeki büyük veriyi depolamak için kullanılır.
Bu yazıda, ikisi arasındaki farkları açacağız. Aşağıdaki tablo, farklarını beş kategoriye ayırarak gösterir.
| Veri Gölü | Veri Ambarı | |
|---|---|---|
| Veri türü | Çeşitli şirket veri kaynaklarından gelen yapılandırılmamış ve yapılandırılmış veri | İlişkisel bir veritabanı şemasına uyacak şekilde yapılandırılmış geçmiş veriler |
| Amaç | Maliyet etkin büyük veri depolama | İş kararları için analitik |
| Kullanıcılar | Veri bilimciler ve veri mühendisleri | Veri analistleri ve iş analistleri |
| Görevler | Veri depolama ve derin öğrenme ile gerçek zamanlı analitik gibi büyük veri analitiği | Genellikle veriyi birleştirmek ve özetlemek için salt okunur sorgular |
| Boyut | Kullanılabilecek tüm veriyi saklar—petabaytlarca yer kaplayabilir! | Sadece analize ilgili verileri depolar |
Veri türü
Veri temizleme, verinin doğal olarak dağınık ve kusurlu biçimlerde gelmesi nedeniyle temel bir veri becerisidir. Henüz temizlenmemiş ham veriye yapılandırılmamış veri denir—dünyadaki verilerin çoğunu oluşturur; fotoğraflar, sohbet kayıtları ve PDF dosyaları gibi. Bir şemaya uyacak şekilde temizlenmiş, tablolara düzenlenmiş ve veri türleri ile ilişkilerle tanımlanmış yapılandırılmamış veriye ise yapılandırılmış veri denir. Bu, göller ile ambarlar arasındaki temel farktır.
Veri gölleri; IoT cihazları, gerçek zamanlı sosyal medya akışları, kullanıcı verileri ve web uygulaması işlemleri gibi çok çeşitli kaynaklardan veri depolar. Bazen bu veriler yapılandırılmıştır, ancak çoğu zaman oldukça dağınıktır çünkü veriler doğrudan kaynaktan içe aktarılır. Öte yandan veri ambarları, ilişkisel bir şemaya uyacak şekilde temizlenmiş geçmiş verileri barındırır.
Amaç
Veri gölleri, birçok kaynaktan gelen büyük miktarda verinin maliyet etkin depolanması için kullanılır. Her türlü yapıya sahip veriye izin vermek maliyeti düşürür çünkü veri belirli bir şemaya uymak zorunda olmadığından daha esnek ve ölçeklenebilirdir. Ancak yapılandırılmış veriyi analiz etmek daha kolaydır çünkü daha düzgündür ve sorgulanabilecek tekdüze bir şemaya sahiptir. Veriyi bir şema ile sınırlayarak, veri ambarları belirli iş kararları için geçmiş verilerin analizinde oldukça verimlidir.
Veri göllerinin ve veri ambarlarının bir veri iş akışında birbirini tamamladığını fark edebilirsiniz. İçe aktarılan şirket verileri derhal bir veri gölünde saklanır. Belirli bir iş sorusu ortaya çıktığında, ilgili olduğu düşünülen verinin bir kısmı gölden çıkarılır, temizlenir ve bir veri ambarına aktarılır.
Kullanıcılar
Veri gölleri ve veri ambarları farklı kullanıcılar için faydalıdır. Veri analistleri ve iş analistleri, çalışmalarına özel olarak işlenmiş ilgili verileri içeren veri ambarlarında sıklıkla çalışır. Veri ambarlarını kullanmak, daha düşük düzeyde programlama ve veri bilimi bilgisi gerektirir.
Veri gölleri, onları veri boru hatlarına entegre eden veri mühendisleri tarafından kurulur ve yönetilir. Veri bilimciler, daha geniş ve daha güncel kapsamlı veri içerdiği için veri gölleriyle daha yakın çalışır.
Görevler
Veri mühendisleri, gelen veriyi depolamak için veri göllerini kullanır. Ancak, veri gölleri yalnızca depolama ile sınırlı değildir. Unutmayın, yapılandırılmamış veri daha esnek ve ölçeklenebilirdir; bu da çoğu zaman büyük veri analitiği için daha iyidir. Apache Spark ve Hadoop gibi hizmetler kullanılarak veri göllerinde büyük veri analitiği çalıştırılabilir. Bu özellikle, eğitim verisinin miktarındaki artışla ölçeklenebilirlik gerektiren derin öğrenme için geçerlidir.
Veri ambarları genellikle analist kullanıcılar için salt okunur olarak ayarlanır; bu kullanıcılar esas olarak içgörüler elde etmek için veriyi okur ve birleştirir. Veri zaten temiz ve arşiv niteliğinde olduğundan, genellikle veri eklemeye veya güncellemeye gerek yoktur.
Boyut
Veri göllerinin boyut olarak çok daha büyük olması şaşırtıcı değildir; çünkü bir şirket için ilgili olabilecek tüm verileri tutarlar. Veri gölleri çoğu zaman petabayt boyutundadır—bu da 1.000 terabayttır! Veri ambarları ise hangi verinin depolanacağı konusunda çok daha seçicidir.
Sonuç
Bir veri gölü ile veri ambarı arasında karar verirken, bu kategorileri gözden geçirip hangisinin kullanım durumunuza en uygun olduğuna bakın. Aralarındaki farklara daha derinlemesine dalmak veya veri ambarlarının nasıl tasarlanacağını öğrenmek isterseniz, Veritabanı Tasarımı kursumuza göz atın!
Bazen her iki depolama çözümünün bir kombinasyonuna ihtiyaç duyabileceğinizi unutmayın. Bu özellikle veri boru hatları oluştururken geçerlidir. Bunu uygulamada, Veri Mühendisliğine Giriş ve Python ile Veri Mühendisliği Boru Hatları Oluşturma kurslarımızda görebilirsiniz.
