Veri Profesyonelleri Adayları için Veri Boru Hatlarına Giriş

Neden Veri Boru Hatları Kullanılır?

Hiç boru hattı kurmanıza neden ihtiyaç duyacağınızı merak ediyor olabilirsiniz. Eğer hazır veri setleriyle veya yalnızca tek bir kaynaktan gelen verilerle, örneğin Kaggle ya da DataCamp alıştırmalarındaki gibi, çalıştıysanız muhtemelen bir boru hattına hiç ihtiyaç duymadınız. Bu seçilmiş veri setleri, analistlerin doğrudan çekip üzerinde çalışabileceği şekilde zaten hazırlanmıştır.

Ancak çok sayıda kaynaktan gelen bilgileri birleştirmek istiyorsanız, tüm verilerin analiziniz için erişilebilir olmasını sağlamak üzere bir boru hattı kurmanız gerekebilir.

Veri boru hatlarını kullanmak için temel nedenler

İşte veri boru hatlarını kullanmayı düşünebileceğiniz bazı temel nedenler:

• Tek kaynak sınırlamaları. Hazır veri setleri çoğu zaman tek kaynaklı veriyle sınırlıdır ve analiz kapsamını daraltır.
• Veri entegrasyonu. Boru hatları, birden çok kaynaktan veri birleştirerek analizi zenginleştirir.
• Otomatik analiz. Boru hatları düzenli ve otomatik veri toplama ile analizi kolaylaştırır, zaman kazandırır ve manuel hataları azaltır.
• Veri tutarlılığı. Farklı kaynaklardan gelen verilerin standartlaştırılması ve dönüştürülmesine yardımcı olur.
• Verimlilik. Otomatik boru hatları veri iş akışını hızlandırır ve analiz sürecini daha verimli hale getirir.

Veri boru hattı örneği

Örneğin, bir okul bölgesindeki öğrencilerin ortalama not ortalamasının (GPA) ilçedeki ortalama gelirle veya nüfus büyüklüğüyle ilişkili olup olmadığını bilmek istediğinizi hayal edin. Bu analiz için, analiz kapsamınızdaki her okul bölgesinden GPA verilerini, IRS’ten gelir verilerini ve Nüfus Sayım Bürosu’ndan nüfus büyüklüğünü çekmeniz gerekebilir.

Bu bilgileri muhtemelen bir kez manuel olarak çekebilirsiniz. Ancak bu analizi düzenli aralıklarla tekrarlamanız gerektiğini düşünün. Güvenilir bir boru hattı kurmak, bu bilgi toplama sürecini otomatikleştirmenize yardımcı olarak zaman ve zahmetten tasarruf sağlar.

Veri tutarsızlıklarıyla başa çıkma

Verileri tek bir yerde toplamaya ek olarak, boru hatları farklı kaynaklardan gelen verilerdeki tutarsızlıklarla başa çıkmanıza yardımcı olabilir. Örneğin Nüfus Sayım Bürosu ilçeleri tam adlarıyla tanımlarken, IRS ilçeleri kısaltılmış adlarla tanımlayabilir.

Veri dönüşümü

Boru hattı içinde, ilçelerin nihai depoda nasıl tanımlandığını standartlaştıracak bir sistem kurabilirsiniz. Ya da belki nüfus, farklı girdilerde farklı birimlerle işaretlenmiştir ve nihai hedefinizde hangi birim sisteminin kullanılacağını standartlaştırmanız gerekir. Bu tür değişikliklere dönüşüm denir.

Şekil 2: Farklı kaynaklardan bilgi birleştirilirken birim değişiklikleri ve standartlaştırılmış adlar gibi dönüşümler gerekli olabilir.

Veri Boru Hattı Kullanım Senaryoları ve Paydaşlar

Veri boru hatları genellikle veri mühendisleri tarafından geliştirilir ve sürdürülür.

Veri boru hattının sonunda veriler toplandıktan, temizlendikten ve düzenlendikten sonra, veriler veri analistleri, veri bilimciler veya iş analistleri gibi çeşitli paydaşlar tarafından çekilebilir.

Veriler daha sonra gerçek zamanlı analizlerde, güncellenen bir gösterge panosunda veya bir makine öğrenimi modeline girdi olarak kullanılabilir. Bazen, boru hattının sonu bir iş lideri veya birey tarafından kullanılan bir uygulama veya gösterge panosu olabilir.

Boru hatları, büyük miktarda veri kullanan hemen her sektörde kullanılır. Teknoloji sektörü gibi bazı büyük kuruluşlarda, boru hatları karmaşık, sıkı şekilde düzenlenmiş ve uzman mühendislerden oluşan bir ekip tarafından yönetilir.

Daha küçük kuruluşlarda, örneğin dünyadaki çeşitli sensörlerden veri toplamaya çalışan tek bir araştırmacı söz konusuysa, boru hattı yalnızca birkaç adımdan oluşan oldukça yalın ve basit olabilir. Boru hatlarının kullanılabileceği diğer örnekler arasında, hangi hisseleri alacağına karar vermek için finansal bilgi toplayan bir borsa simsarı veya çeşitli hastane iştiraklerinden hasta kayıtlarını toplayan bir hastane sistemi yer alır.

Boru hatları, makine öğrenimi modelleri için de kritiktir. Bu modeller çok büyük miktarda veri tüketir ve düzgün çalışmaları için uygun bir boru hattı şarttır. Bu MLOps eğitimi, boru hatlarının makine öğreniminde nasıl kullanıldığına dair daha fazla ayrıntı verir.

Veri Depolama: Veri Gölleri, Veri Ambarları ve Veritabanları

Veriler, türüne ve hedef kullanımınıza bağlı olarak çeşitli şekillerde depolanabilir. Veri depolamayla ilgili olarak muhtemelen karşınıza çıkacak üç terim veri gölleri, veritabanları ve veri ambarlarıdır. Bunların her birine kısaca değinelim.

Veri gölü

Veri gölü, hem yapılandırılmış hem de yapılandırılmamış verileri ölçekli biçimde barındırabilen, büyük ve esnek bir depolama havuzudur. Web günlükleri, sensörler, sosyal medya ve daha pek çok çeşitli kaynaktan gelen ham, işlenmemiş verilerin kuruluşlar tarafından kendi doğal formatında saklanmasına olanak tanır.

Veri gölleri, veri bilimciler ve analistlerin verileri çeşitli şekillerde keşfetmesine, dönüştürmesine ve analiz etmesine olanak tanıdıkları için çok yönlülükleriyle bilinir. Şeması ve yapısı önceden tanımlı olmayan verilerden içgörü elde etme esnekliği sunarak büyük veri ve ileri analitik kullanım senaryolarında özellikle değerlidir.

Veritabanı

Veritabanları, yapılandırılmış verileri verimli şekilde depolamak, yönetmek ve almak için kullanılan daha genel amaçlı sistemlerdir. Veri ambarlarıyla bazı benzerlikleri paylaşsalar da veritabanları tipik olarak işlem verileri, günlük operasyonlar ve gerçek zamanlı uygulamalar için kullanılır. İlişkisel veritabanları, NoSQL veritabanları ve bellek içi veritabanları gibi çeşitli türleri vardır ve her biri belirli veri depolama ve işleme gereksinimlerine uygundur. Veritabanları veri bütünlüğünü sağlar, eşzamanlı erişimi destekler ve sorgulama ile veri alma için çeşitli mekanizmalar sunar.

Veri ambarı

Veri ambarları ise esas olarak analitik amaçlarla yapılandırılmış verileri depolamak, düzenlemek ve sorgulamak için tasarlanmış, yüksek düzeyde yapılandırılmış ve optimize edilmiş depolama alanlarıdır. Genellikle önceden tanımlı bir şemayı izler, veri kalitesini ve tutarlılığını uygular ve karmaşık sorgulama ile raporlama görevleri için optimize edilmiştir.

Veri ambarları, standartlaştırılmış raporlama ve analitik için tek bir doğru kaynak sunarak işletmelerin geçmiş verilere dayalı, bilgiye dayalı kararlar alması için idealdir. Veriler genellikle çeşitli kaynaklardan çıkarılır, tutarlı bir formata dönüştürülür ve analiz için veri ambarına yüklenir.

Şekil 3: Veri gölü, veri ambarı ve veritabanı arasındaki bazı farkları gösterme. Bir veri gölü, ucu bir ambar ya da veritabanında bitebilecek bir boru hattında önceki bir adım olarak kullanılabilir.

Boru Hattı Şeması (ETL ve ELT)

Boru hatları genellikle iki ana şemadan birini izler: ETL (Extract, Transform, Load - Çıkar, Dönüştür, Yükle) veya ELT (Extract, Load, Transform - Çıkar, Yükle, Dönüştür).

ETL

ETL sıralı bir yaklaşımı takip eder. Önce veriler, veritabanları, dosyalar, API’ler veya diğer veri depoları gibi çeşitli kaynak sistemlerinden çıkarılır.

Çıkarıldıktan sonra veriler, istenen şema, kalite ve iş kurallarını karşılayacak şekilde dönüştürülür. Bu dönüşüm; temizleme, birleştirme ve veriyi yapılandırmayı içerebilir. Son olarak dönüştürülmüş veriler, genellikle raporlama ve analitik için optimize edilmiş bir formatta hedef veri ambarına veya depolama sistemine yüklenir.

Verilerin veri ambarında saklanmadan önce önemli ölçüde yeniden yapılandırılması veya temizlenmesi gerektiğinde ETL faydalıdır; çünkü verilerin temiz ve analize hazır olmasını sağlar. Python ile ETL kursu, Python ve SQL kullanarak ETL’ye dair ayrıntılı bir genel bakış sunar.

ELT

ELT ise dönüşüm adımının sırasını tersine çevirir. ELT sürecinde, veriler önce kaynak sistemlerden çıkarılır ve önemli bir dönüşüm yapılmadan olduğu gibi bir veri ambarına veya bazen bir veri gölüne yüklenir. Verilerin dönüşümü ve işlenmesi, veritabanının kendisi içinde gerçekleşir.

Bu yaklaşım, modern veri ambarlarının ve büyük veri platformlarının işlem gücünden ve esnekliğinden yararlanır; büyük hacimli ham verileri depolamak ve dönüşümleri talep üzerine gerçekleştirmek istediğiniz senaryolar için uygundur.

ELT, bulut tabanlı veri ambarları veya Hadoop gibi dağıtık veri işleme çerçeveleri gibi, karmaşık dönüşümleri verimli şekilde yönetebilen bir veri ambarı çözümüne sahip olduğunuzda sıklıkla tercih edilir.

Yaygın Veri Boru Hattı Araçları ve Teknolojileri

Boru hatları geliştirmek için pek çok araç mevcuttur. Doğru olanları seçmek, boru hattınızın boyutuna, ölçekleme ihtiyaçlarına, mevcut bütçeye ve hedeflere bağlı olacaktır. Python ve SQL (veya R ve SQL) kullanarak uçtan uca bir boru hattı oluşturabilir ya da çeşitli ticari araçlardan faydalanabilirsiniz.

İşte bazı yaygın ticari teknoloji ve araçlara kısa bir bakış.

ETL Araçları

• Apache NiFi: NiFi, veri akışları tasarlamak için kullanıcı dostu bir arayüz sunan, açık kaynaklı bir veri entegrasyon aracıdır. Veri alımı, dönüştürme ve yönlendirmeyi destekler ve özellikle çeşitli kaynak ve formatlardan gelen verileri yönetmek için uygundur.
• Apache Airflow: Airflow, karmaşık veri iş akışlarını düzenlemede başarılı, açık kaynaklı bir iş akışı otomasyon aracıdır. Veri boru hattı görevlerini tanımlamayı, zamanlamayı ve izlemeyi kolaylaştırır.
• Talend: Talend, kapsamlı veri entegrasyonu ve dönüşüm yetenekleri sunan popüler bir ETL aracıdır. Geniş bir bağlayıcı yelpazesi sağlar ve hem toplu hem de gerçek zamanlı işlemleri destekler.

Ayrı bir yazımızda en iyi ETL araçlarının listesini ve neden tercih edilmesi gerektiğini inceleyebilirsiniz.

Veri Akışı Platformları

• Apache Kafka: Kafka, veri akışlarının gerçek zamanlı işlenmesini sağlayan dağıtık bir olay akışı platformudur. Yüksek ölçekte genişletilebilir ve hataya dayanıklıdır; yüksek aktarım hızlı verileri yönetmek için uygundur.
• Amazon Kinesis: Kinesis, Amazon Web Services (AWS) tarafından sunulan yönetilen bir akış hizmetidir. Gerçek zamanlı veri akışlarını büyük ölçekte alma, işleme ve analiz etme sürecini basitleştirir.

Veritabanı teknolojileri

• SQL Veritabanları: MySQL, PostgreSQL ve Oracle gibi geleneksel SQL veritabanları, özellikle yapılandırılmış veriler için veri boru hatlarında sıklıkla kaynak ve hedef olarak kullanılır.
• NoSQL Veritabanları: MongoDB ve Cassandra gibi NoSQL veritabanları, tablo yapısına iyi uymayan yapılandırılmamış veya yarı yapılandırılmış verilerle çalışırken tercih edilir.
• Veri Ambarı: Amazon Redshift ve Google BigQuery gibi veri ambarı çözümleri, büyük veri setlerini depolamak ve analiz etmek için kullanılır. Gelişmiş analitik ve raporlamayı desteklemek üzere veri boru hatlarıyla sorunsuz entegre olurlar.

Boru Hatları için Veri Çıkarma

Veri boru hattı oluşturmanın ilk adımı, boru hattına konulacak verileri toplamaktır. Güncel bilgi almak için devlet web sayfaları, sosyal medya platformları ve bazı kâr amacı gütmeyen kuruluşlar dahil olmak üzere çevrimiçi pek çok yer vardır. Çoğu zaman bunların kullanımı nispeten kolay bir API’si bulunur.

API kullanma

API (uygulama programlama arayüzü), iki veya daha fazla uygulama arasında iletişimi sağlayan bir yazılımdır. Örneğin, Python uygulamanıza Twitter için bir API entegre ederek, uygulamanızın sizin adınıza tweet atmasına veya tweetleri “okumasına” izin verebilirsiniz. Esasen iki taraf arasında aracı görevi görür.

Boru hattınızın başında çeşitli kaynaklardan veri toplamak için bir API kullanabilirsiniz. Örneğin bir API kullanarak SEC’ten şirket dosyalama verilerini ya da NIH tarafından tutulan tablolardan klinik verileri toplayabilirsiniz.

Web kazıma

Veri toplamak için kullanılan bir diğer teknik web kazımadır. Bu, internetteki bir web sayfasından bilgi toplamak üzere tasarlanmış, özel olarak yazılmış bir betiğin kullanıldığı tekniktir. BeautifulSoup ve Scrapy gibi Python kütüphaneleri bu süreci oldukça kolaylaştırır; ancak ihtiyaç duyduğunuz bilgiyi bulabilmek için yine de HTML veya XML içinde gezinebilmeniz gerekir.

Web kazıma hakkında daha fazla bilgi edinmek isterseniz, DataCamp’in Python’un Beautiful Soup kütüphanesi, R ile web kazıma ve NLP için web kazıma üzerine materyalleri bulunmaktadır.

Ayrıca kod yazmadan web kazıma sağlayan hizmetler de mevcuttur. Şu hizmet, bir web sayfasından bilgi toplamanıza ve sayfadaki değişiklikleri izlemenize olanak tanır.

Yapılandırılmış ve yapılandırılmamış veri

Veri toplama süreciniz, yapılandırılmış veriler (elektronik tablolar veya veritabanları gibi) ile yapılandırılmamış verilerin (metin veya görseller gibi) bir karışımını içerebilir.

Boru hattınızın nihai hedefinize bağlı olarak, yapılandırılmamış verilerinizden bilgi çıkararak tek tip yapılandırılmış bir veri seti oluşturabilir ya da bazılarını yapılandırılmamış bırakıp yalnızca son kullanıcı için uygun çapraz referanslamayı sağlayabilirsiniz.

Yapılandırılmış veriler genellikle SQL sorguları veya ETL araçlarıyla çıkarılabilirken, yapılandırılmamış veriler doğal dil işleme (NLP) teknikleri veya özel araçlar gerektirebilir.

Şekil 4: Sonunda yapılandırılmamış verilerin korunduğu bir veri boru hattı örneği. Bu örnekte, seçilmiş yapılandırılmış veriler ve bağlantılı görsellerden oluşan bir depo oluşturmak istiyoruz. Bu aynı zamanda bir veri gölü de olabilir. Bu yüzden görsellerden yapılandırılmış veri çıkarmak yerine, görselleri veritabanındaki ilgili verilere bağlayan bir dizin oluşturduk. Son kullanıcı daha sonra gerektiğinde bir elektronik tablodaki her satıra karşılık gelen ham görseli çekebilir. Alternatif olarak, görsellerin analizini yapabilir ve belirli bölümleri izole edilmiş veya çıkarılmış bir görsel sunabilirdik. Bunu nasıl yapacağınıza dair bilgi için şu görüntü analizi eğitimine göz atın.

Bir Veri Boru Hattı Kurma

Veri kaynaklarınız hazır olduğunda ve aklınızda bir nihai hedef olduğunda, boru hattınızı kurmaya başlayabilirsiniz.

Planlama

Yapmanız gereken ilk şey, boru hattınızı planlamaktır. Önce kağıt üzerinde haritalandırmanızı öneririm. Kağıdın en soluna veri kaynaklarınızı, en sağına ise nihai hedefinizi yazın. Araya ise kaynaklardan nihai hedefinize ulaşmak için ihtiyaç duyduğunuz tüm adımları yerleştirebilirsiniz.

Şekil 5: Bir boru hattı için örnek plan.

Dahil etmeniz gerekebilecek bazı olası adımlar şunlardır:

1. Veri toplama için API’yi kurmak veya web kazıma yapmak
2. Veri kalitesinin son kullanıcılarınızın ihtiyaç duyduğu standartta olmasını sağlamak
3. Her veri setini NaN’leri kaldırmak, çakışmaları çözmek, yinelenen verileri silmek, eksik verileri girmek vb. için temizlemek
4. Veri setleriniz genelinde değerleri standartlaştırarak birlikte kolayca kullanılmalarını sağlamak
5. Veri setlerinizi etiketlemek veya son kullanıcı için bir çapraz referans sayfası oluşturmak
6. Yapılandırılmamış veri setlerinizden yapılandırılmış veri çıkarmak
7. Anonimleştirme veya şifreleme gibi gerekebilecek tüm güvenlik önlemlerini uygulamak

İnşa

Planınızı haritalandırdıktan sonra inşaya başlamanız gerekir. Bu süreç, sevdiğiniz programlama dilinde tamamen kodla yapılabileceği gibi, boru hatlarını desteklemek üzere tasarlanmış bir veya daha fazla hizmeti de içerebilir. Boru hattını inşa ederken, son kullanıcıyı ve ihtiyaçlarını sürekli akılda tutmak önemlidir.

Vermeniz gereken önemli bir karar, verilerin ne sıklıkla güncelleneceğidir. En güncel bilgi gerekliyse, gerçek zamanlı işlemeye uygun bir boru hattı kurmanız gerekir. Ancak bu düzeyde hassasiyet gerekmiyorsa, kaynakları korumak için toplu işlemeyi düşünebilirsiniz. Bu, verilerin kesintisiz akış yerine örneğin haftada bir veya günlük olarak toplu halde boru hattı adımlarından geçmesi anlamına gelir.

Bakım

Boru hattınızı kurarken aklınızda tutmanız gereken bir diğer konu da ileriye dönük nasıl bakım yapacağınızdır. Boru hattının işlevlerini izleyebileceğiniz ve beklenmedik sorunları tespit edip düzeltebileceğiniz bir yöntem oluşturmak isteyeceksiniz.

Yazım hataları, eksik veya yinelenen girdiler ve farklı dosya türleri, boru hattınızın ilk kurulumundan çok sonra karşılaşabileceği çok sayıdaki zorluktan sadece birkaçıdır. Sağlam bir hata yönetimi ve izleme sistemi oluşturmak size pek çok zahmetten kurtarabilir.

Özellikle makine öğrenimi bağlamında veri boru hatları tasarımına daha ayrıntılı bir bakış için, DataCamp’in Python ile Makine Öğrenimi İş Akışları Tasarlama kursuna göz atın.

Aşırı Karmaşıklıktan Kaçınmak ve Basit Tutmak

Veriye dair her şeyde olduğu gibi, boru hattınızı yalnızca gerektiği kadar karmaşık yapmak önemlidir. Daha basit boru hatları bakımı daha kolay ve ucuzdur, güncellenmesi daha kolaydır ve boru hattını başka bir mühendise devretmeniz gerekirse daha anlaşılır olur.

Proje gereksinimlerini değerlendirme

Boru hattı tasarım sürecinin başında, gelecekte beklenen ölçeklemeler de dahil olmak üzere projenin gereksinimlerini değerlendirmek önemlidir. Bunu yapmak, gerekli karmaşıklık düzeyini seçmenize yardımcı olur.

Örneğin, birkaç ay boyunca üç farklı sensörden veri toplamak için geçici bir boru hattına ihtiyacınız varsa, Google Drive gibi yaygın olarak bulunan ücretsiz bir kaynağı kullanarak basit, tek adımlı bir boru hattını düşünebilirsiniz.

Buna karşılık, hassas verileriniz varsa veya birden fazla dönüşüm yapmanız gerekiyorsa, boru hattı için şifreleme içeren özel bir Python veya C# kodu oluşturmanız gerekebilir.

Son olarak, şu anda küçük olan ancak önümüzdeki birkaç yıl içinde büyük ölçekli bir genişleme öngördüğünüz bir boru hattı kuruyor olabilirsiniz. Bu durumda, genişlemeyi kaldıracak yeterli altyapıya sahip bir boru hattı oluşturmak istersiniz.

Yetersiz planlamanın riskleri

Başlangıçta daha küçük bir boru hattı tasarlamak ve ihtiyaç doğduğunda daha büyük ölçek için yeni bir boru hattı kurmayı planlamak cazip gelebilir. Bu işe yarayabilir, ancak dikkatli olun!

Pek çok veri mühendisi, yeni bir boru hattı oluşturmanın çok pahalı veya zaman alıcı görülmesi nedeniyle, mevcut ölçeğe uygun tasarlanmamış bir boru hattını yamamakla görevlendirilir.

Basitlik anahtar olsa da, uzun vadeli bir boru hattı oluşturuyorsanız, öngörülen genişleme planlarını dikkate alarak inşa etmek akıllıca olacaktır.

Sorulacak temel sorular

Bir projenin başında düşünebileceğiniz birkaç soru şunlardır:

• İşlenmesi gereken veri hacmi nedir?
• Verilerin ne sıklıkla güncellenmesi veya analiz edilmesi gerekir?
• Gereken özgün veri dönüşümleri veya zenginleştirme süreçleri var mı?
• Performans ve gecikme gereksinimleri nelerdir?

Trendlere kapılmaktan kaçınma

Genç mühendislerin düştüğü yaygın bir tuzak, işe en uygun araçları kullanmak yerine güncel trendlere teslim olmaktır.

Buna örnek olarak, pek çok şirketin iyi bir kullanım senaryosu olmadan üretken yapay zekâyı teknoloji yığınına zorla dahil etmeye çalışması verilebilir.

Bir veri profesyoneli olarak yeni teknolojiler ve trendlerin takibini yapmak önemlidir. Ancak projeniz için en uygun aracı seçtiğinizden ve kötü bir boru hattıyla sonuçlanabilecek trendlere körü körüne uymadığınızdan emin olun.

Veri Boru Hattı Optimizasyonu

Boru hattınız için bir plan oluşturduktan sonra, optimizasyon yöntemlerini düşünmek önemlidir. İhtiyaç duyduğunuz verileri, tercih ettiğiniz çözünürlük ve yenileme hızlarıyla alırken, tüketmeniz gereken bilişim kaynaklarını veya verinin boru hattında ilerleme gecikmesini en aza indirmek istersiniz.

İzleme ve günlükleme

Boru hattı optimizasyonunun temel bir bileşeni, verinin boru hattından akışını izlemek ve günlüklemektir. Bu, darboğazların veri akışını nerede yavaşlattığına veya daha fazla bilgisayar kaynağı tükettiğine dair içgörü sağlayacaktır.

Yaygın darboğazları belirleme

Yaygın darboğazlar arasında yavaş veri kaynakları, kaynak kısıtları veya verimsiz veri dönüşümleri yer alabilir.

Performans optimizasyonu stratejileri

Darboğazları belirledikten sonra performansı optimize etmenin yollarını düşünebilirsiniz:

• Paralel işleme. Verinin farklı kısımlarında aynı adımları eşzamanlı olarak gerçekleştirmek için birden fazla işlemci kullanın.
• Veri bölümlendirme. İşleme verimliliğini artırmak için veriyi farklı parçalara ayırın.
• Bulut bilişim. Boru hattındaki adımları gerçekleştirmek için, elinizdekinden daha güçlü donanımlar kullanma olanağı sunan bulut hizmetlerinden yararlanın.

Yenileme hızı hususları

Optimizasyona yönelik bir diğer husus da verinin yenileme hızıdır. Veri her dakika boru hattınızdan yenileniyorsa, ancak verilerin yalnızca beş dakikada bir güncellenmesi gerekiyorsa, gereksiz yenileme sıklığını azaltmak işlemcileri serbest bırakabilir ve enerji tüketimini düşürebilir.

Veri Boru Hattı Güvenliği ve Uyumluluğu

Boru hatlarınızdan geçen belirli veri türleri güvenlik veya gizlilik endişeleri doğurabilir. Örneğin tıbbi veriler ABD hükümeti tarafından sıkı şekilde düzenlenir ve medya izleme alışkanlıklarına ilişkin verilerden çok daha fazla güvenlik önlemi gerektirir. Daha fazla güvenlik gerektiren diğer veri örnekleri finansal veriler ve parolalardır.

Uygulayacağınız güvenlik önlemleri, o veri türüne yönelik güvenlik endişelerine bağlı olacaktır. Bazı durumlarda, kişisel bilgilerin veri setinden ayrıştırıldığı veya silindiği anonimleştirme yeterli olabilir. Bu, kişisel tanımlayıcı bilgilerin gerekli olmadığı ancak tıbbi kayıtlardaki diğer bilgilerin gerekli olduğu tıbbi araştırmalarda kullanılabilir.

Uygulamanız gerekebilecek diğer güvenlik önlemleri arasında şifreleme ve verilere erişimi oturum açma yetkilendirmeleriyle kontrol etmek yer alır. Bu yöntemler finansal veriler veya şirket sırları için kullanılabilir.

Tüm hassas verilerde, GDPR (Genel Veri Koruma Tüzüğü) veya HIPAA (Sağlık Sigortası Taşınabilirlik ve Sorumluluk Yasası) gibi devlet düzenlemelerine aşina olmanız ve bunlara uymanız önemlidir.

Sektörünüze ve ele aldığınız veri türlerine bağlı olarak CCPA (California Tüketici Gizliliği Yasası) veya FERPA (Aile Eğitim Hakları ve Mahremiyeti Yasası) gibi ek düzenlemelere de uymanız gerekebilir.

Şekil 6: Bir boru hattına kalite güvencesi ve güvenlik adımları ekleme örneği.

Sonuç

Veri boru hatları ve onları inşa eden mühendisler, veri dünyasının görünmez kahramanlarıdır. Verinin yerden yere sorunsuzca akmasını sağlar, onu düzenler ve sınıflandırırlar. Statista’ya göre, dünya yalnızca 2020 yılında 64,2 zettabayt veri üretti, tüketti ve depoladı ve bu rakam her yıl artıyor.

Bu veri ortamında sağlam veri boru hatları inşa etmek ve sürdürmek giderek daha kritik hale geliyor. Bu eğitim veri boru hatlarına ilginizi çektiyse, daha derinlemesine bir bakış için şu giriş kursuna göz atın. Veri boru hatlarını nasıl kuracağınızı öğrenmekle ilgileniyorsanız, başlamak için Python Veri Mühendisliği kursuna bakın. Ve kariyerinize başlamak ve işverenlere yetkinliğinizi kanıtlamak istiyorsanız, Veri Mühendisi Sertifikamıza göz atın.