Amazon Kinesis nedir? Kullanım Alanları, Fiyatlandırma ve Maliyet Optimizasyonu İpuçları

Veri akışı, sıklıkla yüksek hacimlerde olan sürekli ve kesintisiz bir veri akışıdır. Bir veri akışının en önemli yönlerinden biri, zamana duyarlı olmasıdır. Bu nedenle, belirli bir süre sonra bir veri akışının içeriği daha az ilgili hale gelebilir.

Bu, şirketlerin veri akışlarından gerçek zamanlı analizler ve içgörüler elde ederek büyük değer kazanabileceği anlamına gelir. İşte bu noktada, özel veri akışı mimarisi devreye girer. Veri akışı için en popüler ve güçlü seçeneklerden biri AWS Kinesis’tir.

Bu makalede AWS Kinesis’i tanıtıyor ve Kinesis şemsiyesi altında sunulan iki temel hizmeti inceliyoruz: Kinesis Data Streams ve Kinesis Video Streams. Makalenin sonunda ayrıca iki veri akışı hizmeti arasındaki temel farkları karşılaştırıyoruz: AWS Kinesis ve Apache Kafka (ve Amazon MSK).

AWS’ye yeni başladıysanız, günümüzün lider bulut sağlayıcısının ardındaki temel kavramları anlatan giriş seviyesindeki AWS kursumuza göz atın.

AWS Kinesis nedir?

Amazon Kinesis, pazardaki gerçek zamanlı veri alımı ve analizine yönelik değişime yanıt olarak 2013’te piyasaya sürüldü.

Ancak AWS, Amazon Kinesis’in büyük veri akışlarını tamamen yönetilen, ölçeklenebilir ve bulut tabanlı bir hizmette işleyebilmesini sağlayarak bunu bir adım öteye taşıdı.

Yayınlanmasından sonraki yıllarda AWS, Amazon Kinesis altında sunduğu hizmetleri genişletti. Bu, Ekim 2015’te Amazon Kinesis Data Firehose’un ve ardından Ağustos 2016’da Amazon Kinesis Data Analytics’in yayınlanmasıyla başladı.

Başlangıçta AWS, büyük miktarda veriyi gerçek zamanlı olarak işlemek ve analiz etmek için yalnızca Kinesis Data Streams hizmetini sunuyordu. AWS, yalnızca 2017’de video akışlarını yakalamak, işlemek ve depolamak için Kinesis Video Streams’i tanıttı.

Bununla birlikte Amazon Kinesis yıllar içinde gelişmeye ve değişmeye devam etti. Bugüne geldiğimizde yalnızca iki çekirdek hizmet kaldı: Kinesis Data Streams ve Kinesis Video Streams. Bu değişiklikleri bu bölümün ilerleyen kısımlarında daha ayrıntılı olarak ele alacağız.

Kaynak: AWS

Amazon Kinesis ne için kullanılır?

Amazon Kinesis, gerçek zamanlı veri akışı için tasarlanmıştır.

Bu, büyük hacimlerdeki gerçek zamanlı (veya gerçek zamana yakın) verilerden yararlanmak isteyen tüm kuruluşların Amazon Kinesis teklifinden büyük ölçüde faydalanacağı anlamına gelir.

Amazon Kinesis’in en uygun olduğu bazı kullanım alanları şunlardır:

• Bir veya birden fazla kaynaktan günlük ve olay verilerinin akışını sağlamak. Uygulamalardan, sunuculardan ve cihazlardan gelen veriler gerçek zamanlı olarak alınabilir.
• Kamera destekli cihazlardan video akışlarını toplamak. Ev ve işyeri güvenlik sistemleri, trafik ışığı kameraları vb. gibi düşünün.
• Akış verilerinin gerçek zamanlı analizi. Örneğin dolandırıcılık tespiti gibi kullanım senaryoları son derece zamana duyarlıdır ve sağlam bir veri akışı mimarisine dayanır.

Amazon Kinesis Video Streams Örnek Kullanım Senaryosu (Kaynak: AWS)

Amazon Kinesis hizmetlerindeki son değişiklikler

Kullanıcı geri bildirimlerine yanıt olarak AWS yakın zamanda hizmetlerinde birkaç değişiklik yaptı.

Amazon Kinesis Data Analytics > Apache Flink için Amazon Yönetilen Hizmeti

Amazon Kinesis Data Analytics’in adı, Apache Flink için Amazon Yönetilen Hizmet (MSF) olarak değiştirildi (30 Ağustos 2023).

Bununla kalmayıp SQL uygulamaları için Amazon Kinesis Data Analytics desteğinin gelecekte sonlandırılacağı da açıklandı. Müşterilerin SQL tabanlı uygulamaları için uygulamalarını MSF’ye taşımaları gerekecek.

MSF, Apache Flink kullanarak gerçek zamanlı akış uygulamaları oluşturmak ve çalıştırmak için tamamen yönetilen ve sunucusuz bir hizmettir. MSF, SQL’in yanı sıra Java ve Scala gibi diğer programlama dillerini de destekler.

Amazon Kinesis Data Firehose > Amazon Data Firehose

9 Şubat 2024’te AWS, Amazon Kinesis Data Firehose’un adını Amazon Data Firehose olarak değiştireceğini duyurdu.

AWS bu değişikliği, Amazon Data Firehose içerisindeki veri kaynakları ve bağlayıcılarındaki büyümeyi yansıtmak amacıyla yaptı. Amazon Kinesis Data Streams’e ek olarak, Amazon MSK ve 40’tan fazla diğer AWS kaynak ve hedef bağlayıcısı için entegrasyon desteği eklendi.

AWS Kinesis Data Streams

AWS Kinesis Data Streams, Amazon Kinesis şemsiyesi altındaki amiral gemisi hizmetidir.

Bu bölümde bu hizmeti ve en uygun olduğu kullanım alanlarını inceliyoruz.

Kinesis Data Streams nedir?

Kinesis Data Streams, gerçek zamanlı analiz kullanım alanlarını kolaylaştırmak için büyük hacimlerdeki verileri (saniyede gigabayt hızında) sürekli olarak alabilir.

Diğer AWS hizmetleriyle tamamen entegre olmasının yanı sıra, Kinesis Data Streams’in öne çıkan birkaç özelliği şunlardır:

• Sunucusuzdur; bu nedenle önceden sunucu sağlama veya yönetme ihtiyacı yoktur, bu da veri akışına başlama ön maliyetlerini azaltır.
• Kinesis ile veri toplama, veri işlemeden ayrıdır. Bu ayrım, uygulamaların bilgideki hızlı değişimlere uyum sağlamasını kolaylaştırır.
• Kinesis Data Streams, verileri milisaniyeler içinde büyük hacimlerde yakalayabilir; bu da onu olağanüstü düşük gecikmeli bir çözüm haline getirir.
• Veri akışı gereksinimlerinize uyacak şekilde isteğe bağlı ve sağlanmış kapasite modları arasında seçim yapabilirsiniz.
• Kinesis Data Streams hem güvenli hem de uyumludur. Verileriniz bekleme halinde şifrelenip güvence altına alınabilir ve azami güvenlik sağlanır.

Amazon Kinesis Data Streams üç ana bileşenden oluşur: parçalar (shard), üreticiler ve tüketiciler. Bunları bir e-ticaret web sitesi için akış analitiği sistemi örneğiyle açıklayalım.

Parçalar (Shards)

Bir parça, Kinesis içinde aynı anda ne kadar verinin işlenebileceğini belirleyen birimdir.

Örneğin, e-ticaret sitesi saniyede 100 işlem gerçekleştiriyorsa gelen verileri sorunsuz işlemek için birden çok parçaya ihtiyaç duyabilir. Her parça saniyede en fazla 1 MB gelen veri işleyebilir; bu nedenle trafik artarsa daha fazla parça eklemek verilerin verimli bir şekilde işlenmesini sağlar.

Üreticiler 

Üretici, Kinesis akışına veri gönderen herhangi bir sistemdir.

Örneğin, e-ticaret sitesi bir kullanıcı sepete ürün eklediğinde, bir satın alma işlemini tamamladığında veya yorum bıraktığında gerçek zamanlı günlükler üretir. Bu olayların her biri Kinesis’e bir veri kaydı olarak gönderilir.

Tüketiciler

Tüketici, Kinesis akışından veri okuyan ve işleyen herhangi bir uygulama veya sistemdir. Örneğin: 

• Gelen işlemleri gerçek zamanlı analiz ederek şüpheli etkinlikleri işaretleyen bir dolandırıcılık tespit sistemi.
• Mağaza yöneticileri için canlı satış metriklerini güncelleyen bir gösterge paneli.
• Kullanıcıların son etkinliklerine göre ürün öneren bir öneri motoru.

Bunların tümü bir örnek üzerinden nasıl etkileşir, bakalım: 

1. Bir müşteri sepete bir ürün ekler → Olay Kinesis’e gönderilir (Üretici)
2. Olay, bir parçaya (shard) girer (trafik yüküne bağlı olarak)
3. Bir tüketici uygulaması olayı okur → Stok sistemini günceller, bir yapay zeka öneri modelini tetikler veya dolandırıcılık riski işaretler

Kinesis Data Streams ne için kullanılır?

Kinesis data streams, gerçek zamanlı olarak hızlı veri işlemeye ihtiyaç duyan uygulamalar için en uygunudur.

Örneğin, günlükler veya veri beslemeleri üreten bir uygulamanız veya cihazınız olduğunu varsayalım. Bu veri akışını almak ve buna bazı işlemler veya dönüşümler uygulamak için Kinesis Data Streams’i kullanırsınız; örneğin gerçek zamanlı metrikler veya analitik hesaplamak gibi. Ardından, bu işlenmiş verileri daha sonra kullanım için bir veri deposuna itebilirsiniz.

Bu, Kinesis Data Streams’in kullanımının sadece yaygın bir örneğidir.

AWS Kinesis Video Streams

AWS Video Streams, çeşitli türde medya verileri için güçlü uygulamalara sahip daha yeni bir Amazon Kinesis hizmetidir.

Bu bölümde bu hizmeti inceliyor ve en uygun olduğu uygulamaları ele alıyoruz.

Kinesis Video Streams nedir?

Kinesis Video Streams, bağlı cihazlardan zaman kodlu büyük hacimlerde medya verisi almanıza olanak tanır.

Daha somut olarak, zaman kodlu veri; kayıtların bir zaman serisi içinde birbirleriyle ilişkili olduğu bir medya veri türüdür. Video ve ses, bu verideki her kare veya dizinin önceki ve sonraki kareyle ilişkili olması nedeniyle zaman kodlu veriye örnektir.

Amazon Kinesis Video Streaming (Kaynak: AWS)

Kinesis Video Streams’in yalnızca medya verilerinin alımı ve depolanmasını sağladığını not etmek önemlidir. İşleme ve analiz farklı bir hizmet içinde gerçekleştirilmelidir. Diğer hizmetlere örnek olarak, makine öğrenmesi uygulamaları için Amazon Rekognition Video veya Amazon SageMaker verilebilir.

AWS’de makine öğrenmesi uygulamaları oluşturmaya başlamak için Amazon SageMaker üzerine kapsamlı eğitimimize göz atın.

Kinesis Video Streams ne için kullanılır?

Kinesis Video Streams kullanarak AWS’ye bağlanmak ve medya akışı yapmak çok kolay (ve güvenlidir). Amazon Kinesis için özel olarak geliştirilmiş SDK’lar ve gerçek zamanlı API’ler mevcuttur.

Bu, medya akışı uygulamalarınız için Amazon Kinesis Video Streams ile hızlı ve kolay şekilde çalışmaya başlayabileceğiniz anlamına gelir.

Video akışlarının en popüler kullanımlarından biri, gerçek zamanlı bilgisayarlı görü özellikli makine öğrenmesi uygulamaları oluşturmaktır. Bunlar güvenlik ve gözetim, akıllı evler, kentsel acil durum müdahalesi vb. gibi çok çeşitli alanlarda kullanılabilir.

AWS Kinesis Fiyatlandırması

AWS’nin en iyi yanlarından biri, kullandıkça öde fiyatlandırma modelidir. AWS hizmetlerinin çoğu, hatta tamamı bu modeli izler ve AWS Kinesis de farklı değildir.

Peşin maliyet veya asgari ücret yoktur. Yalnızca kullandığınız kaynaklar için ödeme yaparsınız.

AWS Kinesis için fiyatlandırmanın nasıl çalıştığını ve maliyetlerinizi optimize etmek için bazı en iyi uygulamaları nasıl uygulayabileceğinizi inceleyelim.

Fiyatlandırmaya genel bakış

AWS Kinesis altındaki iki çekirdek hizmet, Kinesis Data Streams ve Kinesis Video Streams, hizmeti nasıl yapılandırdığınıza bağlı olarak farklı maliyet ve faturalama seçeneklerine sahiptir.

Kinesis Data Streams iki kapasite moduna sahiptir ve her birinin maliyeti farklıdır. Kısa bir özet:

• İsteğe bağlı: Alınan ve geri getirilen veri hacmi ile AWS hesabınızda kurduğunuz her veri akışı için saatlik bir ücret üzerinden faturalandırılırsınız.
• Sağlanmış: Sağlanmış kapasite modunu kullanırken, uygulamanız için gereken parça sayısını belirtmelisiniz ve her parça için saatlik bir ücret ödersiniz.

İsteğe bağlı kapasite modu, Kinesis Data Streams’e yeni başlarken iyi bir seçenek olan daha esnek ve basit bir yaklaşımdır.

Bununla birlikte, uygulamanız trafiğinizin daha öngörülebilir ve tahmin edilebilir hale geldiği bir noktaya ulaştığında, sağlanmış kapasite modu daha maliyet etkin bir seçenek olabilir.

Kinesis Video Streams üç faktöre dayalı esnek, isteğe bağlı bir fiyatlandırma seçeneği sunar:

• Aldığınız veri hacmi (gigabayt cinsinden).
• Tükettiğiniz veri hacmi (gigabayt cinsinden).
• Bir ayda depoladığınız veri hacmi (gigabayt cinsinden).

Maliyet optimizasyonu ipuçları ve en iyi uygulamalar

Hem Kinesis Data Streams hem de Kinesis Video Streams, AWS Ücretsiz Katmanında yer almaz. Bu, AWS’de bu akışlardan birini kurduğunuz andan itibaren ücretlendirileceğiniz anlamına gelir.

Bununla birlikte, maliyetleri düşük tutmak için uygulamalarınızda AWS Kinesis’i kurarken izleyebileceğiniz bir dizi en iyi uygulama ve birkaç ipucu vardır.

Maliyetleri optimize etmek için izlemeniz gereken üç temel ipucu:

• Trafiğiniz öngörülebilir hale gelir gelmez sağlanmış kapasite moduna geçin. İsteğe bağlı mod parçaları izleme ve yönetme zahmetini ortadan kaldırsa da çok daha pahalı olabilir.
• Trafik kalıplarına bağlı olarak isteğe bağlı ve sağlanmış kapasite modları arasında kolayca geçiş yapabilirsiniz. Örneğin, günün belirli saatlerinde artış bekliyorsanız isteğe bağlı moda geçip, trafiğin daha istikrarlı olacağını bildiğinizde tekrar sağlanmış moda dönebilirsiniz. Ancak dikkatli olun; bu geçişi 24 saatlik bir dönem içinde yalnızca iki kez yapabilirsiniz.
• Veri saklama ilkelerinizi baştan yapılandırın. Kinesis Data Streams, verilerin uzun süreli depolanması için tasarlanmamıştır. 24 saatten daha uzun süre saklanan veriler için ücretlendirilirsiniz (ilk 24 saatte depolama ücretsizdir).

AWS Kinesis ve Kafka

Apache Kafka için Amazon Yönetilen Akış (Amazon MSK), AWS tarafından sunulan bir diğer popüler veri akışı hizmetidir.

Ayrı bir makalede Amazon MSK’ye yönelik kapsamlı başlangıç rehberimizi ve Kafka rehberimizi bulabilirsiniz.

Amazon MSK ile Kinesis’i karşılaştırırken büyük bir örtüşme vardır. Her iki hizmet de veri akışı uygulamaları için ölçeklenebilir, güvenli ve yüksek erişilebilirlik sunar.

Hangi hizmeti kullanacağınıza karar verirken gerçek fark, tercihlerinize, gereksinimlerinize ve mevcut altyapınıza bağlıdır.

Hâlihazırda Apache Kafka kullanıyorsanız, Amazon MSK gibi tamamen yönetilen bir bulut çözümüne geçmekten fayda sağlayabilirsiniz. Benzer şekilde, ekibiniz Apache Kafka konusunda rahatsa Amazon MSK, Amazon Kinesis’e göre daha uygun olacaktır.

Öte yandan, mevcut bir veri akışı altyapınız yoksa Amazon Kinesis’i daha başlangıç dostu ve başlaması daha kolay bulabilirsiniz.

Sonuç

Gerçek zamanlı veri analitiği, birçok sektör ve işletme için giderek daha popüler ve önemli hale geliyor. Bunu başarmak için, büyük miktarda veriyi gecikme veya kesinti olmadan işleyebilecek iyi bir veri akışı sistemi kurmak gerekir.

AWS bu artan ihtiyacı 2013’te fark etti ve en iyi veri akışı çözümlerinden birini geliştirmeye ve ince ayar yapmaya devam etti: Amazon Kinesis. Bugün Amazon Kinesis, veri akışlarını inanılmaz hızlarda almak ve işlemek için sınıfının en iyisi bir çözümdür.

AWS’ye yeni başladıysanız, AWS ve hizmetleri hakkında daha fazla bilgi edinmek için başlangıç dostu AWS kursumuzla başlayın. AWS gibi bulut tabanlı hizmetleri kullanarak bir kariyere başlamaya hazırsanız, AWS sertifikaları ve hedeflerinize en uygun olanı nasıl seçeceğinizle ilgili makalemize göz atın. Ardından, bir mülakata hazırlanıp en iyi AWS mülakat sorularını pratik ederek bir sonraki adımı atın.