Yeni Başlayanlar için AWS MSK: Kapsamlı Başlangıç Rehberi

AWS MSK Kurulumu

AWS MSK ile başlamadan önce bir AWS hesabı oluşturun. AWS’yi ilk kez kullanıyorsanız, kapsamlı eğitimimizle AWS hesabınızı nasıl kurup yapılandıracağınızı öğrenin.

AWS Management Console’a giriş yapın ve MSK konsolunu açın. Kurulum sürecini başlatmak için "Create cluster"a tıklayın. 

AWS MSK ile çalışmaya başlama. Görsel kaynağı: AWS

Varsayılan ayarlar için "Quick create"i seçin, sonra açıklayıcı bir küme adı girin.

Bundan sonra, kümenize ilişkin gereksinimlerinize bağlı olarak seçebileceğiniz birçok ek seçenek vardır. İşte seçeneklerin hızlı bir özeti:

• Küme türü: “Provisioned” veya “Serverless”
• Apache Kafka sürümü
• Broker türü: “Standard” veya “Express”
• Broker boyutu
• EBS depolama birimi

AWS MSK yapılandırma seçenekleri

Küme her zaman bir Amazon VPC içinde oluşturulur. Varsayılan VPC’yi kullanmayı seçebilir veya özel bir VPC yapılandırıp belirtebilirsiniz.

Şimdi kümenizin etkinleştirilmesini beklemeniz yeterli; bu işlem 15 ila 30 dakika sürebilir. Küme özet sayfasından durumunu izleyebilir ve durumun “Creating”den “Active”e değiştiğini görebilirsiniz.

AWS MSK ile Verileri Alma ve İşleme

MSK kümeniz kurulduktan sonra, bir veya daha fazla konu (topic) arasında veri üretip tüketmek için bir istemci makinesi oluşturmanız gerekir. Apache Kafka birçok veri üreticiyle (web siteleri, IoT cihazları, Amazon EC2 örnekleri vb.) çok iyi entegre olduğundan, MSK de bu avantajı paylaşır.

Apache Kafka, veriyi topic adı verilen yapılarda organize eder. Her topic tek veya çok sayıda bölümden (partition) oluşur. Partitionlar, Apache Kafka’daki paralellik derecesidir. Veriler, veri bölümlendirmesi kullanılarak broker’lar arasında dağıtılır.

Apache Kafka kümeleriyle çalışırken bilmeniz gereken temel terimler:

• Topic’ler, Kafka’da veriyi organize etmenin temel yoludur.
• Producer’lar topic’lere veri yayımlayan uygulamalardır—Kafka’ya veri üretir ve yazarlar. Belirli topic ve partition’lara yazarlar.
• Consumer’lar topic’lerden veri okuyan ve işleyen uygulamalardır. Abone oldukları topic’lerden veriyi çekerler.

AWS MSK ile olay odaklı bir mimari kurarken, MSK’nin ana veri alma bileşeni olduğu birkaç katmanı yapılandırmanız gerekir. Gerekebilecek katmanlara genel bir bakış:

1. Veri alma kurulumu
2. İşleme katmanı
3. Depolama katmanı
4. Analitik katmanı

Amazon MSK ve Amazon EventBridge ile olay odaklı mimariye bir örnek. Görsel kaynağı: AWS

Veri hattı iş akışlarınızda Python’dan yararlanmakla ilgileniyorsanız Introduction to AWS Boto in Python kursumuza göz atın.

AWS MSK Kullanımı için En İyi Uygulamalar

AWS MSK, kurulumu nispeten basit ve hemen kullanıma hazırdır. Ancak bazı temel en iyi uygulamalar, kümelerinizin performansını artıracak ve ileride size zaman kazandıracaktır.

Kümenizi doğru boyutlandırın

Broker başına doğru partition sayısını ve küme başına doğru broker sayısını seçmeniz gerekecektir. 

Buradaki kararlarınızı etkileyebilecek birçok faktör vardır; ancak AWS bu süreçte size yol gösterecek kullanışlı öneriler ve kaynaklar sunar.

Buna ek olarak AWS, kümenizin doğru boyutunu ve AWS MSK kullanmanın benzer bir kendi kendine yönetilen EC2 Kafka kümesine kıyasla ilişik maliyetlerini tahmin etmenize yardımcı olacak kullanımı kolay bir boyutlandırma ve fiyatlandırma hesap tablosu sağlar.

Yüksek erişilebilir kümeler oluşturun

AWS, kümelerinizi yüksek erişilebilir olacak şekilde kurmanızı önerir. Bu, bir güncelleme (örneğin Apache Kafka sürümünü güncelleme) yaparken veya AWS bir broker’ı değiştirirken özellikle önemlidir. 

Kümelerinizin yüksek erişilebilir olmasını sağlamak için yapmanız gereken üç şey vardır:

1. Kümelerinizi üç erişilebilirlik alanına (üç-AZ küme olarak da adlandırılır) dağıtın.
2. Çoğaltma faktörünü 3 veya daha fazla ayarlayın.
3. Senkron kopya (in-sync replicas) sayısını en az RF-1 olarak belirleyin.

AWS’nin güzel yanı, çoklu AZ dağıtımları için katı SLA’lere bağlı kalmalarıdır; aksi halde kredilerinizi geri alırsınız.

Disk ve CPU kullanımını izleyin

AWS CloudWatch üzerinden izlemeniz gereken iki temel metrik disk ve CPU kullanımidir. Bunu yapmak yalnızca sisteminizin sorunsuz çalışmasını sağlamakla kalmaz, maliyetleri de düşük tutmaya yardımcı olur. 

Disk kullanımını ve ilişkili depolama maliyetlerini yönetmenin en iyi yolu, disk kullanımının belirli bir değeri (örneğin %85) aştığında sizi uyaran bir CloudWatch alarmı kurmak ve saklama ilkelerinizi ayarlamaktır. Günlüklerinizdeki iletiler için bir saklama süresi belirlemek, disk alanını otomatik olarak boşaltmaya büyük katkı sağlar.

Ayrıca, kümenizin performansını korumak ve darboğazları önlemek için AWS, broker’larınızın toplam CPU kullanımını %60’ın altında tutmanızı önerir. Bunu AWS CloudWatch ile izleyebilir ve örneğin broker boyutunu güncelleyerek düzeltici önlem alabilirsiniz.

Verinizi aktarım sırasında şifreleme ile koruyun

Varsayılan olarak AWS, MSK kümeniz içindeki broker’lar arasında aktarım halindeki verileri şifreler. Sisteminiz yüksek CPU kullanımı veya gecikme yaşıyorsa bunu devre dışı bırakabilirsiniz. Ancak, aktarım sırasındaki şifrelemeyi her zaman etkin tutmanız ve performans bir sorun ise bunu iyileştirmenin başka yollarını bulmanız şiddetle tavsiye edilir.

AWS bulut ortamınızı nasıl güvence altına alıp optimize edeceğiniz ve AWS’de maliyetleri ile kaynakları nasıl yöneteceğiniz hakkında daha fazla bilgi edinmek için AWS Security and Cost Management kursumuza göz atın.

AWS MSK Fiyatlandırmasını Anlamak

AWS MSK fiyatlandırması kullandıkça öde modelindedir; yani yalnızca kullandığınız kaynaklar için ödeme yaparsınız. Ancak fiyatlandırma, küme türüne, broker örnek boyutuna, depolamaya ve veri aktarımına göre değişir. Aşağıda temel maliyet bileşenlerini ve MSK harcamanızı nasıl optimize edebileceğinizi özetliyoruz.

AWS MSK fiyatlandırma bileşenleri

Küme türüne göre AWS MSK fiyatlandırması

AWS MSK, farklı fiyatlandırma modellerine sahip iki küme türü sunar:

Sağlanan MSK kümesi (standart fiyatlandırma modeli)

• Broker örnekleri, depolama ve veri aktarımı için ödeme yaparsınız.
• İnce ayarlı performans kontrolü gereken iş yükleri için en iyisidir.

Sunucusuz MSK kümesi (istek başına ödeme modeli)

• Fiyatlandırma, işlenen veri hacmine (alınan/getirilen GB) göre yapılır.
• Trafik desenleri öngörülemeyen uygulamalar için en iyisi.

Hangisini seçmelisiniz?

• Sağlanan MSK kullanın → Öngörülebilir iş yükleriniz ve örnek boyutları üzerinde kontrol ihtiyacınız varsa.
• Sunucusuz MSK kullanın → İş yükünüz dalgalanıyorsa ve broker yönetiminden kaçınmak istiyorsanız.

Maliyetleri iş yükünüze göre tahmin etmek için AWS Pricing Calculator’ı deneyin.

AWS MSK’nin Diğer Akış Araçlarıyla Karşılaştırılması

Bir proje için hangi aracın en iyi olduğuna karar verirken sıklıkla birkaç seçeneği değerlendirmemiz gerekir. İşte AWS MSK’ye en yaygın alternatifler ve karşılaştırmaları. 

AWS MSK vs EC2 üzerinde Apache Kafka

MSK ile EC2 kullanarak kendi barındırdığınız bir seçenek arasındaki temel ödünleşim, rahatlık ile kontrol arasındadır:

• AWS MSK:
  • Operasyonel karmaşıklığı azaltan, tamamen yönetilen hizmet.
  • Otomatik sağlama ve yapılandırma—peşin altyapı maliyeti yok.
  • AWS hizmetleriyle sorunsuz entegrasyon.
  • Güçlü güvenlik özellikleri.
  • Kendi barındırmaya kıyasla daha az esneklik.
• EC2 üzerinde Kafka:
  • Kurulum, yapılandırma ve bakımın manuel yapılmasını gerektirir.
  • Altyapı ve özelleştirme üzerinde tam kontrol sunar.
  • Potansiyel olarak daha yüksek operasyonel maliyetler.
  • Daha fazla uzmanlık ve süreğen yönetim gerektirir.

AWS MSK vs. Kinesis

AWS MSK ile Kinesis arasında seçim önceliklerinize bağlıdır:

• Şunlar için Kinesis kullanın:
  • Tamamen sunucusuz bir mimariye ihtiyacınız varsa.
  • En az operasyonel yükle AWS tarafından yönetilen bir hizmet.
  • Veri akışı için shard kullanır ancak veri saklama sınırlamaları vardır.
  • Daha basit veri akışı gereksinimleri için en uygunudur.
• Şunlar için AWS MSK kullanın:
  • Kafka’nın topic ve partition modeline ihtiyacınız varsa.
  • Neredeyse sınırsız veri saklama (depolamaya bağlıdır).
  • Daha esnek ve özelleştirilebilir.
  • Gerektiğinde AWS’den taşınmaya olanak tanır.

Kinesis’e aşina değilseniz, AWS Kinesis ve Lambda ile akış verileri üzerinde çalışmayı anlatan bir kursumuz var.

AWS MSK vs. Confluent

AWS MSK ile Confluent arasındaki seçim, özellik gereksinimleri ve bulut stratejisine bağlıdır:

• Şunlar için Confluent kullanın:
  • Yerleşik bağlayıcılarla kapsamlı bir özellik setine ihtiyacınız varsa.
  • Daha yalın bir dağıtım sürecini tercih ediyorsanız.
  • Dinamik ölçeklendirme gerektiren ani tepe yapan iş yüklerini yönetiyorsanız.
  • Daha yüksek maliyetlidir ancak sınırlı özelliklere sahip ücretsiz bir katman sunar.
• Şunlar için AWS MSK kullanın:
  • Tutarlı iş yükleri için uygun maliyetli bir seçenek istiyorsanız.
  • AWS ekosistemiyle derin entegrasyona sahipseniz.
  • Kurumiçi Kafka uzmanlığınız varsa.
  • Genişletilmiş işlevsellik için ek AWS hizmetlerini entegre etmeye açıksanız.

Aşağıdaki tablo, AWS MSK ve alternatiflerinin bir karşılaştırmasını sunar:

Kapanış Düşünceleri

Apache Kafka, veri kaybını göze alamayan ve birden çok veri kaynağını bağlamayı veya karmaşık veri hatları kurmayı gerektiren durumlar için başlıca tercihtir. AWS MSK, Kafka kümelerini kurma ve yapılandırma konusundaki pek çok sorunu ortadan kaldırarak geliştiricilerin altyapı yerine uygulamaları oluşturmaya ve iyileştirmeye daha fazla odaklanmasını sağlar.

AWS sertifikası almak AWS kariyerinize başlamak için mükemmel bir yoldur. kurs kataloğumuza göz atarak AWS becerilerinizi geliştirebilir ve projeler aracılığıyla uygulamalı deneyim kazanabilirsiniz!