AWS DataSync: Otomatik Veri Aktarımları Nasıl Kurulur

AWS DataSync’in Kurulumu

Veri aktarmadan önce, AWS DataSync’i düzgün şekilde yapılandırmanız gerekir. Bu bölüm, aracı kurulumu, IAM rollerinin ayarlanması ve depolama yapılandırması dahil önkoşulları ve kurulum adımlarını kapsar.

AWS DataSync için önkoşullar

Sağlama sürecini otomatikleştirmek ve veri geçişine odaklanmak için AWS CloudFormation kullanacağız. Aşağıdaki kaynakları oluşturacağız:

1. Ağ bağlantısı için genel alt ağlara sahip bir AWS VPC.
2. Şirket içi depolama sistemini simüle etmek için bir Amazon EC2 üzerinde NFS sunucusu.
3. Veri hareketini kolaylaştırmak için EC2 üzerinde AWS DataSync aracıları.
4. DataSync işlemleri için gerekli izinleri tanımlayan IAM Rolleri ve ilkeleri.

AWS Konsolu’na giriş

• Kimlik bilgilerinizle AWS Management Console'a griş yapın.
• Ekranın sağ üst köşesindeki açılır menüyü tıklayın ve bu eğitim için “N. California” bölgesini seçin.

Şekil 1 - AWS Management Console’da AWS Bölgesinin Seçilmesi

• EC2 Konsolu’na gidin ve Key Pair bölümüne ilerleyin. Önceki adımla aynı AWS bölgesinde olduğunuzdan emin olun.
•  Create Key Pair’ı tıklayın ve adını “datasync” koyun.

Şekil 2 - AWS EC2’de güvenli erişim için anahtar çifti oluşturma

•  Create’i tıklayın; tarayıcınız bir datasync.pem dosyası indirecek.
• Bu dosyayı güvenli bir yerde saklayın—eğitimin ilerleyen kısmında buna ihtiyacınız olacak.

Ortamı yapılandırma

Bu adımda, daha önce bahsedilen AWS DataSync için gerekli AWS altyapısını kurmak üzere bir CloudFormation şablonu kullanacaksınız.

• AWS CloudFormation konsolunu açın ve Create stack’i tıklayın.
• Template is ready’i seçin, ardından Upload a template file’ı seçin.

Şekil 3 - Yeni bir yığın oluşturmak için CloudFormation şablonunun yüklenmesi

• Github Gist’ten dosyayı indirin, Choose file’ı tıklayın, datasync-onprem.yaml dosyasını yükleyin ve Next’e tıklayın.
• Parameters bölümünde, bu yığın tarafından oluşturulan örneklere SSH ile girişe izin vermek için bir EC2 anahtar çifti seçin. AMI ID değerlerini düzenlemeyin, Next’e tıklayın.
• Stack Options sayfasında varsayılan ayarları koruyun ve Next’e tıklayın.
• Yapılandırmayı gözden geçirin ve Create stack’i tıklayın.
• CloudFormation konsoluna yönlendirileceksiniz; durum “CREATE_IN_PROGRESS” olarak görünecek. “CREATE_COMPLETE” olana kadar bekleyin.

Şekil 4 - AWS CloudFormation’da kaynak oluşturma durumunun gözden geçirilmesi

• Tamamlandığında Outputs bölümüne gidin ve değerleri not edin—eğitimin geri kalanında bunlara ihtiyacınız olacak.
• Aynı adımları izleyerek başka bir yığın daha dağıtmanız gerekir. Bu şablon ek parametre gerektirmez. Şablonu GitHub Gist’ten indirin ve dağıtıma devam edin.

DataSync aracının kurulması

Bu eğitimde, AWS DataSync kullanarak gerçek dünya veri aktarım senaryolarını taklit etmek için AWS’de bir şirket içi ortamı çoğaltıyoruz. 

Gerçek bir şirket içi altyapı kullanmak yerine, kaynak depolama sistemi olacak bir Amazon EC2 örneğinde bir NFS sunucusu başlattık. Bu sayede, veriyi şirket içinden taşıyormuş gibi AWS DataSync’i test edip yapılandırabiliyoruz.

Aynı ortamda veri hareketini mümkün kılmak için EC2 örneklerinde AWS DataSync Aracılarını başlattık. Bu aracıların görevi, NFS sunucusunu AWS DataSync’e bağlayarak Amazon S3 gibi bulut depolama servislerine veri aktarımını sağlamaktır. 

Bu mimari, gerçek bir şirket içi ortamda uygulamadan önce AWS DataSync görevlerini taklit etmemize, yapılandırmamıza ve doğrulamamıza olanak tanır. Bu eğitimde bu ortamı kullanarak aracıyı kaydedecek, DataSync görevlerini oluşturacak ve veriyi verimli şekilde taşıyacağız.

Şekil 5 - AWS CloudFormation tarafından dağıtılan mimari

AWS DataSync için NFS sunucusunun yapılandırılması

AWS DataSync’i kurmadan önce, aktaracağınız veriyi ve nasıl organize edildiğini anlamak önemlidir. Bu bölümde, şirket içi depolama sistemi gibi davranması için AWS ortamımızda dağıtılmış bir NFS sunucusunu yapılandıracağız. Bu kurulum, AWS servislerine veri geçişini simüle etmemizi sağlayacak.

Önce NFS sunucusuna giriş yapın:

• AWS Management Console’u açın ve “N. California” bölgesine gidin.
• AWS servisleri listesinden EC2’yu seçin.
• EC2 örnek listesinde NFS sunucusu örneğini bulun.
• Connect’e tıklayın ve Session Manager veya SSH ile bağlanma talimatlarını izleyin.

Ardından dosya sistemlerine göz atın. NFS sunucusunda her biri XFS dosya sistemiyle biçimlendirilmiş ve örnek veri kümeleriyle önceden doldurulmuş üç adet 200 GiB EBS birimi bulunur.

• Bağlı dosya sistemlerini doğrulamak için aşağıdaki komutu çalıştırın:

mount | grep /mntAltyapı:

Şekil 6 - mount komutunun beklenen çıktısı

• Sonra, her dosya sistemindeki veri miktarını kontrol edin:

df -h | grep /mntAltyapı:

Şekil 7 - df komutunun beklenen çıktısı

Görüldüğü gibi, fs1 ve fs2 12 GiB veri, fs3 ise 22 GiB veri içerir.

Şimdi NFS paylaşımlarını yapılandıralım. AWS DataSync aracılarına NFS sunucusuna erişim izni vermek için /etc/exports dosyasını yapılandırın:

• /etc/exports dosyasını root olarak bir metin düzenleyiciyle açın:

sudo nano /etc/exportsAltyapı:

• DataSync aracıları için salt okunur (ro) paylaşımları tanımlamak üzere aşağıdaki satırları ekleyin:

/mnt/fs1 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs2 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs3 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)Altyapı:

10.12.14.243 ve 10.12.14.249 adreslerini, CloudFormation çıktılarınızdaki DataSync aracı EC2 örneklerinin özel IP’leriyle değiştirin.

•  Yeni paylaşım ayarlarını uygulamak için NFS servisini yeniden başlatın:

sudo systemctl restart nfsAltyapı:

• NFS paylaşımlarını doğrulayın:

showmount -eAltyapı:

Şekil 8  - showmount komutunun beklenen çıktısı

CloudWatch’un yapılandırılması ve AWS DataSync aracıların etkinleştirilmesi

NFS sunucusu yapılandırıldıktan sonra, sıradaki adım DataSync için AWS CloudWatch günlüklemeyi etkinleştirmek ve “N. California” bölgesinde DataSync aracılarını aktive etmektir. Bu, tüm dosya aktarımlarının günlüğe alınmasını sağlayarak hata veya başarısızlıklara görünürlük kazandırır.

AWS DataSync’in CloudWatch’a günlük gönderebilmesi için DataSync’e gerekli izinleri veren bir kaynak ilkesi oluşturmamız gerekir.

• Aşağıdaki JSON ilkesini kopyalayın ve yerel makinenizde datasync-policy.json olarak kaydedin:

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}Altyapı:

• Ardından terminalinizde aşağıdaki komutu çalıştırın:

aws logs put-resource-policy --region us-west-1 --policy-name trustDataSync --policy-document file://datasync-policy.jsonAltyapı:

Yukarıdaki komut, AWS DataSync’in CloudWatch’a günlük yazmasına izin verir; bu da aktarım sorunlarını izlemeye ve hata ayıklamaya yardımcı olur.

Şimdi DataSync aracılarını etkinleştirelim. DataSync aracı EC2 örnekleri “N. California” bölgesinde oluşturulmuş olsa da, kullanılmadan önce bu bölgede etkinleştirilmeleri gerekir.

Not: DataSync aracını VMware veya başka bir şirket içi ortamda kurmanız gerekirse resmi AWS kılavuzuna bakın. Ancak, bu eğitimde EC2 örneklerini kullanarak şirket içi bir kurulum simüle ettiğimiz için DataSync araçları, bulut tabanlı kurulumlara yönelik AWS en iyi uygulamalarına uygun şekilde dağıtılmıştır.

• AWS yönetim konsoluna gidin ve “N. California” bölgesini seçin.
• AWS DataSync servisini açın.
• Hiç aracı yoksa Get started’ı, varsa Create agent’ı tıklayın.
• Service endpoint bölümünde “Public service endpoints…” olarak bırakın.
• Activation key bölümünde, CloudFormation çıktılarından ilk DataSync aracısının genel IP adresini girin:
  • Agent 1 Public IP:  <Output from Cloudformation>
  • Agent 2 Public IP: <Output from Cloudformation>

Şekil 8  - DataSync aracısı oluşturma ve etkinleştirme

•  Get key’e tıklayarak etkinleştirme anahtarını alın.
• Aktivasyon başarılı olduğunda bir Aracı adı girin (ör. "Agent 1" veya "Agent 2").
• Gerekirse etiketleri uygulayın.
• Create agent’i tıklayın.
• İkinci DataSync aracısı için yukarıdaki adımları tekrarlayın.

Bir DataSync görevi oluşturma

Şimdi, artık bir DataSync görevi oluşturalım! Şu adımları izleyin:

• AWS DataSync konsoluna gidin.
•  Tasks → Create task’i tıklayın.
• Kaynak konum oluşturun:
• Konum türü: Network File System (NFS).
• Aracılar: “Agent 1 private IP” ve “Agent 2 private IP”’yi seçin.
• NFS Sunucusu Özel IP: NFS özel IP’si.
• Bağlama yolu: /mnt/fs1/d0001 (yalnızca d0001 dizinini kopyalar).

Şekil 10 - AWS DataSync için kaynak konumun yapılandırılması

• Hedef konum oluşturun:
• Konum türü: Amazon S3.
• CloudFormation çıktılarından S3 bucket’ını seçin.
• Depolama sınıfı: Standard.
• IAM Rolü: CloudFormation çıktılarından seçin

Veri aktarım görevlerinin yapılandırılması

AWS DataSync kurulduktan sonra, sıradaki adım veri aktarım görevlerini yapılandırmaktır. Bu görevler verinin nasıl, ne zaman ve nereye aktarılacağını tanımlar. AWS DataSync; dosya filtreleme, zamanlama ve izleme dahil aktarımları optimize etmek için çeşitli seçenekleri destekler.

• Görev ayarlarını yapılandırın:
• Görev adı: Test Task
• Hariç tutma desenleri: */.htaccess ve */index.html
• Aktarım modu: Yalnızca değişen veriyi aktar (DataSync’in kaynak ve hedef arasındaki yalnızca farklı veri ve metaveriyi aktaracağını belirler.)
• Veriyi doğrula: "Yalnızca aktarılan veriyi doğrula"yı seçin.
• CloudWatch günlüklemeyi etkinleştirin:
• Günlük grubu: DataSyncLogs-datasync-incloud’u seçin.
•  Next’e tıklayın, ayarları gözden geçirin ve Create task’i tıklayın.

AWS DataSync ile Veri Aktarımı Yapma

Bir DataSync görevini yapılandırdıktan sonra, aktarımı gerçekleştirip ilerlemesini izlemeniz gerekir. Bu bölüm, transferi elle veya CLI ile nasıl başlatacağınızı, durumunu nasıl takip edeceğinizi ve yaygın sorunları nasıl gidereceğinizi açıklar.

Veri aktarımını başlatma

• Görev durumunun "Creating"’den "Available"’a dönmesini bekleyin.
•  Start düğmesini tıklayın, ayarları gözden geçirin ve Start’ı tıklayın.

Şekil 11 - Görevi başlatma, düzenleme veya silme seçeneklerini gösteren AWS DataSync görev listesi

• Görev ilerlemesini izleyin:
  • Şu durumlar arasında geçiş yapacaktır: Launching → Preparing → Transferring → Verifying → Success.

Aktarım ilerlemesini izleme

Görevde aktarım istatistiklerini görmek için Task history sekmesine tıklayın ve yürütme nesnesini seçin.

Şekil 12  - Dosya ve veri aktarım hızları ile ağ kullanımını gösteren AWS DataSync performans metrikleri

Veri aktarım sorunlarını giderme

AWS DataSync aktarımları sırasında bağlantı hataları, izin sorunları veya yavaş aktarım hızları gibi yaygın problemler oluşabilir. Sorun gidermek için:

1. CloudWatch günlüklerini kontrol edin – Dosya izinleri, aracı bağlantısı veya başarısız aktarımlarla ilgili hataları belirleyin.
2. Ağ bağlantısını doğrulayın – DataSync aracıları hem kaynağa (NFS/SMB) hem de hedefe (S3, EFS, FSx) erişebiliyor olsun.
3. IAM izinlerini gözden geçirin – DataSync servis rolünün okuma/yazma için gerekli izinlere sahip olduğundan emin olun.
4. Aracı yapılandırmasını inceleyin – Aracıların doğru etkinleştirildiğini, sağlıklı olduğunu ve AWS DataSync servisiyle iletişim kurabildiğini doğrulayın.

Aktarım Sonrası Adımlar ve Veri Senkronizasyonu

Veri aktarımı tamamlandıktan sonra, aktarılan dosyaların bütünlüğünü doğrulamak ve gerekirse sürekli senkronizasyonu kurmak önemlidir. Bu bölüm, veri doğruluğunu kontrol etmeyi, artımlı eşitlemeleri zamanlamayı ve maliyetleri optimize etmek için kullanılmayan kaynakları temizlemeyi açıklar.

Veri bütünlüğünü doğrulama

• AWS S3 konsolunu açın ve “datasync” ile başlayan bucket’a gidin.
• Bucket’ı inceleyin ve beklenen tüm dosyaların aktarıldığını doğrulayın.

Şekil 13 - AWS DataSync ile aktarılan dosyaları gösteren AWS S3 bucket

• .htaccess ve index.html dosyalarının kopyalanmadığından emin olun.

Görev yürütme ayrıntılarını AWS CLI üzerinden de kontrol edebilirsiniz:

• Görev yürütme ARN’sini alın:

aws datasync list-task-executions --region us-west-1 | grep exec-Altyapı:

• Görev yürütmesini açıklayın:

aws datasync describe-task-execution --region us-west-1 --task-execution-arn <task-execution-arn>Altyapı:

Şekil 14 - AWS DataSync görev yürütme ayrıntıları

• Temel performans metriklerini gözden geçirin: EstimatedFilesToTransfer, BytesTransferred, aktarım hızı ve süre.

Sürekli veri senkronizasyonu

Gerçek dünyada, ilk aktarımın ardından dosyalar eklenmeye ve değiştirilmeye devam eder. AWS DataSync, yalnızca yeni veya değişen dosyaları kopyalayan artımlı aktarımları destekler. Bu bölümde, fs2 üzerinde verileri değiştirecek, bir artımlı aktarım çalıştıracak ve süreci filtrelerle optimize edeceğiz.

Önce fs2 üzerindeki dosyaları değiştirerek başlayalım.

• SSH ile NFS sunucusuna giriş yapın:

ssh ec2-user@<NFS-Server-IP>Altyapı:

• Yeni bir dosya oluşturun ve manifest listesini güncelleyin:

cd /mnt/fs2/d0001/dir0001
dd if=/dev/urandom of=newfile1 bs=1M count=1
echo "newfile1" >> manifest.lstAltyapı:

Bu işlem, bir yeni dosya (newfile1) ekler ve manifest.lst’yi değiştirir.

Ardından, değişiklikleri eşitlemek için görevi yeniden çalıştırın:

• AWS DataSync konsoluna gidin.
•  Tasks → Test Task (önceden oluşturulan görev).
• Yeni bir yürütme başlatmak için Start’ı tıklayın.
• İlerlemeyi Task history sekmesinden izleyin.
• Tamamlandığında şunları doğrulayın:
• 3 dosya aktarıldı (newfile1, güncellenmiş manifest.lst ve klasör güncellemesi).
• S3’e 1 MiB veri kopyalandı.

Şekil 15 - Artımlı aktarımı gösteren AWS DataSync performans metrikleri

• S3’te aktarımı doğrulayın:
• S3 bucket’a gidin ve newfile1’ın varlığını teyit edin.
• manifest.lst’de güncellenmiş zaman damgasını kontrol edin.

Zamanlanmış görevlerle DataSync aktarımlarını otomatikleştirme

Verilerin sık değiştiği ortamlarda, periyodik eşitlemelerin zamanlanması hedefin minimum manuel müdahaleyle güncel kalmasını sağlar. AWS DataSync, görevleri düzenli aralıklarla (ör. saatlik, günlük veya haftalık) yapılandırmanıza izin vererek operasyonel yükü azaltır. 

Yinelenen bir zamanlama oluşturarak, DataSync yalnızca yeni ve değiştirilmiş dosyaları otomatik olarak algılar ve aktarır; bu da bant genişliği kullanımını ve aktarım verimliliğini optimize eder.

Bir görevi zamanlamak için:

1. AWS DataSync konsoluna gidin ve mevcut bir görevi düzenleyin.
2.  Schedule bölümünde “Daily”, “Weekly” vb. seçenekleri belirleyin.
3. Belirli bir saat girin (isteğe bağlı).
4. Ayarları kaydedin; DataSync, görevi belirtilen aralıklarla çalıştıracaktır.

Temizlik ve maliyet optimizasyonu

Veri aktarımınız tamamlandığında, gereksiz maliyetlerden kaçınmak için kullanılmayan kaynakları temizlemek önemlidir. Şu adımları izleyin:

• DataSync görevlerini durdurun ve silin:
• AWS DataSync konsoluna gidin, görevi seçin ve çalışıyorsa Stop’u seçin.
• Tamamlanan görevleri kaldırmak için Actions → Delete’i tıklayın.
• DataSync aracılarını silin:
• DataSync konsolunda Agents bölümüne gidin.
• Aracıları seçin ve kaldırmak için Delete’i tıklayın.

CloudFormation yığınını silin

• Açın AWS CloudFormation Konsolu.
• Eğitim sırasında oluşturulan CloudFormation Yığınını seçin.
• Sağ üst köşedeki Delete’i tıklayın.

Şekil 15 - AWS’de Yığın Silme Onayı

• Silmeyi onaylayın—CloudFormation ilişkili tüm kaynakları otomatik olarak kaldıracaktır (bu işlem 15 dakikaya kadar sürebilir).
• Yığının tamamen silindiğinden emin olmak için CloudFormation konsolunu izleyin.

AWS DataSync maliyetlerini optimize edin

Veri aktarım maliyetlerini en aza indirmek için şu en iyi uygulamaları göz önünde bulundurun:

1. Artımlı aktarımları kullanın – Gereksiz veri hareketini azaltmak için DataSync’i yalnızca yeni veya değişmiş dosyaları aktaracak şekilde yapılandırın.
2. Aktarım sıklığını optimize edin – Görevleri sürekli eşitleme yerine veri değişim oranlarına göre zamanlayın.
3. Maliyet etkin depolamayı seçin – Seyrek erişilen verileri, maliyeti daha yüksek olan Amazon EFS yerine Amazon S3 Glacier’da saklayın.

Kaynakları düzgün şekilde temizleyip aktarım stratejilerini optimize ederek AWS maliyetlerini önemli ölçüde azaltırken verimli veri senkronizasyonunu sürdürebilirsiniz.

Gelişmiş AWS DataSync Özellikleri

Temel aktarımların ötesinde, AWS DataSync performansı, maliyet verimliliğini ve güvenliği artıran güçlü yetenekler sunar. Bu bölüm, S3 entegrasyonu ve NFS’ten EFS’ye geçiş dahil başlıca gelişmiş kullanım senaryolarını inceler.

Amazon S3 ile DataSync kullanımı

AWS DataSync, S3’e büyük miktarda veriyi taşıma ve geri getirme konusunda güçlü bir araçtır; yedekleme, arşiv ve bulut geçişi görevleri için idealdir. Büyük dosyaları daha küçük parçalara bölüp paralel aktaran çok parçalı yüklemelerle performansı artırır. Ayrıca, DataSync’in S3 depolama sınıflarıyla entegrasyonu, daha az aktif veriyi S3 Glacier veya S3 Intelligent-Tiering’e taşıyarak maliyet tasarrufu sağlar.

Bu eğitimde, bir DataSync görevinin nasıl yapılandırılacağını, bir NFS kaynağının nasıl ayarlanacağını ve istenmeyen dosyalar hariç tutularak dosyaların bir S3 bucket’ına nasıl taşınacağını açıkladık. Bu adımları, operasyonel etkiyi en aza indirerek büyük veri taşımalarını zamanlamak için kullanabilirsiniz.

DataSync ile NFS’ten Amazon EFS’ye geçiş

Şirket içi NFS paylaşımlarını Amazon EFS’ye taşımak isteyen kuruluşlar için çözüm; otomatik, güvenli ve ölçeklenebilir bir yaklaşım sunan AWS DataSync’tir. S3 nesne depolamadır. Buna karşın Amazon EFS (Elastic File System), POSIX uyumluluğuna sahip, tamamen yönetilen bir dosya depolama servisidir ve paylaşımlı erişim ile düşük gecikmeli performans gerektiren uygulamalar için iyi bir tercihtir.

DataSync, NFS’ten EFS’ye geçişte şu şekilde yardımcı olur:

1. Metaveriyi korur – Dosya izinlerini, zaman damgalarını ve sahipliği muhafaza eder.
2. Artımlı eşitlemeyi destekler – Yalnızca değişen veya yeni dosyaları kopyalayarak aktarım maliyetlerini düşürür.
3. Geçişi otomatikleştirir – Manuel betiklere veya karmaşık veri taşıma stratejilerine ihtiyaç bırakmaz.

Bu eğitim NFS’ten S3’e geçişe dayansa da, Amazon EFS’ye geçişte de aynı DataSync ilkeleri kullanılabilir. Temel fark, hedef olarak EFS’nin seçilmesidir; böylece, AWS’de dinamik ölçeklenen bir dosya sistemine ihtiyaç duyan uygulamalar için veri hareketi doğru şekilde gerçekleştirilir. 

AWS DataSync Kullanımı için En İyi Uygulamalar

AWS DataSync’ten en iyi şekilde yararlanmak için hız, güvenlik ve maliyet verimliliğini artıran en iyi uygulamaları izlemek önemlidir. Bu bölüm, veri aktarımlarını optimize etmek, veri güvenliğini sağlamak ve izlemeyi etkili yönetmek için temel stratejileri kapsar.

Aktarım hızını ve maliyeti optimize edin

Büyük ölçekli veri geçişleri için AWS Direct Connect (DX), genel interneti atlayan, daha hızlı, daha güvenli ve daha düşük gecikmeli aktarımlar sağlayan özel bir ağ bağlantısıdır. DX mevcut değilse, VPN bağlantıları veya VPC eşleştirme gibi alternatifler, güvenliği korurken aktarım hızlarını artırabilir.

Ayrıca AWS DataSync’in ayapılı sıkıştırması, ağ üzerinden taşınan veri miktarını azaltarak hızları artırır ve bant genişliği maliyetlerini düşürür. Ancak sıkıştırma CPU kaynaklarını kullandığından, performans faydalarını olası sistem yüküyle kıyaslamak önemlidir. 

Buna ek olarak, görev zamanlama ve yapılandırması DataSync performansını daha da iyileştirmek için optimize edilebilir. Aktarımların yoğun olmayan saatlere alınması, ağ trafiğinden kaçınır ve özellikle büyük dosyalar taşınırken bant genişliği kullanılabilirliğini garanti eder. Ağ ve depolama kapasitesine göre arabellek boyutunun ve paralel aktarım akışlarının ince ayarlanması, verimi ciddi ölçüde artırır. 

Küçük dosya iş akışlarında, paralellik seviyesini artırmak veri aktarımı için gereken süreyi azaltır. Büyük dosyalar için etkili arabellek yönetimi performans ve güvenilirliği artırır.

Veri güvenliğini sağlayın

AWS DataSync’in aktardığı tüm veriler, ağ aktarımını güvence altına almak için aktarılırken şifrelenir (TLS). Amazon S3, Amazon EFS ve Amazon FSx gibi hedef depolama servisleri için de şifreleme etkinleştirilmelidir. S3 kullanırken korumayı artırmak için sunucu tarafı şifrelemeyi etkinleştirin.

DataSync görevleri için IAM rolleri atarken, asgari ayrıcalık ilkesini izleyin. Güvenlik risklerini en aza indirmek için yalnızca gerekli izinleri DataSync aracılarına ve görev yürütme rollerine verin. Etiket tabanlı ilke anahtarlarını kullanmaktan kaçının; beklenmedik veri değişikliklerini önlemek için kaynak tabanlı ilkeler kullanın.

VPC içi veri aktarımlarında, VPC uç noktalarını etkinleştirin; böylece DataSync trafiği AWS ağı içinde kalır ve genel interneti kullanmaz. Bu, farklı AWS servisleri arasında veri taşırken güvenlik risklerini azaltır ve performansı artırır.

DataSync aracısı, en güncel OS güvenliği ve ağ segmentasyonu önerilerine uygun şekilde güvenli çalıştırılmalıdır. Ayrıca güncel olmalı ve yetkisiz erişimi reddetmek için AWS güvenlik grubu ilkeleri uygulanmalıdır.

Aktarımları etkili şekilde izleyin ve yönetin

Etkili izleme, AWS DataSync’te veri aktarımlarının başarılı ve optimize edilmiş olmasını sağlar. Bu eğitimde ayrıca, görev yürütme, aktarım hızları, hata oranları ve verim için gerçek zamanlı takip sağlayan CloudWatch entegrasyonu gösterildi. Görev günlüklerini gözden geçirmek sorunları belirlemeye, dosya bütünlüğünü kontrol etmeye ve başarısız aktarımları gidermeye yardımcı olur.

Şekil 16 - Aktarılan dosyalar ve aktarılan baytları gösteren AWS DataSync CloudWatch izleme panosu

Ayrıca CloudWatch alarmaları, aktarımlar başarısız olduğunda veya performans sorunları yaşandığında sizi bilgilendirir; böylece sorunların büyümeden önce ele alınmasını sağlar.

AWS DataSync Sorun Giderme

AWS DataSync veri aktarımlarını otomatikleştirirken, bağlantı sorunları, izin hataları veya veri tutarsızlıklarıyla karşılaşabilirsiniz. Bu bölüm, yaygın problemlere yönelik çözümler sunar; günlükler aracılığıyla nasıl hata ayıklanacağını açıklar ve sorunsuz veri senkronizasyonu sağlar.

Yaygın hatalar ve çözümleri

AWS DataSync kullanıcıları, aktarımlar sırasında zaman aşımı, izin sorunları veya veri bütünlüğü hatalarıyla karşılaşabilir. İşte yaygın problemler ve çözümleri:

• Görev zaman aşımı veya yavaş aktarımlar
• Neden: Ağ tıkanıklığı, bant genişliği sınırları veya yüksek dosya sayıları.
• Çözüm: Bant genişliği tahsisini artırın ve aktarımları yoğun olmayan saatlere planlayın.
• Erişim engellendi (izin) hataları
• Neden: IAM rolleri veya NFS/SMB erişim kısıtlamaları.
• Çözüm: DataSync IAM rolünün doğru izinlere sahip olduğundan emin olun; NFS export veya SMB paylaşım izinlerinin aracı erişimine izin verdiğini doğrulayın.
• Veri bütünlüğü sorunları (bozuk veya eksik dosyalar)
• Neden: Eksik aktarımlar, kesintiler veya doğrulama yanlış yapılandırmaları.
• Çözüm: Görev ayarlarında veri doğrulama modunu etkinleştirin, atlanan veya başarısız dosyalar için günlükleri kontrol edin ve gerekirse görevi yeniden çalıştırın.
• Aracı bağlantı hataları
• Neden: Ağın yanlış yapılandırılması, güvenlik duvarı engellemeleri veya hatalı aktivasyon.
• Çözüm: Aracının internete erişimi olduğundan emin olun veya özel bağlantı için VPC uç noktalarını yapılandırın. Gerekirse aracı yeniden kaydedin.

Günlükler ve CloudWatch ile hata ayıklama

AWS DataSync görevlerinde etkin şekilde sorun gidermek için günlükler, başarısız aktarımlar, atlanan dosyalar ve ağ hataları hakkında değerli içgörüler sağlar. Bu eğitim, DataSync yürütmelerini izlemek ve hata ayıklamak için CloudWatch entegrasyonunu gösterdi.

DataSync görev günlüklerini şu şekilde kontrol edebilirsiniz:

•  CloudWatch Logs’a gidin → DataSync göreviyle ilişkili günlük grubunu açın.
• İzin sorunları, zaman aşımı veya ağ hatalarıyla ilgili hata mesajlarını veya aktarım başarısızlıklarını arayın.

Şekil 17 - DataSync görev yürütmesi için AWS CloudWatch günlük akışı

Ardından, başarısızlıklar için CloudWatch Alarmları kurun:

•  CloudWatch Metrics’e gidin → AWS/DataSync’i seçin.
• Yüksek başarısızlık oranları, aktarım hızı düşüşleri veya aracı bağlantı sorunları için alarmlar oluşturun.

Sonuç

AWS DataSync, şirket içi ortamlar ve Amazon S3, EFS ve FSx gibi AWS depolama servisleri arasında otomatik, güvenli ve verimli veri aktarımlarını basitleştirir. Bu eğitim, DataSync’in yapılandırılması, kaynak olarak NFS’in kurulması ve güvenlik ile performans sağlanarak verinin aktarılması için pratik ve uygulamalı bir yaklaşım sundu.

Maliyet, hız ve güvenilirlik için DataSync’i optimize etmek üzere artımlı aktarımlar, görev zamanlama ve CloudWatch izlemeyi ele aldık. Ayrıca, sorun giderme adımları ve günlük analizi teknikleri, aktarım sorunlarını etkili şekilde teşhis etmeye ve çözmeye yardımcı olur.

AWS’ye yeni başladıysanız veya bulut kavramları ve servisleri hakkında bilginizi derinleştirmek istiyorsanız, aşağıdaki ilgili öğrenme kaynaklarına göz atmanızı öneririm:

• AWS Concepts
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• AWS Cloud Practitioner (CLF-C02) Certification Track

Bu kurslar, temel bilgileri inşa etmek ve AWS kullanarak gerçek dünya bulut senaryolarına hazırlanmak için harika bir yoldur!