AWS Depolama Eğitimi: S3 ve EFS’e Uygulamalı Bir Giriş

Etkili veri depolama, tüm sektörlerde faaliyet gösteren işletmelerin operasyonel başarısı için kritik bir bileşendir. Toplanan veri miktarı arttıkça, ölçeklenebilir, güvenilir ve maliyet-etkin depolama çözümlerine duyulan ihtiyaç da daha hayati hale gelir.

Doğru veri depolamayı seçmek, ister bulutta ister şirket içi olsun, her birinin kendine özgü avantaj ve sınırlamaları bulunan çok sayıda seçenek nedeniyle zor olabilir.

Bu makalenin amacı tüm olası seçenekleri kapsamak değil; bunun yerine ölçeklenebilir, güvenilir ve maliyet-etkin hizmetlere odaklanacağız: Amazon Simple Storage Service (Amazon S3) ve Amazon Elastic File System (EFS).

Önce işletmelerin neden depolama hizmetlerini benimsemesi gerektiğini açıklayacağız, ardından depolama hizmetlerinin temellerini ele alacağız. Sonrasında depolama hizmetlerini operasyonel bir sürece entegre etmeye yönelik rehberlik sunacağız. Son bölümde ise performans ve maliyet optimizasyonlarına özellikle odaklanarak ileri düzey kavramlara derinlemesine dalacağız.

Amazon Web Services (AWS) hakkında kapsamlı bir başlangıç kaynağı arıyorsanız, Introduction to AWS kursuna göz atın.

Dosya Depolama için Neden AWS?

Bunca depolama seçeneği varken, bir işletmenin dosya depolama için neden AWS kullanması gerektiğinin gerekçelerini sunmak önemlidir; bu bölümün amacı da budur.

Öncelikle, AWS depolama hizmetleri ile geleneksel çözümleri karşılaştırmalı olarak analiz edecek ve gerçek dünyadan kısa uygulama örnekleri paylaşacağız. Bu sayede AWS S3 ve EFS’in çeşitli senaryolardaki önemini pekiştirmeyi umuyoruz.

Depolama seçeneklerinin karşılaştırılması

Geleneksel depolama hizmetleri ile AWS depolama hizmetleri farklı özellik ve faydalar sunar. Aşağıdaki tabloda karşılaştırmalı bir analiz yapıyoruz:

Hem S3 hem de EFS, sektörler genelinde geniş bir uygulama yelpazesine sahiptir. Aşağıda her iki hizmet için gerçek dünyadan bazı kullanım örnekleri yer almakta; farklı senaryolardaki önem ve faydalarını vurgulamaktadır.

Amazon S3 kullanım alanları

Önce Amazon Simple Storage Service (S3) kullanım alanlarını ele alalım:

• Web sitesi barındırma: S3, bloglar, pazarlama siteleri ve portföyler gibi statik web sitelerini barındırır. Küresel erişimi ve yüksek dayanıklılığı, web sitesi içeriğinin dünya çapında hızlı ve güvenilir şekilde sunulmasını sağlar.
• Yedekleme ve felaket kurtarma: S3, yüksek dayanıklılık ve erişilebilirliği sayesinde yedekleme, arşivleme ve felaket kurtarma için kullanılabilir.
• Analitik için veri gölleri: Şirketler, S3 kullanarak büyük veri analitiği için yapılandırılmış ve yapılandırılmamış büyük miktarda veriyi toplayabilir.
• İçerik dağıtımı ve teslimi: Medya şirketleri, ileri analitik amaçları için büyük video, ses ve görsel dosyalarını depolamak ve dağıtmak üzere S3’ü kullanır. CloudFront ve İçerik Dağıtım Ağı hizmetleriyle birlikte kullanıldığında S3, içeriği düşük gecikmeyle verimli şekilde kullanıcılara ulaştırabilir.

EFS kullanım alanları

Şimdi de Amazon Elastic File System (EFS) kullanım alanlarına bakalım:

• EC2 örnekleri için paylaşımlı dosya depolama: EFS, EC2 örnekleri için yüksek erişilebilirliğe ve ölçeklenebilirliğe sahip dosya depolama sunar. Birden fazla örnek üzerinde çalışan uygulamalar, EFS aracılığıyla verileri paylaşabilir; bu da hiyerarşik depolama, dizin gezintisi ve dosya kilitleme gibi dosya sistemi özellikleri gerektiren iş yükleri için idealdir.
• Konteyner depolama: EFS, Amazon ECS ve AWS üzerindeki Kubernetes tarafından yönetilenler de dahil olmak üzere konteynerleştirilmiş uygulamalarla birlikte kullanılabilir. Konteynerler için kalıcı bir depolama katmanı sunarak verilerin tek bir konteyner örneğinin ömrünü aşmasını sağlar.
• Büyük veri ve analitik: EFS, paylaşımlı dosya depolama gerektiren Büyük Veri Analitiği uygulamaları için uygundur. Büyük veri kümelerini işlerken gerekli throughput, IOPS ve düşük gecikmeyi sağlayarak karmaşık analitik iş yüklerini destekleyebilir.

AWS Depolama Temelleri

S3 ve EFS depolama hizmetlerine ilişkin bu içgörülerle, hangi hizmetin ne zaman kullanılacağını bilmek kritik önem taşır; bu bölümün amacı budur. Önce blok, dosya ve nesne depolamaya giriş yapacak, ardından S3 ve EFS’nin karşılaştırmalı yönlerine ineceğiz.

Blok, dosya ve nesne depolamaya giriş

Blok depolama, dosya depolama ve nesne depolama, veri depolama sistemlerinin üç temel türüdür. Her biri bulut bilişim ve veri yönetiminde farklı amaçlara hizmet eder.

Blok depolama

Blok depolama, veriyi her biri benzersiz bir tanımlayıcıya sahip bloklara ayırır ve esnek, verimli veri yönetimi sağlar. Amazon Elastic Block Store (EBS) ve Instance Store Hacimleri, AWS ekosistemindeki blok depolama örnekleridir.

Instance Store, ana makineye doğrudan bağlı geçici depolama sağlar ve geçici veriler için idealdir. Buna karşılık EBS, anlık görüntüler yoluyla artımlı yedeklemeler ve dayanıklılık gerektiren veritabanları, uygulamalar ve dosya sistemleri için uygun kalıcı blok düzeyinde depolama sunar.

Dosya depolama

Dosya depolama, veriyi bir bilgisayardaki geleneksel dosya sistemine benzer şekilde dosya ve klasörlerden oluşan hiyerarşik bir yapıda düzenler. Bu sezgisel yöntem, çeşitli uygulama ve hizmetler genelinde veri erişimini ve yönetimini basitleştirir.

Amazon Elastic File System (EFS), bulutta dosya depolamaya bir örnektir. Otomatik ölçeklenen ve birden çok örnekten eşzamanlı erişimi destekleyen paylaşımlı bir dosya sistemi sağlar.

EFS, özellikle dosyalara paylaşımlı erişim gerektiren uygulamalar veya birden çok kullanıcı ya da sistemin erişip düzenlemesi gereken içeriği sunmak için faydalıdır.

Nesne depolama

Nesne depolama, Amazon S3 gibi, yapılandırılmamış büyük miktarda veriyi depolamak üzere tasarlanmıştır. Blok ve dosya depolamanın aksine nesne depolama, veriyi kovalar içindeki nesneler olarak yönetir.

Her nesne, veriyi, üstveriyi ve benzersiz bir tanımlayıcıyı içerir; bu da her ölçekte verimli veri getirme ve yönetim sağlar. S3, Standart, Standart-Nadir Erişim (IA), Glacier Esnek Kurtarma ve Glacier Derin Arşiv dahil çeşitli depolama sınıflarıyla statik web sitesi barındırmadan veri arşivlemeye kadar geniş bir kullanım alanını destekler.

S3 ve EFS karşılaştırması

Amazon S3 ile Amazon Elastic File System (EFS) arasında seçim yapmak, uygulamanızın veya iş yükünüzün özel gereksinimlerine bağlıdır. Aralarındaki farklara bakalım:

Amazon S3 ile Başlarken

Dosya depolama kavramını daha iyi anladığımıza göre, şimdi teknik uygulamalarla pratiğe geçme zamanı.

Bu bölümde Amazon S3 ile veri yönetimi sürecini ele alıyoruz. Özellikle, depolama için bir kova (bucket) oluşturmayı, verileri klasörlere düzenlemeyi, dosya yüklemeyi, gerektiğinde genel erişim izinlerini ayarlamayı, yönetim için üstveri (metadata) uygulamayı ve sonunda kaynakları serbest bırakıp ek maliyetlerden kaçınmak için kovayı ve içeriğini silmeyi öğreneceğiz.

Bu bölümü başarıyla tamamlamanın temel ön koşulu, AWS hesabına sahip olmaktır; hesap AWS’nin web sitesinden oluşturulabilir.

Kova oluşturma

Bu bölümün başlangıç noktası, aşağıda gösterildiği gibi Amazon Web Services Yönetim Konsolu’dur:

Bu konsol, EC2 gibi hesaplama örneklerinden SQS gibi mesaj kuyruğu hizmetlerine ve güvenlik yönetimine kadar tüm AWS kaynaklarının yönetimine yardımcı olur.

Konsolda iken ilk adım bir S3 örneği oluşturmaktır. Bunu aşağıdaki adımlarla yapabilirsiniz (aşağıdaki görseldeki numaraları takip edebilirsiniz):

Şimdi birkaç adım daha atmaya devam edelim:

Ele aldığımız bazı adımlara birkaç not ekleyelim:

• Adım 4: Kovayı US East (Ohio) us-east-2 bölgesinde oluşturduk.
• Adım 5: Kova adları küresel olarak benzersizdir; bu nedenle daha önce kullanılmayan bir ad seçmek önemlidir. Böylece konum fark etmeksizin hiç kimse aynı adla kova oluşturamaz.
• Adım 6: ACLs enabled seçeneği, kovanın dosyalarına kimin erişebileceği ve neler yapabileceği konusunda ayrıntılı izinler ayarlamamıza olanak tanır. Bu, bireysel dosya düzeyinde erişimi yönetmek için faydalıdır. ACLs disabled seçeneği, tek tek dosyalara izin atama olanağı vermez.
• Adım 8: Bucket owner preferred seçeneği, kovaya kim dosya yüklerse yüklesin tüm dosyaların sahibi olmanızı sağlar. Bu da izin ve erişim yönetimini kolaylaştırır.

Üç adım daha atarak kovayı oluşturalım:

Kovaya veri yükleme

Kovayı oluşturduktan sonra ayrıntıları aşağıda görebiliriz. Kova, kaynakları barındıran bir kapsayıcıdır. Kaynak yükleme, bir klasör oluşturarak başlar. Şu iki adımla başlayalım:

Şimdi klasörü oluşturalım:

Klasörün oluşturulduğuna dikkat edin!

Şimdi klasöre veri yükleme zamanı. Bir görsel yüklemeyi deneyelim:

Görseli başarıyla yükledik!

Erişim kontrolünü yapılandırma

Varsayılan olarak, kovaya yüklenen tüm dosyalar özeldir ve oluşturucuya aittir; yalnızca sahibi görüntüleyebilir, düzenleyebilir veya indirebilir. Ancak, herkesin dosyaya erişebilmesi için kovayı yapılandırmamız gerekebilir—bu, bir web sitesindeki fotoğrafların herkes tarafından görüntülenmesi gerektiğinde işe yarar.

Bunu, görsele tüm genel erişime izin vererek yapılandırabiliriz. Bu, Nesne URL’sine genel erişimle ulaşmamızı sağlamalıydı ancak ne yazık ki bir Erişim Reddedildi mesajı alıyoruz.

Bunu düzeltmek için, kova düzeyinde Permissions sekmesine gidip Bucket Policy’yi düzenlememiz gerekir:

Şimdi ifadeyi düzenleyelim:

Bu değişiklikleri yaptıktan sonra görsel nihayet görüntüleniyor!

Erişim kontrolü yapılandırmasından sonra AWS logosu

Amazon EFS’e Giriş

Bu bölümde bir EFS dosya sistemi oluşturmayı; performans ve güvenlik ayarlarını vurgulayarak ele alıyoruz.

Güvenlik grubu oluşturma

Önce sol menüde Security sekmesi altındaki “Security Groups” seçeneğini seçerek bir güvenlik grubu oluşturuyoruz.

Ardından şunları yapıyoruz:

• Create security group seçeneğini seçin.
• Anlamlı bir ad kullanın—bizim örneğimizde MyDataCampEFSGroup.
• Güvenlik grubu için kısa bir açıklama yazın.
• VPC’yi varsayılan değerde bırakın.

Herhangi bir gelen (inbound) kural eklemiyoruz:

Outbound rule 1 türü All traffic olmalıdır:

Yapılandırmamızı tamamladığımıza göre Create security group düğmesine tıklayabiliriz.

Yeni oluşturulan güvenlik grubu Security Groups bölümünde görüntülenir.

İlk EFS dosya sisteminizi kurun

Sonraki adımda bir EFS dosya sistemi oluşturuyoruz. Arama yapıp EFS’i seçerek başlıyoruz:

Create file system üzerine tıklıyoruz.

Anlamlı bir ad kullanıyoruz, VPC bölümünü olduğu gibi bırakıyoruz ve Customize seçeneğine tıklıyoruz.

Ağ yapılandırma sayfasına erişmek için Next’e tıklıyoruz.

Şimdi her erişilebilirlik bölgesinin güvenlik grupları bölümünü MyDataCampEFSGroup ile dolduruyoruz.

Bitirdiğimizde tekrar Next’e tıklıyoruz.

Son adım, tüm yapılandırmayı gözden geçirmemizi sağlar. Her şeyden memnunsak Create’e tıklarız.

Her şey başarıyla tamamlandığında, yeni oluşturulan EFS dosya sistemini File systems sekmesinde görmeliyiz.

EC2 örneği oluşturma

Bir sonraki adım, EFS’e gerekli hesaplama ortamını sağlayan ve aynı veriye eşzamanlı erişen bir EC2 örneği oluşturmaktır.

Her şeyi adım adım yapalım! Konsoldan EC2’yi seçerek başlıyoruz. Ardından Launch instance’a tıklıyoruz. Ücretsiz katmana uygun olan Amazon Linux 2’yi seçeceğiz.

Şimdi, örneğe güvenli şekilde bağlanmak için bir anahtar çifti oluşturuyoruz. Bu bölümde oluşturduğumuz anahtar çiftinin uzantısı .pem ve adı efs_ec2_key_pair. Bu dosya indirilip yerel olarak kaydedilir ve ileride kullanılacaktır.

Varsayılan depolama kapasitesi 8GiB’dir ve senaryomuz için yeterlidir; örnek sayısı ise 3’e çıkarılır. Son adım Launch instance düğmesine tıklayarak örnekleri başlatmaktır ve nihai sonuç, yeni oluşturulan örnekleri gösterir.

İlerlemeden önce, örneklere bağlanabildiğimizden emin olalım. Aşağıdaki SSH (Secure Shell) komutunu kullanacağız:

ssh -i [path_to_the_key] ec2-user@[Public IPv4 address]

Bu komutu adım adım açıklayalım:

• ssh: Uzak bir makineye SSH bağlantısı başlatan komuttur.
• -i [path_to_the_key]: Kimlik doğrulama için gereken özel SSH anahtar dosyasının yolunu belirtir.
• ec2-user: EC2 Linux örnekleri için varsayılan kullanıcı adıdır. Farklı bir kullanıcı adı yapılandırıldıysa onu kullanabiliriz.
• @: Kullanıcı adını sunucu adresinden ayırır.
• [Public IPv4 address]: EC2 örneğimizin genel IP adresidir. Bu adresi AWS Yönetim Konsolu’nda bulabiliriz.

SSH üzerinden her bir örneğe bağlantının sonuçlarına bakalım.

İlk örnek için SSH bağlantı sonucu.

İkinci örnek için SSH bağlantı sonucu.

Üçüncü örnek için SSH bağlantı sonucu.

EFS’i yapılandırma

Bu son adım, yukarıda oluşturulan EC2 örneklerinin bağlanmasına olanak tanır. Bunu EFS genel arayüzünden yapabiliriz.

Basitlik adına bağlama işlemi yalnızca bir örnek için gösterilmiştir; aynı yaklaşım kalan örneklere de uygulanır.

Önce her örnek için aşağıdaki komutu kullanarak EFS mount yardımcısını kurarak başlıyoruz:

sudo yum install -y amazon-efs-utils

Amazon EFS yardımcı programlarının kurulumu—izleme günlüğü.

Ardından örneklerimizin kök dizininde sudo kullanarak bir efs klasörü oluşturuyoruz; tüm örneklerde aynı klasörü kullandığımızdan emin oluyoruz.

sudo mkdir /efs

Klasörü başarıyla oluşturduktan sonra sıradaki adım onu bağlamaktır. Dosya sistemi kimliği, EFS bölümünde oluşturduğumuz EFS’in kimliğidir; bunu sudo mount -t efs [file system ID]:/ /efs komutunda kullanıyoruz:

sudo mount -t efs fs-088faeea6372efa83:/ /efs

Bu zaman aşımı, oluşturduğumuz EFS sistemine bağlı güvenlik grubunun EC2 örneklerimizden herhangi bir gelen trafiğe izin vermemesinden kaynaklanır. Bunu, güvenlik grubunu bu gelen bağlantıları kabul edecek şekilde etkinleştirerek düzeltebiliriz:

Şimdi yeni bir gelen kural oluşturalım:

Daha güvenli bir seçenek, EC2 örnekleri için ayrı bir güvenlik grubu oluşturmak ve yalnızca o güvenlik grubundan bağlantıya izin vermektir. Bu yapılandırma, bu makalenin kapsamı dışındadır.

Bu işlemi her EC2 örneğinde başarıyla tamamladıktan sonra EFS sistemi her yerden (EC2 örneklerimiz dahil) bağlantıları kabul edebilir. Bu kez zaman aşımı almıyoruz:

Bağlama işleminin başarılı olduğundan emin olmak için şunları yapabilmeliyiz:

• Paylaşılan efs klasörü içinde bir EC2 örneğinden klasör oluşturmak
• Bu klasöre başka bir EC2 örneğinden erişmek.

Aşağıdaki görsel, my_DataCamp_data klasörünün ilk EC2 örneğinden oluşturulmasını ve bir README.txt dosyasını göstermektedir. Aynı README dosyası kalan EC2 örneklerinde de görülebilir.

EFS dosya paylaşımı.

EFS sistem yapılandırmasının gücü sayesinde, bir örnek tarafından oluşturulan bir dosyaya diğer örnekler tarafından da erişilebilir.

AWS ekosistemine daha geniş bir bakış için AWS Cloud Technology and Services kursuna göz atın.

İleri Düzey Depolama Stratejileri

Etkili depolama stratejileri, verileri verimli şekilde yönetmek için esastır. Bu stratejilerin iki temel boyutu performans optimizasyonu ve maliyet optimizasyonudur.

Bu stratejiler, özellikle Amazon’un Simple Storage Service’i (S3) ve Elastic File System’ı (EFS) için geçerlidir.

S3 ve EFS’de performans optimizasyonu, hızı ve verimliliği artırmak için uygun depolama sınıfları ve throughput modlarının seçilmesini içerir.

Maliyet optimizasyonu ise veri erişim sıklığına göre farklı depolama katmanlarının kullanılması ve maliyet yönetimi için AWS izleme araçlarından yararlanılmasını kapsar. Bu stratejiler, bulut depolamada verimli veri yönetimi ve maliyet düşürmeye yardımcı olur.

Sonuç

Buraya kadar geldiğiniz için tebrikler! Bu derinlemesine incelemenin, AWS depolamayı kullanmaya başlamanız için size donanım kazandırmasını umuyoruz.

AWS hizmetlerinde ustalaşmanın etkili bir yolu, onları gerçek dünya senaryolarına uygulamaktır—yalnızca tek başına değil, birden fazla hizmeti bir araya getirerek de. Bu tür bir alıştırma ilginizi çekiyorsa, Streaming Data with AWS Kinesis and Lambda kursuna göz atın.

AWS alanında bir iş arıyorsanız, 2024 için ilgili AWS sertifikalarına mutlaka bakın. Ayrıca, en iyi AWS mülakat soruları ve yanıtlarını gözden geçirmek de çok faydalı olabilir.