Hướng dẫn Lưu trữ AWS: Giới thiệu thực hành về S3 và EFS

Lưu trữ dữ liệu hiệu quả là thành phần then chốt quyết định thành công vận hành của mọi doanh nghiệp trong mọi lĩnh vực. Càng thu thập nhiều dữ liệu, nhu cầu về các giải pháp lưu trữ có khả năng mở rộng, đáng tin cậy và tối ưu chi phí càng trở nên cấp thiết.

Việc lựa chọn giải pháp lưu trữ phù hợp có thể là một thách thức do có vô vàn lựa chọn, cả trên đám mây lẫn tại chỗ, mỗi loại đều có ưu điểm và hạn chế riêng.

Bài viết này không nhằm bao quát mọi lựa chọn có thể có mà tập trung vào các dịch vụ có khả năng mở rộng, đáng tin cậy và tiết kiệm chi phí: Amazon Simple Storage Service (Amazon S3) và Amazon Elastic File System (EFS).

Chúng tôi sẽ bắt đầu bằng việc giải thích lý do doanh nghiệp nên áp dụng các dịch vụ lưu trữ và tiếp tục với những kiến thức nền tảng về dịch vụ lưu trữ. Sau đó, chúng tôi sẽ đưa ra hướng dẫn tích hợp dịch vụ lưu trữ vào quy trình vận hành. Phần cuối là phần chuyên sâu về các khái niệm nâng cao, tập trung cụ thể vào tối ưu hiệu năng và chi phí.

Nếu bạn đang tìm một tài liệu nhập môn toàn diện về Amazon Web Services (AWS), hãy xem khóa học Introduction to AWS này.

Vì sao chọn AWS cho lưu trữ tệp?

Với tất cả lựa chọn lưu trữ hiện có, điều quan trọng là nêu rõ lý do vì sao doanh nghiệp nên dùng AWS để lưu trữ tệp, và đó là mục đích của phần này.

Phần này bắt đầu bằng phân tích so sánh giữa các dịch vụ lưu trữ AWS và truyền thống, kèm ví dụ ngắn về các ứng dụng thực tế. Hy vọng điều này sẽ củng cố mức độ phù hợp của AWS S3 và EFS trong nhiều kịch bản khác nhau.

So sánh các lựa chọn lưu trữ

Dịch vụ lưu trữ truyền thống và dịch vụ lưu trữ AWS cung cấp những nhóm tính năng và lợi ích khác nhau. Chúng tôi thực hiện phân tích so sánh trong bảng dưới đây:

Cả S3 và EFS đều có phạm vi ứng dụng rộng rãi trên nhiều ngành. Dưới đây là một số ví dụ thực tế cho cả hai dịch vụ, nêu bật mức độ phù hợp và tính hữu dụng trong các tình huống khác nhau.

Trường hợp sử dụng Amazon S3

Trước tiên, hãy xem xét các trường hợp sử dụng của Amazon Simple Storage Service (S3):

• Lưu trữ website: S3 lưu trữ website tĩnh như blog, trang marketing và portfolio. Phạm vi phủ sóng toàn cầu và độ bền cao đảm bảo nội dung website được phân phối nhanh chóng và ổn định trên toàn thế giới.
• Sao lưu và khôi phục thảm họa: S3 có thể dùng cho sao lưu, lưu trữ lưu trữ dài hạn và khôi phục sau thảm họa nhờ độ bền và tính sẵn sàng cao.
• Hồ dữ liệu cho phân tích: Doanh nghiệp có thể tổng hợp lượng lớn dữ liệu có cấu trúc và phi cấu trúc trên S3 để phục vụ phân tích dữ liệu lớn.
• Phân phối và cung cấp nội dung: Các công ty media dùng S3 để lưu trữ và phân phối các tệp video, audio và hình ảnh lớn phục vụ mục đích phân tích. Khi kết hợp với CloudFront và các dịch vụ Mạng phân phối nội dung, S3 có thể phân phối nội dung tới người dùng một cách hiệu quả với độ trễ thấp.

Trường hợp sử dụng EFS

Tiếp theo, hãy xem xét các trường hợp sử dụng của Amazon Elastic File System (EFS):

• Lưu trữ tệp dùng chung cho các phiên bản EC2: EFS là hệ thống tệp có tính sẵn sàng và khả năng mở rộng cao cho các phiên bản EC2. Ứng dụng chạy trên nhiều phiên bản có thể chia sẻ dữ liệu qua EFS, lý tưởng cho các tải công việc cần tính năng hệ thống tệp như lưu trữ phân cấp, điều hướng thư mục và khóa tệp.
• Lưu trữ cho container: EFS có thể dùng với các ứng dụng đóng gói container, bao gồm các ứng dụng được điều phối bởi Amazon ECS và Kubernetes trên AWS. EFS cung cấp lớp lưu trữ bền vững cho container, cho phép dữ liệu tồn tại sau vòng đời của một phiên bản container đơn lẻ.
• Dữ liệu lớn và phân tích: EFS phù hợp cho các ứng dụng Phân tích Dữ liệu Lớn cần lưu trữ tệp dùng chung. EFS có thể hỗ trợ các tải phân tích phức tạp nhờ cung cấp thông lượng, IOPS và độ trễ thấp để xử lý bộ dữ liệu lớn.

Kiến thức nền tảng về Lưu trữ AWS

Với tất cả các hiểu biết về dịch vụ lưu trữ S3 và EFS, điều quan trọng là biết khi nào nên dùng dịch vụ nào, và đó là mục đích của phần này. Chúng tôi sẽ giới thiệu lưu trữ khối, tệp và đối tượng, sau đó đi sâu vào khía cạnh so sánh giữa S3 và EFS.

Giới thiệu về lưu trữ khối, tệp và đối tượng

Lưu trữ khối, lưu trữ tệp và lưu trữ đối tượng là ba loại hệ thống lưu trữ dữ liệu nền tảng. Mỗi loại phục vụ các mục đích khác nhau trong điện toán đám mây và quản lý dữ liệu.

Lưu trữ khối

Lưu trữ khối phân đoạn dữ liệu thành các khối, mỗi khối có định danh duy nhất, cho phép quản lý dữ liệu linh hoạt và hiệu quả. Amazon Elastic Block Store (EBS) và Instance Store Volumes là các ví dụ về lưu trữ khối trong hệ sinh thái AWS.

Instance Store cung cấp lưu trữ tạm thời gắn trực tiếp vào máy chủ, lý tưởng cho dữ liệu tạm. Ngược lại, EBS cung cấp lưu trữ cấp khối bền vững, phù hợp cho cơ sở dữ liệu, ứng dụng và hệ thống tệp cần độ bền và sao lưu tăng dần qua snapshot.

Lưu trữ tệp

Lưu trữ tệp tổ chức dữ liệu theo cấu trúc phân cấp của tệp và thư mục, tương tự hệ thống tệp truyền thống trên máy tính. Cách thức trực quan này đơn giản hóa việc truy cập và quản lý dữ liệu trên nhiều ứng dụng và dịch vụ.

Amazon Elastic File System (EFS) là ví dụ về lưu trữ tệp trên đám mây. EFS cung cấp hệ thống tệp dùng chung tự động mở rộng và hỗ trợ truy cập đồng thời từ nhiều phiên bản.

EFS đặc biệt hữu ích cho các ứng dụng cần truy cập tệp dùng chung hoặc phục vụ nội dung mà nhiều người dùng hoặc hệ thống cần truy cập và chỉnh sửa.

Lưu trữ đối tượng

Lưu trữ đối tượng, như Amazon S3, được thiết kế để lưu trữ lượng lớn dữ liệu phi cấu trúc. Khác với lưu trữ khối và tệp, lưu trữ đối tượng quản lý dữ liệu dưới dạng các đối tượng trong bucket.

Mỗi đối tượng bao gồm dữ liệu, siêu dữ liệu và định danh duy nhất, cho phép truy xuất và quản lý dữ liệu hiệu quả ở mọi quy mô. S3 rất linh hoạt, hỗ trợ nhiều trường hợp sử dụng từ lưu trữ website tĩnh đến lưu trữ lưu trữ dài hạn với các lớp lưu trữ khác nhau, bao gồm Standard, Standard-Infrequent Access (IA), Glacier Flexible Retrieval và Glacier Deep Archive.

S3 so với EFS

Việc lựa chọn giữa Amazon S3 và Amazon Elastic File System (EFS) phụ thuộc vào yêu cầu cụ thể của ứng dụng hoặc tải công việc của bạn. Hãy xem các khác biệt giữa hai dịch vụ:

Bắt đầu với Amazon S3

Giờ chúng ta đã hiểu rõ hơn về khái niệm lưu trữ tệp, đã đến lúc bắt tay vào một số triển khai kỹ thuật.

Phần này trình bày quy trình quản lý dữ liệu với Amazon S3. Cụ thể, chúng ta sẽ học cách tạo bucket để lưu trữ, tổ chức dữ liệu vào thư mục, tải tệp lên, điều chỉnh quyền truy cập công khai khi cần, áp dụng siêu dữ liệu để quản lý, và cuối cùng xóa bucket cùng nội dung để giải phóng tài nguyên và tránh chi phí phát sinh.

Điều kiện tiên quyết chính để hoàn thành phần này là có tài khoản AWS, có thể tạo từ website AWS.

Tạo bucket

Điểm xuất phát của phần này là Bảng điều khiển Quản trị Dịch vụ Web Amazon, như minh họa dưới đây:

Bảng điều khiển này giúp quản lý tất cả tài nguyên AWS, từ phiên bản tính toán như EC2 đến dịch vụ hàng đợi thông điệp như SQS, bao gồm cả quản lý bảo mật.

Khi vào bảng điều khiển, bước đầu tiên là tạo một phiên bản S3. Có thể thực hiện bằng các bước sau (bạn có thể theo dõi các số trên hình bên dưới):

Giờ chúng ta tiếp tục với một vài bước nữa:

Hãy bổ sung một vài ghi chú cho một số bước đã thực hiện:

• Bước 4: Chúng ta tạo bucket ở khu vực US East (Ohio) us-east-2.
• Bước 5: Tên bucket là duy nhất trên toàn cầu, nên cần chọn tên chưa có ai sử dụng. Như vậy, không ai khác, dù ở đâu, có thể tạo bucket trùng tên.
• Bước 6: Tùy chọn ACLs enabled cho phép đặt quyền chi tiết về ai có thể truy cập tệp trong bucket và họ có thể làm gì. Điều này hữu ích khi quản lý quyền ở cấp tệp riêng lẻ. Tùy chọn ACLs disabled không cho phép đặt quyền trên từng tệp.
• Bước 8: Tùy chọn Bucket owner preferred đảm bảo chúng ta sở hữu tất cả tệp tải lên bucket, dù do ai tải lên. Điều này giúp quản lý quyền và truy cập dễ hơn.

Hãy tạo bucket bằng cách thực hiện thêm ba bước nữa:

Tải dữ liệu vào bucket

Sau khi tạo bucket, chúng ta có thể xem chi tiết như bên dưới. Bucket là một vùng chứa có thể giữ các tài nguyên. Việc tải tài nguyên bắt đầu bằng việc tạo một thư mục. Hãy bắt đầu với hai bước sau:

Giờ hãy tạo thư mục:

Lưu ý rằng thư mục đã được tạo!

Giờ là lúc tải dữ liệu vào thư mục. Hãy thử tải một hình ảnh:

Chúng ta đã tải hình ảnh thành công!

Cấu hình kiểm soát truy cập

Theo mặc định, tất cả tệp tải lên bucket đều ở chế độ riêng tư và thuộc sở hữu của người tạo, chỉ chủ sở hữu mới có thể xem, chỉnh sửa hoặc tải xuống. Tuy nhiên, đôi khi chúng ta cần cấu hình bucket để bất kỳ ai cũng có thể truy cập tệp—điều này hữu ích khi mọi người cần xem ảnh trên một website.

Chúng ta có thể cấu hình bằng cách cho phép truy cập công khai vào hình ảnh. Việc này giúp truy cập vào Object URL với quyền công khai, nhưng đáng tiếc là chúng ta nhận được thông báo Access Denied.

Để khắc phục, chúng ta cần điều hướng đến thẻ Permissions ở cấp độ bucket và chỉnh sửa Bucket Policy:

Giờ hãy chỉnh sửa phần khai báo:

Sau khi thực hiện các thay đổi này, cuối cùng hình ảnh đã hiển thị!

Logo AWS sau khi cấu hình kiểm soát truy cập

Giới thiệu về Amazon EFS

Phần này thảo luận về việc tạo hệ thống tệp EFS, nhấn mạnh các thiết lập hiệu năng và bảo mật.

Tạo nhóm bảo mật

Trước tiên, chúng ta tạo một nhóm bảo mật bằng cách chọn tùy chọn “Security Groups” dưới thẻ Security trên thanh điều hướng bên trái.

Sau đó, chúng ta:

• Chọn Create security group.
• Dùng tên có ý nghĩa—MyDataCampEFSGroup trong ví dụ của chúng ta.
• Viết mô tả ngắn cho nhóm bảo mật.
• Để VPC ở giá trị mặc định.

Chúng ta không thêm quy tắc inbound nào:

Loại của Outbound rule 1 nên là All traffic:

Sau khi hoàn tất cấu hình, chúng ta có thể nhấp nút Create security group.

Nhóm bảo mật vừa tạo sẽ hiển thị trong mục Security Groups.

Thiết lập hệ thống tệp EFS đầu tiên

Tiếp theo, chúng ta tạo hệ thống tệp EFS. Bắt đầu bằng cách tìm kiếm và chọn EFS:

Bây giờ nhấp vào Create file system.

Chúng ta dùng tên có ý nghĩa, để nguyên phần VPC, rồi nhấp Customize.

Để truy cập trang cấu hình mạng, nhấp Next.

Chúng ta điền phần nhóm bảo mật cho từng vùng sẵn sàng bằng MyDataCampEFSGroup.

Hoàn tất, nhấp Next lần nữa.

Bước cuối cho phép xem lại toàn bộ cấu hình. Khi đã hài lòng, nhấp Create.

Khi mọi thứ được thực thi thành công, chúng ta sẽ thấy hệ thống tệp EFS vừa tạo trong thẻ File systems.

Tạo phiên bản EC2

Bước tiếp theo là tạo phiên bản EC2, cung cấp cho EFS môi trường tính toán cần thiết và đồng thời truy cập cùng dữ liệu.

Hãy làm từng bước! Chúng ta bắt đầu bằng cách chọn EC2 trong bảng điều khiển. Sau đó, nhấp Launch instance. Chúng ta sẽ chọn Amazon Linux 2, đủ điều kiện free tier.

Bây giờ chúng ta tạo cặp khóa để kết nối an toàn tới phiên bản. Cặp khóa tạo trong phần này có phần mở rộng .pem với tên efs_ec2_key_pair. Tệp này được tải xuống và lưu cục bộ để sử dụng sau.

Dung lượng lưu trữ mặc định là 8GiB, đủ cho kịch bản của chúng ta, và số lượng phiên bản được tăng lên 3. Bước cuối là khởi chạy bằng cách nhấp nút Launch instance, và kết quả cuối cùng hiển thị các phiên bản mới tạo.

Trước khi tiếp tục, hãy đảm bảo có thể kết nối tới các phiên bản. Chúng ta sẽ dùng lệnh SSH (Secure Shell) sau:

ssh -i [path_to_the_key] ec2-user@[Public IPv4 address]

Hãy phân tích lệnh này từng bước:

• ssh: Lệnh khởi tạo kết nối SSH.
• -i [path_to_the_key]: Tùy chọn chỉ định đường dẫn tới tệp khóa SSH riêng, cần thiết để xác thực trên máy chủ từ xa.
• ec2-user: Tên người dùng mặc định cho các phiên bản EC2 Linux. Có thể dùng tên khác nếu đã cấu hình.
• @: Ký hiệu ngăn cách tên người dùng và địa chỉ máy chủ.
• [Public IPv4 address]: Địa chỉ IP công khai của phiên bản EC2. Có thể tìm thấy địa chỉ này trong Bảng điều khiển Quản trị AWS.

Hãy xem kết quả kết nối tới từng phiên bản qua SSH.

Kết quả kết nối SSH cho phiên bản thứ nhất.

Kết quả kết nối SSH cho phiên bản thứ hai.

Kết quả kết nối SSH cho phiên bản thứ ba.

Cấu hình EFS

Bước cuối này cho phép gắn kết các phiên bản EC2 đã tạo ở trên. Chúng ta có thể thực hiện từ giao diện chung của EFS.

Để đơn giản, quá trình gắn kết chỉ minh họa cho một phiên bản, nhưng cách tiếp cận giống nhau áp dụng cho các phiên bản còn lại.

Chúng ta bắt đầu bằng cách cài đặt công cụ hỗ trợ gắn kết EFS cho mỗi phiên bản bằng lệnh sau:

sudo yum install -y amazon-efs-utils

Cài đặt tiện ích Amazon EFS—trace log.

Sau đó, chúng ta tạo thư mục efs ở thư mục gốc trên các phiên bản bằng sudo, đảm bảo dùng cùng một thư mục trên tất cả phiên bản.

sudo mkdir /efs

Sau khi tạo thư mục thành công, bước tiếp theo là gắn kết. ID hệ thống tệp là ID của EFS chúng ta đã tạo trong phần EFS, và chúng ta sử dụng nó trong lệnh sudo mount -t efs [file system ID]:/ /efs:

sudo mount -t efs fs-088faeea6372efa83:/ /efs

Lỗi hết thời gian này xảy ra vì nhóm bảo mật gắn với hệ thống EFS chúng ta tạo không cho phép bất kỳ lưu lượng inbound nào từ các phiên bản EC2 của chúng ta. Có thể khắc phục bằng cách bật cho nhóm bảo mật chấp nhận các kết nối inbound này:

Giờ chúng ta tạo một quy tắc inbound mới:

Một lựa chọn an toàn hơn là tạo một nhóm bảo mật riêng cho các phiên bản EC2 và chỉ cho phép kết nối từ nhóm bảo mật đó. Cấu hình này nằm ngoài phạm vi của bài viết.

Sau khi hoàn tất thành công quy trình này trên mỗi phiên bản EC2, hệ thống EFS có thể chấp nhận kết nối từ mọi nơi (bao gồm các phiên bản EC2 của chúng ta). Lần này không còn lỗi hết thời gian:

Để đảm bảo quá trình gắn kết thành công, chúng ta cần có thể:

• Tạo một thư mục trong thư mục efs dùng chung từ một phiên bản EC2
• Truy cập thư mục đó từ một phiên bản EC2 khác.

Minh họa dưới đây cho thấy thư mục my_DataCamp_data được tạo từ phiên bản EC2 thứ nhất, cùng với tệp README.txt. Cùng một tệp README có thể được thấy trên các phiên bản EC2 còn lại.

Chia sẻ tệp qua EFS.

Nhờ sức mạnh của cấu hình hệ thống EFS, tệp được tạo bởi một phiên bản có thể được truy cập bởi các phiên bản còn lại.

Để có cái nhìn tổng quan rộng hơn về hệ sinh thái AWS, hãy xem khóa học AWS Cloud Technology and Services này.

Chiến lược lưu trữ nâng cao

Các chiến lược lưu trữ hiệu quả là yếu tố thiết yếu để quản lý dữ liệu một cách hiệu quả. Hai khía cạnh quan trọng là tối ưu hiệu năng và tối ưu chi phí.

Những chiến lược này đặc biệt phù hợp với Amazon’s Simple Storage Service (S3) và Elastic File System (EFS).

Tối ưu hiệu năng trong S3 và EFS bao gồm việc lựa chọn lớp lưu trữ và chế độ thông lượng phù hợp để tăng tốc độ và hiệu quả.

Tối ưu chi phí bao gồm sử dụng các tầng lưu trữ khác nhau dựa trên tần suất truy cập dữ liệu và tận dụng công cụ giám sát của AWS để quản lý chi phí. Các chiến lược này giúp quản lý dữ liệu hiệu quả và giảm chi phí lưu trữ đám mây.

Kết luận

Chúc mừng bạn đã đi đến đây! Chúng tôi hy vọng phần chuyên sâu này giúp bạn sẵn sàng bắt đầu sử dụng lưu trữ AWS.

Một cách hiệu quả để làm chủ các dịch vụ AWS là áp dụng chúng vào các kịch bản thực tế—không chỉ riêng lẻ mà còn bằng cách kết hợp nhiều dịch vụ. Nếu dạng bài tập đó hấp dẫn bạn, hãy xem khóa học Streaming Data with AWS Kinesis and Lambda.

Nếu bạn đang tìm việc trong mảng AWS, hãy chắc chắn xem các chứng chỉ AWS năm 2024 phù hợp. Ngoài ra, sẽ rất hữu ích nếu bạn xem qua các câu hỏi phỏng vấn AWS hàng đầu và câu trả lời.