AWS DataSync: Cách thiết lập truyền dữ liệu tự động

Thiết lập AWS DataSync

Trước khi truyền dữ liệu, bạn cần cấu hình đúng AWS DataSync. Phần này đề cập đến các yêu cầu tiên quyết và các bước thiết lập, gồm cài đặt agent, vai trò IAM và cấu hình lưu trữ.

Yêu cầu tiên quyết cho AWS DataSync

Chúng ta sẽ dùng AWS CloudFormation để tự động cấp phát tài nguyên và tập trung vào di chuyển dữ liệu. Chúng ta sẽ tạo các tài nguyên sau:

1. Một AWS VPC với các subnet công khai để kết nối mạng.
2. Máy chủ NFS trên phiên bản Amazon EC2 để mô phỏng hệ thống lưu trữ tại chỗ.
3. Các agent AWS DataSync trên các phiên bản EC2 để hỗ trợ di chuyển dữ liệu.
4. IAM Role và policy để cấp quyền cần thiết cho các hoạt động của DataSync.

Đăng nhập vào AWS Console

• Đăng nhập vào AWS Management Console bằng thông tin xác thực của bạn.
• Nhấp vào menu thả xuống ở góc trên bên phải màn hình và chọn khu vực “N. California” cho hướng dẫn này.

Hình 1 - Chọn Khu vực AWS trong AWS Management Console

• Vào EC2 Console và điều hướng đến phần Key Pair. Đảm bảo bạn đang ở cùng khu vực AWS như bước trước.
• Nhấp Create Key Pair và đặt tên là “datasync”.

Hình 2 - Tạo cặp khóa để truy cập an toàn trong AWS EC2

• Nhấp Create, trình duyệt sẽ tải về tệp datasync.pem.
• Lưu tệp này cẩn thận—bạn sẽ cần nó ở phần sau của hướng dẫn.

Cấu hình môi trường

Ở bước này, bạn sẽ dùng một mẫu CloudFormation để thiết lập hạ tầng AWS cần thiết cho AWS DataSync như đã đề cập trước đó.

• Mở bảng điều khiển AWS CloudFormation và nhấp Create stack.
• Chọn Template is ready, sau đó chọn Upload a template file.

Hình 3 - Tải mẫu CloudFormation để tạo stack mới.

• Tải tệp từ Github Gist, nhấp Choose file, tải lên datasync-onprem.yaml và nhấp Next.
• Trong phần Parameters, chọn một cặp khóa EC2 để cho phép SSH vào các phiên bản do stack này tạo. Không chỉnh các giá trị AMI ID, rồi nhấp Next.
• Tại trang Stack Options, giữ mặc định và nhấp Next.
• Xem lại cấu hình và nhấp Create stack.
• Bạn sẽ được chuyển hướng đến bảng điều khiển CloudFormation, trạng thái hiển thị “CREATE_IN_PROGRESS”. Chờ đến khi chuyển thành “CREATE_COMPLETE”.

Hình 4 - Xem trạng thái tạo tài nguyên trong AWS CloudFormation

• Khi hoàn tất, điều hướng đến phần Outputs và ghi lại các giá trị—bạn sẽ cần chúng cho phần còn lại của hướng dẫn.
• Bạn cần triển khai thêm một stack khác bằng cách lặp lại các bước như trên. Mẫu này không yêu cầu tham số bổ sung. Tải mẫu từ GitHub Gist và tiến hành triển khai.

Thiết lập agent DataSync

Trong hướng dẫn này, chúng tôi tái tạo một môi trường tại chỗ trên AWS để mô phỏng các kịch bản truyền dữ liệu thực tế bằng AWS DataSync. 

Thay vì sử dụng hạ tầng tại chỗ thực, chúng tôi đã khởi chạy một máy chủ NFS trên một phiên bản Amazon EC2, sẽ là hệ thống lưu trữ nguồn. Điều này cho phép chúng tôi thử nghiệm và cấu hình AWS DataSync như thể đang di chuyển dữ liệu từ một vị trí tại chỗ.

Chúng tôi đã khởi chạy các Agent AWS DataSync trên các phiên bản EC2 trong cùng môi trường để kích hoạt việc di chuyển dữ liệu. Các agent này chịu trách nhiệm liên kết máy chủ NFS với AWS DataSync, cho phép truyền dữ liệu đến các dịch vụ lưu trữ đám mây như Amazon S3. 

Kiến trúc này cho phép chúng tôi mô phỏng, cấu hình và xác nhận các tác vụ AWS DataSync để đạt quy trình liền mạch trước khi áp dụng trong môi trường tại chỗ thực. Trong hướng dẫn, chúng tôi sẽ dùng môi trường này để đăng ký agent, tạo tác vụ DataSync và di chuyển dữ liệu hiệu quả.

Hình 5 - Kiến trúc được triển khai bởi AWS CloudFormation

Cấu hình máy chủ NFS cho AWS DataSync

Trước khi thiết lập AWS DataSync, điều quan trọng là hiểu dữ liệu bạn sẽ truyền và cách tổ chức của nó. Ở phần này, chúng ta sẽ cấu hình một máy chủ NFS triển khai trong môi trường AWS của chúng ta để đóng vai hệ thống lưu trữ tại chỗ. Thiết lập này cho phép mô phỏng quá trình di chuyển dữ liệu sang các dịch vụ AWS.

Đầu tiên, đăng nhập vào máy chủ NFS:

• Mở AWS Management Console và chuyển đến khu vực “N. California”.
• Chọn EC2 từ danh sách dịch vụ AWS.
• Xác định phiên bản máy chủ NFS trong danh sách phiên bản EC2.
• Nhấp Connect và làm theo hướng dẫn để kết nối bằng Session Manager hoặc SSH.

Sau đó, duyệt hệ thống tệp. Máy chủ NFS chứa ba volume EBS 200 GiB, mỗi volume được định dạng hệ thống tệp XFS và được điền sẵn bộ dữ liệu mẫu.

• Chạy lệnh sau để kiểm tra các hệ thống tệp đã gắn:

mount | grep /mntĐược hỗ trợ bởi

Hình 6 - Kết quả mong đợi của lệnh mount

• Tiếp theo, kiểm tra lượng dữ liệu có trong mỗi hệ thống tệp:

df -h | grep /mntĐược hỗ trợ bởi

Hình 7 - Kết quả mong đợi của lệnh df

Như bạn thấy, fs1 và fs2 chứa 12 GiB dữ liệu, còn fs3 chứa 22 GiB dữ liệu.

Giờ hãy cấu hình NFS exports. Để cho phép các agent AWS DataSync truy cập máy chủ NFS, cấu hình tệp /etc/exports:

• Mở tệp /etc/exports với quyền root bằng trình soạn thảo văn bản:

sudo nano /etc/exportsĐược hỗ trợ bởi

• Thêm các dòng sau để định nghĩa export chỉ đọc (ro) cho các agent DataSync:

/mnt/fs1 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs2 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs3 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)Được hỗ trợ bởi

Thay 10.12.14.243 và 10.12.14.249 bằng IP riêng của các phiên bản EC2 chạy agent DataSync của bạn từ phần Outputs của CloudFormation.

•  Áp dụng cấu hình export mới bằng cách khởi động lại dịch vụ NFS:

sudo systemctl restart nfsĐược hỗ trợ bởi

• Xác minh NFS exports:

showmount -eĐược hỗ trợ bởi

Hình 8  - Kết quả mong đợi của lệnh showmount

Cấu hình CloudWatch và kích hoạt các agent AWS DataSync

Khi máy chủ NFS đã được cấu hình, bước tiếp theo là bật ghi log AWS CloudWatch cho DataSync và kích hoạt các agent DataSync ở khu vực “N. California”. Điều này đảm bảo mọi lần truyền tệp đều được ghi lại, cung cấp khả năng quan sát lỗi hoặc thất bại.

Trước khi AWS DataSync có thể gửi log tới CloudWatch, chúng ta cần tạo resource policy cấp quyền cần thiết cho DataSync.

• Sao chép JSON policy sau và lưu thành datasync-policy.json trên máy cục bộ của bạn:

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}Được hỗ trợ bởi

• Sau đó, chạy lệnh sau trong terminal của bạn:

aws logs put-resource-policy --region us-west-1 --policy-name trustDataSync --policy-document file://datasync-policy.jsonĐược hỗ trợ bởi

Lệnh trên cho phép AWS DataSync ghi log vào CloudWatch, hỗ trợ giám sát và gỡ lỗi các sự cố truyền.

Giờ hãy kích hoạt các agent DataSync. Dù các phiên bản EC2 chạy agent DataSync được tạo ở khu vực “N. California”, chúng phải được kích hoạt tại khu vực đó trước khi sử dụng.

Lưu ý: Nếu bạn cần cài đặt agent DataSync trong VMware hoặc môi trường tại chỗ khác, hãy tham khảo hướng dẫn chính thức của AWS. Tuy nhiên, vì chúng ta đang mô phỏng môi trường tại chỗ bằng phiên bản EC2, các agent DataSync trong hướng dẫn này được triển khai theo thực tiễn tốt nhất của AWS cho cài đặt trên đám mây.

• Đi tới bảng điều khiển AWS và chọn khu vực “N. California”.
• Mở dịch vụ AWS DataSync.
• Nếu chưa có agent, nhấp Get started; nếu không, nhấp Create agent.
• Ở phần Service endpoint, để “Public service endpoints…”.
• Ở phần Activation key, nhập địa chỉ IP công khai của agent DataSync đầu tiên từ Outputs của CloudFormation:
  • Agent 1 Public IP:  <Output from Cloudformation>
  • Agent 2 Public IP: <Output from Cloudformation>

Hình 8  - Tạo và kích hoạt agent DataSync

• Nhấp Get key để lấy khóa kích hoạt.
• Sau khi kích hoạt thành công, nhập tên Agent (ví dụ: "Agent 1" hoặc "Agent 2").
• Áp dụng thẻ nếu cần.
• Nhấp Create agent.
• Lặp lại các bước trên cho agent DataSync thứ hai.

Tạo tác vụ DataSync

Giờ hãy tạo một tác vụ DataSync! Thực hiện theo các bước sau:

• Vào bảng điều khiển AWS DataSync.
• Nhấp Tasks → Create task.
• Tạo vị trí nguồn:
• Location type: Network File System (NFS).
• Agents: Chọn cả “Agent 1 private IP” và “Agent 2 private IP”.
• NFS Server Private IP: IP riêng của NFS.
• Đường gắn (Mount path): /mnt/fs1/d0001 (chỉ sao chép thư mục d0001).

Hình 10 - Cấu hình vị trí nguồn cho AWS DataSync

• Tạo vị trí đích:
• Location type: Amazon S3.
• Chọn S3 bucket từ Outputs của CloudFormation.
• Storage class: Standard.
• IAM Role: Chọn từ Outputs của CloudFormation

Cấu hình tác vụ truyền dữ liệu

Khi đã thiết lập AWS DataSync, bước tiếp theo là cấu hình các tác vụ truyền dữ liệu. Các tác vụ này xác định cách, thời điểm và nơi dữ liệu sẽ được truyền. AWS DataSync hỗ trợ nhiều tùy chọn để tối ưu hóa truyền, gồm lọc tệp, lập lịch và giám sát.

• Cấu hình thiết lập tác vụ:
• Tên tác vụ: Test Task
• Mẫu loại trừ: */.htaccess và */index.html
• Chế độ truyền: Chỉ truyền dữ liệu đã thay đổi (xác định liệu DataSync chỉ truyền dữ liệu và siêu dữ liệu khác biệt giữa nguồn và đích).
• Xác minh dữ liệu: Chọn "Verify only the data transferred".
• Bật ghi log CloudWatch:
• Nhóm log: Chọn DataSyncLogs-datasync-incloud.
• Nhấp Next, xem lại cài đặt và nhấp Create task.

Thực hiện truyền dữ liệu với AWS DataSync

Sau khi cấu hình tác vụ DataSync, bạn cần thực thi quá trình truyền và theo dõi tiến độ. Phần này hướng dẫn cách bắt đầu truyền thủ công hoặc qua CLI, theo dõi trạng thái và xử lý sự cố thường gặp.

Bắt đầu truyền dữ liệu

• Chờ trạng thái tác vụ chuyển từ "Creating" sang "Available."
• Nhấp Start, xem lại cài đặt, rồi nhấp Start.

Hình 11 - Danh sách tác vụ AWS DataSync hiển thị tùy chọn bắt đầu, chỉnh sửa hoặc xóa tác vụ

• Theo dõi tiến độ tác vụ:
  • Nó sẽ lần lượt qua các trạng thái: Launching → Preparing → Transferring → Verifying → Success.

Giám sát tiến độ truyền

Nhấp vào tab Task history và chọn đối tượng thực thi để xem thống kê truyền trong tác vụ.

Hình 12  - Chỉ số hiệu năng AWS DataSync hiển thị thông lượng tệp, dữ liệu và mức sử dụng mạng

Xử lý sự cố truyền dữ liệu

Trong quá trình truyền bằng AWS DataSync, có thể xảy ra các vấn đề thường gặp như lỗi kết nối, lỗi quyền hoặc tốc độ truyền chậm. Để khắc phục:

1. Kiểm tra log CloudWatch – Xác định lỗi liên quan đến quyền tệp, kết nối agent hoặc truyền thất bại.
2. Xác minh kết nối mạng – Đảm bảo các agent DataSync có thể truy cập cả nguồn (NFS/SMB) và đích (S3, EFS, FSx).
3. Rà soát quyền IAM – Xác nhận vai trò dịch vụ DataSync có quyền cần thiết để đọc/ghi dữ liệu.
4. Kiểm tra cấu hình agent – Đảm bảo agent được kích hoạt đúng, ở trạng thái khỏe mạnh và có thể giao tiếp với dịch vụ AWS DataSync.

Các bước sau truyền và đồng bộ dữ liệu

Sau khi truyền dữ liệu hoàn tất, điều quan trọng là xác minh tính toàn vẹn của các tệp đã truyền và thiết lập đồng bộ liên tục nếu cần. Phần này giải thích cách kiểm tra độ chính xác dữ liệu, lập lịch đồng bộ gia tăng và dọn dẹp tài nguyên không dùng để tối ưu chi phí.

Xác minh tính toàn vẹn dữ liệu

• Mở bảng điều khiển AWS S3 và điều hướng đến bucket bắt đầu bằng “datasync”.
• Duyệt bucket và xác minh tất cả các tệp dự kiến đã được truyền.

Hình 13 - Bucket AWS S3 hiển thị các tệp đã truyền qua AWS DataSync

• Đảm bảo các tệp .htaccess và index.html không được sao chép.

Bạn cũng có thể kiểm tra chi tiết thực thi tác vụ qua AWS CLI:

• Lấy ARN thực thi tác vụ:

aws datasync list-task-executions --region us-west-1 | grep exec-Được hỗ trợ bởi

• Mô tả thực thi tác vụ:

aws datasync describe-task-execution --region us-west-1 --task-execution-arn <task-execution-arn>Được hỗ trợ bởi

Hình 14 - Chi tiết thực thi tác vụ AWS DataSync

• Xem các chỉ số hiệu năng chính: EstimatedFilesToTransfer, BytesTransferred, tốc độ truyền và thời lượng.

Đồng bộ dữ liệu liên tục

Trong các tình huống thực tế, tệp tiếp tục được thêm và sửa sau lần truyền ban đầu. AWS DataSync hỗ trợ truyền gia tăng, đảm bảo chỉ sao chép các tệp mới hoặc đã thay đổi đến đích. Ở phần này, chúng ta sẽ chỉnh sửa dữ liệu trên fs2, chạy một lần truyền gia tăng và tối ưu quy trình bằng bộ lọc.

Bắt đầu bằng cách chỉnh sửa tệp trên fs2.

• Đăng nhập vào máy chủ NFS qua SSH:

ssh ec2-user@<NFS-Server-IP>Được hỗ trợ bởi

• Tạo một tệp mới và cập nhật danh sách manifest:

cd /mnt/fs2/d0001/dir0001
dd if=/dev/urandom of=newfile1 bs=1M count=1
echo "newfile1" >> manifest.lstĐược hỗ trợ bởi

Thao tác này thêm một tệp mới (newfile1) và sửa manifest.lst.

Sau đó, chạy lại tác vụ để đồng bộ thay đổi:

• Vào bảng điều khiển AWS DataSync.
• Nhấp Tasks → Test Task (tác vụ đã tạo trước đó).
• Nhấp Start để khởi chạy một lần thực thi mới.
• Theo dõi tiến độ trong tab Task history.
• Khi hoàn tất, xác minh:
• 3 tệp được truyền (newfile1, manifest.lst đã cập nhật và cập nhật thư mục).
• 1 MiB dữ liệu được sao chép sang S3.

Hình 15 - Chỉ số hiệu năng AWS DataSync hiển thị một lần truyền gia tăng

• Xác thực việc truyền trên S3:
• Vào S3 bucket và xác nhận sự hiện diện của newfile1.
• Kiểm tra manifest.lst để thấy dấu thời gian được cập nhật.

Tự động hóa truyền DataSync bằng tác vụ theo lịch

Với môi trường dữ liệu thay đổi thường xuyên, lập lịch đồng bộ định kỳ đảm bảo đích luôn được cập nhật với ít can thiệp thủ công. AWS DataSync cho phép bạn cấu hình tác vụ theo chu kỳ (ví dụ: theo giờ, ngày hoặc tuần), giảm gánh nặng vận hành. 

Bằng cách thiết lập lịch lặp lại, DataSync sẽ tự động phát hiện và truyền chỉ các tệp mới và đã sửa, tối ưu băng thông và hiệu quả truyền.

Để lập lịch một tác vụ:

1. Vào bảng điều khiển AWS DataSync và chỉnh sửa một tác vụ hiện có.
2. Trong phần Schedule, chọn “Daily”, “Weekly”, v.v.
3. Cung cấp thời gian cụ thể (tùy chọn).
4. Lưu cài đặt, và DataSync sẽ thực thi tác vụ theo khoảng thời gian đã chỉ định.

Dọn dẹp và tối ưu chi phí

Khi hoàn tất truyền dữ liệu, cần dọn dẹp tài nguyên không dùng để tránh chi phí không cần thiết. Thực hiện các bước sau:

• Dừng và xóa tác vụ DataSync:
• Vào bảng điều khiển AWS DataSync, chọn tác vụ và chọn Stop nếu đang chạy.
• Nhấp Actions → Delete để xóa tác vụ đã hoàn thành.
• Xóa agent DataSync:
• Đi tới Agents trong bảng điều khiển DataSync.
• Chọn agent và nhấp Delete để xóa.

Xóa CloudFormation stack

• Mở AWS CloudFormation Console.
• Chọn CloudFormation Stack đã tạo trong hướng dẫn.
• Nhấp Delete (góc trên bên phải).

Hình 15 - Xác nhận xóa Stack trong AWS

• Xác nhận xóa—CloudFormation sẽ tự động gỡ bỏ tất cả tài nguyên liên quan (có thể mất tới 15 phút).
• Theo dõi bảng điều khiển CloudFormation để đảm bảo stack được xóa hoàn toàn.

Tối ưu chi phí AWS DataSync

Để giảm thiểu chi phí truyền dữ liệu, cân nhắc các thực tiễn tốt nhất sau:

1. Dùng truyền gia tăng – Cấu hình DataSync chỉ truyền tệp mới hoặc đã sửa để giảm di chuyển dữ liệu không cần thiết.
2. Tối ưu tần suất truyền – Lập lịch tác vụ dựa trên tốc độ thay đổi dữ liệu thay vì chạy đồng bộ liên tục.
3. Chọn lớp lưu trữ tiết kiệm – Lưu trữ dữ liệu ít truy cập trong Amazon S3 Glacier thay vì Amazon EFS, vốn có chi phí cao hơn.

Bằng cách dọn dẹp tài nguyên đúng cách và tối ưu chiến lược truyền, bạn có thể giảm đáng kể chi phí AWS đồng thời duy trì đồng bộ dữ liệu hiệu quả.

Tính năng nâng cao của AWS DataSync

Vượt ra ngoài truyền cơ bản, AWS DataSync cung cấp các khả năng mạnh mẽ giúp cải thiện hiệu năng, hiệu quả chi phí và bảo mật. Phần này khám phá các trường hợp sử dụng nâng cao quan trọng, bao gồm tích hợp S3 và di cư NFS sang EFS.

Sử dụng DataSync với Amazon S3

AWS DataSync là công cụ mạnh mẽ để di chuyển lượng dữ liệu lớn tới và từ S3, lý tưởng cho sao lưu, lưu trữ và di cư lên đám mây. Nó tăng hiệu năng thông qua tải lên đa phần (multipart upload), chia tệp lớn thành các phần nhỏ hơn và truyền song song. Hơn nữa, tích hợp DataSync với các lớp lưu trữ S3 giúp tiết kiệm chi phí bằng cách chuyển dữ liệu kém hoạt động sang S3 Glacier hoặc S3 Intelligent-Tiering.

Trong hướng dẫn này, chúng tôi đã giải thích cách cấu hình tác vụ DataSync, thiết lập nguồn NFS và chuyển tệp đến S3 bucket, đồng thời loại trừ các tệp không mong muốn. Bạn có thể sử dụng các bước này để lập lịch các đợt di chuyển dữ liệu lớn với tác động vận hành tối thiểu.

Di cư từ NFS sang Amazon EFS với DataSync

Đối với các tổ chức cần di chuyển các chia sẻ NFS tại chỗ sang Amazon EFS, giải pháp là tự động, an toàn và có khả năng mở rộng – AWS DataSync. Vấn đề là S3 là lưu trữ đối tượng, trong khi Amazon EFS (Elastic File System) là dịch vụ lưu trữ tệp được quản lý hoàn toàn với khả năng tương thích POSIX, phù hợp cho các ứng dụng cần truy cập dùng chung và độ trễ thấp.

Dưới đây là cách DataSync hỗ trợ di cư từ NFS sang EFS:

1. Giữ nguyên siêu dữ liệu – Bảo toàn quyền tệp, dấu thời gian và quyền sở hữu.
2. Hỗ trợ đồng bộ gia tăng – Chỉ sao chép các tệp mới hoặc thay đổi, giảm chi phí truyền.
3. Tự động hóa di cư – Không cần scripting thủ công hoặc chiến lược di chuyển dữ liệu phức tạp.

Mặc dù hướng dẫn này dựa trên di cư từ NFS sang S3, các nguyên tắc DataSync tương tự có thể áp dụng khi di chuyển sang Amazon EFS. Khác biệt chính là chọn EFS làm đích để việc di chuyển dữ liệu được thực hiện tốt cho các ứng dụng cần hệ thống tệp có khả năng mở rộng động trong AWS. 

Thực tiễn tốt nhất khi sử dụng AWS DataSync

Để khai thác tối đa AWS DataSync, điều cốt yếu là tuân theo các thực tiễn tốt nhất nhằm tăng tốc độ, bảo mật và hiệu quả chi phí. Phần này đề cập đến các chiến lược quan trọng để tối ưu truyền dữ liệu, đảm bảo an toàn dữ liệu và quản lý giám sát hiệu quả.

Tối ưu tốc độ truyền và chi phí

Đối với các đợt di cư dữ liệu quy mô lớn, AWS Direct Connect (DX) là kết nối mạng riêng chuyên dụng, tránh Internet công cộng và cho phép truyền nhanh hơn, an toàn hơn với độ trễ thấp. Nếu không có DX, các lựa chọn khác như kết nối VPN hoặc VPC peering có thể tăng tốc độ truyền đồng thời duy trì bảo mật.

Ngoài ra, AWS DataSync có nén tích hợp giúp giảm lượng dữ liệu di chuyển qua mạng, từ đó tăng tốc độ và giảm chi phí băng thông. Tuy nhiên, vì nén sử dụng tài nguyên CPU, cần cân nhắc lợi ích hiệu năng so với khả năng tăng tải hệ thống. 

Bên cạnh đó, lập lịch và cấu hình tác vụ có thể được tối ưu thêm để cải thiện hiệu năng DataSync. Lập lịch truyền vào giờ thấp điểm giúp tránh tắc nghẽn mạng và đảm bảo băng thông, đặc biệt khi truyền tệp lớn. Việc tinh chỉnh kích thước bộ đệm và số luồng truyền song song theo năng lực mạng và lưu trữ có thể cải thiện đáng kể thông lượng. 

Với quy trình nhiều tệp nhỏ, tăng mức độ song song giúp rút ngắn thời gian truyền dữ liệu, trong khi quản lý bộ đệm hiệu quả tăng cường hiệu năng và độ tin cậy cho tệp lớn.

Đảm bảo an toàn dữ liệu

Mọi dữ liệu do AWS DataSync truyền đều được mã hóa khi truyền thông qua TLS để đảm bảo an toàn khi qua mạng. Cũng nên bật mã hóa cho các dịch vụ lưu trữ đích, gồm Amazon S3, Amazon EFS và Amazon FSx. Để tăng mức độ bảo vệ khi dùng S3, hãy bật mã hóa phía máy chủ.

Khi gán vai trò IAM cho các tác vụ DataSync, hãy tuân thủ nguyên tắc đặc quyền tối thiểu. Để giảm rủi ro bảo mật, chỉ cấp các quyền cần thiết cho agent DataSync và vai trò thực thi tác vụ. Tránh dùng khóa policy dựa trên thẻ và thay vào đó sử dụng policy dựa trên tài nguyên để tránh các thay đổi dữ liệu ngoài ý muốn.

Đối với truyền dữ liệu trong nội bộ VPC, hãy bật VPC endpoint để luồng DataSync hoạt động trong mạng AWS mà không qua Internet công cộng. Điều này giúp giảm rủi ro bảo mật và cải thiện hiệu năng khi di chuyển dữ liệu giữa các dịch vụ AWS.

Agent DataSync nên được vận hành an toàn, tuân theo khuyến nghị mới nhất về bảo mật hệ điều hành và phân đoạn mạng. Agent cũng cần được cập nhật và áp dụng chính sách security group của AWS để từ chối truy cập trái phép.

Giám sát và quản lý truyền hiệu quả

Giám sát hiệu quả giúp đảm bảo các lần truyền dữ liệu thành công và được tối ưu trong AWS DataSync. Hướng dẫn này cũng đã trình bày cách tích hợp với CloudWatch để theo dõi theo thời gian thực việc thực thi tác vụ, tốc độ truyền, tỷ lệ lỗi và thông lượng. Rà soát log tác vụ giúp xác định vấn đề, kiểm tra tính toàn vẹn tệp và khắc phục lần truyền thất bại.

Hình 16 - Bảng điều khiển giám sát CloudWatch của AWS DataSync hiển thị số tệp đã truyền, byte đã truyền

Thêm nữa, CloudWatch có cảnh báo thông báo khi các lần truyền thất bại hoặc gặp vấn đề hiệu năng, giúp phát hiện sớm và xử lý trước khi trở thành vấn đề lớn.

Xử lý sự cố AWS DataSync

Mặc dù AWS DataSync tự động hóa truyền dữ liệu, bạn có thể gặp sự cố kết nối, lỗi quyền hoặc không nhất quán dữ liệu. Phần này cung cấp giải pháp cho các vấn đề thường gặp, giải thích cách gỡ lỗi bằng log và đảm bảo đồng bộ dữ liệu trơn tru.

Lỗi thường gặp và cách khắc phục

Người dùng AWS DataSync có thể gặp timeout, lỗi quyền hoặc lỗi toàn vẹn dữ liệu trong quá trình truyền. Dưới đây là một số vấn đề phổ biến và cách giải quyết:

• Tác vụ hết thời gian hoặc truyền chậm
• Nguyên nhân: Tắc nghẽn mạng, giới hạn băng thông hoặc số lượng tệp lớn.
• Giải pháp: Tăng phân bổ băng thông và lập lịch truyền vào giờ thấp điểm.
• Lỗi từ chối quyền
• Nguyên nhân: Giới hạn vai trò IAM hoặc quyền truy cập NFS/SMB.
• Giải pháp: Đảm bảo vai trò IAM của DataSync có quyền chính xác và xác minh quyền export NFS hoặc chia sẻ SMB cho phép agent truy cập.
• Vấn đề toàn vẹn dữ liệu (tệp hỏng hoặc thiếu)
• Nguyên nhân: Truyền không hoàn tất, gián đoạn hoặc cấu hình xác minh sai.
• Giải pháp: Bật chế độ xác minh dữ liệu trong cài đặt tác vụ, kiểm tra log để tìm tệp bị bỏ qua hoặc thất bại và chạy lại tác vụ nếu cần.
• Lỗi kết nối agent
• Nguyên nhân: Cấu hình mạng sai, firewall chặn hoặc kích hoạt không đúng.
• Giải pháp: Đảm bảo agent có quyền truy cập Internet hoặc cấu hình VPC endpoint cho kết nối riêng tư. Nếu cần, đăng ký lại agent.

Gỡ lỗi bằng log và CloudWatch

Để xử lý sự cố tác vụ AWS DataSync hiệu quả, log cung cấp thông tin giá trị về lần truyền thất bại, tệp bị bỏ qua và lỗi mạng. Hướng dẫn này đã trình bày tích hợp CloudWatch để giám sát và gỡ lỗi các lần thực thi DataSync.

Cách kiểm tra log tác vụ DataSync:

• Đi tới CloudWatch Logs → Mở nhóm log liên quan đến tác vụ DataSync.
• Tìm thông báo lỗi hoặc thất bại liên quan tới vấn đề quyền, timeout hoặc lỗi mạng.

Hình 17 - Luồng log CloudWatch cho lần thực thi tác vụ DataSync

Sau đó, thiết lập CloudWatch Alarms cho các trường hợp thất bại:

• Vào CloudWatch Metrics → Chọn AWS/DataSync.
• Tạo cảnh báo cho tỷ lệ thất bại cao, sụt giảm tốc độ truyền hoặc sự cố kết nối agent.

Kết luận

AWS DataSync đơn giản hóa việc truyền dữ liệu tự động, an toàn và hiệu quả giữa môi trường tại chỗ và các dịch vụ lưu trữ AWS như Amazon S3, EFS và FSx. Hướng dẫn này cung cấp cách tiếp cận thực hành để cấu hình DataSync, thiết lập NFS làm nguồn và truyền dữ liệu đồng thời đảm bảo bảo mật và hiệu năng.

Chúng tôi đã khám phá truyền gia tăng, lập lịch tác vụ và giám sát CloudWatch để tối ưu DataSync về chi phí, tốc độ và độ tin cậy. Ngoài ra, các bước xử lý sự cố và kỹ thuật phân tích log giúp chẩn đoán và giải quyết sự cố truyền hiệu quả.

Nếu bạn mới làm quen với AWS hoặc muốn đào sâu hiểu biết về các khái niệm và dịch vụ đám mây, tôi khuyên bạn nên xem các tài nguyên học tập liên quan sau:

• AWS Concepts
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• Lộ trình chứng chỉ AWS Cloud Practitioner (CLF-C02)

Các khóa học này là cách tuyệt vời để xây dựng nền tảng kiến thức và chuẩn bị cho các tình huống đám mây thực tế với AWS!