Amazon EMR: Hướng dẫn thực hành hoàn chỉnh cho người mới bắt đầu

Mở rộng quy mô cụm Amazon EMR

Khi nhu cầu xử lý dữ liệu phát triển, bạn có thể cần điều chỉnh tài nguyên của cụm EMR để duy trì hiệu năng và hiệu quả chi phí.

EMR cung cấp các tùy chọn mở rộng thủ công và tự động, cho phép bạn thay đổi số lượng máy theo nhu cầu khối lượng công việc. 

Bên cạnh đó, tận dụng Spot Instances có thể giúp tối ưu chi phí đồng thời đảm bảo khả năng mở rộng.

Mở rộng thủ công

Mở rộng thủ công cho phép bạn tăng hoặc giảm số lượng máy trong cụm theo nhu cầu thời gian thực. 

Bạn có thể thực hiện điều chỉnh này qua bảng điều khiển EMR, AWS CLI hoặc EMR API.

• Dùng bảng điều khiển EMR: Điều hướng đến cụm của bạn, chọn "Resize" và chỉ định số lượng máy mong muốn.
• Dùng AWS CLI: Chạy lệnh sau để thay đổi kích thước cụm:

aws emr modify-instance-groups --cluster-id <your-cluster-id> --instance-groups InstanceGroupId=<your-instance-group-id>,InstanceCount=<new-instance-count>Được hỗ trợ bởi

• Dùng EMR API: Bạn có thể dùng API ModifyInstanceGroups để điều chỉnh động số lượng máy.

Mở rộng thủ công phù hợp nhất với khối lượng công việc dự đoán được, nơi bạn có thể ước tính trước nhu cầu tài nguyên. 

Ví dụ, tôi dùng mở rộng thủ công khi biết job xử lý dữ liệu sẽ có nhu cầu ổn định, cho phép tôi điều chỉnh số lượng máy theo khối lượng dự kiến và đảm bảo sử dụng tài nguyên tối ưu.

Tự động mở rộng trong Amazon EMR

Tự động mở rộng trong EMR điều chỉnh động số lượng máy theo thay đổi khối lượng công việc, đảm bảo sử dụng tài nguyên hiệu quả trong khi kiểm soát chi phí. 

Các chính sách tự động mở rộng xác định thời điểm thêm hoặc bớt máy dựa trên các chỉ số cụ thể như mức sử dụng CPU, bộ nhớ YARN hoặc độ dài hàng đợi tác vụ.

Các cấu hình tự động mở rộng chính:

• Scale-out policy: Thêm máy khi khối lượng công việc tăng, đảm bảo xử lý job kịp thời.
• Scale-in policy: Giảm máy khi nhu cầu giảm, tránh chi phí không cần thiết.
• Thời gian hồi (cooldown): Ngăn hành động mở rộng quá dày trong khoảng thời gian ngắn.

Để bật tự động mở rộng, cấu hình Auto-Scaling Policy qua AWS Management Console, CLI hoặc API. 

Ví dụ lệnh AWS CLI để đặt chính sách tự động mở rộng:

aws emr put-auto-scaling-policy --cluster-id <your-cluster-id> --instance-group-id <your-instance-group-id> --auto-scaling-policy file://policy.jsonĐược hỗ trợ bởi

Tự động mở rộng đặc biệt hữu ích cho khối lượng công việc biến động, như phân tích luồng, xử lý theo lô và các tác vụ học máy có yêu cầu tài nguyên dao động. 

Chẳng hạn, tôi dùng tự động mở rộng khi chạy một mô hình học máy có các đợt tăng đột biến không lường trước. Hệ thống tự động mở rộng khi cao điểm và thu hẹp khi nhu cầu giảm, giúp tối ưu cả chi phí lẫn hiệu năng.

Spot instances để tối ưu chi phí

Amazon EC2 Spot Instances cung cấp cách tiết kiệm chi phí để chạy cụm EMR bằng cách tận dụng năng lực EC2 dư thừa với mức giá giảm đáng kể. 

Những máy chủ này lý tưởng nếu bạn có khối lượng công việc chịu lỗi, như xử lý dữ liệu lớn và học máy.

Lợi ích khi dùng Spot Instances trong EMR:

• Tiết kiệm chi phí: Spot Instances có thể rẻ hơn tới 90% so với On-Demand.
• Khả năng mở rộng: Bạn có thể bổ sung sức mạnh tính toán linh hoạt với chi phí thấp hơn.
• Kết hợp loại máy: EMR cho phép pha trộn Spot, On-Demand và Reserved Instances để cân bằng chi phí và độ tin cậy.

Tuy nhiên, Spot Instances có thể bị gián đoạn nếu AWS thu hồi năng lực. Để giảm thiểu:

• Dùng Instance Fleets thay vì Instance Groups để kết hợp Spot và On-Demand linh hoạt.
• Triển khai checkpointing trong khối lượng công việc để phục hồi sau gián đoạn tiềm ẩn.
• Thiết lập yêu cầu Spot đa dạng trên nhiều Vùng sẵn sàng và loại máy để tăng ổn định.

Để cấu hình Spot Instances trong EMR, dùng lệnh AWS CLI sau:

aws emr create-cluster --instance-fleets file://instance-fleet-config.jsonĐược hỗ trợ bởi

Kết hợp mở rộng thủ công, tự động mở rộng và Spot Instances có thể giúp bạn tối ưu cụm EMR về hiệu năng, chi phí và độ tin cậy.

Bảo mật và kiểm soát truy cập trong Amazon EMR

Cấu hình sai vai trò IAM trong EMR có thể khiến dữ liệu nhạy cảm lộ ra cho người dùng không mong muốn. Do đó, bạn luôn nên áp dụng nguyên tắc đặc quyền tối thiểu và giới hạn truy cập SSH chỉ cho IP đáng tin cậy.

AWS cung cấp các tính năng bảo mật mạnh mẽ, bao gồm vai trò IAM để kiểm soát truy cập, mã hóa để bảo vệ dữ liệu và các thực hành tốt để bảo vệ môi trường của bạn.

Vai trò và chính sách IAM

AWS Identity and Access Management (IAM) kiểm soát truy cập vào các cụm EMR và tài nguyên liên quan. 

Khi tạo cụm, bạn phải gán các vai trò IAM cấp quyền tương tác với S3, DynamoDB và các dịch vụ AWS khác. 

Xác định các chính sách đặc quyền tối thiểu đảm bảo bảo mật bằng cách giới hạn truy cập chỉ với tài nguyên cần thiết.

Hình dưới đây hiển thị các managed policy và cách chúng có thể được dùng với EMR.

Ảnh chụp cài đặt chính sách AWS IAM hiển thị cách phân quyền. Nenguồn: AWS Docs

Mã hóa dữ liệu và thực hành bảo mật tốt

Amazon EMR hỗ trợ mã hóa dữ liệu khi lưu trữ bằng Amazon S3 server-side encryption (SSE) hoặc AWS Key Management Service (KMS). Dữ liệu khi truyền có thể được bảo vệ bằng giao thức SSL/TLS.

Các thực hành bảo mật tốt bao gồm dùng xác thực đa yếu tố (MFA) khi truy cập bảng điều khiển AWS, hạn chế truy cập SSH và quản lý khóa API an toàn.

Nếu bạn muốn tìm hiểu thêm về bảo mật AWS, hãy xem khóa học AWS Security and Cost Management.

Xử lý sự cố Amazon EMR

Mặc dù Amazon EMR được thiết kế để mở rộng và tin cậy, sự cố vẫn có thể xảy ra trong quá trình vận hành cụm và thực thi job. 

Các thách thức phổ biến gồm nút thắt cổ chai hiệu năng, lỗi job và hạn chế tài nguyên. Hiểu cách chẩn đoán và khắc phục những vấn đề này sẽ giúp bạn duy trì quy trình làm việc hiệu quả.

Vấn đề thường gặp với các cụm EMR

Người dùng thường gặp các vấn đề như job chạy chậm, phân bổ bộ nhớ không đủ, hỏng máy và hoán đổi dữ liệu kém hiệu quả. 

Các vấn đề hiệu năng có thể bắt nguồn từ việc chọn sai loại máy, cụm cấp phát thiếu hoặc I/O đĩa quá mức. Để giải quyết:

• Tối ưu tham số job: Điều chỉnh các thiết lập như bộ nhớ executor, mức song song và số phân vùng shuffle để cân bằng sử dụng tài nguyên.
• Mở rộng số máy phù hợp: Sử dụng chính sách tự động mở rộng để điều chỉnh động kích thước cụm theo nhu cầu công việc.
• Giám sát và xem xét nhật ký: Dùng Amazon CloudWatch, bảng điều khiển EMR hoặc phân tích nhật ký trực tiếp trong Amazon S3 để xác định nút thắt và điểm lỗi.

Chẩn đoán các job Spark và Hadoop

Khi các job Spark hoặc Hadoop thất bại, hiểu rõ nguyên nhân gốc rễ là rất quan trọng để khắc phục. 

Nhật ký lưu trong Amazon S3 hoặc truy cập qua bảng điều khiển EMR cung cấp thông tin hữu ích về lỗi thực thi, vấn đề bộ nhớ và sự chậm trễ tác vụ.

• Dùng Spark history server: Công cụ này giúp phân tích dòng thời gian thực thi job, hoạt động shuffle và phân phối tác vụ để phát hiện nút thắt hiệu năng.
• Tận dụng Hadoop job tracker: Với khối lượng công việc MapReduce, Job Tracker cung cấp thống kê thực thi chi tiết, giúp xác định vấn đề như tác vụ chạy lâu hoặc lệch dữ liệu.
• Tinh chỉnh hiệu năng với Dr. Elephant và Sparklens: Các công cụ này đưa ra khuyến nghị tối ưu hóa khối lượng công việc Spark và Hadoop bằng cách phân tích số liệu thực thi trong quá khứ.

Hình dưới đây cho thấy cách Dr. Elephant và Sparklens có thể được dùng để tinh chỉnh hiệu năng Hadoop và Spark trên Amazon EMR.

Giao diện Dr. Elephant và Sparklens hiển thị thông tin tinh chỉnh hiệu năng cho các job Hadoop và Spark trên Amazon EMR. Nenguồn: AWS Blogs

Tình trạng cụm và khôi phục

Nếu một cụm gặp sự cố, chẩn đoán nhanh vấn đề có thể giảm thiểu thời gian ngừng hoạt động và ngăn mất dữ liệu. 

Amazon CloudWatch và AWS CloudTrail cung cấp khả năng giám sát và cảnh báo giúp xác định vấn đề cơ bản.

• Kiểm tra chỉ số CloudWatch: Xem mức sử dụng CPU, bộ nhớ và I/O đĩa để xác định tài nguyên đang bị sử dụng quá mức hay chưa đủ.
• Khởi động lại máy lỗi: Nếu một máy gặp lỗi do phần cứng hoặc phần mềm, khởi động lại hoặc thay bằng máy mới có thể khôi phục ổn định cụm.
• Khởi chạy cụm mới từ cấu hình đã lưu: Để khôi phục sau sự cố nghiêm trọng, bạn có thể dùng tính năng nhân bản (cloning) của Amazon EMR để khởi chạy cụm mới với cùng thiết lập và bootstrap actions.

Sơ đồ minh họa các cách tối ưu tình trạng cụm và khôi phục trong Amazon EMR. Ảnh được tạo bằng Napkin AI

Quản lý chi phí với Amazon EMR

Quản lý chi phí hiệu quả là điều quan trọng khi chạy khối lượng công việc trên Amazon EMR. Giá phụ thuộc vào các yếu tố như loại máy, lưu trữ và truyền dữ liệu, nhưng có những chiến lược để tối ưu chi tiêu. 

Hiểu về giá

Chi phí Amazon EMR chủ yếu dựa trên một số yếu tố chính: máy tính, lưu trữ và truyền dữ liệu. 

• On-Demand Instances cho phép bạn mở rộng cụm theo nhu cầu, mang lại tính linh hoạt mà không cần cam kết dài hạn. Tuy nhiên, mô hình này có thể đắt với khối lượng công việc liên tục. 
• Spot Instances là lựa chọn tiết kiệm bằng cách đặt mua năng lực EC2 chưa dùng với mức giá thấp hơn đáng kể. Dù mang lại tiết kiệm lớn, Spot Instances phụ thuộc vào khả dụng và có thể bị gián đoạn.

Để ước tính chi phí chính xác, bạn có thể dùng AWS Pricing Calculator, công cụ tính đến cấu hình cụm, loại máy và nhu cầu khối lượng công việc. 

Bạn cần hiểu cấu trúc giá này để dự báo và lập ngân sách tốt hơn, đảm bảo phân bổ tài nguyên hiệu quả.

Ngoài ra, tận dụng AWS Savings Plans hoặc Reserved Instances cho khối lượng công việc dự đoán được có thể cố định mức giá thấp hơn và giảm tổng chi phí.

Chiến lược tối ưu chi phí

Để tối ưu chi phí, bạn nên áp dụng một số thực hành tốt khi chạy khối lượng công việc Amazon EMR:

1. Tự động mở rộng: Điều chỉnh kích thước cụm động theo nhu cầu giúp bạn chỉ dùng đúng tài nguyên cần thiết tại mọi thời điểm. Điều này ngăn cấp phát quá mức và giảm lãng phí.
2. Chọn đúng kích cỡ máy: Chọn loại máy phù hợp nhất với khối lượng công việc có thể cải thiện hiệu năng đồng thời giảm chi phí. Ví dụ, máy tối ưu tính toán phù hợp với tác vụ nặng xử lý, trong khi máy tối ưu bộ nhớ phù hợp cho phân tích trong bộ nhớ.
3. Spot instances để tiết kiệm: Dùng Spot Instances khi có thể để giảm đáng kể chi phí tính toán. Để giảm gián đoạn, cân nhắc chạy khối lượng công việc chịu lỗi có thể xử lý việc chấm dứt máy và tái cân bằng.
4. Tối ưu cụm: Cấu hình cụm hiệu quả bằng cách chọn đúng số lượng nút và điều chỉnh thiết lập Hadoop hoặc Spark có thể cải thiện hiệu năng mà không tốn kém quá mức.
5. Kết thúc cụm nhàn rỗi: Giám sát hoạt động cụm và tắt các cụm không hoạt động để tránh phát sinh chi phí không cần thiết.
6. Tận dụng dịch vụ quản lý: Chuyển một số tác vụ ETL sang AWS Glue có thể là lựa chọn tiết kiệm so với chạy cùng quy trình trên Amazon EMR. AWS Glue là dịch vụ serverless có thể tự động mở rộng theo nhu cầu, loại bỏ việc quản lý và chi trả cho tài nguyên tính toán nhàn rỗi.

Áp dụng các chiến lược tối ưu chi phí này sẽ giúp bạn cân bằng giữa hiệu năng và hiệu quả chi tiêu.

Để có cái nhìn rộng hơn về quản lý chi phí đám mây AWS, hãy xem AWS Cloud Technology and Services.

Kết luận

Sau khi làm việc với Amazon EMR, tôi đánh giá cao cách dịch vụ này đơn giản hóa xử lý dữ liệu lớn bằng cách tự động hóa quản lý cụm, mở rộng và tích hợp dịch vụ AWS. Đây là công cụ thiết yếu cho bất kỳ ai xử lý khối lượng dữ liệu lớn, dù bạn mới bắt đầu hay đang tối ưu một pipeline hiện có.

Nếu bạn đang khám phá các giải pháp dữ liệu lớn trên đám mây, EMR là lựa chọn mạnh mẽ và linh hoạt đáng để cân nhắc!