Amazon EMR: Panduan Praktis Lengkap untuk Pemula

Menskalakan Klaster Amazon EMR

Seiring berkembangnya kebutuhan pemrosesan data, Anda mungkin perlu menyesuaikan sumber daya klaster EMR untuk mempertahankan performa dan efisiensi biaya.

EMR menawarkan opsi penskalaan manual dan otomatis, memungkinkan Anda memodifikasi jumlah instance berdasarkan permintaan beban kerja.

Selain itu, memanfaatkan Spot Instances dapat membantu mengoptimalkan biaya sekaligus memastikan skalabilitas.

Penskalaan manual

Penskalaan manual memungkinkan Anda menambah atau mengurangi jumlah instance di klaster berdasarkan permintaan beban kerja waktu nyata.

Penyesuaian ini dapat dilakukan melalui konsol EMR, AWS CLI, atau EMR API.

• Menggunakan konsol EMR: Navigasikan ke klaster Anda, pilih "Resize", dan tentukan jumlah instance yang diinginkan.
• Menggunakan AWS CLI: Jalankan perintah berikut untuk memodifikasi ukuran klaster:

aws emr modify-instance-groups --cluster-id <your-cluster-id> --instance-groups InstanceGroupId=<your-instance-group-id>,InstanceCount=<new-instance-count>Didukung oleh

• Menggunakan EMR API: Anda dapat menggunakan API ModifyInstanceGroups untuk menyesuaikan jumlah instance secara dinamis.

Penskalaan manual paling cocok untuk beban kerja yang dapat diprediksi di mana Anda dapat mengantisipasi kebutuhan sumber daya sebelumnya.

Sebagai contoh, saya menggunakan penskalaan manual ketika saya tahu job pemrosesan data akan memiliki permintaan yang stabil, yang memungkinkan saya menyesuaikan jumlah instance berdasarkan beban kerja yang diharapkan dan memastikan pemanfaatan sumber daya yang optimal.

Auto-scaling di Amazon EMR

Auto-scaling di EMR menyesuaikan jumlah instance secara dinamis sebagai respons terhadap perubahan beban kerja, memastikan pemanfaatan sumber daya yang efisien sambil menjaga biaya tetap terkendali.

Kebijakan auto-scaling menentukan kapan menambah atau menghapus instance berdasarkan metrik tertentu seperti penggunaan CPU, penggunaan memori YARN, atau panjang antrean tugas.

Konfigurasi auto-scaling utama:

• Kebijakan scale-out: Menambah instance saat beban kerja meningkat, memastikan pemrosesan job tepat waktu.
• Kebijakan scale-in: Mengurangi instance saat permintaan menurun, mencegah biaya yang tidak perlu.
• Periode cooldown: Mencegah tindakan penskalaan yang berlebihan dalam interval waktu singkat.

Untuk mengaktifkan auto-scaling, konfigurasikan Auto-Scaling Policy melalui AWS Management Console, CLI, atau API.

Contoh perintah AWS CLI untuk menetapkan kebijakan auto-scaling adalah:

aws emr put-auto-scaling-policy --cluster-id <your-cluster-id> --instance-group-id <your-instance-group-id> --auto-scaling-policy file://policy.jsonDidukung oleh

Auto-scaling sangat bermanfaat untuk beban kerja variabel, seperti analitik streaming, pemrosesan batch, dan tugas machine learning yang mengalami fluktuasi kebutuhan sumber daya.

Sebagai contoh, saya menggunakan auto-scaling saat menjalankan model machine learning yang mengalami lonjakan trafik yang tidak terduga. Sistem secara otomatis melakukan scale up saat jam sibuk dan scale down saat permintaan turun, yang mengoptimalkan biaya dan performa.

Spot instances untuk optimasi biaya

Amazon EC2 Spot Instances menyediakan cara hemat biaya untuk menjalankan klaster EMR dengan memanfaatkan kapasitas EC2 cadangan pada tarif yang jauh lebih rendah.

Instance ini ideal jika Anda memiliki beban kerja yang toleran terhadap gangguan, seperti pemrosesan big data dan machine learning.

Manfaat menggunakan Spot Instances di EMR:

• Penghematan biaya: Spot Instances bisa hingga 90% lebih murah daripada On-Demand instances.
• Skalabilitas: Anda dapat menambah daya komputasi secara dinamis dengan biaya lebih rendah.
• Jenis instance hibrida: EMR memungkinkan penggabungan Spot, On-Demand, dan Reserved Instances untuk menyeimbangkan biaya dan keandalan.

Namun, Spot Instances dapat terganggu jika AWS mengambil kembali kapasitas. Untuk menguranginya:

• Gunakan Instance Fleets alih-alih Instance Groups untuk mencampur Spot dan On-Demand secara dinamis.
• Terapkan checkpointing pada beban kerja untuk memulihkan dari potensi gangguan.
• Atur Permintaan Spot yang terdiversifikasi di beberapa Availability Zone dan jenis instance untuk meningkatkan stabilitas.

Untuk mengonfigurasi Spot Instances di EMR, gunakan perintah AWS CLI berikut:

aws emr create-cluster --instance-fleets file://instance-fleet-config.jsonDidukung oleh

Menggabungkan penskalaan manual, auto-scaling, dan Spot Instances dapat membantu Anda mengoptimalkan klaster EMR untuk performa, efisiensi biaya, dan keandalan.

Keamanan dan Kontrol Akses di Amazon EMR

Peran IAM yang salah dikonfigurasi di EMR dapat mengekspos data sensitif kepada pengguna yang tidak diinginkan. Oleh karena itu, Anda harus selalu menggunakan prinsip least privilege dan membatasi akses SSH hanya untuk IP tepercaya.

AWS menyediakan fitur keamanan yang tangguh, termasuk peran IAM untuk kontrol akses, enkripsi untuk perlindungan data, dan praktik terbaik untuk mengamankan lingkungan Anda.

Peran dan kebijakan IAM

AWS Identity and Access Management (IAM) mengontrol akses ke klaster EMR dan sumber daya terkait.

Saat membuat klaster, Anda harus menetapkan peran IAM yang memberikan izin untuk berinteraksi dengan S3, DynamoDB, dan layanan AWS lainnya.

Menetapkan kebijakan least-privilege memastikan keamanan dengan membatasi akses hanya ke sumber daya yang diperlukan.

Gambar di bawah menunjukkan managed policies dan bagaimana penggunaannya dengan EMR.

Tangkapan layar pengaturan kebijakan AWS IAM yang menunjukkan bagaimana izin ditetapkan. Sumber: AWS Docs

Enkripsi data dan praktik terbaik keamanan

Amazon EMR mendukung enkripsi untuk data saat disimpan menggunakan enkripsi sisi server Amazon S3 (SSE) atau AWS Key Management Service (KMS). Data saat transit dapat diamankan menggunakan protokol SSL/TLS.

Praktik keamanan terbaik meliputi penggunaan multi-factor authentication (MFA) untuk mengakses konsol AWS, membatasi akses SSH, dan mengelola kunci API dengan aman.

Jika Anda ingin mempelajari lebih lanjut tentang keamanan AWS, lihat kursus AWS Security and Cost Management.

Pemecahan Masalah Amazon EMR

Meskipun Amazon EMR dirancang untuk skalabilitas dan keandalan, masalah tetap dapat muncul selama operasi klaster dan eksekusi job.

Tantangan umum meliputi bottleneck performa, kegagalan job, dan keterbatasan sumber daya. Memahami cara mendiagnosis dan menyelesaikan masalah ini dapat membantu Anda mempertahankan alur kerja yang efisien.

Masalah umum pada klaster EMR

Pengguna sering mengalami masalah seperti eksekusi job yang lambat, alokasi memori yang tidak memadai, kegagalan instance, dan pengacakan data yang tidak efisien.

Masalah performa dapat berasal dari jenis instance yang tidak tepat, klaster yang kurang diprovisikan, atau I/O disk yang berlebihan. Untuk mengatasinya:

• Optimalkan parameter job: Sesuaikan pengaturan seperti memori executor, paralelisme, dan shuffle partitions untuk menyeimbangkan penggunaan sumber daya.
• Skalakan instance secara tepat: Manfaatkan kebijakan auto-scaling untuk menyesuaikan ukuran klaster secara dinamis berdasarkan permintaan beban kerja.
• Pantau dan tinjau log: Gunakan Amazon CloudWatch, konsol EMR, atau analisis log langsung di Amazon S3 untuk mengidentifikasi bottleneck dan titik kegagalan.

Mendiagnosis job Spark dan Hadoop

Ketika job Spark atau Hadoop gagal, memahami akar penyebabnya sangat penting untuk perbaikan.

Log yang disimpan di Amazon S3 atau dapat diakses melalui konsol EMR memberikan wawasan berharga tentang kegagalan eksekusi, masalah memori, dan perlambatan tugas.

• Gunakan Spark history server: Alat ini membantu menganalisis linimasa eksekusi job, operasi shuffle, dan distribusi tugas untuk mengidentifikasi bottleneck performa.
• Manfaatkan Hadoop job tracker: Untuk beban kerja MapReduce, Job Tracker menyediakan statistik eksekusi terperinci, membantu mengidentifikasi masalah seperti tugas yang berjalan lama atau skew data.
• Setel performa dengan Dr. Elephant dan Sparklens: Alat-alat ini memberikan rekomendasi untuk mengoptimalkan beban kerja Spark dan Hadoop dengan menganalisis metrik eksekusi sebelumnya.

Gambar di bawah menunjukkan bagaimana Dr. Elephant dan Sparklens dapat digunakan untuk menyetel performa Hadoop dan Spark di Amazon EMR.

Antarmuka Dr. Elephant dan Sparklens yang menampilkan wawasan penyetelan performa untuk job Hadoop dan Spark di Amazon EMR. Sumber: AWS Blogs

Kesehatan klaster dan pemulihan

Jika klaster mengalami kegagalan, mendiagnosis masalah dengan cepat dapat meminimalkan downtime dan mencegah kehilangan data.

Amazon CloudWatch dan AWS CloudTrail menawarkan kemampuan pemantauan dan peringatan yang dapat membantu mengidentifikasi masalah mendasar.

• Periksa metrik CloudWatch: Lihat penggunaan CPU, konsumsi memori, dan I/O disk untuk menentukan apakah sumber daya kurang atau berlebihan dimanfaatkan.
• Mulai ulang instance yang gagal: Jika instance gagal karena masalah perangkat keras atau perangkat lunak, memulai ulang atau menggantinya dengan instance baru dapat memulihkan stabilitas klaster.
• Luncurkan klaster baru dari konfigurasi tersimpan: Untuk pulih dari kegagalan kritis, Anda dapat menggunakan fitur cloning Amazon EMR untuk meluncurkan klaster baru dengan pengaturan dan bootstrap actions yang sama.

Diagram yang mengilustrasikan cara mengoptimalkan kesehatan dan pemulihan klaster di Amazon EMR. Gambar dibuat menggunakan Napkin AI

Manajemen Biaya dengan Amazon EMR

Mengelola biaya secara efektif sangat penting saat menjalankan beban kerja di Amazon EMR. Harga bergantung pada faktor seperti jenis instance, penyimpanan, dan transfer data, tetapi ada strategi untuk mengoptimalkan pengeluaran.

Memahami penetapan harga

Penetapan harga Amazon EMR terutama didasarkan pada beberapa faktor utama: instance komputasi, penyimpanan, dan transfer data.

• On-demand instances memungkinkan Anda menyesuaikan skala klaster sesuai kebutuhan, memberikan fleksibilitas tanpa komitmen jangka panjang. Namun, model ini bisa mahal untuk beban kerja yang berkelanjutan.
• Spot Instances menawarkan alternatif hemat biaya dengan memungkinkan Anda menawar kapasitas EC2 yang tidak terpakai pada tarif yang jauh lebih rendah. Meskipun Spot Instances dapat memberikan penghematan signifikan, ketersediaannya tidak selalu terjamin dan berpotensi terganggu.

Untuk memperkirakan biaya secara akurat, Anda dapat menggunakan AWS Pricing Calculator, yang memperhitungkan konfigurasi klaster, jenis instance, dan kebutuhan beban kerja.

Anda perlu memahami struktur harga ini untuk memungkinkan perkiraan dan penganggaran yang lebih baik, sehingga memastikan alokasi sumber daya yang efisien.

Selain itu, memanfaatkan AWS Savings Plans atau Reserved Instances untuk beban kerja yang dapat diprediksi dapat mengunci tarif yang lebih rendah dan mengurangi biaya keseluruhan.

Strategi optimasi biaya

Untuk mengoptimalkan biaya, Anda harus menerapkan beberapa praktik terbaik saat menjalankan beban kerja Amazon EMR:

1. Auto-scaling: Menyesuaikan ukuran klaster secara dinamis berdasarkan permintaan beban kerja memastikan Anda hanya menggunakan sumber daya yang diperlukan kapan pun. Ini mencegah over-provisioning dan mengurangi pemborosan biaya.
2. Right-sizing instance: Memilih jenis instance yang paling sesuai untuk beban kerja Anda dapat meningkatkan performa sekaligus meminimalkan biaya. Misalnya, instance yang dioptimalkan komputasi cocok untuk tugas berat pemrosesan, sedangkan instance yang dioptimalkan memori lebih baik untuk analitik in-memory.
3. Spot instances untuk penghematan biaya: Menggunakan Spot Instances bila memungkinkan dapat secara signifikan menurunkan biaya komputasi. Untuk mengurangi gangguan, pertimbangkan menjalankan beban kerja yang toleran terhadap penghentian instance dan strategi rebalancing.
4. Optimasi klaster: Mengonfigurasi klaster secara efisien dengan memilih jumlah node yang tepat dan menyesuaikan pengaturan Hadoop atau Spark dapat meningkatkan performa tanpa pengeluaran berlebihan.
5. Hentikan klaster menganggur: Memantau aktivitas klaster dan mematikan klaster yang tidak aktif mencegah timbulnya biaya yang tidak perlu.
6. Memanfaatkan layanan terkelola: Mengalihkan tugas ETL tertentu ke AWS Glue dapat menjadi alternatif yang hemat biaya dibanding menjalankan proses yang sama di Amazon EMR. AWS Glue adalah layanan serverless yang dapat diskalakan otomatis berdasarkan kebutuhan beban kerja, sehingga tidak perlu mengelola dan membayar sumber daya komputasi yang menganggur.

Menerapkan strategi optimasi biaya ini akan membantu Anda menyeimbangkan performa dan efisiensi biaya.

Untuk pemahaman yang lebih luas tentang manajemen biaya cloud AWS, lihat AWS Cloud Technology and Services.

Kesimpulan

Setelah bekerja dengan Amazon EMR, saya menyadari bagaimana layanan ini menyederhanakan pemrosesan big data dengan mengotomatiskan manajemen klaster, penskalaan, dan integrasi layanan AWS. EMR sangat penting bagi siapa pun yang menangani beban kerja data berskala besar, baik Anda baru memulai maupun sedang mengoptimalkan pipeline yang ada.

Jika Anda menjajaki solusi big data berbasis cloud, EMR adalah opsi yang kuat dan dapat diskalakan untuk dipertimbangkan!