Curso
Conceitos de serviços e tecnologia de nuvem da AWS
3 h
21.5K
Imagine que você está gerenciando terabytes de dados de transações de clientes e seu sistema atual está sofrendo para dar conta da demanda.
Você precisa de uma solução que escale sob demanda, otimize custos e integre com seu ambiente atual da AWS. O Amazon Elastic MapReduce (EMR) pode ajudar nisso. Quando comecei a trabalhar com big data, enfrentei o mesmo desafio — até descobrir o EMR.
Neste guia, vamos passar por tudo: da criação de um cluster EMR à execução de workloads, otimização de desempenho, segurança, solução de problemas e gestão de custos.
O que é o Amazon EMR?
Amazon EMR é um serviço totalmente gerenciado, baseado em clusters, que simplifica o processamento de big data com provisionamento, escalabilidade e configuração automatizados de frameworks open source.
Ele permite analisar grandes volumes de dados estruturados e não estruturados sem a dor de cabeça de gerenciar clusters on‑premises.
A imagem abaixo mostra como o Amazon EMR on EKS funciona com outros serviços da AWS, oferecendo uma visão de sua integração e fluxo de trabalho.
Diagrama que ilustra como o Amazon EMR se integra ao Amazon EKS e a outros serviços da AWS para processamento de big data. Fonte: AWS Docs
Se você é novo na AWS, recomendo conferir este curso de Introduction to AWS para construir a base.
Alguns dos principais recursos do Amazon EMR incluem:
- Escalabilidade: o EMR permite adicionar ou remover instâncias dinamicamente, conforme a demanda do workload.
- Eficiência de custo: aproveitar Spot Instances e auto scaling ajuda a otimizar os custos de computação.
- Integração com serviços AWS: o EMR integra-se perfeitamente a serviços como Amazon S3 (armazenamento de dados), AWS Lambda (computação serverless), Amazon RDS (bancos de dados relacionais) e Amazon CloudWatch (monitoramento).
- Suporte a frameworks populares: o EMR suporta Apache Spark, Hadoop, Hive, Pig, Presto e outros, permitindo trabalhar com ferramentas familiares de big data.
Diagrama com os principais recursos do Amazon EMR. Imagem criada com Napkin AI
Automatizar o gerenciamento e o scaling do cluster reduz a complexidade operacional e libera você para focar no processamento e na análise de dados.
Se você quer entender melhor serviços de storage da AWS, como o Amazon S3, antes de seguir com o Amazon EMR, confira este AWS Storage Tutorial.
Configurando um cluster Amazon EMR
Para configurar um cluster Amazon EMR, você vai acessar o serviço EMR, criar o cluster e ajustá-lo para o seu workload.
Criando um cluster EMR
Para começar, faça login no AWS Management Console e navegue até o serviço EMR.
Você pode fazer isso pesquisando por "EMR" no campo de busca do console — como mostrado na imagem abaixo.
Quando estiver lá, clique em “Create Cluster” — como na imagem abaixo.
A imagem abaixo traz uma captura da interface atual do EMR — embora ela possa evoluir, as configurações principais tendem a permanecer similares.
Para configurar seu cluster Amazon EMR, ajuste algumas definições conforme os requisitos do seu workload. Siga as instruções abaixo:
01: selecione um framework de big data
O EMR oferece vários frameworks, como Apache Spark (processamento in-memory), Hadoop (armazenamento e processamento distribuídos) e Presto (consultas SQL interativas).
Escolha o framework que melhor se encaixa no seu caso de uso.
02: escolha o tipo de instância
O tipo de instância impacta desempenho e custo. Uma escolha comum é a m5.xlarge, por equilibrar poder de computação e preço.
Para workloads intensivos em memória, use r5.xlarge, enquanto c5.xlarge é mais indicada para tarefas intensivas em CPU.
03: configure os nós do cluster
Clusters EMR possuem três tipos de nós:
- Nó master: gerencia o cluster e coordena os jobs. (Em geral, uma única instância).
- Nós core: processam dados e armazenam dados no HDFS. (Mínimo de um, escaláveis conforme a necessidade).
- Nós task: opcionais, lidam com cargas adicionais sem armazenar dados. A quantidade de nós core e task deve ser definida de acordo com o tamanho do workload.
04: configure segurança e acesso
Crie pares de chaves EC2 para acesso via SSH e configure funções IAM para controlar permissões.
Vale a pena ativar autenticação Kerberos ou o AWS Lake Formation para segurança avançada.
05: configure rede e armazenamento
Defina as configurações de VPC, habilite auto scaling para ajustar o tamanho do cluster dinamicamente e use o Amazon S3 como armazenamento principal (s3://your-bucket-name/).
06: inicie o cluster
Depois de revisar as configurações, clique em "Create Cluster" para iniciar.
O cluster leva alguns minutos para inicializar antes de ficar disponível.
A imagem abaixo destaca a interface onde você cria o cluster.
Configurando aplicativos e dependências
Com o cluster no ar, você pode afiná-lo selecionando aplicativos pré-instalados e configurando bootstrap actions:
- Aplicativos pré-instalados: escolha entre opções como Hive (consultas em SQL), Pig (linguagem de alto nível) e HBase (banco NoSQL).
- Bootstrap actions: personalize o cluster instalando bibliotecas adicionais, ajustando configurações do sistema ou preparando datasets. Exemplos de bootstrap actions incluem:
- Instalar bibliotecas Python (
pip install pandas numpy) - Configurar logging
- Ajustar parâmetros da JVM para Hadoop/Spark
Uma configuração adequada garante que seu cluster EMR esteja otimizado para o workload, reduzindo tempo de processamento e custos operacionais.
Trabalhando com o Amazon EMR
Com o cluster EMR pronto e configurado, o próximo passo é começar a trabalhar com seus dados.
Fazendo upload de dados para o Amazon EMR
O Amazon EMR usa principalmente o Amazon S3 para armazenar datasets de entrada e salvar resultados de saída.
Diferente do HDFS, que guarda dados dentro do cluster, o S3 oferece durabilidade, escalabilidade e boa relação custo-benefício, sendo a opção preferida para gerenciar dados no EMR.
Para enviar dados ao Amazon S3, siga estes passos:
01: acesse o console do S3
Faça login no AWS Management Console e abra o serviço Amazon S3.
02: crie ou selecione um bucket
Escolha um bucket existente ou crie um novo. Garanta que o bucket esteja na mesma região do seu cluster EMR para reduzir latência.
A imagem abaixo mostra o processo de criação de um bucket no Amazon S3.
Ao criar um bucket, lembre-se de que o nome deve ser globalmente único e seguir as convenções da AWS. Escolha um nome que reflita seu caso de uso e cumpra esses requisitos.
03: faça upload dos arquivos
Clique em "Upload", selecione os arquivos e defina as permissões de acesso.
A imagem abaixo destaca a interface para enviar arquivos a um bucket do Amazon S3.
Como alternativa, você pode usar o AWS CLI para fazer upload de forma programática.
Antes disso, garanta que o AWS CLI esteja instalado e configurado com as credenciais corretas executando:
aws configureVocê vai informar seu AWS Access Key ID, Secret Access Key, região e formato de saída para autenticar a sessão. Se o AWS CLI já estiver configurado, pode pular esta etapa.
Depois de configurar, envie arquivos com o comando:
aws s3 cp local_file.csv s3://your-bucket-name/data/04: acesse os dados pelo EMR
Após o upload, os dados podem ser acessados pelo EMR usando um caminho S3: s3://your-bucket-name/data/
Aplicações como Spark, Hadoop e Hive podem então processar os dados diretamente do S3.
Opções alternativas de armazenamento de dados
- HDFS (Hadoop Distributed File System): usado para armazenamento temporário durante o processamento; os dados se perdem quando o cluster é encerrado.
- Amazon DynamoDB: armazenamento NoSQL e recuperação de dados em tempo real.
- AWS Glue Data Catalog: organiza e gerencia metadados de datasets no S3.
Executando jobs de Spark ou Hadoop
Após enviar os dados, você pode processá-los com Apache Spark, Hadoop ou outros frameworks de big data.
O EMR permite executar jobs via AWS CLI, console do EMR ou acesso direto por SSH.
Executando um job Spark
Para enviar um job Spark, conecte via SSH ao cluster e use o comando spark-submit:
spark-submit --deploy-mode cluster s3://your-bucket-name/scripts/sample_job.pyComo alternativa, você pode enviar jobs pelo recurso "Steps" do AWS EMR — que permite automação sem acessar o cluster manualmente.
Para revisar os conceitos antes de rodar jobs Spark no EMR, o Big Data Fundamentals with PySpark é um excelente ponto de partida. Se seu fluxo inclui preparação de dados bagunçados, você pode achar o Cleaning Data with PySpark particularmente útil.
Executando um job Hadoop MapReduce
Para jobs Hadoop, use a linha de comando:
hadoop jar s3://your-bucket-name/jars/sample_job.jar input_dir output_dirJobs Hadoop também podem ser orquestrados com o AWS Step Functions para automatizar fluxos.
Segurança e controle de acesso eficazes são essenciais ao executar jobs de big data.
Como jobs Spark e Hadoop interagem com dados sensíveis, o Amazon EMR integra-se ao Apache Ranger para aplicar controle de acesso e permissões em nível granular.
A imagem abaixo ilustra uma arquitetura de exemplo dessa integração, destacando como políticas de segurança são aplicadas em clusters EMR.
Diagrama mostrando como o Apache Ranger aplica políticas de segurança em clusters Amazon EMR. Fonte: AWS Docs
Monitorando o desempenho do cluster
Para garantir eficiência, monitore seu cluster EMR com Amazon CloudWatch, Ganglia e a Spark UI.
Essas ferramentas oferecem insights em tempo real sobre uso de recursos, progresso de jobs e gargalos potenciais.
Principais ferramentas de monitoramento
- Amazon CloudWatch: acompanha uso de CPU, memória, I/O de disco e atividade de rede. Você pode definir alarmes para ser alertado sobre problemas.
- Logs do EMR: acesse logs no Amazon S3 para depurar falhas. Os logs podem ser ativados na seção "Cluster Logging" durante a criação.
- Ganglia: fornece visualizações detalhadas do desempenho do cluster, disponíveis na aba "Monitoring" do console do EMR.
- Spark UI: se você estiver executando jobs Spark, use a interface web do Spark para inspecionar planos de execução, dependências de estágios e consumo de recursos.
Boas práticas de otimização de desempenho
- Habilite auto scaling: adicione ou remova nós automaticamente conforme a demanda.
- Use Spot Instances: reduza custos usando EC2 Spot Instances em nós task.
- Ajuste configurações do Spark e Hadoop: ajuste memória (
spark.executor.memory), paralelismo (spark.default.parallelism) e o tamanho de bloco do Hadoop para melhor performance.
Seguindo essas etapas, você processa grandes datasets com eficiência, mantendo o cluster EMR econômico e com alta performance.
Escalando clusters Amazon EMR
À medida que suas necessidades de processamento de dados evoluem, pode ser preciso ajustar os recursos do cluster EMR para manter desempenho e economia.
O EMR oferece opções de scaling manual e automático, permitindo modificar a quantidade de instâncias conforme a demanda do workload.
Além disso, o uso de Spot Instances ajuda a otimizar custos mantendo a escalabilidade.
Escalonamento manual
O scaling manual permite aumentar ou reduzir o número de instâncias do cluster conforme a demanda em tempo real.
Esse ajuste pode ser feito pelo console do EMR, AWS CLI ou API do EMR.
- Usando o console do EMR: navegue até seu cluster, selecione "Resize" e informe a quantidade desejada de instâncias.
- Usando o AWS CLI: execute o comando abaixo para modificar o tamanho do cluster:
aws emr modify-instance-groups --cluster-id <your-cluster-id> --instance-groups InstanceGroupId=<your-instance-group-id>,InstanceCount=<new-instance-count>- Usando a API do EMR: utilize a API
ModifyInstanceGroupspara ajustar dinamicamente o número de instâncias.
O scaling manual é ideal para workloads previsíveis, em que você antecipa a necessidade de recursos com antecedência.
Por exemplo, usei scaling manual quando sabia que meu job teria demanda constante; assim, ajustei a contagem de instâncias conforme o esperado e garanti o uso ideal dos recursos.
Auto scaling no Amazon EMR
O auto scaling no EMR ajusta dinamicamente o número de instâncias em resposta às mudanças de carga, garantindo uso eficiente dos recursos e controle de custos.
As políticas de auto scaling definem quando adicionar ou remover instâncias com base em métricas como uso de CPU, memória do YARN ou tamanho da fila de tarefas.
Principais configurações de auto scaling:
- Política de scale-out: adiciona instâncias quando a carga aumenta, garantindo o processamento no tempo certo.
- Política de scale-in: reduz instâncias quando a demanda cai, evitando custos desnecessários.
- Períodos de cooldown: evitam ações de scaling em excesso em intervalos curtos.
Para habilitar, configure uma Auto-Scaling Policy pelo console, CLI ou API da AWS.
Exemplo de comando AWS CLI para definir uma política de auto scaling:
aws emr put-auto-scaling-policy --cluster-id <your-cluster-id> --instance-group-id <your-instance-group-id> --auto-scaling-policy file://policy.jsonO auto scaling é especialmente útil para workloads variáveis, como analytics em streaming, processamento em batch e tarefas de machine learning com flutuação de recursos.
Por exemplo, usei auto scaling ao rodar um modelo de machine learning com picos imprevisíveis de tráfego. O sistema escalou durante os picos e reduziu quando a demanda caiu, otimizando custos e desempenho.
Spot Instances para otimização de custos
As Amazon EC2 Spot Instances oferecem uma forma econômica de executar clusters EMR usando capacidade ociosa da EC2 com preços bem menores.
Essas instâncias são ideais para workloads tolerantes a falhas, como processamento de big data e machine learning.
Benefícios de usar Spot Instances no EMR:
- Economia: podem ser até 90% mais baratas do que On-Demand.
- Escalabilidade: adicione mais poder de computação a um custo menor.
- Tipos híbridos: o EMR permite combinar Spot, On-Demand e Reserved Instances para equilibrar custo e confiabilidade.
No entanto, Spot Instances podem ser interrompidas se a AWS retomar a capacidade. Para mitigar:
- Use Instance Fleets em vez de Instance Groups para misturar Spot e On-Demand dinamicamente.
- Implemente checkpointing nos workloads para se recuperar de interrupções.
- Diversifique requisições Spot em múltiplas zonas de disponibilidade e tipos de instância para aumentar a estabilidade.
Para configurar Spot Instances no EMR, use o comando AWS CLI:
aws emr create-cluster --instance-fleets file://instance-fleet-config.jsonCombinar scaling manual, auto scaling e Spot Instances ajuda você a otimizar seus clusters EMR em desempenho, custo e confiabilidade.
Segurança e controle de acesso no Amazon EMR
Funções IAM mal configuradas no EMR podem expor dados sensíveis a usuários indevidos. Por isso, aplique sempre o princípio do menor privilégio e restrinja o acesso SSH apenas a IPs confiáveis.
A AWS oferece recursos robustos de segurança, incluindo funções IAM para controle de acesso, criptografia para proteção de dados e boas práticas para proteger seu ambiente.
Funções e políticas IAM
O AWS Identity and Access Management (IAM) controla o acesso aos clusters EMR e recursos relacionados.
Ao criar um cluster, é necessário atribuir funções IAM com permissões para interagir com S3, DynamoDB e outros serviços da AWS.
Definir políticas de menor privilégio garante segurança ao limitar o acesso apenas ao necessário.
A imagem abaixo mostra políticas gerenciadas e como podem ser usadas com o EMR.
Captura do AWS IAM exibindo como permissões são atribuídas. Fonte: AWS Docs
Criptografia de dados e boas práticas de segurança
O Amazon EMR suporta criptografia em repouso usando a criptografia do lado do servidor do Amazon S3 (SSE) ou o AWS Key Management Service (KMS). Os dados em trânsito podem ser protegidos com SSL/TLS.
Boas práticas incluem usar autenticação multifator (MFA) no console, restringir o SSH e gerenciar chaves de API com segurança.
Para saber mais sobre segurança na AWS, confira o curso AWS Security and Cost Management.
Solução de problemas no Amazon EMR
Embora o Amazon EMR seja projetado para escalabilidade e confiabilidade, ainda podem surgir problemas durante a operação do cluster e a execução de jobs.
Desafios comuns incluem gargalos de desempenho, falhas de jobs e restrições de recursos. Entender como diagnosticar e resolver esses problemas ajuda a manter um fluxo eficiente.
Problemas comuns em clusters EMR
É comum encontrar execução lenta, memória insuficiente, falhas de instância e shuffle ineficiente de dados.
Problemas de performance podem vir de escolha inadequada de instâncias, clusters subdimensionados ou excesso de I/O de disco. Para tratar:
- Otimize parâmetros do job: ajuste memória do executor, paralelismo e partições de shuffle para equilibrar o uso de recursos.
- Dimensione corretamente as instâncias: use políticas de auto scaling para ajustar o tamanho do cluster de acordo com a demanda.
- Monitore e revise logs: use Amazon CloudWatch, o console do EMR ou analise diretamente no S3 para identificar gargalos e pontos de falha.
Diagnosticando jobs Spark e Hadoop
Quando jobs Spark ou Hadoop falham, entender a causa raiz é essencial para corrigir.
Logs no Amazon S3 ou acessíveis pelo console do EMR trazem insights sobre falhas de execução, problemas de memória e lentidão de tarefas.
- Use o Spark History Server: ajuda a analisar cronogramas de execução, operações de shuffle e distribuição de tarefas para achar gargalos.
- Aproveite o Hadoop Job Tracker: para MapReduce, fornece estatísticas detalhadas de execução e ajuda a identificar tarefas longas ou skew de dados.
- Ajuste performance com Dr. Elephant e Sparklens: ferramentas que recomendam otimizações para workloads Spark e Hadoop a partir de métricas históricas.
A imagem abaixo mostra como Dr. Elephant e Sparklens ajudam a ajustar performance no Hadoop e Spark no Amazon EMR.
Interfaces do Dr. Elephant e Sparklens com insights de tuning para jobs no Amazon EMR. Fonte: AWS Blogs
Saúde e recuperação do cluster
Se um cluster apresentar falhas, diagnosticar rapidamente minimiza downtime e previne perda de dados.
Amazon CloudWatch e AWS CloudTrail oferecem monitoramento e alertas que ajudam a identificar causas.
- Confira métricas no CloudWatch: observe CPU, memória e I/O de disco para avaliar sub ou superutilização.
- Reinicie instâncias com falha: se uma instância falhar por problema de hardware ou software, reiniciá-la ou substituí-la pode restaurar a estabilidade.
- Inicie um novo cluster a partir de configurações salvas: para recuperar de falhas críticas, use o recurso de clonagem do EMR para lançar um cluster com as mesmas definições e bootstrap actions.
Diagrama com formas de otimizar a saúde e a recuperação de clusters no Amazon EMR. Imagem criada com Napkin AI
Gestão de custos com Amazon EMR
Gerenciar custos com eficiência é crucial ao executar workloads no Amazon EMR. Os preços dependem de fatores como tipos de instância, armazenamento e transferência de dados, mas há estratégias para otimizar gastos.
Entendendo a precificação
A precificação do Amazon EMR baseia-se principalmente em três fatores: instâncias de computação, armazenamento e transferência de dados.
- Instâncias On-Demand permitem escalar conforme necessário, dando flexibilidade sem compromisso de longo prazo. Porém, podem sair caras para cargas contínuas.
- Spot Instances são uma alternativa econômica ao usar capacidade EC2 não utilizada com valores muito menores. Apesar da grande economia, estão sujeitas à disponibilidade e interrupções.
Para estimar custos com precisão, use o AWS Pricing Calculator, que considera configurações de cluster, tipos de instância e demandas do workload.
Compreender essas estruturas de preço ajuda no forecast e no orçamento, garantindo alocação eficiente de recursos.
Além disso, usar AWS Savings Plans ou Reserved Instances para workloads previsíveis permite travar tarifas menores e reduzir custos totais.
Estratégias de otimização de custos
Para otimizar custos, implemente algumas boas práticas ao executar workloads no Amazon EMR:
- Auto scaling: ajustar dinamicamente o tamanho do cluster evita superdimensionamento e desperdício.
- Right-sizing de instâncias: escolher o tipo correto para cada workload melhora a performance reduzindo custos. Por exemplo, instâncias otimizadas para computação para tarefas pesadas de processamento e otimizadas para memória para analytics in-memory.
- Spot Instances para economizar: onde possível, use Spot para reduzir custos de computação. Para mitigar interrupções, rode workloads tolerantes a falhas e use estratégias de reequilíbrio.
- Otimização de cluster: escolher o número certo de nós e ajustar configurações do Hadoop/Spark melhora o desempenho sem gastar demais.
- Encerre clusters ociosos: monitorar a atividade e desligar clusters inativos evita cobranças desnecessárias.
- Use serviços gerenciados: descarregar certas tarefas de ETL para o AWS Glue pode ser mais econômico do que rodar o mesmo processo no EMR. O AWS Glue é serverless e escala automaticamente, eliminando a necessidade de pagar por recursos ociosos.
Aplicando essas estratégias, você equilibra performance e eficiência de custos.
Para uma visão mais ampla de gestão de custos em cloud na AWS, confira AWS Cloud Technology and Services.
Conclusão
Depois de trabalhar com o Amazon EMR, passei a valorizar como ele simplifica o processamento de big data ao automatizar gerenciamento de clusters, escalabilidade e integração com serviços AWS. É essencial para quem lida com workloads em larga escala — seja começando agora ou otimizando um pipeline existente.
Se você está explorando soluções de big data na nuvem, o EMR é uma opção poderosa e escalável que vale a pena considerar!
Tópicos
