Cours
Concepts de la technologie et des services du cloud AWS
3 h
21.5K
Imaginez que vous gériez des téraoctets de données de transactions clients et que votre système actuel plie sous la charge.
Vous avez besoin d’une solution qui s’adapte à la demande, optimise les coûts et s’intègre à votre environnement AWS existant. Amazon Elastic MapReduce (EMR) répond précisément à ces enjeux. Quand j’ai commencé à travailler avec le big data, j’ai rencontré les mêmes difficultés — jusqu’à ce que je découvre EMR.
Dans ce guide, nous verrons tout, de la création d’un cluster EMR à l’exécution de charges de travail, l’optimisation des performances, la sécurité, le dépannage et la maîtrise des coûts.
Qu’est-ce qu’Amazon EMR ?
Amazon EMR est un service de clusters entièrement managé qui simplifie le traitement big data grâce au provisionnement, au dimensionnement automatique et à la configuration automatisée des frameworks open source.
Il vous permet d’analyser d’importants volumes de données structurées et non structurées sans la complexité de la gestion manuelle de clusters on-premise.
L’illustration ci-dessous montre le fonctionnement d’Amazon EMR on EKS avec les autres services AWS, offrant une vue d’ensemble de l’intégration et des flux de travail.
Schéma illustrant l’intégration d’Amazon EMR avec Amazon EKS et d’autres services AWS pour le traitement big data. Source : AWS Docs
Si vous découvrez AWS, je vous recommande de consulter ce cours d’introduction à AWS pour acquérir les fondamentaux.
Parmi les fonctionnalités clés d’Amazon EMR :
- Scalabilité : EMR vous permet d’ajouter ou de supprimer des instances dynamiquement selon la charge.
- Efficience des coûts : l’usage de Spot Instances et de l’auto-scaling permet d’optimiser les coûts de calcul.
- Intégration aux services AWS : EMR s’intègre de manière fluide à des services comme Amazon S3 (stockage de données), AWS Lambda (informatique serverless), Amazon RDS (bases de données relationnelles) et Amazon CloudWatch (surveillance).
- Support des frameworks populaires : EMR prend en charge Apache Spark, Hadoop, Hive, Pig, Presto, etc., ce qui vous permet d’utiliser vos outils big data familiers.
Schéma listant les principales fonctionnalités d’Amazon EMR. Image créée avec Napkin AI
L’automatisation de la gestion et du dimensionnement des clusters réduit la complexité opérationnelle et vous permet de vous concentrer sur le traitement et l’analyse des données.
Si vous souhaitez mieux comprendre les services de stockage AWS comme Amazon S3 avant d’aller plus loin avec Amazon EMR, consultez cet AWS Storage Tutorial.
Configuration d’un cluster Amazon EMR
Pour configurer un cluster Amazon EMR, vous devez accéder au service EMR, créer le cluster et l’adapter à votre charge de travail.
Création d’un cluster EMR
Pour commencer, connectez-vous à la console de gestion AWS et accédez au service EMR.
Vous pouvez le faire en recherchant "EMR" dans la barre de recherche de la console AWS — comme illustré ci-dessous.
Une fois sur place, cliquez sur « Create Cluster » — comme montré ci-dessous.
L’image ci-dessous présente une capture de l’interface EMR actuelle — elle peut évoluer, mais les réglages essentiels resteront similaires.
Pour configurer votre cluster Amazon EMR, vous devez ajuster plusieurs paramètres en fonction de votre charge de travail. Suivez les étapes ci-dessous :
01 : Sélectionner un framework big data
EMR propose plusieurs frameworks, comme Apache Spark pour le traitement en mémoire, Hadoop pour le stockage et le traitement distribués, et Presto pour les requêtes SQL interactives.
Choisissez celui qui correspond le mieux à votre cas d’usage.
02 : Choisir un type d’instance
Le type d’instance influe sur les performances et les coûts. Un choix courant est m5.xlarge, qui offre un bon compromis entre puissance de calcul et budget.
Pour les charges intensives en mémoire, utilisez r5.xlarge, tandis que c5.xlarge convient mieux aux tâches très consommatrices de CPU.
03 : Configurer les nœuds du cluster
Les clusters EMR se composent de trois types de nœuds :
- Nœud maître : gère le cluster et orchestre les traitements (généralement une seule instance).
- Nœuds principaux (core) : exécutent le traitement et stockent les données HDFS (au moins un, extensibles selon les besoins).
- Nœuds de tâches (task) : optionnels, ils traitent des charges additionnelles sans stocker de données. Le nombre de nœuds core et task dépend de la taille de la charge.
04 : Configurer la sécurité et les accès
Définissez des paires de clés EC2 pour l’accès SSH et configurez des rôles IAM pour contrôler les permissions.
Il est recommandé d’activer l’authentification Kerberos ou AWS Lake Formation pour renforcer la sécurité.
05 : Paramétrer le réseau et le stockage
Définissez les paramètres VPC, activez l’auto-scaling pour ajuster la taille du cluster dynamiquement et choisissez Amazon S3 comme stockage principal (s3://your-bucket-name/).
06 : Lancer le cluster
Après vérification de la configuration, cliquez sur "Create Cluster" pour le lancer.
L’initialisation prend quelques minutes avant que le cluster ne soit prêt.
L’image ci-dessous met en évidence l’interface de création du cluster.
Configurer les applications et dépendances
Une fois le cluster opérationnel, vous pouvez l’affiner en sélectionnant des applications préinstallées et en définissant des actions de démarrage (bootstrap) :
- Applications préinstallées : choisissez parmi Hive pour les requêtes SQL, Pig pour le scripting de haut niveau, HBase pour le support NoSQL, etc.
- Actions de bootstrap : personnalisez le cluster en installant des bibliothèques, en modifiant des paramètres système ou en préparant des jeux de données. Exemples :
- Installer des bibliothèques Python (
pip install pandas numpy) - Configurer les logs
- Ajuster les paramètres JVM pour Hadoop/Spark
Une bonne configuration garantit un cluster EMR optimisé pour sa charge, réduisant le temps de traitement et les coûts d’exploitation.
Travailler avec Amazon EMR
Une fois votre cluster EMR configuré, l’étape suivante consiste à commencer à travailler vos données.
Charger des données dans Amazon EMR
Amazon EMR s’appuie principalement sur Amazon S3 pour stocker les jeux de données en entrée et les résultats en sortie.
Contrairement à HDFS, qui stocke les données dans le cluster, S3 offre durabilité, scalabilité et maîtrise des coûts, ce qui en fait le choix privilégié pour EMR.
Pour charger des données dans Amazon S3, procédez ainsi :
01 : Accéder à la console S3
Connectez-vous à la console AWS et ouvrez le service Amazon S3.
02 : Créer ou sélectionner un bucket
Choisissez un bucket existant ou créez-en un nouveau. Assurez-vous qu’il se trouve dans la même région que votre cluster EMR pour réduire la latence.
L’image ci-dessous montre le processus de création d’un bucket Amazon S3.
Lors de la création, souvenez-vous que le nom du bucket doit être globalement unique et respecter les conventions de nommage AWS. Choisissez un nom pertinent pour votre cas d’usage tout en respectant ces règles.
03 : Téléverser des fichiers
Cliquez sur "Upload", sélectionnez les fichiers requis et définissez les autorisations d’accès.
L’image ci-dessous met en évidence l’interface de téléversement de fichiers vers un bucket Amazon S3.
Vous pouvez aussi utiliser l’AWS CLI pour téléverser des fichiers de façon programmatique.
Avant cela, assurez-vous que l’AWS CLI est installée et configurée avec les identifiants appropriés en lançant :
aws configureVous serez invité à saisir votre AWS Access Key ID, Secret Access Key, région et format de sortie pour authentifier la session. Vous pouvez passer cette étape si l’AWS CLI est déjà configurée.
Une fois configurée, vous pouvez téléverser des fichiers avec la commande suivante :
aws s3 cp local_file.csv s3://your-bucket-name/data/04 : Accéder aux données depuis EMR
Une fois chargées, les données sont accessibles depuis EMR via un chemin S3 : s3://your-bucket-name/data/
Des applications comme Spark, Hadoop et Hive peuvent alors traiter les données directement depuis S3.
Autres options de stockage
- HDFS (Hadoop Distributed File System) : utilisé pour le stockage temporaire pendant le traitement, mais les données sont perdues à la fin du cluster.
- Amazon DynamoDB : stockage NoSQL et accès temps réel aux données.
- AWS Glue Data Catalog : organisation et gestion des métadonnées des jeux de données stockés dans S3.
Exécuter des jobs Spark ou Hadoop
Après le chargement des données, vous pouvez les traiter avec Apache Spark, Hadoop ou d’autres frameworks big data.
EMR permet l’exécution de jobs via l’AWS CLI, la console EMR ou un accès SSH direct.
Lancer un job Spark
Pour soumettre un job Spark, connectez-vous en SSH au cluster et utilisez la commande spark-submit :
spark-submit --deploy-mode cluster s3://your-bucket-name/scripts/sample_job.pyVous pouvez aussi soumettre des jobs via la fonctionnalité « Steps » d’AWS EMR — qui permet d’automatiser sans accès manuel au cluster.
Pour réviser les notions de base avant d’exécuter des jobs Spark sur EMR, le cours Big Data Fundamentals with PySpark constitue un excellent point de départ. Si votre flux implique de préparer des données bruitées, vous pouvez trouver le cours Cleaning Data with PySpark particulièrement utile.
Lancer un job Hadoop MapReduce
Pour les jobs Hadoop, utilisez l’interface en ligne de commande :
hadoop jar s3://your-bucket-name/jars/sample_job.jar input_dir output_dirLes jobs Hadoop peuvent également être orchestrés avec AWS Step Functions pour automatiser les workflows.
La sécurité et le contrôle des accès sont essentiels lors de l’exécution de jobs big data.
Comme les jobs Spark et Hadoop manipulent des données sensibles, Amazon EMR s’intègre à Apache Ranger pour appliquer des contrôles d’accès et des permissions fins.
L’image ci-dessous illustre une architecture type de cette intégration, montrant comment les politiques de sécurité s’appliquent aux clusters EMR.
Schéma illustrant la manière dont Apache Ranger applique des politiques de sécurité sur les clusters Amazon EMR. Source : AWS Docs
Surveiller les performances du cluster
Pour garantir un traitement efficace, surveillez votre cluster EMR avec Amazon CloudWatch, Ganglia et l’interface Spark.
Ces outils offrent une visibilité en temps réel sur l’utilisation des ressources, l’avancement des jobs et les points de contention potentiels.
Outils de supervision clés
- Amazon CloudWatch : suit l’utilisation CPU, la mémoire, les E/S disque et l’activité réseau. Vous pouvez définir des alarmes CloudWatch pour être alerté en cas de problème de performance.
- Logs EMR : accédez aux journaux systèmes dans Amazon S3 pour diagnostiquer les échecs. Les logs se paramètrent dans la section « Cluster Logging » lors de la création.
- Ganglia : propose des visualisations détaillées des performances du cluster, disponibles sous l’onglet « Monitoring » de la console EMR.
- Spark UI : si vous exécutez des jobs Spark, utilisez l’interface Web pour inspecter les plans d’exécution, les dépendances de stages et la consommation de ressources.
Bonnes pratiques d’optimisation
- Activer l’auto-scaling : ajoutez ou retirez automatiquement des nœuds en fonction de la demande.
- Utiliser des Spot Instances : réduisez les coûts en employant des EC2 Spot pour les nœuds de tâches.
- Ajuster les configurations Spark et Hadoop : ajustez la mémoire (
spark.executor.memory), le parallélisme (spark.default.parallelism) et la taille des blocs Hadoop pour des performances optimales.
En suivant ces étapes, vous traitez efficacement de grands volumes de données tout en gardant votre cluster EMR performant et économique.
Mise à l’échelle des clusters Amazon EMR
À mesure que vos besoins évoluent, vous devrez peut-être ajuster les ressources de votre cluster EMR pour maintenir performance et efficience des coûts.
EMR propose des options de mise à l’échelle manuelle et automatique, vous permettant de modifier le nombre d’instances en fonction de la charge.
Par ailleurs, l’usage de Spot Instances aide à optimiser les coûts tout en garantissant la scalabilité.
Mise à l’échelle manuelle
La mise à l’échelle manuelle vous permet d’augmenter ou de réduire le nombre d’instances de votre cluster en fonction de la demande en temps réel.
Cet ajustement peut se faire via la console EMR, l’AWS CLI ou l’API EMR.
- Via la console EMR : accédez à votre cluster, sélectionnez « Resize » et indiquez le nombre d’instances souhaité.
- Via l’AWS CLI : exécutez la commande suivante pour modifier la taille du cluster :
aws emr modify-instance-groups --cluster-id <your-cluster-id> --instance-groups InstanceGroupId=<your-instance-group-id>,InstanceCount=<new-instance-count>- Via l’API EMR : utilisez l’API
ModifyInstanceGroupspour ajuster dynamiquement le nombre d’instances.
La mise à l’échelle manuelle convient aux charges prévisibles pour lesquelles vous anticipez les besoins en ressources.
Par exemple, je l’ai utilisée lorsque je savais que ma charge de traitement serait stable, ce qui m’a permis d’ajuster le nombre d’instances selon la charge attendue et d’optimiser l’utilisation des ressources.
Auto-scaling dans Amazon EMR
L’auto-scaling dans EMR ajuste dynamiquement le nombre d’instances en réponse aux variations de charge, pour une utilisation efficace des ressources et des coûts maîtrisés.
Les politiques d’auto-scaling définissent quand ajouter ou retirer des instances selon des métriques comme l’utilisation CPU, la mémoire YARN ou la longueur de file des tâches.
Paramètres clés de l’auto-scaling :
- Politique de scale-out : ajoute des instances quand la charge augmente pour traiter les jobs dans les délais.
- Politique de scale-in : réduit le nombre d’instances quand la demande baisse, afin d’éviter des coûts inutiles.
- Périodes de refroidissement (cooldown) : évitent des actions de mise à l’échelle trop fréquentes sur de courts intervalles.
Pour activer l’auto-scaling, configurez une politique via la console AWS, le CLI ou l’API.
Exemple de commande AWS CLI pour définir une politique d’auto-scaling :
aws emr put-auto-scaling-policy --cluster-id <your-cluster-id> --instance-group-id <your-instance-group-id> --auto-scaling-policy file://policy.jsonL’auto-scaling est particulièrement utile pour des charges variables, comme l’analytique en streaming, le batch et les tâches de machine learning aux besoins fluctuants.
Par exemple, je l’ai utilisé pour un modèle de machine learning avec des pics de trafic imprévisibles. Le système montait en charge aux heures de pointe et redescendait ensuite, optimisant à la fois coûts et performances.
Spot Instances pour optimiser les coûts
Les Amazon EC2 Spot Instances offrent un moyen économique d’exécuter des clusters EMR en utilisant la capacité EC2 disponible à tarif fortement réduit.
Elles sont idéales pour des charges tolérantes aux pannes, comme le big data et le machine learning.
Avantages des Spot Instances dans EMR :
- Économies : jusqu’à 90 % moins chères que les instances à la demande.
- Scalabilité : vous pouvez ajouter de la puissance de calcul à moindre coût.
- Types d’instances hybrides : EMR permet de mixer Spot, On-Demand et Reserved Instances pour équilibrer coût et fiabilité.
Cependant, les Spot Instances peuvent être interrompues si AWS récupère de la capacité. Pour atténuer le risque :
- Utilisez des Instance Fleets plutôt que des Instance Groups pour mixer dynamiquement Spot et On-Demand.
- Mettez en place du checkpointing pour reprendre après interruption.
- Diversifiez les requêtes Spot sur plusieurs zones de disponibilité et types d’instances pour plus de stabilité.
Pour configurer des Spot Instances dans EMR, utilisez la commande AWS CLI suivante :
aws emr create-cluster --instance-fleets file://instance-fleet-config.jsonCombiner mise à l’échelle manuelle, auto-scaling et Spot Instances vous aide à optimiser vos clusters EMR en performance, coût et fiabilité.
Sécurité et contrôle d’accès dans Amazon EMR
Des rôles IAM mal configurés dans EMR peuvent exposer des données sensibles à des utilisateurs non autorisés. Appliquez donc toujours le principe du moindre privilège et limitez l’accès SSH aux seules IP de confiance.
AWS fournit des mécanismes de sécurité robustes, dont les rôles IAM pour le contrôle d’accès, le chiffrement pour la protection des données et des bonnes pratiques pour sécuriser votre environnement.
Rôles et politiques IAM
AWS Identity and Access Management (IAM) contrôle l’accès aux clusters EMR et aux ressources associées.
Lors de la création d’un cluster, vous devez attribuer des rôles IAM autorisant l’accès à S3, DynamoDB et autres services AWS.
Des politiques de moindre privilège renforcent la sécurité en limitant l’accès aux seules ressources nécessaires.
L’image ci-dessous illustre des politiques managées et leur usage avec EMR.
Capture d’écran des paramètres de politiques AWS IAM montrant l’attribution des permissions. Source : AWS Docs
Chiffrement des données et bonnes pratiques
Amazon EMR prend en charge le chiffrement des données au repos via Amazon S3 Server-Side Encryption (SSE) ou AWS Key Management Service (KMS). Les données en transit peuvent être sécurisées avec SSL/TLS.
Parmi les bonnes pratiques : activer l’authentification multi‑facteur (MFA) pour l’accès à la console AWS, restreindre l’accès SSH et gérer les clés API de manière sécurisée.
Pour en savoir plus sur la sécurité AWS, consultez le cours AWS Security and Cost Management.
Dépanner Amazon EMR
Bien qu’Amazon EMR soit conçu pour la scalabilité et la fiabilité, des problèmes peuvent survenir lors de l’exploitation du cluster et de l’exécution des jobs.
Les difficultés courantes incluent des goulets d’étranglement, des échecs de jobs et des contraintes de ressources. Savoir diagnostiquer et résoudre ces problèmes vous aide à maintenir un flux de travail efficace.
Problèmes fréquents des clusters EMR
Les utilisateurs rencontrent souvent : exécutions lentes, mémoire insuffisante, échecs d’instances, shuffle inefficace des données.
Les problèmes de performance peuvent provenir de types d’instances inadaptés, d’un cluster sous‑dimensionné ou d’E/S disque excessives. Pour y remédier :
- Optimiser les paramètres des jobs : ajustez la mémoire des exécuteurs, le parallélisme et les partitions de shuffle pour équilibrer l’usage des ressources.
- Adapter le dimensionnement des instances : exploitez l’auto-scaling pour ajuster la taille du cluster selon la charge.
- Surveiller et analyser les logs : utilisez Amazon CloudWatch, la console EMR ou l’analyse directe des journaux dans Amazon S3 pour identifier goulots et points de défaillance.
Diagnostiquer les jobs Spark et Hadoop
Quand des jobs Spark ou Hadoop échouent, comprendre la cause racine est crucial pour corriger.
Les journaux stockés dans Amazon S3 ou accessibles via la console EMR offrent des informations précieuses sur les échecs d’exécution, problèmes mémoire et ralentissements de tâches.
- Utiliser le Spark history server : pour analyser les chronologies d’exécution, opérations de shuffle et répartition des tâches afin d’identifier les goulots.
- Exploiter le Hadoop job tracker : pour MapReduce, il fournit des statistiques détaillées aidant à repérer tâches longues ou skew de données.
- Optimiser avec Dr. Elephant et Sparklens : ces outils recommandent des optimisations pour Spark et Hadoop à partir des métriques d’exécution passées.
L’image ci-dessous montre comment Dr. Elephant et Sparklens aident à régler les performances de Hadoop et Spark sur Amazon EMR.
Interfaces Dr. Elephant et Sparklens affichant des recommandations d’optimisation pour des jobs Hadoop et Spark sur Amazon EMR. Source : AWS Blogs
Santé du cluster et reprise
En cas d’incident, un diagnostic rapide minimise les interruptions et évite la perte de données.
Amazon CloudWatch et AWS CloudTrail offrent des capacités de surveillance et d’alerte pour identifier les causes sous-jacentes.
- Vérifier les métriques CloudWatch : CPU, mémoire et E/S disque pour savoir si les ressources sont sous‑ ou sur‑utilisées.
- Redémarrer les instances défaillantes : en cas de souci matériel/logiciel, un redémarrage ou un remplacement restaure la stabilité.
- Relancer un cluster depuis des configurations sauvegardées : pour les pannes critiques, utilisez la fonction de clonage d’EMR pour repartir avec les mêmes réglages et actions de bootstrap.
Schéma illustrant des moyens d’optimiser la santé et la reprise d’un cluster Amazon EMR. Image créée avec Napkin AI
Gestion des coûts avec Amazon EMR
La maîtrise des coûts est essentielle avec Amazon EMR. La tarification dépend des types d’instances, du stockage et du transfert de données, mais plusieurs stratégies permettent d’optimiser les dépenses.
Comprendre la tarification
La tarification d’Amazon EMR repose principalement sur trois facteurs : instances de calcul, stockage et transfert de données.
- Les instances à la demande offrent la flexibilité de dimensionner à la volée, sans engagement. En continu, ce modèle peut toutefois être onéreux.
- Les Spot Instances sont une alternative économique en profitant de capacité EC2 inutilisée à prix réduit. Elles procurent des économies substantielles, sous réserve de disponibilité et d’interruptions possibles.
Pour estimer précisément, utilisez l’AWS Pricing Calculator, qui prend en compte la configuration du cluster, les types d’instances et la charge.
Comprendre ces modèles de prix facilite la prévision et le budget, pour une allocation efficace des ressources.
De plus, les AWS Savings Plans ou Reserved Instances pour des charges prévisibles permettent de bloquer des tarifs plus bas et de réduire les coûts globaux.
Stratégies d’optimisation des coûts
Pour optimiser les coûts, mettez en œuvre plusieurs bonnes pratiques lors de l’exécution de charges EMR :
- Auto-scaling : ajustez dynamiquement la taille du cluster selon la charge pour n’utiliser que les ressources nécessaires à chaque instant. Évitez ainsi le sur‑provisionnement.
- Right‑sizing des instances : choisissez les types d’instances adaptés : compute‑optimized pour les traitements lourds, memory‑optimized pour l’analytique en mémoire.
- Spot Instances pour économiser : exploitez-les autant que possible. Contre les interruptions, privilégiez des charges tolérantes aux pannes et des stratégies de rééquilibrage.
- Optimisation du cluster : dimensionnez correctement le nombre de nœuds et affinez les réglages Hadoop/Spark pour de meilleures performances sans dépenses excessives.
- Arrêter les clusters inactifs : surveillez l’activité et éteignez les clusters inutilisés pour éviter des coûts superflus.
- Exploiter les services managés : déléguer certaines tâches ETL à AWS Glue peut revenir moins cher que de les exécuter sur EMR. AWS Glue est serverless et s’adapte automatiquement à la charge, sans payer de ressources inactives.
En appliquant ces stratégies, vous trouvez le bon équilibre entre performance et maîtrise des coûts.
Pour une vision plus large de la gestion des coûts cloud AWS, découvrez AWS Cloud Technology and Services.
Conclusion
Après avoir travaillé avec Amazon EMR, j’apprécie la façon dont il simplifie le big data en automatisant la gestion des clusters, la mise à l’échelle et l’intégration aux services AWS. C’est un incontournable pour quiconque gère des charges de données à grande échelle, que vous démarriez ou que vous optimisiez un pipeline existant.
Si vous explorez des solutions big data dans le cloud, EMR est une option puissante et scalable à considérer !