Tutoriel de stockage AWS : introduction pratique à S3 et EFS

Un stockage de données efficace est un levier essentiel de la performance opérationnelle pour toute entreprise, tous secteurs confondus. Plus le volume de données croît, plus le besoin de solutions de stockage évolutives, fiables et économiquement optimisées devient crucial.

Choisir la bonne solution de stockage peut s’avérer complexe face à la profusion d’options, qu’elles soient dans le cloud ou on-premise, chacune avec ses atouts et ses limites.

Cet article n’a pas vocation à couvrir toutes les possibilités, mais se concentre sur des services évolutifs, fiables et économiques : Amazon Simple Storage Service (Amazon S3) et Amazon Elastic File System (EFS).

Nous commencerons par expliquer pourquoi les entreprises ont intérêt à adopter des services de stockage, puis nous passerons en revue leurs fondamentaux. Nous proposerons ensuite des conseils pour intégrer ces services dans un processus opérationnel. La dernière section ira plus loin sur des concepts avancés, en mettant l’accent sur l’optimisation des performances et des coûts.

Si vous recherchez une ressource d’introduction complète à Amazon Web Services (AWS), découvrez ce cours Introduction to AWS.

Pourquoi AWS pour le stockage de fichiers ?

Au vu de toutes les options existantes, il est important d’expliquer pourquoi une entreprise devrait utiliser AWS pour le stockage de fichiers : c’est l’objet de cette section.

Nous commençons par une analyse comparative entre les services de stockage AWS et les solutions traditionnelles, assortie d’exemples d’applications réelles. L’objectif : montrer la pertinence d’AWS S3 et d’EFS dans différents scénarios.

Comparer les options de stockage

Les services de stockage traditionnels et ceux d’AWS offrent des jeux de fonctionnalités et des bénéfices différents. Voici une analyse comparative dans le tableau ci-dessous :

S3 et EFS couvrent un large éventail d’usages, tous secteurs confondus. Voici des cas d’usage concrets pour chacun, illustrant leur pertinence selon les besoins.

Cas d’usage Amazon S3

Commençons par les cas d’usage d’Amazon Simple Storage Service (S3) :

• Hébergement de sites web : S3 héberge des sites statiques comme des blogs, sites marketing ou portfolios. Sa portée mondiale et sa haute durabilité garantissent une diffusion rapide et fiable des contenus à l’échelle internationale.
• Sauvegarde et reprise après sinistre : S3 est adapté aux sauvegardes, à l’archivage et au disaster recovery grâce à sa durabilité et sa disponibilité élevées.
• Data lakes pour l’analytique : Les entreprises peuvent agréger d’importants volumes de données structurées et non structurées dans S3 pour des analyses big data.
• Distribution et diffusion de contenus : Les médias utilisent S3 pour stocker et distribuer de gros fichiers vidéo, audio et image pour des analyses ultérieures. Couplé à CloudFront et aux réseaux de diffusion de contenu (CDN), S3 fournit les contenus aux utilisateurs avec une faible latence.

Cas d’usage EFS

Voyons à présent les cas d’usage d’Amazon Elastic File System (EFS) :

• Stockage de fichiers partagé pour instances EC2 : EFS sert de stockage de fichiers hautement disponible et élastique pour des instances EC2. Des applications tournant sur plusieurs instances partagent leurs données via EFS : idéal pour des workloads nécessitant des fonctionnalités de système de fichiers (hiérarchie, navigation dans les répertoires, verrouillage de fichiers).
• Stockage pour conteneurs : EFS s’utilise avec des applications conteneurisées, y compris celles orchestrées par Amazon ECS et Kubernetes sur AWS. Il fournit une couche de stockage persistant, permettant aux données de survivre au cycle de vie d’un conteneur.
• Big data et analytique : EFS convient aux applications d’analytique big data nécessitant un stockage de fichiers partagé. Il prend en charge des workloads analytiques complexes grâce au débit, aux IOPS et à la faible latence requis pour traiter de grands jeux de données.

Fondamentaux du stockage AWS

Avec ces éclairages sur S3 et EFS, il est essentiel de savoir quand utiliser l’un ou l’autre : c’est l’objet de cette section. Nous allons présenter le stockage en mode bloc, fichier et objet, puis comparer S3 et EFS.

Introduction aux stockages bloc, fichier et objet

Le stockage bloc, le stockage fichier et le stockage objet constituent trois approches fondamentales. Chacune répond à des usages spécifiques dans le cloud et la gestion des données.

Stockage bloc

Le stockage bloc segmente les données en blocs identifiés de façon unique, offrant une gestion flexible et efficace. Amazon Elastic Block Store (EBS) et les Instance Store Volumes sont des exemples de stockage bloc dans l’écosystème AWS.

Instance Store fournit un stockage éphémère directement attaché à l’hôte, idéal pour des données temporaires. À l’inverse, EBS offre un stockage persistant au niveau bloc, adapté aux bases de données, applications et systèmes de fichiers nécessitant de la durabilité et des sauvegardes incrémentales via des snapshots.

Stockage fichier

Le stockage fichier organise les données en une structure hiérarchique de fichiers et dossiers, à l’image d’un système de fichiers classique. Cette méthode intuitive facilite l’accès et la gestion des données pour de nombreuses applications et services.

Amazon Elastic File System (EFS) est un exemple de stockage fichier dans le cloud. Il offre un système de fichiers partagé, à montée en charge automatique, et supporte l’accès simultané depuis plusieurs instances.

EFS est particulièrement utile pour les applications nécessitant un accès partagé aux fichiers ou pour distribuer des contenus que plusieurs utilisateurs ou systèmes doivent consulter et modifier.

Stockage objet

Le stockage objet, tel qu’Amazon S3, est conçu pour stocker d’énormes volumes de données non structurées. Contrairement aux stockages bloc et fichier, il gère les données sous forme d’objets au sein de buckets.

Chaque objet inclut les données, des métadonnées et un identifiant unique, permettant une recherche et une gestion efficaces à toute échelle. S3 est polyvalent : de l’hébergement de sites statiques à l’archivage, avec différentes classes de stockage, notamment Standard, Standard-Infrequent Access (IA), Glacier Flexible Retrieval et Glacier Deep Archive.

S3 vs EFS

Le choix entre Amazon S3 et Amazon Elastic File System (EFS) dépend des besoins spécifiques de votre application ou de votre workload. Voici les différences clés :

Premiers pas avec Amazon S3

Maintenant que la notion de stockage de fichiers est plus claire, passons à la pratique avec une mise en œuvre technique.

Cette section couvre la gestion de données avec Amazon S3. Nous allons créer un bucket de stockage, organiser les données en dossiers, téléverser des fichiers, ajuster les autorisations pour un accès public si nécessaire, appliquer des métadonnées pour la gestion, puis supprimer le bucket et son contenu pour libérer les ressources et éviter des coûts inutiles.

Le principal prérequis est de disposer d’un compte AWS, créable depuis le site web d’AWS.

Créer un bucket

Le point de départ est l’Amazon Web Services Management Console, comme ci-dessous :

Cette console permet de gérer toutes les ressources AWS, des instances de calcul (EC2) aux services de files de messages (SQS), en passant par la sécurité.

Une fois sur la console, la première étape consiste à créer une instance S3. Procédez comme suit (référez-vous aux numéros sur l’image ci-dessous) :

Poursuivons avec quelques étapes supplémentaires :

Quelques précisions concernant certaines étapes :

• Étape 4 : nous avons créé le bucket dans la région US East (Ohio) us-east-2.
• Étape 5 : les noms de bucket sont globalement uniques. Il faut donc en choisir un qui n’est pas déjà utilisé. Ainsi, personne, où qu’il soit, ne pourra créer un bucket avec le même nom.
• Étape 6 : l’option ACLs enabled permet de définir des autorisations fines sur qui peut accéder aux fichiers du bucket et ce qu’il peut en faire. Utile pour gérer l’accès au niveau de chaque fichier. L’option ACLs disabled ne permet pas de définir des permissions au niveau fichier.
• Étape 8 : l’option Bucket owner preferred garantit que nous sommes propriétaires de tous les fichiers téléversés dans le bucket, quel que soit l’auteur du téléversement. La gestion des permissions s’en trouve simplifiée.

Créons maintenant le bucket avec trois étapes supplémentaires :

Téléverser des données dans le bucket

Une fois le bucket créé, ses détails s’affichent ci-dessous. Un bucket est un conteneur qui peut héberger des ressources. Le téléversement commence par la création d’un dossier. Procédons en deux étapes :

Créons maintenant le dossier :

Le dossier a bien été créé !

Passons au téléversement d’un fichier dans ce dossier. Essayons avec une image :

L’image a été téléversée avec succès !

Configurer le contrôle d’accès

Par défaut, tous les fichiers téléversés dans le bucket sont privés et appartiennent au créateur : seul le propriétaire peut les voir, modifier ou télécharger. Cependant, il peut être nécessaire d’ouvrir l’accès afin que tout le monde puisse consulter un fichier – par exemple des photos sur un site web.

Nous pouvons le faire en autorisant l’accès public à l’image. Cela devrait permettre d’accéder à l’URL de l’objet en public, mais nous obtenons malheureusement un message Access Denied.

Pour corriger cela, rendez-vous dans l’onglet Permissions au niveau du bucket et modifiez la Bucket Policy :

Modifions à présent la déclaration (statement) :

Après ces changements, l’image s’affiche enfin !

Logo AWS après configuration du contrôle d’accès

Présentation d’Amazon EFS

Cette section traite de la création d’un système de fichiers EFS, en insistant sur les réglages de performance et de sécurité.

Créer un groupe de sécurité

Commencez par créer un groupe de sécurité via l’option « Security Groups » sous l’onglet Security dans le menu latéral.

Ensuite :

• Sélectionnez Create security group.
• Donnez un nom explicite – MyDataCampEFSGroup dans notre exemple.
• Renseignez une brève description du groupe.
• Laissez la VPC à sa valeur par défaut.

Ne renseignez aucune règle entrante (inbound) :

Le type de Outbound rule 1 doit être All traffic :

La configuration étant terminée, cliquez sur Create security group.

Le groupe de sécurité nouvellement créé apparaît dans la section Security Groups.

Configurer votre premier système de fichiers EFS

Créez ensuite un système de fichiers EFS. Recherchez EFS et sélectionnez-le :

Cliquez sur Create file system.

Saisissez un nom explicite, laissez la section VPC telle quelle, puis cliquez sur Customize.

Cliquez sur Next pour accéder à la page de configuration réseau.

Renseignez les groupes de sécurité pour chaque zone de disponibilité avec MyDataCampEFSGroup.

Une fois terminé, cliquez à nouveau sur Next.

La dernière étape permet de revoir l’ensemble de la configuration. Si tout est correct, cliquez sur Create.

Une fois l’opération réussie, le nouveau système de fichiers EFS apparaît dans l’onglet File systems.

Créer une instance EC2

L’étape suivante consiste à créer une instance EC2, qui fournira l’environnement de calcul nécessaire à EFS et un accès simultané aux mêmes données.

Procédons étape par étape ! Sélectionnez EC2 dans la console. Cliquez sur Launch instance. Choisissez Amazon Linux 2, éligible à l’offre gratuite.

Créez ensuite une paire de clés pour vous connecter en toute sécurité à l’instance. Ici, nous créons un fichier .pem nommé efs_ec2_key_pair. Téléchargez-le et conservez-le localement pour la suite.

La capacité de stockage par défaut est de 8 GiB, suffisante ici, et le nombre d’instances est porté à 3. Cliquez sur Launch instance pour démarrer. Le résultat final affiche les nouvelles instances.

Avant d’aller plus loin, vérifions que la connexion aux instances fonctionne. Utilisez la commande SSH (Secure Shell) suivante :

ssh -i [path_to_the_key] ec2-user@[Public IPv4 address]

Décomposons cette commande :

• ssh : commande initiant la connexion SSH.
• -i [path_to_the_key] : option indiquant le chemin vers votre clé privée SSH, nécessaire à l’authentification sur le serveur distant.
• ec2-user : nom d’utilisateur par défaut pour les instances Linux EC2. Un autre utilisateur peut être configuré.
• @ : sépare le nom d’utilisateur de l’adresse du serveur.
• [Public IPv4 address] : adresse IP publique de l’instance EC2, visible dans la Management Console AWS.

Voici le résultat de la connexion SSH à chaque instance.

Résultat de la connexion SSH pour la première instance.

Résultat de la connexion SSH pour la deuxième instance.

Résultat de la connexion SSH pour la troisième instance.

Configurer EFS

Cette dernière étape permet de monter les instances EC2 créées ci-dessus. L’opération s’effectue depuis l’interface générale d’EFS.

Pour simplifier, le montage est illustré pour une seule instance, mais la même démarche s’applique aux autres.

Commencez par installer l’utilitaire de montage EFS sur chaque instance avec la commande suivante :

sudo yum install -y amazon-efs-utils

Installation des utilitaires Amazon EFS – trace d’exécution.

Créez ensuite un dossier efs à la racine de chaque instance avec sudo, en veillant à utiliser le même chemin pour toutes les instances.

sudo mkdir /efs

Après avoir créé le dossier, montez-le. L’ID du système de fichiers correspond à l’EFS créé précédemment, à utiliser dans la commande sudo mount -t efs [file system ID]:/ /efs :

sudo mount -t efs fs-088faeea6372efa83:/ /efs

Ce délai d’attente s’explique par le fait que le groupe de sécurité rattaché à l’EFS ne permet aucun trafic entrant depuis nos instances EC2. Corrigez cela en autorisant les connexions entrantes :

Créez une nouvelle règle entrante :

Une option plus sécurisée consiste à créer un groupe de sécurité distinct pour les instances EC2, et à n’autoriser les connexions qu’en provenance de ce groupe. Cette configuration sort du cadre de cet article.

Après avoir appliqué ce processus sur chaque instance EC2, le système EFS accepte les connexions de partout (y compris de nos instances EC2). Cette fois, pas de timeout :

Pour vérifier le succès du montage, vous devez pouvoir :

• Créer un dossier dans le répertoire partagé /efs depuis une instance EC2
• Accéder à ce dossier depuis une autre instance EC2.

L’illustration ci-dessous montre la création, depuis la première instance EC2, du dossier my_DataCamp_data et d’un fichier README.txt. Le même fichier README est visible sur les autres instances EC2.

Partage de fichiers via EFS.

Grâce à la configuration d’EFS, un fichier créé par une instance est accessible aux autres.

Pour une vue d’ensemble plus large de l’écosystème AWS, découvrez le cours AWS Cloud Technology and Services.

Stratégies avancées de stockage

Des stratégies de stockage efficaces sont essentielles pour gérer les données de manière optimale. Deux axes clés : l’optimisation des performances et l’optimisation des coûts.

Ces stratégies s’appliquent tout particulièrement à Amazon Simple Storage Service (S3) et à Elastic File System (EFS).

L’optimisation des performances dans S3 et EFS consiste à choisir les classes de stockage et modes de débit adaptés pour améliorer la vitesse et l’efficacité.

L’optimisation des coûts passe par l’utilisation de différents niveaux de stockage selon la fréquence d’accès aux données et par l’exploitation des outils de suivi AWS pour piloter les dépenses. Ces approches permettent une gestion efficiente des données et une réduction des coûts de stockage dans le cloud.

Conclusion

Félicitations pour être arrivé jusque-là ! Nous espérons que cette exploration approfondie vous aidera à démarrer avec le stockage AWS.

Pour maîtriser efficacement les services AWS, rien de tel que de les appliquer à des cas concrets – seuls ou en les combinant. Si cet exercice vous intéresse, consultez le cours Streaming Data with AWS Kinesis and Lambda.

Si vous visez un poste lié à AWS, jetez un œil aux certifications AWS en 2024. Il peut aussi être utile de parcourir les meilleures questions/réponses d’entretien AWS.