Tutoriel AWS DMS : Guide de migration des bases de données, étape par étape

Configuration d'AWS DMS

Passons à la pratique et commençons par configurer AWS DMS. Dans ce tutoriel, vous apprendrez à migrer une base de données Oracle vers Amazon Aurora (MySQL), y compris la conversion des schémas, la réplication des données et les meilleures pratiques pour assurer une transition en douceur.

Étape 1 :  Conditions préalables à l'utilisation de AWS DMS

Avant de migrer les bases de données, vous devez configurer les ressources AWS essentielles. En utilisant AWS CloudFormation, vous pouvez automiser le provisionnement pour vous concentrer sur les tâches de migration. Le modèle que nous allons utiliser déploie :

• Un VPC AWS avec des sous-réseaux publics pour la mise en réseau.
• Une instance de réplication AWS DMS pour effectuer la migration des données.
• Une instance Amazon RDS comme base de données cible.
• Une instance Amazon EC2 pour contenir les outils de migration tels que AWS Schema Conversion Tool (SCT) ou une simulation de base de données source.

Connectez-vous à la console AWS

1. Connectez-vous à la console de gestion AWS à l'aide devos informations d'identification.
2. Cliquez sur le menu déroulant dans le coin supérieur droit de l'écran et sélectionnez votre région. Je choisirai la région N.Virginia pour ce tutoriel.

Figure 1 Sélection de la région AWS dans la console de gestion AWS.

3. Allez dans la console EC2 et naviguez jusqu'à la sectionKey Pair. Assurez-vous d'être dans la même région AWS qu'à l'étape précédente.
4. Cliquez sur Créer une paire de clés et nommez-la "DMS".

Figure 2 Création d'une paire de clés pour un accès sécurisé dans AWS EC2.

5. Cliquez sur Créeret votre navigateur téléchargera DMS.pem.
6. Sauvegardez ce fichier en toute sécurité : vous en aurez besoin plus tard dans le tutoriel.

Configurer l'environnement

Dans cette étape, vous utiliserez un modèle CloudFormation (CFN) pour configurer l'infrastructure AWS nécessaire à la migration des bases de données. Cela automatise le provisionnement et vous permet de vous concentrer sur les tâches de migration.

1. Ouvrez la console AWS CloudFormation et cliquez sur Créer une pile.
2. Sélectionnez Choisir un modèle existant, puis Télécharger un fichier de modèle.

Figure 3 Téléchargement d'un modèle CloudFormation pour créer une nouvelle pile.

3. Téléchargez le fichier depuis Github Gist et cliquez sur Choose file.
4. Téléchargez le fichier DMS.yaml et cliquez sur Suivant.
5. Remplissez les paramètres requis comme indiqué, puis cliquez sur Suivant.

Figure 4 Configuration des paramètres d'une pile CloudFormation AWS DMS

Note : Vous pouvez adapter le type d'instance à vos besoins ou le conserver tel quel.

6. Sur la page Options de la pile, conservez les paramètres par défaut et cliquez sur Suivant.
7. Examinez la configuration et cliquez sur Créer une pile.
8. Vous serez redirigé vers la console CloudFormation, où le statut indiquera "CREATE_IN_PROGRESS". Attendez que la mention "CREATE_COMPLETE" apparaisse.

Figure 5 Examen de l'état de création d'une ressource dans AWS CloudFormation

9. Une fois l'opération terminée, accédez à la section Outputs (sorties) et notez les valeurs : vous en aurez besoin pour la suite du didacticiel.

Préparer la base de données source et la base de données cible pour la migration

Nous commencerons par la configuration de la base de données source. Procédez comme suit pour accéder à l'instance EC2 à l'aide du protocole de bureau à distance (RDP).

Étape 1 : Configurer l'accès RDP

• Pour les utilisateurs de Mac : Téléchargez Microsoft Remote Desktop depuis l'App Store.
• Pour les utilisateurs de PC : Utilisez le bureau à distance pour vous connecter au PC que vous avez configuré.

Étape 2 : Modifier les règles du groupe de sécurité pour l'accès RDP

• Ouvrez la console AWS EC2.
• Dans le menu de gauche, cliquez sur Groupes de sécurité (il se peut que vous deviez faire défiler la page vers le bas).
• Sélectionnez le groupe de sécurité se terminant par "InstanceSecurityGroup" en cochant la case.
• Cliquez sur Actions > Modifier les règles de réception.
• Localisez la règle RDP (port 3389), cliquez sur Source et sélectionnez Mon IP pour une meilleure sécurité.
• Si vous êtes sur un VPN d'entreprise ou un réseau complexe, vous devrez peut-être le changer en "N'importe où (0.0.0.0/0)" plus tard.

Figure 6 Modification des règles de sécurité entrantes dans AWS.

• Cliquez sur Enregistrer les règles.

Étape 3 : Récupérer les informations d'identification RDP

• Dans la console AWS EC2, cliquez sur Instances dans le menu de gauche.
• Sélectionnez l'instance nommée "<StackName>-EC2Instance".
• Cliquez sur Actions > Connecter.
• Naviguez jusqu'à la section Client RDP et cliquez sur Obtenir le mot de passe.
• Cliquez sur Parcourir et téléchargez le fichier de paires de clés téléchargé précédemment.
• Cliquez sur Décrypter le mot de passe.

Figure 7 Récupération du mot de passe Windows pour une instance AWS EC2.

• Copiez le mot de passe généré dans vos notes pour une utilisation ultérieure.

Étape 4 : Connectez-vous à l'instance EC2

• Cliquez sur Télécharger le fichier de bureau à distance pour enregistrer le fichier RDP.
• Ouvrez le client RDP (Microsoft Remote Desktop sur Mac).
• Utilisez le mot de passe décrypté pour vous connecter.
• Si vous y êtes invité, cliquez sur Terminé pour achever la configuration.

Étape 5 : Se connecter à Oracle SQL Developer

Une fois connecté à l'instance EC2, suivez les étapes suivantes pour établir une connexion à la base de données Oracle à l'aide d'Oracle SQL Developer.

Étape 1 : Développeur SQL Open Oracle

• Localisez Oracle SQL Developer dans la barre des tâches et ouvrez-le.
• Note: Vos icônes peuvent apparaître dans un ordre différent de celui des images de référence.

Figure 8 Configuration d'une nouvelle connexion à la base de données dans Oracle SQL Developer.

Étape 2 : Créez une nouvelle connexion à la base de données

• Cliquez sur le signe plus (+) dans le menu de gauche pour créer une nouvelle connexion à la base de données.
• Saisissez les informations suivantes :
  • Nom de la connexion : Source Oracle
  • Nom d'utilisateur : dbadmin
  • Mot de passe : Vérifiez l'onglet Outputs de la pile CloudFormation sous DMSDBSecretP
  • Sauvegarder le mot de passe : Cochez cette case.
  • Nom d'hôte : Recherchez le point de terminaison Oracle source dans l'onglet Sortie de CloudFormation. Vous pouvez également vous rendre dans la console RDS, sélectionner votre instance source Oracle et utiliser le point de terminaison fourni.
  • Port : 1521
  • SID : ORACLEDB

Étape 3 : Test et connexion

• Cliquez sur Test pour vérifier la connexion.
• Une fois que l'état du test indique "Réussi", cliquez sur Connecter.

Étape 4 : Configuration d'Oracle pour la migration vers AWS DMS

Avant d'utiliser Oracle comme source pour AWS DMS, assurez-vous que les configurations suivantes sont en place :

1. Créez un utilisateur DMS avec les privilèges requis.

AWS DMS nécessite un compte d'utilisateur (utilisateur DMS) disposant de droits de lecture et d'écriture sur la base de données Oracle.

2. Activer le MODE ARCHIVELOG

• Le MODE ARCHIVELOG doit être activé pour fournir des informations sur les journaux de transactions à LogMiner.
• AWS DMS s'appuie sur LogMiner pour capturer les données de changement à partir des journaux d'archives.
• Veillez à ce que les journaux d'archives soient conservés pendant au moins 24 heures afin d'éviter toute perte de données lors de la migration.

3. Activer la journalisation supplémentaire

• Journalisation supplémentaire au niveau de la base de données :
• Cela garantit que LogMiner capture tous les détails nécessaires pour les différentes structures de tableaux (par exemple, les tableaux en grappes et les tableaux organisés en index).
• Journalisation supplémentaire au niveau du tableau :
• Elle doit être activée pour chaque tableau que vous envisagez de migrer.

4. Octroi des privilèges nécessaires à l'utilisateur d'AWS DMS

• Dans Oracle SQL Developer, cliquez sur l'icône de la feuille de calcul SQL. 
• Connectez-vous à la base de données Source Oracle. 
• Copiez, collez et exécutez les instructions de la Github Gist pour accorder à l'utilisateur AWS DMS les privilèges nécessaires.

Figure 9 Exécution de scripts SQL dans Oracle SQL Developer.

Étape 6 : Configurer la cible Amazon Aurora (MySQL)

Après avoir sélectionné la configuration initiale et la base de données source, vous pouvez migrer une base de données d'exemple. Ce guide décrit comment utiliser l'outil AWS Schema Conversion Tool (AWS SCT) et le service AWS Database Migration Service (AWS DMS) pour transformer la structure de la base de données et transférer les données vers Amazon Aurora (MySQL). 

En outre, AWS DMS servira d'outil pour permettre une réplication continue, ce qui signifie que toutes les modifications apportées à la base de données source seront répliquées en temps réel dans la base de données cible.

• Reconnectez-vous à l'instance EC2 via RDP.
• Ouvrez le dossier DMS Workshop sur le bureau et double-cliquez sur AWS Schema Conversion Tool Download pour installer la dernière version.
• Décompressez et installez AWS SCT en suivant l'assistant d'installation (prenez les valeurs par défaut et cliquez sur Terminer).
• Lancez AWS SCT à partir du menu Démarrer ou de l'icône orange SCT sur le bureau et acceptez les conditions.
• Ouvrez MySQL Workbench 8.0 CE et créez une nouvelle connexion à la base de données pour la cible Aurora MySQL :
  • Nom de la connexion : Cible Aurora RDS (MySQL)
  • Nom d'hôte : (Trouvez dans les sorties CloudFormation ou dans la console RDS)
  • Port : 3306
  • Nom d'utilisateur : dbadmin
  • Mot de passe : Récupérer de l'onglet Sortie de CloudFormation
  • Schéma par défaut : Laissez en blanc

Figure 10 Configuration d'une connexion MySQL Workbench à Amazon Aurora.

• Cliquez sur Test Connection, confirmez le succès, puis connectez-vous à Aurora MySQL.
• Exécutez les instructions SQL fournies par la Gist de GitHub dans MySQL Workbench (cliquez sur l'icône en forme d'éclair pour les exécuter).

Maintenant que vous avez installé l'outil de conversion des schémas AWS, l'étape suivante consiste à créer un projet de migration de base de données à l'aide de l'outil.

Étape 1 : Démarrer un nouveau projet

• Ouvrez l'outil de conversion de schéma AWS (SCT).
• Si l'assistant de nouveau projet ne démarre pas automatiquement, allez dans Fichier > Assistant de nouveau projet.
• Saisissez les informations suivantes :
• Nom du projet : Outil de conversion de schéma AWS Source DB vers Aurora MySQL
• Lieu de travail : C:\Users\Administrator\AWS Schema Conversion Tool
• Type de base de données : Sélectionnez la base de données SQL
• Moteur source : Oracle
• Type de migration : Sélectionnez Je veux changer de moteur et optimiser pour le cloud
• Cliquez sur Suivant.

Étape 2 : Connexion à la base de données source

• Complétez la configuration de la base de données source :
  • Nom de la connexion: Oracle Source
  • Type : SID
  • Nom du serveur : (Trouvez dans les sorties CloudFormation ou dans la console RDS)
  • Port du serveur : 1521
  • Oracle SID : ORACLEDB
  • Nom d'utilisateur : dbadmin
  • Mot de passe : Récupérer de l'onglet Sortie de CloudFormation
  • Utilisez SSL : Non vérifié
  • Mot de passe du magasin : Vérifié
  • Oracle Driver Path : C:\Users\Administrator\Desktop\DMS Workshop\JDBC\ojdbc11.jar
• Cliquez sur Test Connection. Si vous avez réussi, cliquez sur Next.

Figure 11 Test de la connectivité de la base de données dans l'outil de conversion des schémas AWS.

Étape 3 : Sélectionnez la base de données et examinez le rapport d'évaluation

• Sélectionnez la base de données dms_sample, puis cliquez sur Suivant.
• Ignorez les avertissements relatifs au chargement des métadonnées s'ils apparaissent.
• Examinez le rapport d'évaluation de la migration des bases de données :

Figure 12 Examen des résultats de l'évaluation de la migration des bases de données.

• Après l'avoir vérifié, cliquez sur Suivant.

Note : Le SCT convertit automatiquement la plupart des objets et met en évidence ceux qui nécessitent une intervention manuelle. Soyez également attentif aux procédures, aux paquets et aux fonctions, qui peuvent nécessiter des modifications.

Étape 4 : Connexion à la base de données cible

• Complétez la configuration de la base de données cible :
• Moteur cible : Amazon Aurora (compatible avec MySQL) (changement par rapport à la valeur par défaut)
• Nom de la connexion : Aurora MySQL Target
• Nom du serveur : (Trouvez dans les sorties CloudFormation ou dans la console RDS)
• Port du serveur : 3306
• Nom d'utilisateur : dbadmin
• Mot de passe : Récupérer de l'onglet Sortie de CloudFormation
• Utilisez SSL : Non vérifié
• Mot de passe du magasin : Vérifié
• MySQL Driver Path : C:\Users\Administrator\Desktop\DMS Workshop\JDBC\mysql-connector-j-8.3.0.jar
• Cliquez sur Test Connection. En cas de succès, cliquez sur Cliquez sur Terminer.

Maintenant que vous avez créé un projet de migration de base de données, l'étape suivante consiste à convertir le schéma de la base de données source en Amazon Aurora MySQL.

Étape 5 : Conversion du schéma de la base de données source en Amazon Aurora MySQL

• Cliquez Vue dans le menu supérieur et sélectionnez Vue du rapport d'évaluation.
• Sélectionnez DMS_SAMPLE dans le panneau de gauche pour afficher la hiérarchie de la base de données.
• Accédez à l'onglet Actions pour voir les éléments de schéma qui n'ont pas pu être convertis automatiquement.
• La SCT de l'AWS classe les articles dans les catégories suivantes :
  • Vert - Conversion réussie.
  • Bleu - Nécessite une modification manuelle avant la migration.
• Vous avez deux options pour les éléments de schéma qui ne peuvent pas être convertis automatiquement :
  • Modifier le schéma source.
  • Modifiez les scripts SQL générés avant de les appliquer à la base de données cible. Nous allons ajuster manuellement une procédure stockée dans AWS SCT pour la rendre compatible avec Aurora MySQL.

Étape 6 : Modifier le code SQL

• Cliquez avec le bouton droit de la souris sur la base de données DMS_SAMPLE dans le panneau de gauche.
• Sélectionnez Convertir le schéma pour générer les instructions DDL (Data Definition Language) de la base de données cible.
• Lorsque vous êtes invité à indiquer les objets existants, cliquez sur Oui.

Figure 13 Conversion d'un schéma Oracle à l'aide de l'outil AWS Schema Conversion Tool.

• Cliquez avec le bouton droit de la souris sur le schéma dms_sample_dbo (source SQL Server) ou dms_sample (autres sources) dans le panneau de droite.
• Sélectionnez Appliquer à la base de données.
• Lorsque vous y êtes invité, cliquez sur Oui pour confirmer.
• Développez le schéma dms_sample_dbo ou dms_sample dans le panneau de droite.
• Vous devriez maintenant voir des tableaux, des vues, des procédures stockées et d'autres objets créés avec succès dans Aurora MySQL.

Vous avez réussi à convertir le schéma et les objets de la base de données dans un format compatible avec Amazon Aurora MySQL !

Étape 2 : Création d'une instance de réplication

Suivez les étapes suivantes pour créer une instance de réplication DMS :

• Ouvrez la console AWS Database Migration Service (DMS) ou recherchez DMS dans la barre de recherche AWS.
• Dans le menu de gauche, cliquez sur Instances de réplication pour accéder à l'écran de gestion des instances de réplication.
• Si une instance de réplication préconfigurée est disponible, vous pouvez sauter cette étape. Toutefois, si vous souhaitez acquérir une expérience pratique, créez une nouvelle instance :
• Cliquez sur Créer une instance de réplication dans le coin supérieur droit. Ensuite, remplissez les informations suivantes :
  • Nom : DMSReplication-dms
  • Nom descriptif de la ressource Amazon (ARN) : Laissez en blanc
  • Description : (Facultatif) Saisissez "Serveur de réplication pour la migration de la base de données"
  • Classe d'instance : dms.c5.xlarge
  • Version du moteur : Laissez la valeur par défaut.
  • Haute disponibilité / Multi-AZ : Sélectionnez la charge de travail Dev ou Test (Single-AZ)
  • Stockage alloué (GB) : 50
  • VPC : Sélectionnez l'ID VPC dont le nom contient DMSVpc (ajustez la liste déroulante si nécessaire).
  • Accessible au public : Régler sur Non (non coché)
  • Avancé -> Groupe(s) de sécurité VPC : Sélectionnez le groupe de sécurité par défaut

Figure 14 Création d'une instance de réplication.

• Saisissez les informations requises pour l'instance de réplication, puis cliquez sur Créer.

Étape 3 : Configuration des points d'extrémité source et cible

Maintenant que nous disposons de l'instance de réplication, l'étape suivante consiste à créer les points d'extrémité source et cible pour la migration de la base de données. Procédez comme suit pour configurer les deux points d'extrémité.

Créer le point d'accès source

• Ouvrez la console AWS DMS.
• Dans le menu de gauche, cliquez sur Endpoints.
• Cliquez sur Créer un point de terminaison (en haut à droite).
• Saisissez les informations requises pour le point de terminaison de la base de données source :
• Type de point final : Point d'arrivée de la source
• Sélectionnez RDS DB Instance : Ne cochez que pour Oracle (laissez en blanc pour les autres)
• Instance RDS : Sélectionnez -SourceOracleDB
• Identifiant du point de terminaison : oracle-source (ou prenez la valeur pré-remplie)
• Descriptif ARN : Laissez en blanc
• Moteur source : Oracle
• Accès à la base de données des points finaux : Sélectionnez "Fournir manuellement les informations d'accès"
• Nom du serveur : (il devrait s'afficher automatiquement).
• Port : 1521
• Mode SSL : Aucun
• Nom d'utilisateur : dbadmin
• Mot de passe : Vérifiez l'onglet Outputs de la pile CloudFormation sous 2DMSDBSecretP
• SID/Nom du service : ORACLEDB
• VPC : Sélectionnez l'ID VPC avec DMSVpc dans la configuration de l'environnement.
• Instance de réplication : Choisissez cfn-DMSReplication, DMSReplication, ou l'instance de réplication que vous avez créée (si elle est prête).
• Cliquez sur Exécuter le test pour vérifier la connectivité.

Figure 15 : vérification de la connectivité.

• Une fois que l'état du test devient "Successful", cliquez sur Create endpoint ( Créer un point de terminaison).

Créer le point de terminaison cible

Suivez le même processus pour créer le point de terminaison cible pour la base de données Aurora RDS :

• Cliquez à nouveau sur Créer un point de terminaison.
• Saisissez les informations suivantes :
• Type de point final : Point d'arrivée cible
• Sélectionnez RDS DB Instance : Cochez la case pour toutes les cibles de base de données RDS
• Instance RDS : Choisissez -AuroraMySQLInstance
• Identificateur de point final : aurora-mysql-target
• Descriptif ARN : Laissez en blanc
• Moteur cible : Amazon Aurora MySQL
• Accès à la base de données des points finaux : Sélectionnez "Fournir manuellement les informations d'accès"
• Nom du serveur : TargetAuroraMySQLEndpoint (ou il devrait se remplir automatiquement).
• Port : 3306
• Mode SSL : Aucun
• Nom d'utilisateur : dbadmin
• Mot de passe : vérifiez l'onglet Outputs de la pile CloudFormation sous 2DMSDBSecretP
• VPC : Sélectionnez l'ID VPC avec DMSVpc dans la configuration de l'environnement.
• Instance de réplication : Choisissez cfn-DMSReplication, DMSReplication, ou l'instance de réplication que vous avez créée (si elle est prête).
• Cliquez sur Exécuter le test pour vérifier la connectivité.
• Une fois que l'état du test est passé à "Réussi", cliquez sur Créer un point de terminaison.

Étape 4 : Configuration de la tâche de migration

Gestion des contraintes de clés étrangères dans la migration vers AWS DMS

AWS DMS ne met pas d'ordre sur les tableaux à charger pendant le chargement complet, ce qui peut entraîner des violations de clés étrangères si les contraintes sont activées. En outre, les déclencheurs de la base de données cible peuvent entraîner des modifications inattendues des données. Nous avons également supprimé les contraintes de clés étrangères de la base de données MySQL de l'Aurora cible.

• Lancez MySQL Workbench 8.0 CE (utilisé précédemment pour la configuration des autorisations).
• Ouvrez une nouvelle fenêtre de recherche.
• Supprimez les contraintes de clé étrangère : AWS SCT ne crée pas automatiquement de contraintes lors de la migration depuis Oracle ; il ne crée que des index. Exécutez le script SQL suivant pour supprimer les index :

DROP INDEX set_seat_idx ON dms_sample.sporting_event_ticket;
DROP INDEX set_ticketholder_idx ON dms_sample.sporting_event_ticket;
DROP INDEX set_sporting_event_idx ON dms_sample.sporting_event_ticket;

• Cliquez sur l'icône Exécuter (éclair) pour exécuter le script.

Figure 16 Interface de MySQL Workbench affichant des requêtes SQL.

Les contraintes ayant été supprimées, la base de données MySQL Aurora cible est maintenant prête pour la migration des données à l'aide d'AWS DMS !

Créer une tâche de migration DMS

AWS DMS utilise des tâches de migration de base de données pour déplacer les données de la base de données source vers la base de données cible. Suivez ces étapes pour créer et contrôler la tâche de migration.

Étape 1 : Créer une tâche de migration

• Ouvrez la console AWS DMS.
• Cliquez sur Tâches de migration des bases de données dans le menu de gauche.
• Cliquez sur Créer une tâche (en haut à droite).

Étape 2 : Configurer les paramètres de la tâche

• Identifiant de la tâche : source-to-AuroraMySQL-target
• Instance de réplication: cfn-dmsreplication
• Base de données source Point final: Sélectionnez votre base de données source
• Point final de la base de données cible: cfn-auroramysqlinstance
• Type de migration: Migrer les données existantes et répliquer les changements en cours
• Mode d'arrêt du CDC: N'utilisez pas le mode d'arrêt personnalisé du CDC
• Création d'une table de récupération sur la BD cible: Non vérifié
• Mode de préparation du tableau cible: Ne rien faire (pas par défaut)
• Arrêt de la tâche après l'achèvement de la charge complète: Ne vous arrêtez pas
• Paramètres des colonnes LOB / Inclure les colonnes LOB dans la réplication: Mode LOB limité
• Taille maximale du LOB (KB): 32
• Validation des données: Non vérifié
• Activer les journaux CloudWatch: Vérifié
• Contexte du journal: Niveaux par défaut
• Application optimisée par lots: Non vérifié

Étape 3 : Configurer les correspondances entre les tableaux

• Développez les Correspondance des tableaux de la section.
• Sélectionner Assistant comme mode d'édition.
• Cliquez sur Ajouter une nouvelle règle de sélectionpuis entrez ce qui suit :
• Schéma: DMS_SAMPLE%
• Nom du tableau: %
• Action: Include

Figure 17 Configure Table Mapping (Configurer le mappage des tableaux).

Étape 4 : Configurer les règles de transformation

• Développez les Règles de transformation section.
• Cliquez sur Ajouter une nouvelle règle de transformation et saisissez les règles suivantes :
• Règle 1 :
• Cible : Schéma
• Nom du schéma : DMS_SAMPLE
• Action : Mettre en minuscules
• Règle 2 :
• Cible : Table
• Nom du schéma : DMS_SAMPLE
• Nom du tableau : %
• Action : Mettre en minuscules
• Règle 3 :
• Cible : Colonne
• Nom du schéma : DMS_SAMPLE
• Nom du tableau : %
• Action : Mettre en minuscules

Étape 5 : Finaliser et démarrer la tâche de migration

• Décocher Activer l'évaluation de prémigration (non requis pour ce tutoriel).
• Veillez à ce que la configuration de démarrage de la tâche de migration Configuration de démarrage de la tâche de migration est définie sur Démarrer automatiquement à la création.
• Cliquez sur Créer une tâche.

Exécution de la migration

Il est enfin temps d'effectuer notre migration !

Étape 1 : Lancer la migration

La tâche passera par les états suivants :

• Création → Prêt → Démarrage → Exécution.
• Cliquez sur le bouton circulaire d'actualisation pour mettre à jour le statut.

Figure 18 Interface de la tâche de migration AWS DMS montrant la réplication en cours.

Étape 2 : Suivi de la migration

AWS DMS fournit des mesures CloudWatch pour surveiller les performances de votre instance de réplication et des tâches de migration.

Visualisation des métriques CloudWatch pour les instances de réplication :

• Ouvrez la console AWS DMS.
• Cliquez sur Instances de réplication dans le menu de gauche.
• Sélectionnez votre instance de réplication.
• Naviguez jusqu'à la page Métriques CloudWatch pour afficher les données de performance.

Figure 19 Graphiques d'utilisation des ressources de l'instance AWS DMS.

Visualisation des métriques CloudWatch pour les tâches de migration :

• Ouvrez la console AWS DMS.
• Cliquez ici Tâches de migration des bases de données dans le menu de gauche.
• Sélectionnez votre tâche DMS dans la liste.
• Naviguez jusqu'à l'écran Moniteur pour analyser les performances de la tâche.

Figure 20 Mesures de débit du SGAD AWS en pleine charge.

Avec CloudWatch, vous pouvez suivre des indicateurs clés tels que la latence, le décalage de réplication et l'état des tâches.

Étape 3 : Gestion des erreurs et des avertissements liés à la migration

Au cours de la migration vers AWS DMS, des erreurs et des avertissements peuvent survenir en raison d'échecs de connexion, de problèmes d'intégrité des données ou de mauvaises configurations. Vous trouverez ci-dessous les problèmes les plus courants et les étapes de dépannage pour les résoudre.

1. Défauts de connexion

• Enjeu : DMS ne peut pas se connecter à la base de données source ou cible.
• Résolution :
• Vérifiez lesparamètres VPC, les groupes de sécurité et la disponibilité des sous-réseaux.
• Assurez-vous que le nom d'hôte, le port et les informations d'identification de la base de données sont corrects.
• Testez la connectivité en cliquant sur Tester la connexion du point de terminaison dans la console DMS.

2. Problèmes d'intégrité des données

• Enjeu : Données manquantes ou incohérentes entre la source et la cible.
• Résolution :
• Activez la validation CDC pour vérifier les transactions manquantes.
• Comparez le nombre de lignes à l'aide des métriques CloudWatch.
• Exécutez des requêtes de validation des sommes de contrôle sur les deux bases de données afin de garantir la cohérence des données.

3. Goulets d'étranglement des performances

• Enjeu : La migration est lente ou décalée.
• Résolution :
• Activez le chargement parallèle pour accélérer les transferts de masse.
• Ajustez le mode LOB (utilisez le mode Full LOB si vous manipulez des objets de grande taille).
• Surveillez les mesures CloudWatch pour l'unité centrale, la mémoire et le délai de réplication.

4. Contraintes et déclencheurs de la base de données cible

• Enjeu : Violations de clés étrangères ou modifications inattendues de données.
• Résolution :
• Désactivez les contraintes de clés étrangères avant la migration.
• Supprimez temporairement les déclencheurs dans la base de données cible pour éviter les conflits.

5. La réplication du CDC s'est arrêtée de manière inattendue

• Enjeu : La tâche s'arrête avant d'appliquer les changements en cours.
• Résolution :
• Vérifiez la position de départ du CDC dans les journaux.
• Assurez-vous que la période de conservation des journaux est suffisante (par exemple, 24 heures pour Oracle LogMiner).
• Redémarrez la tâche CDC à partir de la dernière transaction appliquée.

6. Non concordance des schémas entre la source et la cible

• Enjeu : Certains objets ne parviennent pas à migrer en raison de différences de schéma.
• Résolution :
• Utilisez AWS SCT (Schema Conversion Tool) pour évaluer les incompatibilités.
• Appliquez des modifications manuelles du schéma si nécessaire.

7. Vérification des journaux et débogage des erreurs

• Utilisez les journaux d'AWS CloudWatch :
• Accédez à la console Console AWS DMS > Tâches de migration > Afficher les journaux.
• Filtrez les journaux par mots-clés d'erreur tels que échec, dépassement de délai ou violation de contrainte.
• Activez la journalisation verbeuse si vous souhaitez obtenir des informations plus approfondies.

Étapes postérieures à la migration

Examinons maintenant les mesures que vous pouvez prendre après une migration avec DMS.

Étape 1 : Validation de l'intégrité des données

Une fois la migration effectuée par AWS DMS, il est essentiel de valider l'intégrité des données et de s'assurer que la base de données cible reflète fidèlement la base de données source. Vous trouverez ci-dessous les principales techniques de validation :

Utilisation de la fonction de validation des données du SGD AWS

• Si la validation des données a été activée dans AWS DMS, naviguez vers :
• Console AWS DMS > Tâches de migration > Statistiques des tableaux
• Vérifiez les éventuels échecs de validation et relancez la migration pour les tableaux concernés.

Figure 21 Résumé de la validation du système DMS d'AWS.

Étape 2 : Effectuer le basculement vers la base de données cible

Une fois que AWS DMS a migré avec succès toutes les données et terminé la réplication continue (CDC), la dernière étape consiste à basculer vers la base de données cible en tant que système principal. Suivez les étapes suivantes pour assurer une transition en douceur :

Étape 1 : Vérifier la cohérence des données

Avant de basculer, vérifiez que toutes les données ont été entièrement répliquées :

• Vérifiez le nombre de lignes entre la source et la cible.
• Exécutez la validation des sommes de contrôle sur les tableaux de clés.
• Examinez les mesures CloudWatch pour le retard de réplication (il devrait être nul avant le basculement).

Étape 2 : Arrêtez toute nouvelle modification de la base de données source

Pour éviter les incohérences dans les données :

• Désactivez les écritures sur la base de données source en la mettant en mode lecture seule.
• Assurez-vous que toutes les applications qui écrivent dans la base de données pointent vers la nouvelle cible.

Étape 3 : Arrêter la réplication de AWS DMS

• Dans la console AWS DMS, naviguez vers Tâches de migration des bases de données.
• Sélectionnez votre tâche de migration active.
• Cliquez sur Arrêter la tâche pour arrêter la réplication en cours.

Figure 22 Arrêt de la tâche de migration AWS DMS.

Étape 4 : Promouvoir la base de données cible au niveau primaire

• Supprimer les restrictions de lecture seule sur la base de données cible
• Mettez à jour les chaînes de connexion de l'application pour qu'elles pointent vers la nouvelle base de données.

Étape 5 : Effectuer la validation et les essais finaux

• Tester les requêtes critiques de l'application pour en confirmer la fonctionnalité.
• Validez que les nouvelles transactions sont traitées correctement dans le système cible.
• Effectuer des tests de bout en bout pour s'assurer que les processus opérationnels restent intacts.

Étape 6 : Déclasser l'ancienne base de données source (si nécessaire)

• La base de données source peut être archivée ou déclassée si elle n'est plus nécessaire.
• Conservez des copies de sauvegarde avant de supprimer complètement le système source.

Étape 3 : Nettoyage et finalisation

Étape 1 : Arrêter et supprimer la tâche de migration

• Ouvrez la console AWS DMS.
• Dans le menu de gauche, cliquez sur Tâches de migration des bases de données.
• Sélectionnez la ou les tâches de migration que vous avez créées.
• Cliquez sur Actions > Arrêter et confirmez.
• Une fois que le statut de la tâche devient "Arrêté", cliquez sur Actions > Supprimer et confirmez.

Étape 2 : Supprimer les points de terminaison DMS

• Dans la console AWS DMS, cliquez sur Points d'extrémité dans le menu de gauche.
• Sélectionnez les points d'extrémité créés pendant le tutoriel.
• Cliquez sur Actions > Supprimer et confirmez.

Figure 23 Suppression des terminaux AWS DMS.

Étape 3 : Supprimez la pile CloudFormation

• Ouvrez la AWS CloudFormation Console.
• Sélectionnez la pile CloudFormation créée pendant le tutoriel.
• Cliquez sur Supprimer (en haut à droite).

Figure 24 Confirmation de la suppression de la pile dans AWS.

• Confirmez la suppression - CloudFormation supprimera automatiquement toutes les ressources associées (cela peut prendre jusqu'à 15 minutes).
• Surveillez la console CloudFormation pour vous assurer que la pile est entièrement supprimée.

Fonctionnalités avancées d'AWS DMS

Examinons maintenant quelques-uns des scénarios les plus complexes que vous pouvez résoudre avec AWS DMS.

Transformation des données pendant la migration

AWS DMS permet la transformation des données pendant la migration en autorisant des modifications telles que le changement des types de données des colonnes, le renommage des tableaux et des colonnes, et le filtrage des données. Ces transformations permettent d'aligner le schéma source sur la structure de la base de données cible. À l'aide des règles de transformation de la section Table Mappings, vous pouvez appliquer ces changements de manière dynamique sans modifier la base de données source.

Pour connaître les étapes détaillées, reportez-vous à cetarticle de blogsur la transformation du contenu des colonnes.

Utiliser AWS DMS avec S3 comme cible

AWS DMS peut migrer les données vers Amazon S3, ce qui permet un stockage rentable pour l'analyse, l'apprentissage automatique ou un traitement plus poussé à l'aide de services tels que AWS Glue, Athena ou Redshift.

Suivez ces étapes pour configurer Amazon S3 comme destination cible pour la migration AWS DMS.

Étape 1 : Créez un seau S3

• Ouvrez la console Amazon S3.
• Cliquez sur Créer un seau.
• Définissez le nom du godet comme suit : dmstargetbucket-
• Assurez-vous que la région correspond aux ressources AWS DMS.
• Laissez tous les autres paramètres par défaut et cliquez sur Créer un seau.

Étape 2 : Créez un dossier dans le seau S3

• Ouvrez le seau nouvellement créé.
• Cliquez sur Créer un dossier.
• Nommez le dossier dmstargetfolder.
• Laissez toutes les valeurs par défaut et cliquez sur Créer un dossier.

Étape 3 : Créer une politique AWS IAM pour l'accès à S3

• Ouvrez la console IAM et allez dans Politiques.
• Cliquez sur Créer une politique, puis choisissez l'onglet JSON.
• Copiez et collez la politique suivante, en remplaçant "REPLACE-WITH-YOUR-BUCKET-NAME" par votre nom de seau réel :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::REPLACE-WITH-YOUR-BUCKET-NAME*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::REPLACE-WITH-YOUR-BUCKET-NAME*"
      ]
    }
  ]
}

• Cliquez sur Réviser la politique.
• Définissez le nom de la stratégie comme DMS-tutorial-S3-Access-Policy, puis cliquez sur Créer une stratégie.

Étape 4 : Attacher une politique à un rôle IAM

• Dans la console IAM, allez dans Rôles.
• Recherchez "dms-vpc" et sélectionnez dms-vpc-role.
• Cliquez sur Ajouter des autorisations > Attacher des politiques.

Figure 25 Gestion des politiques AWS IAM.

• Sélectionnez DMS-LAB-S3-Access-Policy et cliquez sur Ajouter des autorisations.

Étape 5 : Enregistrer l'ARN du rôle IAM

• Sur la page de résumé dms-vpc-role, copiez l'ARN du rôle.
• Enregistrez-la pour l'utiliser ultérieurement dans la configuration du SGDA.

Création de points d'extrémité S3

Maintenant que le seau S3 est configuré avec les politiques et les rôles appropriés, l'étape suivante consiste à créer des points de terminaison cibles dans AWS DMS.

• Ouvrez la console AWS DMS.
• Cliquez sur Endpoints dans le menu de gauche.
• Cliquez sur Créer un point de terminaison (en haut à droite).
• Configurez le point final de destination S3.
• Saisissez les valeurs suivantes :
• Type de point final : Point d'arrivée cible
• Identificateur de point final : Cible S3
• Descriptif ARN : Laissez en blanc
• Moteur cible : Amazon S3
• Nom du serveur :
• Nom du seau :
• Dossier du seau : dmstargetfolder
• Cliquez sur Exécuter le test pour vérifier la connexion.
• Une fois que le test est "réussi", cliquez sur Créer un point de terminaison.

Création d'une tâche de migration DMS

Étape 1 : Créer une tâche de migration

• Ouvrez la console AWS DMS.
• Cliquez ici Tâches de migration des bases de données dans le menu de gauche.
• Cliquez sur Créer une tâche (en haut à droite).

Étape 2 : Configurer les paramètres de la tâche

• Identifiant de la tâche : source-to-AuroraMySQL-target
• Instance de réplication : cfn-dmsreplication
• Point de terminaison de la base de données source : Sélectionnez votre base de données source
• Point de terminaison de la base de données cible : cfn-auroramysqlinstance
• Type de migration : Migrer les données existantes et répliquer les changements en cours
• Mode d'arrêt du CDC : N'utilisez pas le mode d'arrêt personnalisé du CDC
• Créez une table de récupération sur la base de données cible : Non vérifié
• Mode de préparation du tableau cible : Ne rien faire (pas par défaut)
• Arrêter la tâche une fois la charge complète terminée : Ne vous arrêtez pas
• Paramètres des colonnes LOB / Inclure les colonnes LOB dans la réplication : Mode LOB limité
• Taille maximale du LOB (KB) : 32
• Validation des données : Non vérifié
• Activez les journaux CloudWatch : Vérifié
• Contexte du journal : Niveaux par défaut
• Application optimisée par lots : Non vérifié

Étape 3 : Configurer les correspondances entre les tableaux

• Développez les Correspondance des tableaux de la section.
• Sélectionner Assistant comme mode d'édition.
• Cliquez sur Ajouter une nouvelle règle de sélectionpuis entrez ce qui suit :
• Schéma : DMS_SAMPLE%
• Nom du tableau : %
• Action : Include

Figure 26 Configuration du mappage des tableaux

Étape 4 : Configurer les règles de transformation

• Développez les Règles de transformation section.
• Cliquez sur Ajouter une nouvelle règle de transformation et saisissez les règles suivantes :
• Règle 1 :
• Cible : Schéma
• Nom du schéma : DMS_SAMPLE
• Action : Mettre en minuscules
• Règle 2 :
• Cible : Table
• Nom du schéma : DMS_SAMPLE
• Nom du tableau : %
• Action : Mettre en minuscules
• Règle 3 :
• Cible : Colonne
• Nom du schéma : DMS_SAMPLE
• Nom du tableau : %
• Action : Mettre en minuscules

Étape 5 : Finaliser et démarrer la tâche de migration

• Décocher Activer l'évaluation de la prémigration (non requis pour cet atelier).
• Veillez à ce que la configuration de démarrage de la tâche de migration Configuration de démarrage de la tâche de migration est définie sur Démarrer automatiquement à la création.
• Cliquez sur Créer une tâche.

Étape 6 : Contrôler la progression de la migration

• Cliquez sur la tâche de migration (source-to-s3-target).
• Faites défiler jusqu'à Statistiques du tableau pour afficher le nombre de lignes déplacées.
• Si l'état devient rouge (erreur), cliquez sur Voir les journaux pour résoudre le problème à l'aide des journaux CloudWatch.

Meilleures pratiques pour AWS DMS

Voyons maintenant quelques-unes des meilleures pratiques à appliquer lors de la migration de données à l'aide d'AWS DMS.

Optimiser les performances

Pour garantir une migration efficace et rapide des bases de données à l'aide d'AWS DMS, envisagez les optimisations suivantes :

• Choisissez la bonne taille d'instance de réplication
• Utilisez un type d'instance plus grand (par exemple, dms.r5.large ou plus) pour les migrations à haut débit.
• Surveillez le CPU, la mémoire et les IOPS à l'aide de CloudWatch et adaptez l'instance si nécessaire.
• Utilisez plusieurs tâches de migration pour un traitement parallèle
• Divisez les grandes migrations en plusieurs tâches par groupes de tableaux afin de réduire le temps de chargement.
• Migrez les tableaux de grande taille séparément des tableaux de petite taille afin d'équilibrer les performances.
• Optimiser les connexions réseau
• Placez l'instance de réplication DMS dans le même VPC et la même zone de disponibilité que les bases de données source et cible.
• Utilisez des points d'extrémité VPC ou Direct Connect pour une meilleure stabilité du réseau et une latence réduite.
• Régler les paramètres de la LPP
• Pour les objets volumineux (LOB), utilisez le mode LOB limité avec une taille de LOB appropriée pour minimiser l'impact sur les performances.
• Permettre le chargement parallèle et l'application par lots
• Activez l'application optimisée par lots pour accélérer les insertions dans la base de données cible.
• Utilisez Parallel Load pour les migrations à grande échelle afin de traiter plusieurs tableaux simultanément.

Prévoir les temps d'arrêt

Il est essentiel de réduire au minimum les temps d'arrêt lors de la migration des bases de données pour assurer la continuité des activités. Voici quelques stratégies clés pour assurer une transition en douceur :

• Migrer pendant les périodes de faible trafic
• Planifiez le basculement pendant les heures creuses afin de minimiser l'impact sur les utilisateurs.
• Prévenez les parties prenantes à l'avance afin de vous préparer à des perturbations temporaires.
• Utiliser la réplication continue (CDC)
• Activez la capture des données de changement (CDC) pour que la base de données cible reste synchronisée avec la base de données source.
• Cela permet aux applications de basculer avec une perte de données minimale.
• Effectuer un test de coupure
• Effectuez une migration d'essai sur un environnement d'essai avant de procéder à la migration finale.
• Validez les performances et résolvez les éventuelles incohérences de schéma ou de données.
• Réduire l'impact des commutateurs DNS
• Préparez une connexion à la base de données basée sur le DNS afin que le passage à la nouvelle cible se fasse en toute transparence.
• Ne mettez à jour les chaînes de connexion de l'application que lorsque la migration est vérifiée.
• Maintenir la source en lecture seule avant la conversion finale
• Empêchez les nouvelles transactions sur la source en la mettant en mode lecture seule.
• Assurez-vous que toutes les modifications en attente sont répliquées avant de diriger les applications vers la cible.

Sécurisez vos données

La sécurité des données pendant la migration est essentielle pour protéger les informations sensibles et respecter les exigences de conformité.

• Cryptage des données en transit avec SSL/TLS
• Activez SSL/TLS pour les connexions aux bases de données source et cible afin d'éviter toute interception.
• Utilisez l'authentification par certificat pour plus de sécurité.
• Restreindre l'accès à l'aide de rôles et de politiques AWS IAM
• Attribuez les rôles IAM les moins privilégiés à l'instance de réplication DMS et aux points d'extrémité.
• Utilisez les stratégies IAM pour restreindre l'accès à des bases de données spécifiques, à des buckets S3 et à des journaux CloudWatch.
• Activer le cryptage au repos
• Utilisez AWS Key Management Service (KMS) pour chiffrer les données Amazon S3 ou RDS.
• Assurez-vous que la base de données cible prend en charge le cryptage pour un stockage sécurisé.

Dépannage de AWS DMS

Le DMS est un outil puissant, mais il n'est pas exempt de problèmes. Voici comment résoudre les problèmes les plus courants.

Erreurs courantes et solutions

Les migrations AWS DMS peuvent rencontrer des erreurs liées à la connectivité des bases de données, à la non-concordance des schémas et aux échecs de réplication.

1. Erreurs de connexion à la base de données

• Erreur : "Échec de la connexion à la base de données".
• Solution :
• Vérifiez les paramètres du VPC, des groupes de sécurité et des sous-réseaux.
• Vérifiez si la base de données est accessible à partir de l'instance de réplication DMS.
• Assurez-vous que l'hôte, le port et les informations d'identification sont corrects dans les paramètres du terminal DMS.
• Testez la connectivité en utilisant l'option "Test Endpoint Connection" dans la console DMS.

2. Problèmes de compatibilité des types de données

• Erreur : "Conversion de type de données non prise en charge entre la source et la cible".
• Solution :
• Utilisez l'outil de conversion de schéma AWS (SCT) pour identifier les types de données incompatibles.
• Modifiez manuellement les types de données des colonnes dans le schéma cible si nécessaire.
• Activez les règles de transformation dans le SGED pour convertir automatiquement les types incompatibles.

3. Violations des contraintes de clés étrangères

• Erreur : "Violation d'une contrainte de clé étrangère dans la base de données cible".
• Solution :
• Désactivez les contraintes de clés étrangères avant la migration et réactivez-les une fois la migration terminée.
• Utilisez l'option "Tronquer avant de charger" si vous rechargez des données dans un tableau existant.

4. Lenteur de la migration

• Erreur : "Le délai de réplication augmente de manière significative.
• Solution :
• Utilisez une instance de réplication DMS plus importante (dms.r5.large ou plus).
• Activez le chargement parallèle et l'application optimisée par lots pour une ingestion plus rapide.
• Optimisez les connexions réseau en plaçant le DMS, la source et la cible dans le même VPC.

5. La réplication en cours (CDC) s'arrête inopinément

• Erreur : "La tâche du CDC s'est arrêtée en raison de l'absence de fichiers journaux".
• Solution :
• Veillez à ce que la base de données source conserve suffisamment de journaux (par exemple, 24 heures pour Oracle LogMiner).
• Redémarrez la tâche CDC à partir de la dernière transaction appliquée.

Utilisation des journaux DMS pour le dépannage

AWS DMS fournit des journaux de tâches et l'intégration de CloudWatch pour aider à identifier et à résoudre efficacement les problèmes de migration.

1. Accès aux journaux des tâches DMS

• Dans la console AWS DMS, allez à Tâches de migration des bases de données.
• Sélectionnez la tâche de migration qui rencontre des problèmes.
• Cliquez sur Surveillance pour accéder aux messages d'erreur et aux détails de l'exécution.

Figure 27 Journaux AWS CloudWatch contenant des erreurs de migration

2. Utiliser AWS CloudWatch pour un débogage détaillé

• Accédez à Console AWS CloudWatch > Journaux.
• Recherchez le groupe de journaux de l'instance de réplication du groupe de journaux de l'instance de réplication DMS (/aws/dms/replication-instance-ID).
• Activer la journalisation verbeuse dans les paramètres des tâches DMS pour obtenir plus de détails.

Figure 28 Présentation des événements AWS CloudWatch

Conclusion

Le service de migration des bases de données (DMS) d'AWS facilite le transfert des données entre différents moteurs de base de données avec un temps d'arrêt minimal. En suivant les meilleures pratiques, telles que l'optimisation des performances, la sécurisation des données, la gestion des modifications de schéma et la résolution des problèmes courants, vous pouvez garantir un processus de migration sans heurts.

Maintenantque vous avez effectué une migration AWS DMS de bout en bout, vous êtes prêt à tirer pleinement parti de votre nouvelle base de données basée sur le cloud pour une meilleure évolutivité, des analyses et des optimisations cloud-natives. Si vous souhaitez approfondir vos connaissances sur AWS, explorez le cursus de certification AWS Cloud Practitioner ou démarrez avec AWS Concepts et AWS Security & Cost Management.