Tutorial do AWS DMS: Guia passo a passo para migração de bancos de dados

Configuração do AWS DMS

Vamos colocar a mão na massa e começar a configurar o AWS DMS. Neste tutorial, você aprenderá a migrar um banco de dados Oracle para o Amazon Aurora (MySQL), incluindo conversão de esquema, replicação de dados e práticas recomendadas para garantir uma transição tranquila.

Etapa 1:  Pré-requisitos para usar o AWS DMS

Antes de migrar os bancos de dados, você precisa configurar os recursos essenciais do AWS. Usando o AWS CloudFormation, você podeautomatizar o provisionamento para se concentrar nas tarefas de migração. O modelo que usaremos implementa:

• Uma VPC do AWS com sub-redes públicas para rede.
• Uma instância de replicação do AWS DMS para executar a migração de dados.
• Uma instância do Amazon RDS como o banco de dados de destino.
• Uma instância do Amazon EC2 para manter ferramentas de migração, como o AWS Schema Conversion Tool (SCT) ou uma simulação do banco de dados de origem.

Faça login no console do AWS

1. Faça login no console de gerenciamento do AWS usandosuas credenciais.
2. Clique no menu suspenso no canto superior direito da tela e selecione sua região. Selecionarei a região N. Virginia para este tutorial.

Figura 1: Selecionando a região da AWS no console de gerenciamento da AWS.

3. Vá para o Console do EC2 e navegue até a seçãoKey Pair. Verifique se você está na mesma região da AWS que na etapa anterior.
4. Clique em Criar par de chaves e nomeie-o como "DMS".

Figura 2 Criação de um par de chaves para acesso seguro no AWS EC2.

5. Clique em Criare seu navegador fará o download de DMS.pem.
6. Salve esse arquivo de forma segura - você precisará dele mais tarde no tutorial.

Configurar o ambiente

Nesta etapa, você usará um modelo do CloudFormation (CFN) para configurar a infraestrutura do AWS necessária para a migração do banco de dados. Isso automatiza o provisionamento, permitindo que você se concentre nas tarefas de migração.

1. Abra o console do AWS CloudFormation e clique em Criar pilha.
2. Selecione Escolher um modelo existente e, em seguida, Upload de um arquivo de modelo.

Figura 3 Carregamento de um modelo do CloudFormation para criar uma nova pilha.

3. Baixe o arquivo do Github Gist e clique em Escolher arquivo.
4. Faça o upload do arquivo DMS.yaml e clique em Next.
5. Preencha os parâmetros necessários conforme especificado e clique em Next.

Figura 4: Configuração de parâmetros para uma pilha do AWS DMS CloudFormation

Observação: Você pode ajustar o tipo de instância de acordo com suas necessidades ou mantê-lo como está.

6. Na página Stack Options (Opções de pilha), mantenha as configurações padrão e clique em Next (Avançar).
7. Revise a configuração e clique em Criar pilha.
8. Você será redirecionado para o console do CloudFormation, onde o status mostrará "CREATE_IN_PROGRESS". Aguarde até que a mensagem mude para "CREATE_COMPLETE".

Figura 5: Revisão do status de criação de recursos no AWS CloudFormation

9. Depois de concluído, navegue até a seção Outputs (Saídas) e anote os valores - você precisará deles no restante do tutorial.

Preparar o banco de dados de origem e de destino para a migração

Começaremos com a configuração do banco de dados de origem. Siga estas etapas para acessar a instância do EC2 usando o protocolo de área de trabalho remota (RDP).

Etapa 1: Configurar o acesso RDP

• Para usuários de Mac: Faça o download do Microsoft Remote Desktop na App Store.
• Para usuários de PC: Use a Área de Trabalho Remota para se conectar ao PC que você configurou.

Etapa 2: Modificar as regras do grupo de segurança para acesso RDP

• Abra o console do AWS EC2.
• No menu à esquerda, clique em Security Groups (talvez você precise rolar a tela para baixo).
• Selecione o grupo de segurança que termina em "InstanceSecurityGroup" marcando a caixa.
• Clique em Actions > Edit Inbound Rules.
• Localize a regra RDP (porta 3389), clique em Source (Origem) e selecione My IP (Meu IP ) para maior segurança.
• Se estiver em uma VPN corporativa ou em uma rede complexa, talvez você precise alterá-la para "Anywhere (0.0.0.0/0)" posteriormente.

Figura 6 Edição de regras de segurança de entrada no AWS.

• Clique em Salvar regras.

Etapa 3: Recuperar credenciais RDP

• No Console do AWS EC2, clique em Instâncias no menu à esquerda.
• Selecione a instância chamada "<StackName>-EC2Instance".
• Clique em Ações > Conectar.
• Navegue até a seção Cliente RDP e clique em Obter senha.
• Clique em Browse e carregue o arquivo de par de chaves baixado anteriormente.
• Clique em Decrypt password ( Descriptografar senha).

Figura 7: Recuperação da senha do Windows para uma instância do AWS EC2.

• Copie a senha gerada em suas anotações para uso posterior.

Etapa 4: Conecte-se à instância do EC2

• Clique em Download Remote Desktop File para salvar o arquivo RDP.
• Abra o cliente RDP (Microsoft Remote Desktop no Mac).
• Use a senha descriptografada para fazer login.
• Se solicitado, clique em Done (Concluído ) para concluir a configuração.

Etapa 5: Conectar-se ao Oracle SQL Developer

Uma vez conectado à instância do EC2, siga estas etapas para estabelecer uma conexão com o banco de dados Oracle usando o Oracle SQL Developer.

Etapa 1: Desenvolvedor Oracle SQL aberto

• Localize o Oracle SQL Developer na barra de tarefas e abra-o.
• Observação: Seus ícones podem aparecer em uma ordem diferente da mostrada nas imagens de referência.

Figura 8: Configuração de uma nova conexão de banco de dados no Oracle SQL Developer.

Etapa 2: Criar uma nova conexão com o banco de dados

• Clique no sinal de mais(+) no menu à esquerda para criar uma nova conexão de banco de dados.
• Insira os seguintes detalhes:
  • Nome da conexão: Fonte: Oracle
  • Nome de usuário: dbadmin
  • Senha: Verifique a guia Outputs do CloudFormation Stack em DMSDBSecretP
  • Salvar senha: Marque esta caixa.
  • Nome do host: Encontre o ponto de extremidade Oracle de origem na guia Saída do CloudFormation. Como alternativa, navegue até o console RDS, selecione sua instância de origem Oracle e use o endpoint fornecido.
  • Porto: 1521
  • SID: ORACLEDB

Etapa 3: Teste e conecte

• Clique em Testar para verificar a conexão.
• Quando o status do teste mostrar "Successful" (bem-sucedido), clique em Connect (conectar).

Etapa 4: Configuração do Oracle para migração do AWS DMS

Antes de usar o Oracle como fonte para o AWS DMS, verifique se as seguintes configurações estão em vigor:

1. Crie um usuário DMS com os privilégios necessários

O AWS DMS requer uma conta de usuário (usuário DMS) com privilégios de leitura e gravação no banco de dados Oracle.

2. Ativar o MODO DE ARQUIVO

• O MODO ARCHIVELOG deve ser ativado para fornecer informações de registro de transações ao LogMiner.
• O AWS DMS conta com o LogMiner para capturar dados de alteração dos registros de arquivamento.
• Certifique-se de que os registros de arquivamento sejam mantidos por pelo menos 24 horas para evitar a perda de dados durante a migração.

3. Ativar o registro suplementar

• Registro suplementar em nível de banco de dados:
• Isso garante que o LogMiner capture todos os detalhes necessários para várias estruturas de tabelas (por exemplo, tabelas organizadas em clusters e índices).
• Registro suplementar em nível de tabelas:
• Ele deve ser ativado para cada tabela que você planeja migrar.

4. Conceder os privilégios necessários ao usuário do AWS DMS

• No Oracle SQL Developer, clique no ícone da planilha SQL. 
• Conecte-se ao banco de dados Oracle de origem. 
• Copie, cole e execute as instruções do Github Gist para conceder ao usuário do AWS DMS os privilégios necessários.

Figura 9: Execução de scripts SQL no Oracle SQL Developer.

Etapa 6: Configurar o destino do Amazon Aurora (MySQL)

Depois de selecionar a configuração inicial e o banco de dados de origem, você pode migrar um banco de dados de amostra. Este guia descreve como você pode usar o AWS Schema Conversion Tool (AWS SCT) e o AWS Database Migration Service (AWS DMS) para transformar a estrutura do banco de dados e mover os dados para o Amazon Aurora (MySQL). 

Além disso, o AWS DMS atuará como uma ferramenta para permitir a replicação contínua, o que significa que todas as alterações feitas no banco de dados de origem serão replicadas no banco de dados de destino em tempo real.

• Reconecte-se à instância do EC2 via RDP.
• Abra a pasta DMS Workshop na área de trabalho e clique duas vezes em AWS Schema Conversion Tool Download para instalar a versão mais recente.
• Descompacte e instale o AWS SCT seguindo o assistente de instalação (aceite os padrões e clique em Concluir).
• Inicie o AWS SCT no menu Iniciar ou no ícone laranja do SCT na área de trabalho e aceite os termos.
• Abra o MySQL Workbench 8.0 CE e crie uma nova conexão de banco de dados para o Aurora MySQL de destino usando:
  • Nome da conexão: Alvo Aurora RDS (MySQL)
  • Nome do host: (Encontre nas saídas do CloudFormation ou no console RDS)
  • Porto: 3306
  • Nome de usuário: dbadmin
  • Senha: Recuperar da guia Saída do CloudFormation
  • Esquema padrão: Deixar em branco

Figura 10: Configuração de uma conexão do MySQL Workbench com o Amazon Aurora.

• Clique em Testar conexão, confirme o sucesso e, em seguida, conecte-se ao Aurora MySQL.
• Execute a permissão fornecida pelas instruções SQL do GitHub Gist no MySQL Workbench (clique no ícone de raio para executar).

Agora que você instalou a AWS Schema Conversion Tool, a próxima etapa é criar um projeto de migração de banco de dados usando a ferramenta.

Etapa 1: Iniciar um novo projeto

• Abra a ferramenta de conversão de esquema do AWS (SCT).
• Se o Assistente de novo projeto não for iniciado automaticamente, vá para Arquivo > Assistente de novo projeto.
• Insira os seguintes detalhes:
• Nome do projeto: Ferramenta de conversão de esquema AWS: banco de dados de origem para MySQL Aurora
• Localização: C:\Users\Administrator\AWS Schema Conversion Tool
• Tipo de banco de dados: Selecione o banco de dados SQL
• Motor de origem: Oráculo
• Tipo de migração: Selecione Quero trocar de mecanismo e otimizar para a nuvem
• Clique em Em seguida.

Etapa 2: Conecte-se ao banco de dados de origem

• Preencha a configuração do banco de dados de origem:
  • Nome da conexão: Fonte Oracle
  • Tipo: SID
  • Nome do servidor: (Encontre nas saídas do CloudFormation ou no console RDS)
  • Porta do servidor: 1521
  • SID da Oracle: ORACLEDB
  • Nome de usuário: dbadmin
  • Senha: Recuperar da guia Saída do CloudFormation
  • Use SSL: Não verificado
  • Senha da loja: Verificado
  • Caminho do driver Oracle: C:\Users\Administrator\Desktop\DMS Workshop\JDBC\ojdbc11.jar
• Clique em Testar conexão. Se você for bem-sucedido, clique em Next.

Figura 11: Teste de conectividade do banco de dados no AWS Schema Conversion Tool.

Etapa 3: Selecione o banco de dados e analise o relatório de avaliação

• Selecione o banco de dados dms_sample e clique em Next.
• Ignore os avisos de carregamento de metadados se eles aparecerem.
• Analise o relatório de avaliação da migração do banco de dados:

Figura 12: Revisão dos resultados da avaliação da migração do banco de dados.

• Depois de revisar, clique em Next.

Observação: O SCT converte automaticamente a maioria dos objetos e destaca os que exigem intervenção manual. E preste muita atenção aos procedimentos, pacotes e funções, que podem precisar de modificações.

Etapa 4: Conecte-se ao banco de dados de destino

• Preencha a configuração do banco de dados de destino:
• Motor de destino: Amazon Aurora (compatível com MySQL) (alterar o padrão)
• Nome da conexão: Aurora MySQL Target
• Nome do servidor: (Encontre nas saídas do CloudFormation ou no console RDS)
• Porta do servidor: 3306
• Nome de usuário: dbadmin
• Senha: Recuperar da guia Saída do CloudFormation
• Use SSL: Não verificado
• Senha da loja: Verificado
• Caminho do driver MySQL: C:\Users\Administrator\Desktop\DMS Workshop\JDBC\mysql-connector-j-8.3.0.jar
• Clique em Testar conexão. Se você for bem-sucedido, clique em Concluir.

Agora que você criou um projeto de migração de banco de dados, a próxima etapa é converter o esquema do banco de dados de origem para o Amazon Aurora MySQL.

Etapa 5: Conversão do esquema do banco de dados de origem para o Amazon Aurora MySQL

• Clique em Exibir no menu superior e selecione Visualização do relatório de avaliação.
• Selecione DMS_SAMPLE no painel esquerdo para exibir a hierarquia do banco de dados.
• Navegue até a guia Itens de ação para ver os elementos do esquema que não puderam ser convertidos automaticamente.
• O AWS SCT categoriza os itens como:
  • Verde - Convertido com sucesso.
  • Azul - Requer modificação manual antes da migração.
• Você tem duas opções para elementos de esquema que não podem ser convertidos automaticamente:
  • Modificar o esquema de origem.
  • Edite os scripts SQL gerados antes de aplicá-los ao banco de dados de destino. Ajustaremos manualmente um procedimento armazenado no AWS SCT para torná-lo compatível com o Aurora MySQL.

Etapa 6: Modificar o código SQL

• Clique com o botão direito do mouse no banco de dados DMS_SAMPLE no painel esquerdo.
• Selecione Convert Schema ( Converter esquema ) para gerar as instruções Data Definition Language (DDL) do banco de dados de destino.
• Quando solicitado sobre os objetos existentes, clique em Yes (Sim).

Figura 13: Conversão de um esquema Oracle usando a AWS Schema Conversion Tool.

• Clique com o botão direito do mouse no esquema dms_sample_dbo (fonte do SQL Server) ou dms_sample (outras fontes) no painel direito.
• Selecione Aplicar ao banco de dados.
• Quando solicitado, clique em Yes (Sim ) para confirmar.
• Expanda o esquema dms_sample_dbo ou dms_sample no painel direito.
• Agora você deve ver tabelas, visualizações, procedimentos armazenados e outros objetos criados com sucesso no Aurora MySQL.

Você converteu com sucesso o esquema e os objetos do banco de dados para um formato compatível com o Amazon Aurora MySQL!

Etapa 2: Criação de uma instância de replicação

Siga estas etapas para criar uma instância de replicação DMS:

• Abra o console do AWS Database Migration Service (DMS) ou pesquise por DMS na barra de pesquisa do AWS.
• No menu à esquerda, clique em Replication Instances (Instâncias de replicação ) para acessar a tela de gerenciamento de instâncias de replicação.
• Se houver uma instância de replicação pré-configurada disponível, você pode pular esta etapa. No entanto, se você quiser ter uma experiência prática, prossiga com a criação de uma nova instância:
• Clique em Criar instância de replicação no canto superior direito. Em seguida, preencha os detalhes a seguir:
  • Nome: DMSReplicação-dms
  • Nome descritivo do recurso da Amazon (ARN): Deixar em branco
  • Descrição: (Opcional) Digite "Replication server for Database Migration" (Servidor de replicação para migração de banco de dados)
  • Classe da instância: dms.c5.xlarge
  • Versão do motor: Deixe o valor padrão.
  • Alta disponibilidade / Multi-AZ: Selecione a carga de trabalho de desenvolvimento ou teste (Single-AZ)
  • Armazenamento alocado (GB): 50
  • VPC: Selecione a ID da VPC que inclui DMSVpc no nome (ajuste o menu suspenso, se necessário)
  • Acessível ao público: Defina como No (não marcado)
  • Avançado -> Grupo(s) de segurança VPC: Selecione o grupo de segurança padrão

Figura 14: Criação de uma instância de replicação.

• Digite os detalhes necessários para a instância de replicação e clique em Create (Criar).

Etapa 3: Configuração de pontos de extremidade de origem e destino

Agora que temos a instância de replicação, a próxima etapa é criar pontos de extremidade de origem e destino para a migração do banco de dados. Siga estas etapas para configurar os dois endpoints.

Criar o ponto de extremidade de origem

• Abra o console do AWS DMS.
• No menu à esquerda, clique em Endpoints.
• Clique em Criar endpoint (canto superior direito).
• Insira os detalhes necessários para o endpoint do banco de dados de origem:
• Tipo de ponto de extremidade: Ponto de extremidade de origem
• Selecione Instância de banco de dados RDS: Marque apenas para Oracle (deixe em branco para os outros)
• Instância RDS: Selecione -SourceOracleDB
• Identificador de ponto de extremidade: oracle-source (ou use o valor pré-preenchido)
• ARN descritivo: Deixar em branco
• Motor de origem: Oracle
• Acesso ao banco de dados de terminais: Selecione "Fornecer informações de acesso manualmente"
• Nome do servidor: (ele deve ser preenchido automaticamente).
• Porto: 1521
• Modo SSL: Nenhum
• Nome de usuário: dbadmin
• Senha: Verifique a guia Outputs do CloudFormation Stack em 2DMSDBSecretP
• SID/Nome do serviço: ORACLEDB
• VPC: Selecione o ID da VPC com DMSVpc na configuração do ambiente
• Instância de replicação: Escolha cfn-DMSReplication, DMSReplication ou a instância de replicação que você criou (se ela estiver pronta)
• Clique em Run Test para verificar a conectividade.

Figura 15: verificação da conectividade.

• Quando o status do teste mudar para "Successful" (bem-sucedido), clique em Create endpoint( criar ponto de extremidade).

Criar o ponto de extremidade de destino

Siga o mesmo processo para criar o Target Endpoint para o banco de dados do Aurora RDS:

• Clique novamente em Criar endpoint.
• Insira os seguintes detalhes:
• Tipo de ponto de extremidade: Ponto final de destino
• Selecione Instância de banco de dados RDS: Marque a caixa para todos os destinos de banco de dados RDS
• Instância RDS: Escolha -AuroraMySQLInstance
• Identificador de ponto de extremidade: aurora-mysql-target
• ARN descritivo: Deixar em branco
• Motor de destino: Amazon Aurora MySQL
• Acesso ao banco de dados de terminais: Selecione "Fornecer informações de acesso manualmente"
• Nome do servidor: TargetAuroraMySQLEndpoint (ou ele deve ser preenchido automaticamente).
• Porto: 3306
• Modo SSL: Nenhum
• Nome de usuário: dbadmin
• Senha: verifique a guia Outputs do CloudFormation Stack em 2DMSDBSecretP
• VPC: Selecione o ID da VPC com DMSVpc na configuração do ambiente
• Instância de replicação: Escolha cfn-DMSReplication, DMSReplication ou a instância de replicação que você criou (se ela estiver pronta)
• Clique em Executar teste para verificar a conectividade.
• Quando o status do teste mudar para "Successful" (Bem-sucedido), clique em Criar ponto de extremidade.

Etapa 4: Configurando a tarefa de migração

Manipulação de restrições de chave estrangeira na migração do AWS DMS

O AWS DMS não coloca uma ordem nas tabelas a serem carregadas durante o carregamento completo, o que pode levar a violações de chaves estrangeiras se as restrições estiverem ativadas. Além disso, os acionadores no banco de dados de destino podem levar a alterações inesperadas nos dados. Também eliminamos as restrições de chave estrangeira do banco de dados MySQL Aurora de destino.

• Inicie o MySQL Workbench 8.0 CE (usado anteriormente para a configuração das permissões).
• Abra uma nova janela de consulta.
• Eliminar restrições de chave estrangeira: O AWS SCT não cria restrições automaticamente ao migrar do Oracle; ele cria apenas índices. Execute o seguinte script SQL para eliminar os índices:

DROP INDEX set_seat_idx ON dms_sample.sporting_event_ticket;
DROP INDEX set_ticketholder_idx ON dms_sample.sporting_event_ticket;
DROP INDEX set_sporting_event_idx ON dms_sample.sporting_event_ticket;

• Clique no ícone Executar (relâmpago) para executar o script.

Figura 16 Interface do MySQL Workbench mostrando as consultas SQL.

Com as restrições eliminadas, o banco de dados MySQL Aurora de destino agora está pronto para a migração de dados usando o AWS DMS!

Criar uma tarefa de migração DMS

O AWS DMS usa o Database Migration Tasks para mover os dados do banco de dados de origem para o banco de dados de destino. Siga estas etapas para criar e monitorar a tarefa de migração.

Etapa 1: Criar uma tarefa de migração

• Abra o console do AWS DMS.
• Clique em Database migration tasks (Tarefas de migração do banco de dados) no menu à esquerda.
• Clique em Criar tarefa (canto superior direito).

Etapa 2: Configurar definições de tarefas

• Identificador da tarefa: source-to-AuroraMySQL-target
• Instância de replicação: cfn-dmsreplication
• Ponto de extremidade do banco de dados de origem: Selecione o banco de dados de origem
• Ponto de extremidade do banco de dados de destino: cfn-auroramysqlinstance
• Tipo de migração: Migrar os dados existentes e replicar as alterações em andamento
• Modo de parada do CDC: Não use o modo de parada do CDC personalizado
• Criar tabela de recuperação no banco de dados de destino: Não verificado
• Modo de preparação da tabela de destino: Não fazer nada (não é o padrão)
• Parar a tarefa após a conclusão da carga total: Não pare
• Configurações de coluna LOB / Incluir colunas LOB na replicação: Modo LOB limitado
• Tamanho máximo de LOB (KB): 32
• Validação de dados: Não verificado
• Habilite os registros do CloudWatch: Verificado
• Contexto de registro: Níveis padrão
• Aplicação otimizada por lote: Não verificado

Etapa 3: Configurar mapeamentos de tabela

• Expanda os Mapeamentos de tabelas seção.
• Selecione Assistente como o modo de edição.
• Clique em Adicionar nova regra de seleçãoe digite o seguinte:
• Esquema: DMS_SAMPLE%
• Nome da tabela: %
• Ação: Incluir

Figura 17: Configurar mapeamento de tabelas.

Etapa 4: Configurar regras de transformação

• Expandir as Regras de transformação seção.
• Clique em Adicionar nova regra de transformação e insira as seguintes regras:
• Regra 1:
• Alvo: Esquema
• Nome do esquema: DMS_SAMPLE
• Ação: Tornar minúsculas
• Regra 2:
• Alvo: Tabela
• Nome do esquema: DMS_SAMPLE
• Nome da tabela: %
• Ação: Tornar minúsculas
• Regra 3:
• Alvo: Coluna
• Nome do esquema: DMS_SAMPLE
• Nome da tabela: %
• Ação: Tornar minúsculas

Etapa 5: Finalizar e iniciar a tarefa de migração

• Desmarcar Ativar avaliação de pré-migração (não é necessário para este tutorial).
• Assegure-se de que a Configuração de inicialização da tarefa de migração esteja definida como Iniciar automaticamente ao criar.
• Clique em Criar tarefa.

Executando a migração

Finalmente chegou a hora de realizar nossa migração!

Etapa 1: Iniciando a migração

A tarefa passará pelos seguintes status:

• Criando → Pronto → Iniciando → Executando.
• Clique no botão circular de atualização para atualizar o status.

Figura 18 Interface da tarefa de migração do AWS DMS mostrando a replicação em andamento.

Etapa 2: Monitoramento da migração

O AWS DMS fornece métricas do CloudWatch para monitorar o desempenho da instância de replicação e das tarefas de migração.

Visualização das métricas do CloudWatch para instâncias de replicação:

• Abra o console do AWS DMS.
• Clique em Instâncias de replicação no menu à esquerda.
• Selecione sua instância de replicação.
• Navegue até a seção Métricas do CloudWatch para visualizar os dados de desempenho.

Figura 19 Gráficos de utilização de recursos de instância do AWS DMS.

Visualização das métricas do CloudWatch para tarefas de migração:

• Abra o console do AWS DMS.
• Clique em Tarefas de migração de banco de dados no menu do lado esquerdo.
• Selecione sua tarefa DMS na lista.
• Navegue até a seção Monitor para analisar o desempenho da tarefa.

Figura 20 Métricas de taxa de transferência de carga total do AWS DMS.

Com o CloudWatch, você pode programar as principais métricas, como latência, atraso de replicação e status da tarefa.

Etapa 3: Manipulação de erros e avisos de migração

Durante a migração do AWS DMS, podem surgir erros e avisos devido a falhas de conexão, problemas de integridade de dados ou configurações incorretas. A seguir, você encontrará problemas comuns e as etapas de solução de problemas para resolvê-los.

1. Falhas de conexão

• Questão: O DMS não pode se conectar ao banco de dados de origem ou de destino.
• Resolução:
• Verifiqueas configurações de VPC, os grupos de segurança e a disponibilidade da sub-rede.
• Verifique se você está usando o nome de host, a porta e as credenciais corretas do banco de dados.
• Para testar a conectividade, clique em Testar conexão do ponto de extremidade no console do DMS.

2. Problemas de integridade de dados

• Questão: Dados ausentes ou inconsistentes entre a origem e o destino.
• Resolução:
• Ative a validação CDC para verificar se há transações ausentes.
• Compare as contagens de linhas usando as métricas do CloudWatch.
• Execute consultas de validação de soma de verificação em ambos os bancos de dados para garantir a consistência dos dados.

3. Gargalos de desempenho

• Questão: A migração está lenta ou atrasada.
• Resolução:
• Ative o Parallel Load para acelerar as transferências em massa.
• Ajuste o modo LOB (use o modo LOB completo se você estiver lidando com objetos grandes).
• Monitore as métricas do CloudWatch quanto a atraso de CPU, memória e replicação.

4. Restrições e acionadores do banco de dados de destino

• Questão: Violações de chaves estrangeiras ou modificações inesperadas de dados.
• Resolução:
• Desative as restrições de chave estrangeira antes da migração.
• Elimine temporariamente os acionadores no banco de dados de destino para evitar conflitos.

5. A replicação do CDC parou inesperadamente

• Questão: A tarefa é interrompida antes de você aplicar as alterações em andamento.
• Resolução:
• Verifique a posição inicial do CDC nos registros.
• Certifique-se de que o período de retenção dos logs seja suficiente (por exemplo, 24 horas para o Oracle LogMiner).
• Reinicie a tarefa CDC a partir da última transação aplicada.

6. Incompatibilidade de esquema entre a origem e o destino

• Questão: Certos objetos não conseguem migrar devido a diferenças de esquema.
• Resolução:
• Use o AWS SCT (Schema Conversion Tool) para avaliar as incompatibilidades.
• Aplicar modificações manuais no esquema, se necessário.

7. Verificação de logs e depuração de erros

• Use os registros do AWS CloudWatch:
• Navegue até o Console do AWS DMS > Tarefas de migração > Exibir registros.
• Filtre os registros por palavras-chave de erro, como falha, tempo limite ou violação de restrição.
• Ative o registro detalhado se você precisar de informações mais detalhadas.

Etapas pós-migração

Agora, vamos dar uma olhada em algumas etapas que você pode seguir após uma migração com o DMS.

Etapa 1: Validação da integridade dos dados

Depois que o AWS DMS concluir a migração, é fundamental validar a integridade dos dados e garantir que o banco de dados de destino reflita com precisão a origem. Abaixo estão as principais técnicas de validação:

Usando o recurso de validação de dados do AWS DMS

• Se a validação de dados tiver sido ativada no AWS DMS, navegue até:
• Console do AWS DMS > Tarefas de migração > Estatísticas da tabela
• Verifique se há falhas de validação e execute novamente a migração para as tabelas afetadas.

Figura 21 Resumo da validação do AWS DMS.

Etapa 2: Realizar o cutover para o banco de dados de destino

Depois que o AWS DMS tiver migrado com êxito todos os dados e concluído a replicação contínua (CDC), a etapa final é fazer o corte para o banco de dados de destino como o sistema primário. Siga estas etapas para garantir uma transição tranquila:

Etapa 1: Verificar a consistência dos dados

Antes de fazer a transição, confirme se todos os dados foram totalmente replicados:

• Verifique a contagem de linhas entre a origem e o destino.
• Execute a validação da soma de verificação nas tabelas de chaves.
• Analise as métricas do CloudWatch quanto ao atraso de replicação (deve ser zero antes da transferência).

Etapa 2: Interrompa todas as novas alterações no banco de dados de origem

Para evitar inconsistências de dados:

• Desative as gravações no banco de dados de origem, configurando-o para o modo somente leitura.
• Certifique-se de que todos os aplicativos que gravam no banco de dados apontem para o novo destino.

Etapa 3: Interromper a replicação do AWS DMS

• No console do AWS DMS, navegue até Tarefas de migração de banco de dados.
• Selecione sua tarefa de migração ativa.
• Clique em Parar tarefa para interromper a replicação em andamento.

Figura 22 Parada da tarefa de migração do AWS DMS.

Etapa 4: Promover o banco de dados de destino para primário

• Remover restrições de somente leitura no banco de dados de destino
• Atualize as cadeias de conexão do aplicativo para apontar para o novo banco de dados.

Etapa 5: Realizar validação e testes finais

• Teste as consultas críticas do aplicativo para confirmar a funcionalidade.
• Valide se as novas transações estão sendo processadas corretamente no sistema de destino.
• Execute testes de ponta a ponta para garantir que os processos comerciais permaneçam intactos.

Etapa 6: Desativar o banco de dados de origem antigo (se necessário)

• O banco de dados de origem pode ser arquivado ou desativado se não for mais necessário.
• Mantenha backups antes de remover completamente o sistema de origem.

Etapa 3: Limpeza e finalização

Etapa 1: Interromper e excluir a tarefa de migração

• Abra o console do AWS DMS.
• No menu do lado esquerdo, clique em Tarefas de migração de banco de dados.
• Selecione a(s) tarefa(s) de migração que você criou.
• Clique em Ações > Parar e confirme.
• Quando o status da tarefa mudar para "Stopped" (Parado), clique em Ações > Excluir e confirme.

Etapa 2: Excluir pontos de extremidade do DMS

• No console do AWS DMS, clique em Pontos de extremidade no menu do lado esquerdo.
• Selecione os pontos de extremidade criados durante o tutorial.
• Clique em Ações > Excluir e confirme.

Figura 23 Exclusão de pontos de extremidade do AWS DMS.

Etapa 3: Excluir a pilha do CloudFormation

• Abra o Console do AWS CloudFormation.
• Selecione o CloudFormation Stack criado durante o tutorial.
• Clique em Excluir (canto superior direito).

Figura 24: Confirmação da exclusão da pilha no AWS.

• Confirme a exclusão - o CloudFormation removerá automaticamente todos os recursos associados (isso pode levar até 15 minutos).
• Monitore o console do CloudFormation para garantir que a pilha seja totalmente excluída.

Recursos avançados do AWS DMS

Agora, vamos dar uma olhada em alguns dos cenários mais complexos que você pode resolver com o AWS DMS.

Transformação de dados durante a migração

O AWS DMS permite a transformação de dados durante a migração, permitindo que você faça modificações, como alterar os tipos de dados das colunas, renomear tabelas e colunas e filtrar dados. Essas transformações ajudam a alinhar o esquema de origem com a estrutura do banco de dados de destino. Usando regras de transformação na seção Table Mappings, você pode aplicar essas alterações dinamicamente sem alterar o banco de dados de origem.

Para obter etapas detalhadas, consulte estapublicação do blogsobre como transformar o conteúdo da coluna.

Usando o AWS DMS com o S3 como destino

O AWS DMS pode migrar dados para o Amazon S3, permitindo um armazenamento econômico para análise, machine learning ou processamento adicional usando serviços como AWS Glue, Athena ou Redshift.

Siga estas etapas para configurar o Amazon S3 como o destino de destino para a migração do AWS DMS.

Etapa 1: Criar um bucket S3

• Abra o console do Amazon S3.
• Clique em Criar balde.
• Defina o nome do bucket como: dmstargetbucket-
• Verifique se a região corresponde aos recursos do AWS DMS.
• Deixe todas as outras configurações como padrão e clique em Criar balde.

Etapa 2: Criar uma pasta no bucket S3

• Abra o bucket recém-criado.
• Clique em Criar pasta.
• Dê um nome à pasta dmstargetfolder.
• Deixe todos os padrões e clique em Criar pasta.

Etapa 3: Criar uma política do AWS IAM para acesso ao S3

• Abra o Console do IAM e vá para Políticas.
• Clique em Criar política e, em seguida, escolha a guia JSON.
• Copie e cole a política a seguir, substituindo "REPLACE-WITH-YOUR-BUCKET-NAME" pelo nome real do seu bucket:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::REPLACE-WITH-YOUR-BUCKET-NAME*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::REPLACE-WITH-YOUR-BUCKET-NAME*"
      ]
    }
  ]
}

• Clique em Revisar política.
• Defina o nome da política como DMS-tutorial-S3-Access-Policy e, em seguida, clique em Criar política.

Etapa 4: Anexar política à função de IAM

• No Console do IAM, vá para Funções.
• Procure por "dms-vpc" e selecione dms-vpc-role.
• Clique em Adicionar permissões > Anexar políticas.

Figura 25 Gerenciamento de políticas do AWS IAM.

• Selecione DMS-LAB-S3-Access-Policy e clique em Add permissions (Adicionar permissões).

Etapa 5: Salvar o ARN da função IAM

• Na página de resumo dms-vpc-role, copie o ARN da função.
• Salve-o para uso posterior na configuração do AWS DMS.

Criação de endpoints de destino S3

Agora que o bucket S3 está configurado com as políticas e funções apropriadas, a próxima etapa é criar pontos de extremidade de destino no AWS DMS.

• Abra o console do AWS DMS.
• Clique em Endpoints no menu do lado esquerdo.
• Clique em Criar endpoint (canto superior direito).
• Configure o ponto de extremidade de destino S3.
• Digite os seguintes valores:
• Tipo de ponto de extremidade: Ponto final de destino
• Identificador de ponto de extremidade: S3-target
• ARN descritivo: Deixar em branco
• Motor de destino: Amazon S3
• Nome do servidor:
• Nome da caçamba:
• Pasta de balde: dmstargetfolder
• Clique em Executar teste para verificar a conexão.
• Quando o teste for "Bem-sucedido", clique em Criar ponto de extremidade.

Criação de uma tarefa de migração DMS

Etapa 1: Criar uma tarefa de migração

• Abra o console do AWS DMS.
• Clique em Tarefas de migração de banco de dados no menu do lado esquerdo.
• Clique em Criar tarefa (canto superior direito).

Etapa 2: Configurar definições de tarefas

• Identificador da tarefa: source-to-AuroraMySQL-target
• Instância de replicação: cfn-dmsreplication
• Ponto de extremidade do banco de dados de origem: Selecione o banco de dados de origem
• Ponto de extremidade do banco de dados de destino: cfn-auroramysqlinstance
• Tipo de migração: Migrar os dados existentes e replicar as alterações em andamento
• Modo de parada do CDC: Não use o modo de parada do CDC personalizado
• Criar tabela de recuperação no banco de dados de destino: Não verificado
• Modo de preparação da tabela de destino: Não fazer nada (não é o padrão)
• Interromper a tarefa após a conclusão da carga total: Não pare
• Configurações de coluna LOB / Incluir colunas LOB na replicação: Modo LOB limitado
• Tamanho máximo do LOB (KB): 32
• Validação de dados: Não verificado
• Habilite os registros do CloudWatch: Verificado
• Contexto do registro: Níveis padrão
• Aplicação otimizada por lote: Não verificado

Etapa 3: Configurar mapeamentos de tabela

• Expanda os Mapeamentos de tabelas seção.
• Selecione Assistente como o modo de edição.
• Clique em Adicionar nova regra de seleçãoe digite o seguinte:
• Esquema: DMS_SAMPLE%
• Nome da tabela: %
• Ação: Incluir

Figura 26 Configurar mapeamento de tabelas

Etapa 4: Configurar regras de transformação

• Expandir as Regras de transformação seção.
• Clique em Adicionar nova regra de transformação e insira as seguintes regras:
• Regra 1:
• Alvo: Esquema
• Nome do esquema: DMS_SAMPLE
• Ação: Tornar minúsculas
• Regra 2:
• Alvo: Tabela
• Nome do esquema: DMS_SAMPLE
• Nome da tabela: %
• Ação: Tornar minúsculas
• Regra 3:
• Alvo: Coluna
• Nome do esquema: DMS_SAMPLE
• Nome da tabela: %
• Ação: Tornar minúsculas

Etapa 5: Finalizar e iniciar a tarefa de migração

• Desmarcar Ativar avaliação de pré-migração (não é necessário para este workshop).
• Assegure-se de que a Configuração de inicialização da tarefa de migração esteja definida como Iniciar automaticamente ao criar.
• Clique em Criar tarefa.

Etapa 6: Monitorar o progresso da migração

• Clique na tarefa de migração (source-to-s3-target).
• Role até Estatísticas da tabela para ver o número de linhas movidas.
• Se o status ficar vermelho (erro), clique em Exibir registros para solucionar problemas usando os logs do CloudWatch.

Práticas recomendadas para o AWS DMS

Agora, vamos dar uma olhada em algumas das práticas recomendadas que você deve aplicar ao migrar dados usando o AWS DMS.

Otimizar o desempenho

Para garantir uma migração eficiente e rápida do banco de dados usando o AWS DMS, considere as seguintes otimizações:

• Escolha o tamanho correto da instância de replicação
• Use um tipo de instância maior (por exemplo, dms.r5.large ou superior) para migrações de alta taxa de transferência.
• Monitore a CPU, a memória e o IOPS usando o CloudWatch e dimensione a instância, se necessário.
• Use várias tarefas de migração para processamento paralelo
• Divida grandes migrações em várias tarefas por grupos de tabelas para reduzir o tempo de carregamento.
• Migre tabelas grandes separadamente das pequenas para equilibrar o desempenho.
• Otimize as conexões de rede
• Coloque a instância de replicação do DMS na mesma VPC e zona de disponibilidade que os bancos de dados de origem e destino.
• Use endpoints de VPC ou Direct Connect para melhorar a estabilidade da rede e reduzir a latência.
• Ajuste as configurações de LOB
• Para objetos grandes (LOBs), use o modo LOB limitado com um tamanho de LOB adequado para minimizar o impacto no desempenho.
• Habilite o carregamento paralelo e a aplicação em lote
• Ative a opção Batch Optimized Apply para fazer inserções mais rápidas no banco de dados de destino.
• Use o Parallel Load para migrações em grande escala para que você processe várias tabelas simultaneamente.

Planeje o tempo de inatividade

Minimizar o tempo de inatividade durante a migração do banco de dados é fundamental para manter a continuidade dos negócios. Aqui estão as principais estratégias para garantir uma transição tranquila:

• Migrar durante períodos de pouco tráfego
• Programe a transferência durante as horas de menor movimento para minimizar o impacto sobre os usuários.
• Notifique as partes interessadas com antecedência para se preparar para interrupções temporárias.
• Use a replicação contínua (CDC)
• Ative o Change Data Capture (CDC) para manter o banco de dados de destino sincronizado com a origem.
• Isso permite que os aplicativos sejam alternados com perda mínima de dados.
• Realizar um teste de transferência
• Execute uma migração de teste em um ambiente de preparação antes da transferência final.
• Valide o desempenho e resolva quaisquer inconsistências de esquema ou dados.
• Reduzir o impacto do switch DNS
• Prepare uma conexão de banco de dados baseada em DNS para que a mudança para o novo destino seja perfeita.
• Atualize as cadeias de conexão do aplicativo somente quando a migração for verificada.
• Mantenha a fonte somente leitura antes da transferência final
• Impeça novas transações na fonte, configurando-a para o modo somente leitura.
• Certifique-se de que todas as alterações pendentes sejam replicadas antes de apontar os aplicativos para o destino.

Proteja seus dados

A segurança dos dados durante a migração é fundamental para proteger as informações confidenciais e cumprir os requisitos de conformidade.

• Criptografar dados em trânsito com SSL/TLS
• Habilite SSL/TLS para conexões de banco de dados de origem e destino para evitar interceptação.
• Use a autenticação baseada em certificado para aumentar a segurança.
• Restringir o acesso com funções e políticas do AWS IAM
• Atribua as funções de IAM com menos privilégios à instância de replicação do DMS e aos pontos de extremidade.
• Use as políticas de IAM para restringir o acesso a bancos de dados específicos, buckets S3 e logs do CloudWatch.
• Ativar a criptografia em repouso
• Use o AWS Key Management Service (KMS) para criptografar os dados do Amazon S3 ou RDS.
• Certifique-se de que o banco de dados de destino seja compatível com criptografia para armazenamento seguro.

Solução de problemas do AWS DMS

O DMS é uma ferramenta poderosa, mas não é isenta de problemas. Veja a seguir como solucionar os problemas mais comuns.

Erros e soluções comuns

As migrações do AWS DMS podem encontrar erros relacionados à conectividade do banco de dados, incompatibilidades de esquema e falhas de replicação.

1. Erros de conexão com o banco de dados

• Erro: "Falha ao conectar-se ao ponto de extremidade do banco de dados."
• Solução:
• Verifique as configurações de VPC, grupos de segurança e sub-rede.
• Verifique se o banco de dados está acessível a partir da instância de replicação do DMS.
• Verifique se o host, a porta e as credenciais estão corretos nas configurações do endpoint do DMS.
• Teste a conectividade usando a opção "Testar conexão do endpoint" no console DMS.

2. Problemas de compatibilidade de tipos de dados

• Erro: "Conversão de tipo de dados sem suporte entre a origem e o destino."
• Solução:
• Use o AWS Schema Conversion Tool (SCT) para identificar tipos de dados incompatíveis.
• Modifique os tipos de dados da coluna manualmente no esquema de destino, se necessário.
• Ative as regras de transformação no DMS para converter automaticamente tipos incompatíveis.

3. Violações de restrições de chave estrangeira

• Erro: "Violação de restrição de chave estrangeira no banco de dados de destino."
• Solução:
• Desative as restrições de chave estrangeira antes da migração e reative-as após a conclusão.
• Use "Truncar antes de carregar" se você estiver recarregando dados em uma tabela existente.

4. Desempenho lento da migração

• Erro: "O atraso da replicação está aumentando significativamente."
• Solução:
• Use uma instância de replicação de DMS maior (dms.r5.large ou superior).
• Ative o carregamento paralelo e a aplicação otimizada em lote para uma ingestão mais rápida.
• Otimize as conexões de rede colocando o DMS, a origem e o destino na mesma VPC.

5. Replicação em andamento (CDC) interrompida inesperadamente

• Erro: "A tarefa CDC foi interrompida devido à falta de arquivos de registro."
• Solução:
• Garanta a retenção suficiente de logs no banco de dados de origem (por exemplo, 24 horas para o Oracle LogMiner).
• Reinicie a tarefa CDC a partir da última transação aplicada.

Uso de logs do DMS para solução de problemas

O AWS DMS fornece registros de tarefas e integração com o CloudWatch para ajudar a identificar e resolver problemas de migração com eficiência.

1. Acesso aos registros de tarefas do DMS

• No console do AWS DMS, vá para Tarefas de migração de banco de dados.
• Selecione a tarefa de migração com problemas.
• Clique em Monitoramento para acessar mensagens de erro e detalhes de execução.

Figura 27 Registros do AWS CloudWatch com erros de migração

2. Usando o AWS CloudWatch para depuração detalhada

• Navegue até o Console do AWS CloudWatch > Registros.
• Procure o grupo de registros da instância de replicação do DMS (/aws/dms/replication-instance-ID).
• Ativar registro detalhado em Configurações de tarefas do DMS para obter mais detalhes.

Figura 28 Visão geral dos eventos do AWS CloudWatch

Conclusão

O AWS Database Migration Service (DMS) facilita a movimentação de dados entre diferentes mecanismos de banco de dados com o mínimo de tempo de inatividade. Seguindo as práticas recomendadas, como otimizar o desempenho, proteger os dados, gerenciar alterações de esquema e solucionar problemas comuns, você pode garantir um processo de migração tranquilo.

Agoraque você concluiu uma migração completa do AWS DMS, está pronto para aproveitar ao máximo seu novo banco de dados baseado na nuvem para obter melhor escalabilidade, análise e otimizações nativas da nuvem. Se você quiser aprofundar seus conhecimentos sobre a AWS, explore o programa AWS Cloud Practitioner Certification ou comece com AWS Concepts e AWS Security & Cost Management.