AWS DataSync：如何设置自动化数据传输

设置 AWS DataSync

在传输数据之前，您需要正确配置 AWS DataSync。本节介绍前置条件与设置步骤，包括代理安装、IAM 角色与存储配置。

AWS DataSync 的前置条件

我们将使用 AWS CloudFormation 自动化资源供应，并聚焦数据迁移。我们将创建以下资源：

1. 一个带有公有子网的 AWS VPC，用于网络连通性。
2. 在 Amazon EC2 实例上部署的 NFS 服务器，用于模拟本地存储系统。
3. 部署在 EC2 实例上的 AWS DataSync 代理，用于促进数据移动。
4. IAM 角色与策略，为 DataSync 操作授予必要权限。

登录 AWS 控制台

• 登录到 AWS 管理控制台，使用您的凭证。
• 点击屏幕右上角的下拉菜单，选择本教程所用区域“北加利福尼亚”。

图 1 - 在 AWS 管理控制台中选择区域

• 前往 EC2 控制台并导航到密钥对（Key Pair）部分。确保与上一步位于同一区域。
• 点击创建密钥对（Create Key Pair），命名为“datasync”。

图 2 - 在 AWS EC2 中创建用于安全访问的密钥对

• 点击创建（Create），浏览器将下载一个 datasync.pem 文件。
• 请妥善保存该文件——后续步骤将会用到。

配置环境

此步骤将使用 CloudFormation 模板来搭建前文提到的 AWS DataSync 所需基础设施。

• 打开 AWS CloudFormation 控制台，点击创建堆栈。
• 选择模板已就绪，然后选择上传模板文件。

图 3 - 上传 CloudFormation 模板以创建新堆栈

• 从 Github Gist 下载文件，点击选择文件，上传 datasync-onprem.yaml，然后点击下一步。
• 在参数部分，选择一个 EC2 密钥对，以允许通过 SSH 登录由此堆栈创建的实例。不要修改 AMI ID 的值，直接点击下一步。
• 在堆栈选项页面保留默认设置并点击下一步。
• 检查配置并点击创建堆栈。
• 系统将跳转至 CloudFormation 控制台，状态显示为“CREATE_IN_PROGRESS”。等待状态变为“CREATE_COMPLETE”。

图 4 - 在 AWS CloudFormation 中查看资源创建状态

• 完成后，转到输出部分并记录相关值——后续步骤将用到。
• 您需要按照相同步骤再部署一个堆栈。此模板无需额外参数。从 GitHub Gist 下载模板并继续部署。

设置 DataSync 代理

在本教程中，我们在 AWS 中复现一个本地环境，以借助 AWS DataSync 模拟真实世界的数据传输场景。 

我们没有使用真实的本地基础设施，而是在 Amazon EC2 实例上启动了一个 NFS 服务器，作为源存储系统。这样我们就可以像从本地位置迁移数据一样测试与配置 AWS DataSync。

我们在同一环境的 EC2 实例上启动了 AWS DataSync 代理，以实现数据移动。这些代理负责将 NFS 服务器与 AWS DataSync 连接，从而将数据传输到 Amazon S3 等云存储服务。 

这种架构使我们能够在实际落地前对 AWS DataSync 任务进行模拟、配置与验证，从而实现顺畅的工作流。在本教程中，我们将使用该环境来注册代理、创建 DataSync 任务并高效迁移数据。

图 5 - 由 AWS CloudFormation 部署的架构

为 AWS DataSync 配置 NFS 服务器

在设置 AWS DataSync 之前，了解要传输的数据及其组织方式至关重要。本节将配置我们在 AWS 环境中部署的 NFS 服务器，使其充当本地存储系统。该设置将帮助我们模拟向 AWS 服务的数据迁移。

首先，登录到 NFS 服务器：

• 打开 AWS 管理控制台，切换到“北加利福尼亚”区域。
• 从 AWS 服务列表中选择 EC2。
• 在 EC2 实例列表中找到 NFS 服务器实例。
• 点击“连接（Connect）”，并按照指引使用 Session Manager 或 SSH 进行连接。

然后，浏览文件系统。该 NFS 服务器包含三个 200 GiB 的 EBS 卷，每个都使用 XFS 文件系统并预置了示例数据集。

• 运行以下命令，验证已挂载的文件系统：

mount | grep /mnt技术支持

图 6 - mount 命令的预期输出

• 接着，查看每个文件系统中的数据量：

df -h | grep /mnt技术支持

图 7 - df 命令的预期输出

如您所见，fs1 与 fs2 含有 12 GiB 数据，fs3 含有 22 GiB 数据。

现在来配置 NFS 导出。为允许 AWS DataSync 代理访问 NFS 服务器，请配置 /etc/exports 文件：

• 以 root 身份使用文本编辑器打开 /etc/exports 文件：

sudo nano /etc/exports技术支持

• 添加以下行，为 DataSync 代理定义只读（ro）导出：

/mnt/fs1 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs2 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs3 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)技术支持

将 10.12.14.243 和 10.12.14.249 替换为 CloudFormation 输出中的 DataSync 代理 EC2 实例的私有 IP。

• 应用新的导出设置，重启 NFS 服务：

sudo systemctl restart nfs技术支持

• 验证 NFS 导出：

showmount -e技术支持

图 8 - showmount 命令的预期输出

配置 CloudWatch 并激活 AWS DataSync 代理

在完成 NFS 服务器配置后，下一步是在“北加利福尼亚”区域为 DataSync 启用 AWS CloudWatch 日志并激活 DataSync 代理。这样可以记录所有文件传输，便于发现错误或故障。

在 AWS DataSync 向 CloudWatch 发送日志之前，我们需要创建资源策略以授予所需权限。

• 复制以下 JSON 策略并保存为本地文件 datasync-policy.json：

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}技术支持

• 然后在您的终端中运行以下命令：

aws logs put-resource-policy --region us-west-1 --policy-name trustDataSync --policy-document file://datasync-policy.json技术支持

上述命令允许 AWS DataSync 将日志写入 CloudWatch，有助于监控和调试传输问题。

现在来激活 DataSync 代理。尽管 DataSync 代理 EC2 实例创建于“北加利福尼亚”区域，但在使用前必须在该区域完成激活。

注意：如果您需要在 VMware 或其他本地环境中安装 DataSync 代理，请参阅官方 AWS 指南。不过，由于我们通过 EC2 实例模拟本地环境，本教程中的 DataSync 代理是按照云端安装的 AWS 最佳实践进行部署的。

• 进入 AWS 管理控制台并选择“北加利福尼亚”区域。
• 打开 AWS DataSync 服务。
• 若不存在任何代理，点击开始使用（Get started）；否则点击创建代理（Create agent）。
• 在服务终端节点部分，保持“Public service endpoints…”默认设置。
• 在激活密钥部分，输入 CloudFormation 输出中的第一个 DataSync 代理的公有 IP 地址：
  • Agent 1 Public IP:  <Output from Cloudformation>
  • Agent 2 Public IP: <Output from Cloudformation>

图 8 - 创建并激活 DataSync 代理

• 点击获取 密钥以获取激活密钥。
• 激活成功后，为代理命名（例如“Agent 1”或“Agent 2”）。
• 如需，可添加标签。
• 点击创建 代理。
• 对第二个 DataSync 代理重复上述步骤。

创建 DataSync 任务

现在，开始创建一个 DataSync 任务！请按照以下步骤操作：

• 进入 AWS DataSync 控制台。
• 点击Tasks → Create task。
• 创建源位置：
• 位置 类型：Network File System (NFS)。
• 代理（Agents）：选择“Agent 1 私有 IP”和“Agent 2 私有 IP”。
• NFS 服务器 私有 IP：NFS 私有 IP。
• 挂载路径：/mnt/fs1/d0001（仅复制 d0001 目录）。

图 10 - 配置 AWS DataSync 的源位置

• 创建目标位置：
• 位置类型：Amazon S3。
• 从 CloudFormation 输出中选择 S3 存储桶。
• 存储类型：Standard。
• IAM 角色：从 CloudFormation 输出中选择

配置数据传输任务

完成 AWS DataSync 的设置后，下一步是配置数据传输任务。任务定义数据如何、何时、何地被传输。AWS DataSync 支持多种优化选项，包括文件筛选、调度与监控。

• 配置任务设置：
• 任务名称：Test Task
• 排除模式：*/.htaccess 和 */index.html
• 传输模式：仅传输已更改的数据（决定 DataSync 是否仅传输源与目标之间有差异的数据与元数据）。
• 数据验证：选择“仅验证已传输的数据”。
• 启用 CloudWatch 日志：
• 日志组：选择 DataSyncLogs-datasync-incloud。
• 点击下一步，检查设置后点击创建 任务。

使用 AWS DataSync 执行数据传输

配置好 DataSync 任务后，您需要执行传输并监控其进度。本节介绍如何手动或通过 CLI 启动传输、跟踪状态并排查常见问题。

启动数据传输

• 等待任务状态从“Creating”变为“Available”。
• 点击Start 按钮，检查设置后再次点击Start。

图 11 - AWS DataSync 任务列表，显示启动、编辑或删除选项

• 监控任务进度：
  • 它将依次经历以下状态：Launching → Preparing → Transferring → Verifying → Success。

监控传输进度

点击任务历史（Task history）选项卡，并选择执行对象以查看任务中的传输统计。

图 12 - AWS DataSync 性能指标，显示文件吞吐量、数据吞吐量与网络利用率

排查数据传输问题

在 AWS DataSync 传输过程中，可能会出现连接失败、权限错误或传输速度慢等常见问题。可按以下方式排查：

1. 检查 CloudWatch 日志 —— 定位与文件权限、代理连接或传输失败相关的错误。
2. 验证网络连通性 —— 确保 DataSync 代理可访问源（NFS/SMB）与目标（S3、EFS、FSx）。
3. 审查 IAM 权限 —— 确认 DataSync 服务角色具备读取/写入数据所需权限。
4. 检查代理配置 —— 确保代理已正确激活、状态健康，并可与 AWS DataSync 服务通信。

传输后的步骤与数据同步

数据传输完成后，务必验证传输文件的完整性，并在需要时设置持续同步。本节说明如何检查数据准确性、安排增量同步以及清理未使用资源以优化成本。

验证数据完整性

• 打开 AWS S3 控制台，进入以“datasync”开头的存储桶。
• 浏览存储桶并验证所有预期文件均已传输。

图 13 - 通过 AWS DataSync 传输后的 AWS S3 存储桶文件

• 确认 .htaccess 与 index.html 文件未被复制。

您也可以通过 AWS CLI 查看任务执行详情：

• 获取任务执行 ARN：

aws datasync list-task-executions --region us-west-1 | grep exec-技术支持

• 描述任务执行：

aws datasync describe-task-execution --region us-west-1 --task-execution-arn <task-execution-arn>技术支持

图 14 - AWS DataSync 任务执行详情

• 查看关键性能指标：EstimatedFilesToTransfer、BytesTransferred、传输速度与持续时间。

持续数据同步

在真实场景中，初次传输后文件仍会不断新增与修改。AWS DataSync 支持增量传输，仅复制新增或变更文件至目标。本节我们将修改 fs2 上的数据，运行一次增量传输，并使用筛选优化流程。

先在 fs2 上修改文件。

• 通过 SSH 登录 NFS 服务器：

ssh ec2-user@<NFS-Server-IP>技术支持

• 创建一个新文件并更新清单列表：

cd /mnt/fs2/d0001/dir0001
dd if=/dev/urandom of=newfile1 bs=1M count=1
echo "newfile1" >> manifest.lst技术支持

这会新增一个文件（newfile1）并修改 manifest.lst。

然后，重新运行任务以同步变更：

• 进入 AWS DataSync 控制台。
• 点击Tasks → Test Task（之前创建的任务）。
• 点击Start 以启动新的执行。
• 在任务历史（Task history）下监控进度。
• 完成后，进行验证：
• 共传输 3 个文件（newfile1、已更新的 manifest.lst，以及文件夹更新）。
• 向 S3 复制了 1 MiB 的数据。

图 15 - AWS DataSync 性能指标显示一次增量传输

• 在 S3 中验证传输：
• 进入 S3 存储桶并确认 newfile1 已存在。
• 检查 manifest.lst 的时间戳已更新。

使用计划任务自动化 DataSync 传输

在数据频繁变更的环境中，定期调度同步可在最少人工干预下确保目标端保持最新。AWS DataSync 允许您按固定间隔（例如每小时、每天或每周）配置任务，从而降低运维负担。 

通过设置循环计划，DataSync 将自动检测并仅传输新增与修改的文件，从而优化带宽与传输效率。

安排任务的方法：

1. 进入 AWS DataSync 控制台并编辑现有任务。
2. 在计划（Schedule）部分选择“Daily”“Weekly”等。
3. 提供具体时间（可选）。
4. 保存设置后，DataSync 将按指定间隔执行任务。

清理与成本优化

完成数据传输后，务必清理未使用资源以避免不必要的费用。请按照以下步骤操作：

• 停止并删除 DataSync 任务：
• 进入 AWS DataSync 控制台，选择任务，若正在运行则选择Stop。
• 点击Actions → Delete 删除已完成的任务。
• 删除 DataSync 代理：
• 在 DataSync 控制台中导航到Agents。
• 选择代理并点击Delete 进行移除。

删除 CloudFormation 堆栈

• 打开 AWS CloudFormation 控制台。
• 选择本教程期间创建的 CloudFormation 堆栈。
• 点击删除（右上角）。

图 15 - 确认在 AWS 中删除堆栈

• 确认删除——CloudFormation 将自动移除所有相关资源（可能需要长达 15 分钟）。
• 在 CloudFormation 控制台中监控，确保堆栈完全删除。

优化 AWS DataSync 成本

为尽量降低数据传输开销，请考虑以下最佳实践：

1. 使用增量传输 —— 配置 DataSync 仅传输新增或修改文件，减少不必要的数据移动。
2. 优化传输频率 —— 根据数据变更速率安排任务，而非持续同步。
3. 选择具性价比的存储 —— 不常访问的数据可存储在 Amazon S3 Glacier，而非成本更高的 Amazon EFS。

通过妥善清理资源与优化传输策略，您可以在保持高效数据同步的同时显著降低 AWS 成本。

AWS DataSync 高级功能

除了基础传输能力，AWS DataSync 还提供强大的特性，以提升性能、成本效率与安全性。本节探讨关键高级用例，包括 S3 集成与 NFS 到 EFS 的迁移。

将 DataSync 与 Amazon S3 搭配使用

AWS DataSync 是在 S3 与其他位置之间移动海量数据的有力工具，非常适合备份、归档与云迁移任务。它通过多部分上传提升性能，将大文件拆分为更小的部分并并行传输。此外，DataSync 与 S3 存储类别的集成可通过将活跃度较低的数据迁移至 S3 Glacier 或 S3 Intelligent-Tiering 来节省成本。

本教程讲解了如何配置 DataSync 任务、设置 NFS 源并将文件迁移至 S3 存储桶，同时排除不需要的文件。您可以据此在几乎不影响运营的情况下安排大规模数据迁移。

使用 DataSync 将 NFS 迁移到 Amazon EFS

对于需要将本地 NFS 共享迁移至 Amazon EFS 的组织而言，AWS DataSync 提供了自动化、安全且可扩展的方案。需要注意的是，S3 是对象存储，而 Amazon EFS（弹性文件系统）是完全托管、符合 POSIX 的文件存储服务，非常适合需要共享访问和低延迟性能的应用。

DataSync 在 NFS 到 EFS 迁移中的优势包括：

1. 保留元数据 —— 保留文件权限、时间戳与所有权。
2. 支持增量同步 —— 仅复制变更或新增文件，降低传输成本。
3. 自动化迁移 —— 无需手动编写脚本或采用复杂的数据迁移策略。

尽管本教程基于 NFS 到 S3 的迁移，但同样的 DataSync 原理也适用于迁移至 Amazon EFS。主要差异在于选择 EFS 作为目标，以便为需要在 AWS 中动态扩展的文件系统的应用程序提供良好的数据迁移执行。 

使用 AWS DataSync 的最佳实践

要充分发挥 AWS DataSync 的优势，需遵循提升速度、安全性与成本效率的最佳实践。本节涵盖优化数据传输、确保数据安全与有效监控的关键策略。

优化传输速度与成本

对于大规模数据迁移，AWS Direct Connect (DX) 是一条专用的私有网络连接，可避开公网，提供更快、更安全、延迟更低的传输。如果无法使用 DX，VPN 连接或 VPC 对等等替代方案也能在确保安全的同时提升传输速度。

此外，AWS DataSync 具备内置的压缩功能，可减少跨网络传输的数据量，从而提升速度并降低带宽成本。但需注意压缩会占用 CPU 资源，应权衡性能收益与可能的系统开销。 

另外，通过优化任务调度与配置，还能进一步提升 DataSync 性能。将传输改到低峰时段，可避开网络拥塞并确保带宽，尤其是传输大文件时。根据网络与存储能力微调缓冲大小与并行传输流数量，可显著提高吞吐量。 

对于小文件工作流，提高并行度可缩短传输时间；而对大文件而言，有效的缓冲管理可提升性能与可靠性。

确保数据安全

AWS DataSync 传输的所有数据都在传输过程中加密（TLS），以确保网络传输安全。还应为目标存储服务（如 Amazon S3、Amazon EFS、Amazon FSx）启用加密。使用 S3 时，建议启用服务端加密以进一步提升保护等级。

为 DataSync 任务分配 IAM 角色时，请遵循最小权限原则。仅向 DataSync 代理与任务执行角色授予必要权限，以降低安全风险。避免使用基于标签的策略键，改用基于资源的策略，以防止意外的数据更改。

对于 VPC 内部的数据传输，启用 VPC 终端节点，使 DataSync 流量留在 AWS 网络内部，而不经过公网。这有助于降低安全风险，并在不同 AWS 服务之间移动数据时提升性能。

应以安全方式运行 DataSync 代理，遵循最新的操作系统安全与网络分段建议。同时保持及时更新，并通过 AWS 安全组策略阻止未授权访问。

有效监控与管理传输

有效的监控有助于确保 AWS DataSync 中的数据传输成功且优化。本教程也展示了如何与 CloudWatch 集成，以实时跟踪任务执行、传输速度、错误率与吞吐量。审阅任务日志有助于识别问题、检查文件完整性并排查失败的传输。

图 16 - AWS DataSync 的 CloudWatch 监控面板，显示传输文件数与传输字节数

此CloudWatch 报警还可在传输失败或出现性能问题时提前通知，从而在问题扩大之前加以处理。

排查 AWS DataSync 问题

尽管 AWS DataSync 可自动化数据传输，但您仍可能遇到连通性问题、权限错误或数据不一致。本节提供常见问题的解决方案，说明如何使用日志进行调试，并确保数据同步顺畅。

常见错误及其解决方法

AWS DataSync 用户在传输过程中可能遇到超时、权限问题或数据完整性错误。以下是一些常见问题及其解决方案：

• 任务超时或传输缓慢
• 原因：网络拥塞、带宽限制或文件数量过多。
• 解决方案：增加带宽分配，并在低峰时段安排传输。
• 权限被拒错误
• 原因：IAM 角色或 NFS/SMB 访问受限。
• 解决方案：确保 DataSync 的 IAM 角色具备正确权限，并验证 NFS 导出或 SMB 共享权限允许代理访问。
• 数据完整性问题（文件损坏或缺失）
• 原因：传输不完整、中断或验证配置不当。
• 解决方案：在任务设置中启用数据验证模式，查看日志中跳过或失败的文件，必要时重新运行任务。
• 代理连接失败
• 原因：网络配置错误、防火墙拦截或激活不正确。
• 解决方案：确保代理可访问互联网，或配置 VPC 终端节点以实现私有连通；必要时重新注册代理。

使用日志与 CloudWatch 进行调试

要有效排查 AWS DataSync 任务，日志可提供有关失败传输、跳过文件与网络错误的有价值信息。本教程已演示通过 CloudWatch 监控与调试 DataSync 执行。

查看 DataSync 任务日志的方法：

• 进入CloudWatch Logs → 打开与 DataSync 任务关联的日志组。
• 查找与权限问题、超时或网络错误相关的错误消息或传输失败记录。

图 17 - AWS CloudWatch 中的 DataSync 任务执行日志流

接着，为失败情况设置 CloudWatch 报警：

• 前往CloudWatch Metrics → 选择 AWS/DataSync。
• 针对高失败率、传输速率下降或代理连通性问题创建报警。

结论

AWS DataSync 简化了在本地环境与 AWS 存储服务（如 Amazon S3、EFS、FSx）之间进行自动化、安全且高效的数据传输。本文通过实践操作演示了如何配置 DataSync、将 NFS 作为源并进行数据传输，同时兼顾安全与性能。

我们还探讨了增量传输、任务调度与 CloudWatch 监控，以在成本、速度与可靠性之间取得优化。此外，排障步骤与日志分析技巧也有助于高效定位与解决传输问题。

如果您是 AWS 新手，或想进一步加深对云概念与服务的理解，建议查看以下相关学习资源：

• AWS Concepts
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• AWS Cloud Practitioner (CLF-C02) Certification Track

这些课程将帮助您夯实基础知识，并为在 AWS 上应对真实云场景做好准备！