Azure Synapse：一步一步的新手指南

使用 Azure Synapse 的优势

以下是使用 Azure Synapse Analytics 的一些好处：

• 可伸缩性与灵活性： Azure Synapse 的按需扩缩能力使用户能够迅速调整计算与存储资源，以满足不断变化的业务需求。
• 统一分析平台： 通过将数据集成、数据仓库与大数据分析相结合，Azure Synapse 提供了全面而精简的分析解决方案。
• 提升生产力： Azure Synapse 的集成工具与流畅体验有助于用户在数据驱动的任务中更加高效与高产。
• 成本效益： Azure Synapse 的按需扩缩与按使用量计费模式，能够帮助组织优化成本，降低整体数据分析支出。
• 全面的安全与合规： Azure Synapse 强大的安全功能与合规认证，确保数据得到保护，组织能够满足监管要求。

启动您的云之旅，获取 Azure Fundamentals 认证。通过 DataCamp 精心打造的学习路径备考微软 AZ-900。借助 DataCamp 与微软的合作，您还可享受 50% 的考试优惠！

Azure Synapse 的使用场景

Azure Synapse 是一款多功能平台，适用于广泛的数据分析用例，是企业释放数据全部潜力的有力工具。

常见使用场景包括：

Azure Synapse 与 Databricks 对比

Azure Synapse 和 Databricks 都是强大的大规模数据处理与分析平台，但各有所长。

• Azure Synapse 是一体化解决方案，如前所述，将数据集成、数据仓库与大数据分析统一起来。它非常适合需要综合平台以处理多样化工作负载（从结构化数据到海量数据集）的组织。
• Databricks 基于 Apache Spark，专注于协作式数据科学、数据工程与机器学习。它以强大的大规模数据处理与模型部署能力而著称，并为数据团队提供协作环境。

差异与相似点

如果您有兴趣进一步了解 AWS、Azure 与 GCP 云中可比的数据科学与 AI 服务，欢迎查看 Datacamp 上的免费指南 AWS、Azure 与 GCP 数据科学与 AI 服务对比。

在全面了解 Azure Synapse 之后，让我们动手实践！

设置 Azure Synapse

要开始使用 Azure Synapse，您需要一个有效的 Azure 账户。创建好账户后，您可以新建 Synapse 工作区，并配置数据源与连接。

1. 开始 Azure 免费试用

如果您是 Azure 新用户，第一步是创建订阅。点击“Start with an Azure free trial”下的“Start”按钮。

注册过程中，您需要通过手机号验证账户，并提供信用卡信息用于验证。

从 Azure 免费试用开始。

2. 先决条件：创建 Data Lake Storage Gen2

在继续使用 Azure Synapse 之前，您必须创建一个 Data Lake Storage Gen2 帐户来存储与管理您的数据。

首先进入 Azure 门户，选择“Create a resource”。选择“Storage account”，并填写所需信息，例如资源组、存储帐户名称与区域。

确保选择“Azure Blob Storage or Azure Data Lake Storage Gen2”作为主服务，并根据您的用例配置性能与冗余等其他设置。

创建 Azure 存储帐户。

填写完成后，点击“Review + create”以部署存储帐户。存储部署完成可能需要几分钟。

存储帐户部署进行中。

部署完成后，新的 Data Lake Storage Gen2 帐户会列在 Storage Accounts 部分，并可与 Azure Synapse 搭配使用。

Azure 中的活动存储帐户。

3. 创建 Synapse 工作区

Azure Synapse 工作区是基础环境，您可以在其中为 Azure Synapse 的数据集成、分析与存储设置、组织并管理所有资源与服务。它是配置与访问 Synapse 项目中各类工具与数据资产的中心枢纽。

点击“Create Synapse Workspace”按钮创建 Azure Synapse 工作区。

创建 Synapse 工作区。

下一步，您需要填写表单以创建 Azure Synapse 工作区。

先选择您的订阅与资源组，然后输入工作区名称并选择合适的区域。

创建 Synapse 工作区——填写详情。

在最后一个选项卡中复核详情，然后点击“Create”。

验证 Synapse 工作区。

Azure Synapse 工作区的部署可能需要几分钟。

Azure Synapse Analytics 部署进行中。

已创建 Azure Synapse Analytics 工作区 “datacamp”。

工作区部署完成后，点击其名称打开。

4. 打开 Synapse Studio

Azure Synapse Studio 是用于管理和交互 Azure Synapse 工作区的基于 Web 的界面。它提供统一的工作空间，您可以在一个地方执行数据集成、大数据分析与数据仓库任务。

Synapse Studio 至关重要，因为它让您无需在不同工具或环境之间切换，就能快速开发、管理与监控数据管道、SQL 脚本、Spark 作业等。

Synapse Studio。

导入数据集

在 Synapse Studio 中，您可以从多种来源导入数据。可以从链接到 Synapse 工作区的 Gen2 存储帐户（见上方第 2 步）、从 SQL Server 数据库，或从外部来源导入。

在本教程中，我们将使用 Synapse Gallery 中的示例数据集“Bing COVID-19 Data”。

要导入，请点击左侧导航菜单中的“Dataset”，然后点击“+ 号” → “Gallery”。

Synapse Studio 中的数据集图库。

在点击“Add dataset”按钮导入数据之前，您可以先查看元数据和数据的示例行。

在 Synapse Studio 中审阅数据集。

导入成功后，您可以在“Data”下看到该数据集。

Synapse Studio 中的 Data 选项卡。

编写与运行查询

Azure Synapse Studio 提供友好的界面来编写与运行查询。您可以使用 SQL 执行广泛的数据分析任务，从简单的数据检索到更复杂的分析。

Synapse Studio 还允许您保存与管理查询，并查看与处理查询结果。

您可以使用 SQL 脚本或创建 Notebook 来分析此数据集。在 Notebook 中，您可以将数据集加载为 Spark DataFrame，并使用 Spark 进行数据处理与分析。

要在此数据集上运行 SQL 查询，请点击数据集名称旁的三个点。

在 Synapse Studio 中使用 SQL 分析数据。

点击“Select TOP 100 rows”将打开一个 SQL 编辑器，您可以在其中编写 SQL 查询并执行以查看结果。

Synapse Studio 中的 SQL 编辑器。

如果希望以可视化图表而非表格视图查看输出，请在“Results”下点击“Chart”。

在 Synapse Studio 中以图表查看查询结果。

当您创建或修改 SQL 脚本时，这些更改最初会保存为草稿。通过点击顶部的“Publish”按钮发布脚本即可提交这些更改，确保在工作区中存储最新版本。

在 Synapse Studio 中发布 SQL 脚本意味着将脚本保存到 Synapse 工作区，以便于将来使用、协作与版本控制。

示例：分析全球 COVID-19 确诊病例的每日增长

让我们对该数据集运行一条 SQL 查询，分析全球 COVID-19 确诊病例的每日新增情况。

该查询从“Bing COVID-19 数据集”中检索数据，通过比较当日与前一日的累计确诊数计算每日新增确诊病例，并按日期排序结果。

Synapse Studio SQL 编辑器中的 SQL 查询。

在 Notebook 中分析数据

在 Synapse Studio 中，您可以使用 Notebook 分析数据，Notebook 提供了用于运行代码、可视化结果与进行数据分析的交互式环境。

Synapse Studio 的 Notebook 支持多种语言，包括特别适合大数据处理的 PySpark。

要在 Synapse Studio 中运行 Notebook，请将其附加到 Apache Spark 池，该池提供处理大规模数据集所需的分布式计算资源。

Apache Spark 池是用于运行 Spark 作业的计算节点集合，会按需动态分配。如果您尚无 Spark 池，可以在 Synapse Studio 的“Manage pools”部分创建，指定节点数量、规格及其他配置。

设置并将 Spark 池附加到 Notebook 后，您可以在 Notebook 内执行代码单元以加载、处理与分析数据，如下图所示。

这种设置使您能够在 Azure Synapse 中直接利用 Spark 的强大能力开展大规模数据分析。

在 Synapse Studio 中使用 Notebook 分析数据。

将 Azure Synapse 与其他 Azure 服务集成

Azure Synapse 与其他 Azure 服务无缝集成，使您能够构建全面的数据分析解决方案。

一些关键集成包括：

• Azure Data Factory： 使用 Azure Data Factory 编排复杂的数据工作流，并自动化 ETL（抽取、转换、加载）或 ELT（抽取、加载、转换）过程。通过将 Azure Synapse 与 Data Factory 集成，您可以轻松地将来自各种来源的数据迁移并转换到 Synapse 工作区，确保数据始终可用于分析。
• Power BI： Azure Synapse 与Power BI 平滑集成，允许您创建高级数据可视化与交互式仪表板。此集成帮助企业将原始数据转化为有洞察力、视觉吸引力强的报表，并在团队间共享，推动数据驱动的决策并增强商业智能能力。
• Azure Machine Learning： 将 Azure Synapse 的数据处理能力与 Azure Machine Learning 结合，释放高级预测分析能力。通过该集成，您可以在 Synapse 环境中直接训练、部署与管理机器学习模型，实现更准确的预测与更明智的数据驱动策略。
• Azure Databricks： 对于专注于协作式数据科学与机器学习的组织，将 Azure Synapse 与 Azure Databricks 集成可提供强大的方案。该集成促进数据科学家、工程师与分析师之间的无缝协作，使他们能够在统一的协作环境中构建与扩展数据管道、开发模型并开展高级分析。

使用 Azure Synapse 的最佳实践

为充分发挥 Azure Synapse 的价值，务必遵循以下最佳实践：

• 优化数据存储格式： 选择合适的数据存储格式（如 Parquet 或 ORC）对于确保最佳查询性能与高效数据处理至关重要。这些格式专为大数据分析而设计，支持列式存储与压缩，可显著缩短查询执行时间并降低存储成本。
• 高效管理计算资源： 高效管理计算资源是平衡性能与成本效益的关键。根据工作负载需求进行弹性扩缩，并在合适场景下使用无服务器选项，既能满足性能要求，又避免为闲置算力付费。
• 落实安全最佳实践： 使用 Azure Synapse 时应将安全置于优先位置。为保护敏感信息，请实施健全的安全措施，如数据加密、基于角色的访问控制与网络隔离。
• 监控与排查工作负载： 持续监控 Azure Synapse 工作负载对于保持最佳性能并在问题影响运营之前识别潜在问题至关重要。利用内置监控工具跟踪资源使用、查询性能与数据管道效率，主动排查异常以最大限度减少中断。

结论

Azure Synapse Analytics 是寻求充分挖掘数据潜力的组织所需的强大且多功能的解决方案。通过将数据集成、大数据分析与企业数据仓库统一到一个全面的平台，Azure Synapse 使企业能够精简数据运营，并以空前的效率提取有价值的洞察。

该平台的灵活性、可伸缩性以及与其他 Azure 服务的无缝集成，使其非常适合各种数据驱动任务，从实时分析到复杂的机器学习项目。随着数据在体量与重要性上的不断增长，Azure Synapse 成为组织在日益以数据为中心的世界中保持竞争力的关键工具。

通过采用 Azure Synapse，企业不仅可以优化当前的数据流程，还能为未来的数据分析创新铺平道路。展望未来，能否快速且高效地将数据转化为可执行洞见，将成为成功组织的关键差异点。Azure Synapse 提供了迎难而上的坚实基础，使企业能够通过数据的力量解锁新机遇并推动增长。

想要助力您的数据科学职业生涯？请查看 Datacamp 的 2024 年 13 大 Azure 认证 指南。