跳至内容
数据工程
数据分析

Microsoft Fabric 入门:实用指南

本教程将带您上手 Microsoft Fabric,指导您完成设置、连接数据、构建管道与协作——一文打通实操全流程!
Kurtis Pykes 's photo
Kurtis Pykes
已更新 · 14分钟 阅读

使用 AI 探索

ChatGPTClaudePerplexity

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续
继续操作即表示您接受我们的《使用条款》和《隐私政策》,并同意您的数据存储在美国。

数据量的爆发式增长与对实时洞察的日益需求,正在重塑企业的运营方式。为此,数据团队越来越依赖集成式数据平台来简化数据管理并保持竞争力。

基于这一需求,微软于 2023 年推出了 Fabric——一个强大的全栈解决方案,用于管理数据的全生命周期。

在这份动手教程中,我们将涵盖:

  • 设置 Microsoft Fabric
  • 探索界面
  • 摄取数据
  • 构建数据管道
  • 分析数据
  • 协作与共享

在开始 Microsoft Fabric 的逐步实操指南之前,我们先打好基础。

什么是 Microsoft Fabric?

Microsoft Fabric 是一款全面的数据管理与分析平台,在微软生态内统一了整个数据生命周期。它旨在通过简化以下流程来满足企业需求:

  • 数据摄取
  • 数据转换
  • 数据存储
  • 分析

从效果上看,Fabric 将数据工程、实时分析、数据科学等多种服务整合为一个统一的平台。

借助如 OneLake 等集中数据的工具以及内置的 AI 能力,Fabric 使团队能够将原始数据转化为可执行洞察,免除管理多个厂商服务的复杂性。

设置 Microsoft Fabric

在开始使用 Microsoft Fabric 之前,您需要具备两个先决条件:

  1. Azure 订阅。如果尚未拥有,您可在 Azure 网站注册免费试用。
  2. Microsoft Entra ID 访问权限。Fabric 使用 Microsoft Entra ID(前称 Azure Active Directory)进行身份验证,请确保您拥有必要的管理员权限。后文将进一步介绍。

创建 Microsoft Fabric 帐户

登录您的 Azure 门户后,转到页面顶部搜索栏,搜索“Microsoft Fabric”。注意,您也可能在屏幕顶部的 Azure Services 区域看到 Microsoft Fabric 图标,可直接点击。

从下拉菜单中选择该服务,然后点击 Create 以开始预配 Fabric 工作区。

一个演示如何开始预配 Microsoft Fabric 工作区的 GIF。

图 1:演示如何开始预配 Microsoft Fabric 工作区的 GIF

如果您遇到错误“You cannot create a Microsoft capacity using a personal account. Use your organizational account instead,”这表示您正在使用 Microsoft 个人帐户。

要消除此错误,请在您的 Microsoft Entra ID 租户中创建一个新用户,并为其授予 Microsoft Fabric 和 Power Platform 的管理员角色。完成后,使用该新创建用户登录 Azure 并重复上述步骤。

步骤 1:创建 Fabric 容量(Capacity)。

接下来需选择您的订阅(Subscription)与资源组(Resource group)。

如果您使用的是免费试用,“Azure subscription 1”应是唯一的订阅——它与免费试用相同。

所谓资源组(Resource group),是指共享相同生命周期、权限与策略的一组资源。我们目前还没有资源组,因此需要新建一个——我将其命名为“Demo”。

显示 Microsoft Fabric 项目详细信息部分的图像

图 2:项目详细信息部分

步骤 2:为 Fabric 工作区命名

“datacamp1”是我给容量(Capacity)起的名字。您可以使用任意名称,但必须仅包含小写字母和数字。对于区域(Region),请选择离您位置最近的区域以优化性能。

如果您在区域(Region)部分看到错误“The default location can't be detected because the tenant or user wasn't recognized by Microsoft Fabric. Sign up for Microsoft Fabric and try again”,这是因为您尚未注册 Microsoft Fabric。系统会弹出注册提示。

显示 Microsoft Fabric 容量详细信息部分的图像

图 3:容量详细信息部分

填写完这些信息后,选择Review + create。

创建完成后,您可以通过 Azure 门户访问 Fabric 工作区。

初始配置

下一步是按您的需求配置 Microsoft Fabric 平台。

若要分配权限,请转到 Fabric 工作区中的Access Control (IAM) 设置。

一个展示在 Fabric 中导航至 IAM 设置的 GIF

图 4:在 Fabric 中导航至 IAM 设置

在此处选择Add > Add role assignment。

在Job Function roles 子标题下搜索 “Admin”。您应当会看到App Compliance Automation。选择后点击Next。

在 Microsoft Fabric 中选择角色定义

图 5:选择角色定义

在Members 标题下,点击+ Select members 链接。侧边会打开一个选项卡显示所有帐户成员。选择相应成员并点击Next。

在 Microsoft Fabric 中选择成员

图 6:选择成员

注意:您也可以通过 Microsoft Entra ID 管理用户权限,从而执行安全策略,并确保仅授权用户获得访问权限。

步骤 2:开始免费试用

登录后,您将看到 Microsoft Fabric 仪表板。

显示 Microsoft Fabric 界面的图像

图 7:Microsoft Fabric 界面

以下是启动 Fabric 容量试用需要做的事:

  1. 在主页右上角选择Account manager。
  2. 在账户管理器中,选择Free trial。

 Microsoft Fabric 账户管理器界面

图 8:账户管理器界面

  1. 随后将出现一个包含可用内容详情的页面。选择Start trial,在下一提示中点击Fabric Home Page 以确认升级。

Microsoft Fabric 开始试用的升级提示

图 9:升级提示

大功告成!

Microsoft Fabric 免费试用的确认页面

图 10:免费试用确认

目前您已获得为期 60 天的 Fabric 免费试用(撰写时)。

探索 Microsoft Fabric 界面

Microsoft Fabric 提供了友好的用户界面。如下图所示的布局,旨在确保您能够轻松访问管理数据全生命周期所需的所有工具与服务。

显示 Microsoft Fabric 界面的图像

图 11:Microsoft Fabric 界面

本节我将拆解界面的主要组成部分,并介绍工作区在组织项目中的核心作用。

仪表板概览

在您选择的任一体验(如 Power BI、Data Factory 等)的主页,您会看到自己创建的、拥有使用权限的,或来自可访问工作区的所有项目。

由于每个人的主页基于其特定权限,您所见可能与他人不同。起初可能内容不多,但随着您在 Microsoft Fabric 中不断创建与分享,内容会逐步增长。

一般而言,仪表板包含以下内容:

Data Factory 的 Microsoft Fabric 仪表板示例

图 12:Data Factory 的 Microsoft Fabric 仪表板示例。图像来源:Microsoft

  1. 左侧导航面板将您连接到不同的项目视图和针对特定工作负载定制的创作工具。您可以通过移除不符合工作流的图标来自定义。
  2. 此选择器可在不同工作负载之间切换(如 Power BI、Data Factory、Real-time intelligence 等)。
  3. 您也可在此创建新项目。
  4. 顶部菜单栏用于在 Fabric 内导航、搜索项目、访问帮助并发送反馈。它还包含Account Manager,可管理您的帐户信息与 Fabric 试用。
  5. 提供学习资源,帮助您快速上手所选工作负载。
  6. 您的内容按最近工作区、最近项目与收藏进行组织,这些在所有工作负载中保持一致——Power BI 除外。

理解工作区

工作区是您与同事协作创建和组织项目(如湖仓、数据仓库、报表与任务流)的地方。

创建工作区的步骤如下:

步骤 1。选择Workspaces > New workspace。这将打开Create a workspace 窗格。

一个展示如何在 Synapse Data Science 体验中创建新工作区的 GIF

图 13:在 Synapse Data Science 体验中创建新工作区

步骤 2。为工作区命名(必填)。您也可以提供描述并将工作区分配到某个域(可选)——我将工作区命名为“DataCamp”。

将数据摄取到 Microsoft Fabric

Microsoft Fabric 能够轻松连接来自各类来源的数据(如云端、本地或外部 API)。本节将通过简明步骤,帮助您将 Microsoft Fabric 连接到 Azure SQL Server 作为云数据源。

注意:此步骤需要已有 Azure SQL 数据库——请参阅该教程以创建单一数据库。

连接本地数据源超出本文范围,但您可在微软的添加或移除网关数据源教程中了解更多。

步骤 1。在 Microsoft Fabric 服务的页眉中选择Settings 图标,然后转到Manage connections and gateways。

在 Microsoft Fabric 中前往管理连接与网关的路径

图 14:管理连接与网关的路径

步骤 2。在此,选择Connections 选项卡,然后在左上角选择+ New 以添加新数据源。

步骤 3。屏幕右侧将打开New connection 面板。选择Cloud,填写Connection name,并从下拉列表选择Connection type。在本示例中我们将使用 SQL Server。完成后应如下所示。

步骤 4。填写数据源的详细信息。由于连接的是 SQL Server,只需输入Server 名称和Database。

来自 Microsoft Fabric 的 SQL Server 连接详细信息

图 15:SQL Server 连接详细信息。图像来源: Microsoft

步骤 5。选择连接数据源时的身份验证方式。例如,可以使用 OAuth2 并直接使用您的帐户登录。

步骤 6。在“General”部分的“Privacy level”下,您可根据需要设置数据源的隐私级别。如无问题,选择“Create”,即可完成!若连接成功,您将在Settings 下看到“Created new connection”。

在 Microsoft Fabric 中新增连接的确认

图 15:新增连接的确认

数据转换与清洗

在 Microsoft Fabric 中有多种方式可进行数据转换,这里我们先介绍 Dataflow Gen2。

Dataflow Gen2 提供低代码界面,并可使用 300 多种基于数据与 AI 的转换。这让数据清洗、准备与转换变得非常容易,灵活性也很强。

以下是创建 Dataflow 的方法:

步骤 1:选择您的 Fabric 工作区,点击New,再选择Dataflow Gen2。这将打开 Dataflow 编辑器。

Dataflow 编辑器

图 16:Dataflow 编辑器

步骤 2。选择Import from SQL server 卡片以导入数据,并在弹出的Connect to data source 对话框中,输入连接 Azure SQL 数据库的详细信息。

在 Dataflow 中连接数据源

图 17:连接数据源

步骤 3。选择要转换的数据并点击Create。在本演示中,我们将使用 Azure SQL 数据库中 AdventureWorksLT 示例数据的 SalesLT.Customer。另外,请务必点击“Select related tables”以自动添加两个相关表。

从 SQL Server 数据库中选择表

图 18:从 SQL Server 数据库选择数据。图像来源:Microsoft

步骤 4。现在您可以开始转换数据了。下一步请确保在“View”菜单中选中了“Diagram view”按钮。

Dataflow 中“Diagram view”的位置

图 19:“Diagram view”的位置

步骤 5。接着,右键单击 SalesLT Customer 查询(或点击右侧的三个竖点),选择Merge queries。

在 Dataflow 中合并查询

图 20:合并查询。图像来源:Microsoft

在合并设置中,选择要合并的 SalesLTOrderHeader 表,从两个表中选择 CustomerID 列作为连接列,并将连接类型设置为Left outer。点击OK 完成合并。

搞定!

您刚刚完成了一次合并数据转换。

在 Microsoft Fabric 中构建数据管道

数据编排可通过 Data Pipelines 工具完成。Data Pipelines 为您提供强大的内置工具,以创建灵活的工作流来满足特定用例的需求。

在一个管道中,您可以将多个协同完成任务的活动组合在一起,比如调用 Dataflow 来清洗并准备数据。尽管管道与数据流有相似功能,但最佳选择取决于您的需求——如果需要更复杂、健壮的方案,请选择管道;如果需求更简单,数据流或许已足够。

本节中,我们将把上面数据流生成的数据复制为文本格式,并存储到一个 Azure Blob Storage 帐户中。

步骤 1。在您的工作区中选择New,然后选择Data pipeline。系统会提示您为新管道命名。

在 Microsoft Fabric 中创建新的数据管道

图 21:为新数据管道命名

步骤 2。现在我们需要配置一个 dataflow。要在管道中添加新的 dataflow 活动,请前往Activities 选项卡并选择Dataflow。

在 Fabric 的数据管道中添加 Dataflow 活动

图 22:向数据管道添加 Dataflow 活动

步骤 3。在管道画布上点击刚添加的 dataflow,然后切换到Settings 选项卡。从下拉列表中选择您上面创建的数据流(注意这假设您已保存该 dataflow)。

将现有 Dataflow 添加到 Fabric 管道

图 23:添加现有 Dataflow

步骤 4。随后点击Save,准备就绪后点击Run 来填充您在上一步设置的合并查询表。

下一步是将数据流复制为文本格式并存储在 Azure Blob Storage 中。操作如下:

步骤 5。在画布上选择Copy data 打开Copy Assistant 工具开始,或在功能区的Activities 选项卡下,从Copy data 下拉菜单选择Copy Assistant。

在 Microsoft Fabric 中使用复制助手

图 24:使用复制助手

步骤 6。接下来通过选择类型来选择您的数据源。注意我们一直使用的是 Azure SQL Database。因此,您需要滚动到Azure 选项卡并选择Azure SQL Database,然后点击Next。

选择 Azure SQL Database 数据源

图 25:选择数据源

步骤 7。要连接到数据源,请选择Create new connection。使用“AdventureWorksLT”作为生成合并查询的数据库,然后点击Next。选择上面通过 dataflow 创建的表,然后点击Next。

步骤 8。将目的地选择为 “Azure Blob Storage”,然后点击Next。为目的地创建连接并填写所需信息。选择Folder path 并提供File name。

在 Microsoft Fabric 中连接数据目的地

图 27:连接数据目的地

步骤 9。再次点击Next 以确认默认文件格式、列分隔符、行分隔符与压缩类型。您也可以按需包含表头。完成设置并检查后,选择Save + Run 完成流程。

搞定!

您已创建一个新管道,将数据流生成的数据迁移到 Azure Blob Storage 帐户。

在 Microsoft Fabric 中的协作与共享

Microsoft Fabric 通过工作区简化协作,工作区充当团队的中心枢纽。

用户可以在工作区中分配角色以进行访问与协作。此外,项目级共享提供更精细的控制,使您能够为特定项目管理权限,超越工作区内已分配的角色范围。

以下情形尤其适用:

  • 您希望与工作区外的同事协作(即没有角色的人员)。
  • 您需要为已在工作区中具有角色的团队成员,赋予某些特定项目的额外权限。

下面看看如何共享项目。

步骤 1。在项目列表中或查看打开的项目时,点击Share 按钮。

Microsoft Fabric 中的分享按钮

图 28:分享按钮

随后会出现一个Create and send link 对话框。

步骤 2。选择People in your organization can view 选项。这会打开Select permissions 对话框,您可以决定谁可访问共享链接。

在 Microsoft Fabric 中用于共享的选择权限对话框

图 29:选择权限对话框

这将为您提供以下选项:

  • 组织内人员:该链接允许组织内的人员访问该项目,即对外部或访客用户无效。适用于向内部同事共享、允许公司内转发链接,或希望确保外部/访客用户无法访问的情况。
  • 已有访问权限的人员:提供指向该项目的直接链接,而不更改权限。适合仅向已拥有访问权限的人发送项目。
  • 特定人员:可与特定个人或群组共享。需输入其姓名或邮件地址。您也可与注册在组织 Microsoft Entra ID 中的访客用户共享,但对未被列为访客的外部用户无效。

步骤 3。确定可查看工作区的人员后,您还需选择通过链接授予的权限。完成后选择Apply。

这将打开Create and send link 对话框,您可以选择:

  • 复制共享链接
  • 生成包含链接的电子邮件
  • 通过 Teams 共享链接
  • 选择特定人员共享链接

步骤 4。选择最适合您的方式,即可完成。

结语

在本教程中,我们介绍了 Microsoft Fabric 入门的要点,包括:

  • 设置工作区
  • 连接数据源
  • 使用 Dataflow 进行数据转换
  • 构建管道

我们还探讨了协作功能,便于在组织内共享项目,从而提升团队生产力。有了这些基础,您已准备好充分利用 Microsoft Fabric 的强大能力。

准备继续学习了吗?不妨扩展相关工具的知识。Introduction to Power BI 课程为可视化与报告打下良好基础。此外,Understanding Microsoft Azure 与 Understanding Microsoft Azure Architecture and Services 课程可帮助您更深入了解微软云生态。

常见问题

Microsoft Fabric 与 Snowflake 有何区别?

Microsoft Fabric 无缝融入 Azure 生态,提供全面的数据管理与分析能力,具备很强的适配性。相比之下,Snowflake 以卓越的可扩展性与易用性著称,专注于在各类云环境中实现高效的数据仓储与处理。

Databricks 与 Fabric 有何不同?

Databricks 是为数据处理而设计的云平台,为数据科学家、工程师与分析师提供协作工作区。与之相对,Fabric 是一个综合性的分析平台,统一了组织在数据与分析方面所需的全部工具与资源。

Azure 与 Fabric 有何区别?

Azure 是广泛的云计算平台,提供用于构建、部署与管理应用的服务。相比之下,Microsoft Fabric 是一个统一的分析平台,侧重整合数据工程、数据仓储与商业智能。

Microsoft Fabric 与 Microsoft Power BI 有何区别?

Microsoft Fabric 是一个覆盖数据全生命周期的综合平台,包括摄取、存储、转换与分析。而 Power BI 是微软生态中的一款工具,专注于数据可视化与报告。尽管 Power BI 集成在 Fabric 中,但 Fabric 提供了更广泛的数据管理与分析功能。

我可以将 Microsoft Fabric 与微软生态之外的数据源一起使用吗?

可以。Microsoft Fabric 支持多种数据源,包括非微软的云提供商、本地数据库与外部 API。您可以使用数据连接器将 Fabric 连接到如 AWS 或 Google Cloud Storage 等来源,使其在多云与混合数据环境中具备良好适配性。

Microsoft Fabric 是否适合实时分析?

可以。Microsoft Fabric 借助 Azure Synapse 与 Power BI 等服务支持实时分析。它允许您处理流数据、创建仪表板并实时监控关键指标,适用于需要及时数据洞察的场景。

在 Microsoft Fabric 中使用 Dataflows 与 Pipelines 的主要区别是什么?

Fabric 中的 Dataflows 适用于低代码的数据转换任务与更简单的工作流,例如为分析进行数据清洗与准备。Pipelines 则更健壮、更灵活,可创建包含多种活动的复杂数据工作流。若需要编排数据处理的多步骤或在环境之间移动数据,Pipelines 更适合;而对相对直接的数据准备任务,Dataflows 通常更合适。


Kurtis Pykes 's photo
Author
Kurtis Pykes
LinkedIn
主题
数据工程
数据分析

通过以下课程进一步学习数据工程与云计算!

课程

Microsoft Fabric 入门

4 小时
13.7K
了解 Fabric 的主要用例,你将探索七个 Fabric 体验中的各种工具。
查看详情开始课程

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续
继续操作即表示您接受我们的《使用条款》和《隐私政策》,并同意您的数据存储在美国。
查看更多