Databricks Genie：AI 驱动的问答在 Databricks 中如何运作

Databricks Genie 是一款零代码的对话式分析界面，它能将自然英语问题转化为分析查询，立即提供洞察、可视化和摘要。

把它想象成与一位数据专家聊天，对方无需编写复杂的 SQL 查询，就能在几秒钟内给出答案。本文将向您展示其工作原理。

如果您刚接触 Databricks，建议先学习我们的Databricks 入门和Databricks 概念课程，了解 Databricks 的核心功能与应用，为您的学习建立系统路径。

理解 Databricks Genie

Databricks Genie 是一款由 AI 驱动的对话式界面，改变了用户在 Databricks 数据智能平台中与数据交互的方式。Genie 位于 AI、自然语言处理（NLP）和商业智能（BI）的交汇点，让用户用自然语言提问并即时获得准确的、以数据为依据的答案。它也属于越来越多的同类工具之一，如 Power BI Copilot、Tableau Ask Data、Amazon QuickSight Q 和 ThoughtSpot，均允许您以自然语言提问。Genie 的独特之处在于它身处 Databricks 生态系统之内，能够以最小的阻力与大规模数据和分析工作流集成。

Databricks Genie 的一个关键差异化特性是其先进的多组件架构，它叠加多种专业化工具，以确保高准确性和上下文理解。不同于依赖僵化查询构建器或预设仪表板的传统 BI 工具，Genie 将强大的处理模型直接与 Databricks 统一的数据与治理框架集成。这种方法使 Genie 能够动态地解释自然语言问题，正确映射到所需的数据结构，并在所有数据源上生成精确、可执行的 SQL 查询。以我在 SQL 方面的丰富经验来看，我很欣赏 Genie 能产出简洁易懂、便于排查的 SQL 查询。

Databricks Genie 关键功能

Genie 的架构与技术

在了解 Genie 能做什么之前，您或许更关心它的底层原理。下面是 Genie 背后的架构与技术，旨在实现高性能、灵活性与准确性。

复合式 AI 系统及其优势

Genie 是一个复合式 AI 系统，也就是说，它是一种管理多个专业化 AI 组件和工具以解决复杂问题的架构。Databricks 文档在高层面描述了这一点：当用户提交问题时，Genie 会解析请求、识别相关数据源，并生成合适的响应。

• 意图解析 / NLU 代理： 理解用户在询问什么，例如指标、筛选条件、时间范围或聚合方式。
• 规划/编排代理： 将多步骤或复合问题拆解为有序的执行计划。
• 检索/锚定代理： 找到合适的表、列、仪表板和先前查询，以对请求进行语义锚定。
• SQL 生成代理： 将计划翻译为语法正确且优化的 SQL。
• 执行与适配器代理： 在正确的数据源上运行查询，并对原始结果进行格式化。
• 校验/安全代理： 检查权限、数据血缘，确保结果遵循治理规则。
• 摘要/可视化代理： 生成易读的文字摘要、图表和数据表。

Genie AI 的多代理系统非常重要，因为每个代理都可针对单一用例进行微调。同时，也可以在不彻底重构系统的情况下新增代理，如空间数据或时间序列专家等。作为开发者，您可以分别审计与基准测试各个代理。

精心策划的语义知识库

知识库为 Genie 提供组织内部的上下文，从而实现更准确的从语言到查询的转换。其组件包括：

• 语义元数据： 包含友好的列名、标准化指标和业务定义，用以指导 Genie 的业务逻辑。
• 取值采样： 为列内容提供小规模代表性样本，帮助检索器与 SQL 生成器选择合理默认值并识别可能的筛选条件。
• 取值词典与实体列表： 这是一个将用户术语映射到这些取值的词典，确保同义词被正确映射。
• 嵌入/向量索引： 用于对相关文档、笔记本、仪表板和历史查询进行模糊匹配与语义检索。
• 血缘与治理元数据：控制可访问性、可信来源以及最近一次刷新的时间戳。

Genie 如何生成响应

以下是 Genie 从用户输入到最终呈现的一般流程：

步骤 1：用户输入（自然语言）

用户输入问题，或上传文件（CSV/Excel）并就其提问。

步骤 2：意图解析与规范化

编排器与意图代理分析查询，并查询 Unity Catalog 以确认用户有权限访问哪些表与列。

步骤 3：上下文锚定（知识库 + 检索）

检索器参考语义元数据、嵌入索引和最近查询历史，将用户术语映射到具体的表、列与标准化指标。

步骤 4：规划与分解

若问题包含多个步骤，规划器会将任务拆解为有序的子任务。

步骤 5：SQL / 查询生成

SQL 生成代理会创建优化、可审计的 SQL（或针对其他系统的 API 调用）。它可能提出多种查询形态（如汇总版与明细版），并基于成本估计与权限选择最佳方案。

步骤 6：权限与治理检查

在执行前，校验器会检查基于角色的访问、数据敏感度标签、掩码规则以及审计需求，以确保合规。若用户缺乏权限，系统会拒绝请求或返回掩码/安全的替代结果。

步骤 7：执行与适配层

系统在相应的计算环境（Databricks SQL 仓库、湖仓表、外部数据库或上传文件适配器）上执行查询。结果将以流式返回并进行抽样以保证响应速度。

步骤 8：后处理与验证

对结果进行验证；若发现异常，校验器可触发重跑或向用户提出澄清问题。

步骤 9：摘要、可视化与解释

摘要器会生成通俗易懂的要点与推荐可视化；可视化代理会渲染图表与数据表，并准备可分享的洞察卡片。

步骤 10：反馈回路与学习

用户反馈与查询日志将被用于改进知识库、优化同义词，并在必要时对代理进行再训练。

什么是 Genie 空间以及如何配置

Genie 空间是 Databricks Genie 中精心策划的环境，用于定义支撑对话式分析的数据、语义与业务逻辑。将 Genie 空间视为一个上下文层，您在其中告知 Genie 应使用哪些数据、含义是什么，以及应如何解读。

下面我将展示如何在 Databricks 中配置 Genie 空间。

技术要求与初始设置

在创建 Genie 空间之前，您需要具备以下技术与治理前提条件：

• 计算资源： 确保您的 Databricks 工作区有可用于执行查询的活动 SQL 仓库或计算集群。
• 权限： 您需要具备相应的Unity Catalog 权限以访问与管理数据集，以及在 Genie 中的管理员或编辑者权限。
• 治理设置： 工作区应已定义数据血缘跟踪、分类标签与访问策略，以保障合规。

在初始设置中，您可以通过 Databricks 界面或 REST API 按以下步骤创建新的 Genie 空间：

• 在 SQL Persona 中进入 "Genie Spaces" 区域。

• 点击 "Create Space" 并为其命名，例如 "Finance Analytics"。

• 从 Unity Catalog 中选择将纳入该空间范围的表和视图。

• 保存并发布空间，供获授权的团队使用。

配置与策划空间

创建空间后，下一步是策划知识库。该步骤将为 Genie 空间补充语义细节与示例，以提升可解释性与用户体验。您可以通过以下方式实现：

• 编辑列元数据： 添加易懂的名称、业务定义与使用说明，提升 Genie 对用户意图的理解。

• 定义 SQL 表达式： 创建自定义指标、计算字段或别名，如“净收入”。

• 添加可信资产： 还可以将相关的仪表板、笔记本或参考表关联为可信数据源。
• 添加示例查询： 包含示例问题与回答，帮助 Genie 学习上下文并为用户提供指引。

界定范围并邀请领域专家参与

每个 Genie 空间都应有明确的目的与受众。例如，销售分析空间可聚焦销售管道、订量与收入；客户洞察空间则可围绕流失、参与度与 NPS 数据展开。清晰界定空间可避免混淆并提升回答的精确度。

同样重要的是邀请该业务单元的领域专家参与。若创建销售空间，负责配置空间的数据分析师应与销售负责人直接合作。这些专家能提供准确的业务术语、验证 KPI 定义，并熟悉团队常见的问题需求。

指令类型与基准测试

您可以在知识库中通过多种方式引导 Genie，每种方式各司其职：

• SQL 表达式： 教会 Genie 计算复杂指标或 KPI。
• 示例查询： 提供具体示例，展示用户如何高效提问。
• 示例问题： 在 Genie 聊天窗口中展示快速入门提示，鼓励探索。

为确保一致质量，请始终通过在所有空间中运行具有代表性的问题来测试与基准评估 Genie 的回答。同时验证结果的准确性、完整性与合规性。

用户交互与治理

配置好 Genie 空间后，您即可通过对话界面与其交互。在这里，您可以就空间领域相关的问题进行自然语言提问，并通过追问来细化结果并提供反馈。界面支持以不同形式查看结果，包括摘要、可视化和数据表。

需要注意的是，Genie 会自动执行治理与权限控制，仅暴露用户被授权访问的数据。基于角色的访问控制、数据掩码与血缘可见性确保所有交互安全且可审计。

集成、API 与高级用例

Databricks Genie 提供灵活的 API 端点与集成选项，可将对话式分析连接到更广泛的业务应用、协作工具与 AI 系统。下面来看部分功能。

Genie 会话 API 与集成

Genie 会话 API 允许开发者将 NLP 直接接入业务应用、聊天机器人与外部数据系统。该 API 处理必要步骤，包括身份验证、发起会话、检查查询状态以及以 JSON 格式检索结果，便于在各类平台中解析与集成数据。

Genie 还支持与流行的协作平台集成，正如我前文所述，包括 Slack、Microsoft Teams 和 Databricks 笔记本。我相信很快会有更多集成。

在使用Databricks API 实现集成时，请注意并发查询请求、令牌限制与响应缓存等限制，以保持可靠性。为优化集成，可使用批量请求、缓存高频查询并在离峰时段调度工作负载。

高级功能与多代理系统

Genie 的架构采用多组件处理系统，支持更复杂、更精细的分析工作流。这些高级设置使 Genie 能处理复杂任务，如主题抽取、情感分析，以及跨多个数据集整合洞察。不断扩展的知识库通过提供更丰富的业务术语定义与更广泛的数据上下文，进一步增强了这些能力。

新一代知识库与产品更新

近期的产品更新持续扩大了 Genie 的覆盖面与可用性，包括：

• 文件上传支持： 用户现在可以将 CSV 或 Excel 文件直接上传到 Genie 对话中，进行即时、临时性探索。

• 增强的语义元数据： Genie 现在能更好地理解并应用来自 Unity Catalog 与知识库的业务语义，提升回答的上下文准确性。
• 跨平台可达性： Genie 在 Web、笔记本与聊天集成中的体验日益一致，为所有用户提供统一的分析体验。
• 性能与优化改进： 更快的 SQL 生成、改进的缓存与更智能的查询规划可降低延迟并提升响应速度。

评估与改进 Genie 的回答

创建 Genie 空间后，按照最佳实践，您应持续评估并改进 Databricks Genie 的回答。以下是一些思路：

基准测试与反馈

为测试准确性，您可用测试问题及其精确、正确的 SQL 答案建立基准。系统通过对比 Genie 的生成输出与期望结果来评分。随后将这些回答归类为“良好”或提交“人工审核”。这一流程量化了 Genie 在各类用户查询中的质量与可靠性。

迭代训练与响应评估

Genie 允许用户对回答进行评分、标记问题并提供澄清，这些信息将用于系统的迭代训练与调优。该反馈回路帮助作者完善指令、示例 SQL 查询与元数据，以更好地引导 Genie 的解读。随着时间推移，这些调整将提升 AI 处理多样化查询的能力并降低错误率。

监控与持续改进工具

Databricks 提供多种监控工具与仪表板，用于评估 Genie 的运行健康状况与用户参与度。这些工具允许管理员跨空间跟踪查询的成功与失败率，也可用于识别常见问题与 Genie 表现不佳或结果不一致的主题。工具还能分析反馈趋势以定位再训练或澄清的方向，并审查系统日志与审计跟踪以满足合规与质量保障。

结语

Databricks Genie 推动了数据民主化的发展，让组织内的各类人群能够通过简单的自然语言问题获得有价值的洞察。在我亲历的以 SQL 为中心的工作流中，即便是基础问题也常常被转化为技术请求，而移除这一障碍的确改变了团队获取信息的方式。

展望未来，这一转变与整个分析领域的发展趋势相呼应。对话式分析正逐步变得更自然、更具上下文意识。Genie 将继续在更深层的语义理解与更主动的智能方面演进。

如果您想成为专业的数据工程师，建议学习我们的dbt 入门和用 PySpark 学习大数据基础课程，学习如何使用 SQL 构建面向大数据分析的 ETL 管道。亦可查看我们的PySpark 大数据技能路径，通过实操项目掌握 PySpark API 的实用技能。下一步，建议学习我们的SQL 助理数据工程师职业路径，成为一名熟练的数据工程师。