跳至主要内容

DuckDB 让 SQL 在 DataLab 中成为一等公民

在这篇博文中,我们梳理了所有近期改进,让您无需离开工具,就能以无缝且高效的方式使用 SQL 查询数据。
Filip Schouwenaars
Filip Schouwenaars

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

在 DuckDB 中编程的鸭子在当今数据驱动的世界中,从原始信息中提炼有价值的洞见对企业和研究人员同样至关重要。DataLab 正是在此背景下应运而生:这是 DataCamp 提供的全托管协作式数据笔记本,简化数据分析,并让与同事、合作伙伴或客户的分享变得轻而易举,无需操心配置与环境搭建。

由于 SQL 依然是众多数据项目的基础构件,我们一直在努力进一步增强 DataLab 的 SQL 能力。

查询 CSV 文件与数据框

许多 DataCamp 用户正处于数据科学之旅的起步阶段,并不具备专用数据库或数据仓库的访问条件。相反,他们希望动手尝试从网上找到或从本地计算机上传的 CSV 文件。我们在举办由 DataLab 驱动的直播培训时也遇到过这一限制:每次想做 SQL 培训都得先搭一个数据库,十分繁琐。

这种日子一去不复返了!借助 DataLab 笔记本中的 SQL 单元,您可以直接查询 CSV 文件。这样一来,您的 CSV 文件就被当作可查询的数据库,和其他数据库并无二致。点击此处试用

image2.png

用户对这一提升反响热烈,因为对 CSV 的支持让他们完全免去了数据库搭建。也有人钟情于 DataFrame SQL 支持带来的工作流,可以在 SQL 与 Python 之间自由切换,兼收两种语言之长。

工作原理

这一新能力由 DuckDB 提供支持。它被称为“分析领域的 SQLite”,这款嵌入式分析型数据库引擎能够以出色的性能查询 CSV 文件。当用户选择“DataFrames and CSVs”时,DataLab 不再像以往那样把查询发送到数据仓库,而是将查询转换为 Python 代码,在用户会话中调用 DuckDB Python API,并返回所得的 DataFrame。

除了查询 CSV 文件,DuckDB 还允许我们查询在笔记本中更早创建的内存中 DataFrame。这带来了相当强大的工作流,例如:

  • 使用 SQL 单元查询一个 CSV 文件。查询结果将作为 pandas DataFrame 提供
  • 借助部分 pandas 函数进行清洗与重构,以应对在 SQL 中较难实现的处理。将结果存为新的数据框。
  • 使用 SQL 再次查询该结果数据框以计算聚合,这在 SQL 的 GROUP BY 功能下十分直观。

其他改进

表与列名自动补全

我们并未止步于 CSV 与 DataFrame 支持。编写 SQL 查询可能很费劲,尤其是在包含大量表与列的大型数据库中。为此,我们在 DataLab 中引入了表和列名的自动补全功能。随着您输入查询,我们的智能系统将根据您的输入自动建议相关的表与列名,帮助您避免拼写错误并节省时间。

在您编写 SQL 查询时,会自动建议表和列名。

这一新功能不仅提高了工作效率,还最大限度地减少了错误。无论您是经验丰富的 SQL 老手,还是刚刚入门,自动补全都能助您更快写出更好的查询。

改进的架构浏览器

为便于浏览和探索已连接的数据库,我们对 DataLab 的架构浏览器进行了全面改造。现在,您可以快速查看已连接数据库中的所有表,对其进行搜索,甚至只需几次点击即可预览其内容。

通过便捷快捷方式浏览架构、表和列,快速开启查询。

我们增强的架构浏览器旨在帮助您更高效地处理数据,使您能少花时间寻找合适的表或列,把更多时间用在挖掘有价值的洞见上。

为 SQL 查询添加参数

在使用 SQL 时,您有时会希望根据先前计算结果或笔记本中的其他数据动态更新 SQL 查询。DataLab 现已支持 SQL 参数化,允许您将变量插入到 SQL 查询中。

通过插值将 Python 或 R 变量插入到您的 SQL 查询中

更多数据库与数据仓库集成

无论数据存放在哪里,您都应该能够无缝访问。DataCamp 已经支持在 SQL 单元中查询所有常见的数据库与数据仓库,包括 PostgreSQL、MySQL、Redshift、Oracle、SQL Server、BigQuery 和 Athena。我们还将为平台添加更多集成,例如 Snowflake 和 ClickHouse,以覆盖所有数据技术栈与使用场景。

让分析更快、更愉悦

在 DataCamp,我们致力于让您的数据分析体验无缝且愉悦。借助这些 SQL 增强功能,我们相信 DataLab 现已更能助您充分释放数据潜能。无论您是数据科学家、业务分析师,还是热爱与数据打交道的人士,我们有信心 DataLab 将帮助您优化工作流并提升分析水平。试试这些新功能,亲身感受不同!

与此同时,我们将继续拓展数据分析的边界,解锁更多洞见发现的可能性,包括笔记本调度、暗黑模式、原生 dbt 支持、高级仪表板等更多功能!有需要改进的地方吗?有什么让您特别期待的功能?欢迎发送邮件至 [email protected] 告诉我们!谢谢!

主题