跳至主要内容

数据集与获取途径:穿行于信息版图

您是否在为寻找有趣的数据集而苦恼?找到示例数据集后,是否有计划如何处理?如果您对数据集有疑问,这篇教程正适合您!我们将介绍数据集的基本概念、获取渠道、清洗与探索方法,以及在哪里展示您的数据故事。
Amberle McKee
Amberle McKee

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

无论您是要为作品集添加一个数据项目,还是作为受薪数据科学家启动第一个项目,您的第一项任务都是找到一个合适的数据集。那么,什么是数据集,您又该到哪里去寻找?

数据无处不在,但要找到一个权威、易获取、并能回答您特定问题的信息来源,可能比看起来更难。不过,每个优秀数据项目的起点,都是找到一个优质的数据集。在本教程中,我们将简要介绍有哪些类型的数据集、如何找到它们,以及拿到之后该做些什么。

什么是数据集?

数据集就是一组信息的集合。通常,这些信息会以某种方式组织起来,但在您的语境中,它未必是立刻可用的,您可能需要做一些处理,才能让它变得可用。

数据有多种类型,组织方式也各不相同。常见的数据集类型包括:

  • 表格数据,即按表格(如电子表格)排列的数据
  • 关系型数据,即通过关系连接的一组表
  • 时间序列数据,即按时间顺序排列的数据。

其他数据集还可能包含图像、文本文档,或音频、视频记录的集合。

在哪里可以找到数据集?

寻找可用且可靠的数据集可能很耗时。网上有许多免费数据集,当然也有很多是付费甚至专有的。

要为您的项目找到所需数据,可能会受到付费墙、法律问题、知识产权限制等因素的影响,有时甚至不存在完全符合您需求的数据。

在这些情况下,您可能需要灵活变通,思考如何利用能获取的数据,或者干脆自行采集数据(这本身就可能是一个独立项目)。您可以看看这个Python 网络爬虫课程、这个数据科学导论课程,或者这个面向商业的数据科学课程来获取数据采集思路。

DataCamp 提供了便捷可用的精选数据集合集,涵盖多种主题。尤其当您不确定从哪里开始时,这里会是很好的起点。

其他优质来源包括政府网站、非营利组织网站、大学和图书馆。下表列出了一些寻找有趣数据集的优秀资源。

数据集来源

网页链接

DataCamp

https://www.datacamp.com/workspace/datasets

Google Dataset Search

https://datasetsearch.research.google.com/

Data.gov

https://data.gov/

Datahub

https://www.datahub.io/search

UCI 机器学习资料库

https://archive.ics.uci.edu/

Kaggle

https://www.kaggle.com/datasets

美国国会图书馆

https://guides.loc.gov/datasets

美国人口普查局

https://www.census.gov/data/datasets.html

联邦贸易委员会

https://www.ftc.gov/policy-notices/open-government/data-sets

世界卫生组织

https://www.who.int/data/sets

美国疾控中心

https://open.cdc.gov/data.html

美国国立卫生研究院

https://www.ncbi.nlm.nih.gov/datasets/

选择数据源时,评估其质量与可靠性至关重要。最重要的是,您需要确认数据来源是否可信。每个DataCamp 数据集都带有源材料链接,便于您核验其真实性。

对于其他数据来源,您可能需要多做一些调查,以确保所用数据可靠。您应考虑的可靠性因素包括数据如何采集、数据代表了哪些群体、以及采集过程中是否存在偏差。

选择数据集时还要考虑为获得可用格式所需的数据清洗与整理工作量。选择更为精选的数据集可能为您节省时间。然而,使用更“杂乱”的数据往往难以避免,这类数据需要投入大量精力来统一字段格式、处理缺失值并删除重复数据。

这篇数据清洗教程将帮助您解决其中一些问题。

探索数据集结构

有一些用于描述数据集各组成部分的标准术语,了解它们很有帮助。

表格数据集由行和列构成。通常,每一行对应一条记录,每一列表示该记录的某个属性或变量。

位于行列交叉处的每个单元格包含一个值。索引会为每条记录分配一个编号。表头(每列的第一行)通常是该属性或列的名称。在关系型数据库中,各个表可以通过关系相互连接。

image1.png

当您首次获取数据集时,务必对其进行检查,并识别这些关键特征。有很多方式可以查看数据集,包括将其加载至 Python、SQL、R 或 Matlab,并调取指定的行进行展示。

根据文件类型和大小,您也可能直接在 Microsoft Excel 或 Google 表格中打开并查看。请注意,如果数据集非常大,一次性加载全部数据会占用大量内存,您可能需要分块查看。

清洗与准备数据集

通常,在为项目拿到数据集之后,下一步就是进行大量清洗与准备工作,以使数据达到可用的格式。选用精选数据集(如 DataCamp 提供的)可以减少所需的清洗量。

不过,您仍很可能需要根据自己的需求调整数据集。尤其当项目需整合多个来源的数据时更是如此。

image3.png

在清洗和准备数据集时,您可能需要执行的一些常见任务包括:

  • 移除与分析无关的数据
  • 识别并删除重复数据条目
  • 纠正拼写、大小写错误或不一致的命名规范
  • 删除或填补缺失数据
  • 将分类数据编码为数值格式
  • 将数据转换为一致格式
  • 确保数据集内部的一致性与准确性

想了解更多,请查看Python 数据清洗课程或SQL Server 数据库中的数据清洗课程。

探索性数据分析

探索性数据分析可帮助您真正理解数据集,这是在进行更复杂分析前的关键一步。许多初级数据从业者跳过了这一步,最终因此吃亏。

我强烈建议您在开展任何建模、机器学习或其他更复杂的分析之前,先对数据集进行多种探索性分析。

这一步有助于您捕捉数据集中的异常、不一致或问题,引导您后续选择合适的分析方法,并帮助您发现与纠正异常结果。

探索性分析应采取多种形式,从描述性统计到简单可视化。对于大多数表格数据集,汇总统计(如均值、中位数、标准差)以及一些简单的散点图或条形图,能为您提供关于数据模式与行为的有益洞见。

我鼓励您尽可能为数据集中的更多变量作图。尽管这些图表未必会出现在项目最终的仪表板、报告或应用中,但它们能为您的过程提供指引。了解更多关于Python 中的探索性数据分析或R 中的探索性数据分析。

讲好您的数据故事

每个数据项目的终点,都是向相关方呈现您的发现。无论您的受众是业务干系人、潜在雇主,还是数据同事,关键在于您的洞见是否清晰易懂。

有时,一张配有描述性标题的简单图表就足够;而在另一些情况下,可能需要更复杂的仪表板。无论选择何种方式,您都应确保自己的解读忠实于数据集本身。

数据可视化速查表

我们的数据可视化速查表可帮助您选择展示数据集的最佳方式。

目标应是如实向受众传达数据集所代表的含义,以及它如何回答您的问题。查看数据故事讲述技能路径,掌握这一关键的数据技能。

DataCamp 是展示您的数据作品集的绝佳平台。其他常见的托管选择包括GitHub 仓库或个人专业网页。无论您将项目托管在哪里,都要确保目标受众能够轻松访问。

结语

信息是数据科学的核心。数据集将信息汇集于一处,使我们得以识别趋势、进行预测,并推动人类进步。起初,寻找可供分析的数据集可能会让人望而生畏,但只要知道从哪些地方开始找,情况就会大不相同。看看 DataCamp 精选的有趣数据集,寻找激发您灵感的素材吧!

Amberle McKee

作者

Amberle McKee

我拥有博士学位,在生物研究环境中从事数据相关工作已有13年。我使用包括 Python、MATLAB 和 R 在内的多种编程语言开发软件。我热衷于与世界分享我对学习的热爱。

主题