跳至主要内容

用 5 个步骤分析您的业务数据

了解分析数据并从中提取价值的各个步骤,以及这一过程中涉及的方法与技术。
Javier Canales Luna
Javier Canales Luna

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

大数据就是大生意。社会的快速数字化带来了前所未有的数据增长。随着虚拟现实、元宇宙、物联网(IoT)和 5G 等新技术与基础设施的出现,这一趋势很可能在未来持续。因此,了解如何分析数据至关重要。

数据已成为 21 世纪经济中最宝贵的资产之一。政府、企业和个人都在利用数据改进决策流程。这导致对能够处理和分析海量数据的专业人才需求激增。

然而,许多公司仍在为如何管理并理解数据而苦恼。根据 Splunk 的一项调查,企业收集的全部数据中有 55% 被视为“暗数据”——也就是企业在日常业务活动中收集却未能使用的数据。有时企业根本不知道这些数据的存在,但更多情况下,之所以不分析数据,是因为缺乏合适的人才。

通过内部数据科学培训项目培养员工,是缓解数据科学家短缺的最佳策略之一。与常见看法相反,开始分析数据并不一定需要统计学高等学位或计算机科学博士。市场上针对不同人群与场景有大量选择。以 DataCamp 为例,我们为个人与组织提供全面的数据培训。

本文将介绍数据分析流程。我们会呈现一个简明框架——数据科学工作流,列出从原始数据走向有价值洞见所需遵循的简单步骤。

如何借助数据科学工作流分析数据

当数据从业者启动一个涉及数据分析的新项目时,通常会遵循一个五步流程。这就是我们所说的数据科学工作流,其组成部分如下:

  1. 明确业务问题
  2. 收集与存储数据
  3. 清洗与准备数据
  4. 分析数据
  5. 可视化与沟通数据

数据科学工作流

在接下来的章节中,我们将更详细地了解每一步。

尽管数据科学工作流可能因任务而异,但每次启动新数据项目时坚持使用一致且明确的框架很重要。这将帮助您规划、实施并优化工作。

1. 明确业务问题

数据的价值取决于您提出的问题。许多机构耗资数百万从不同来源收集各类数据,但却未能从中创造价值。事实是,无论公司拥有哪些数据,或数据科学团队规模多大,只有当您识别出正确的业务问题时,数据才会真正改变游戏规则。

将数据转化为洞见的第一步,是定义一套清晰的目标与问题。以下是一些示例:

  • 公司需要什么?
  • 我们试图解决哪类问题?
  • 数据如何帮助解决问题或业务疑问?
  • 需要哪种类型的数据?
  • 我们将使用哪些编程语言与技术?
  • 在数据分析过程中将采用何种方法或技术?
  • 我们将如何衡量结果?
  • 团队之间如何分配数据相关任务?

在数据科学工作流的第一步结束时,您应对后续的推进路径有清晰且明确的认识。这份纲要将帮助您在数据的复杂性中把握方向、达成目标。

不要担心在这一步多花时间。识别正确的业务问题对于提升效率至关重要,最终能为公司节省时间与其他资源。

2. 收集与存储数据

现在您已有清晰的问题清单,是时候亲自上手了。首先,您需要收集并把数据安全地存储起来,以便分析。

在数据驱动的社会中,每秒都会产生海量数据。三大主要数据来源包括:

  • 公司数据。由企业在日常活动中产生,如网页事件、客户数据、金融交易或调研数据。此类数据通常存储在关系型数据库中。
  • 机器数据。随着传感与 IoT 技术的进步,越来越多的电子设备在生成数据,范围从相机、智能手表到智能家居与卫星。
  • 开放数据。鉴于数据对经济创造价值的潜力,政府与企业正在发布可自由使用的数据,通常通过开放数据门户和 API(应用程序编程接口)提供。

我们可以将数据分为两类:

  • 定量数据。可以用数值计数或测量的信息。通常以电子表格或SQL 数据库的结构化形式存在。
  • 定性数据。当今生成的数据大多为定性数据,常见示例包括文本、音频、视频、图像或社交媒体数据。定性数据往往是非结构化的,难以用标准电子表格或关系型数据库进行存储与处理。

根据您希望回答的业务问题,会采用不同类型的数据与技术。一般而言,定性数据的采集、存储与分析比定量数据需要更为先进的方法。

3. 清洗与准备数据

收集并存储好数据后,下一步是评估其质量。务必牢记,数据分析的成败高度依赖于数据质量。如果信息不准确、不完整或不一致,结论就会错误或具有误导性。因此,投入时间进行清洗与准备是必不可少的。想了解更多,请查看我们关于劣质数据征兆的文章。

原始数据很少能直接用于分析。评估数据质量对于发现并纠正错误至关重要。此过程包括修复如下问题:

  • 删除重复的行、列或单元格。
  • 删除分析中不需要的行与列。若您处理的是占用大量内存的大型数据集,这一点尤为重要。
  • 处理数据集中的空白,即空值
  • 处理异常与极端值,即离群值
  • 标准化数据结构与类型,确保所有数据以一致方式表达。

发现数据中的错误与异常本身就是一种数据分析,通常称为探索性数据分析。

探索性数据分析

探索性数据分析旨在研究并总结数据特征。主要方法包括统计与数据可视化:

  • 统计提供用于概括数据的简要信息性系数,常见统计量包括均值、中位数、标准差与相关系数。
  • 数据可视化是对数据的图形化呈现。根据数据类型,不同图表的适用性不同。例如,箱线图非常适合可视化数据分布并分离极端值。

本阶段投入的时间在很大程度上取决于数据量与数据质量。然而,数据清洗通常是数据科学工作流中最耗时的一步。事实上,数据科学家有 80% 的时间花在这一阶段。

如果您所在的公司在日常业务中需要进行数据分析,提高此阶段效率的良策是实施数据治理策略。通过就如何清洗与处理数据制定明确规则与政策,公司将更好地应对数据,并减少清洗所需时间。

若您想了解数据清洗流程的具体做法与主要数据问题类型,可查看我们的Python 数据清洗课程与R 数据清洗课程。此外,如欲学习探索性数据分析的实操方法,我们的SQL 探索性数据分析课程将助您入门。

4. 分析数据

现在数据已经较为干净,您可以开始分析了。发现模式、联系、洞见与预测,往往是数据科学工作中最令人满意的部分。

根据分析目标与数据类型,可用技术各不相同。多年来,为应对各类数据而不断涌现新技术与新方法,范围从简单的线性回归到源自前沿领域的高级方法,如机器学习、自然语言处理(NLP)与计算机视觉。

以下列出一些常见的数据分析方法,帮助您更深入地开展分析:

机器学习

这一人工智能分支提供一组算法,使机器能够从历史数据中学习模式与趋势。算法训练完成后,能够以不断提升的准确度进行泛化预测。根据要解决的问题类型,机器学习分为三类:

  • 监督学习是基于带标签的历史数据训练模型,让其学习输入与输出之间的关系。随后在已知输出值的测试集上评估预测准确率,从而在未来对未知数据进行预测。想了解更多监督学习内容,可学习 Datacamp 的scikit-learn 监督学习课程。
  • 无监督学习致力于在未给定因变量的情况下识别数据的内在结构,发现其中常见模式,基于属性对数据点进行分类,并据此对新数据进行预测。若想扩展无监督学习知识,请参考我们的Python 无监督学习课程。
  • 强化学习指算法通过与环境交互逐步学习,根据既往经验判断哪些动作能更接近解、哪些会使其远离解,并在特定步骤执行最优动作。其原理是对错误动作给予惩罚、对正确动作给予奖励,以帮助算法找到最优策略。准备进一步学习?请查看这篇强化学习入门教程。

深度学习:

机器学习的一个子领域,研究受人脑结构启发的人工神经网络算法。与传统机器学习算法不同,深度学习算法更少线性、更复杂且更具层次性,能够从海量数据中学习,并能在处理非结构化数据(如音频和图像)时产生高度准确的结果。

自然语言处理

机器学习的一个领域,研究如何让计算机理解人类语言(书面与口语)。NLP 是数据科学发展最快的领域之一。要开始入门,您可以报名我们的Python 自然语言处理技能路径。常见的 NLP 技术包括:

  • 文本分类。这是文本挖掘中重要的任务之一,属于监督式方法。它有助于识别给定文本(如博客、书籍、网页、新闻文章与推文)的类别或类型。
  • 情感分析。一种将用户的内容、想法、信念或观点进行量化的技术。情感分析有助于更好、更准确地理解人群。

计算机视觉

计算机视觉的目标是帮助计算机看懂并理解数字图像的内容。例如,要实现自动驾驶汽车,计算机视觉是必不可少的。入门的绝佳方式是学习我们的Python 图像处理技能路径。

一些常见的计算机视觉技术包括:

  • 图像分类。这是计算机视觉中最简单的技术之一,主要目标是将图像归入一个或多个类别。
  • 目标检测。该技术不仅能检测图像中存在哪些类别,还能定位它们的位置。最常见的方法是找到图像中的该类别,并用边界框对目标进行定位。

5. 可视化与沟通结果

数据科学工作流的最后一步是将分析结果进行可视化与沟通。要把洞见转化为决策,必须确保受众和关键相关方理解您的工作。

在这一步中,数据可视化是主角。前文已提到,数据可视化是将数据转化为可视化形式的过程。可使用图表、绘图、动画、信息图等方式呈现。其背后的理念,是让人们更容易识别数据中的趋势、离群点与模式。

无论是静态图表还是交互式仪表板,数据可视化对于让您的工作易于理解、有效传达洞见至关重要。以下是最常用的数据可视化工具:

Python 包

Python 是一种高级、解释型、通用编程语言。它提供多种优秀的绘图库用于数据可视化,例如:

  • Matplotlib
  • Seaborn
  • Plotly
  • Bokeh
  • Geoplotlib

Python 数据可视化技能路径包含一系列优质课程,帮助您用 Python 最流行且稳健的可视化库强化数据科学技能。

R 包

R 是一门用于统计计算与图形的编程语言。它是数据分析的利器,凭借其多样的包几乎可以创建任何类型的图表。常用的 R 数据可视化包包括:

  • ggplot2
  • Lattice
  • highcharter
  • Leaflet
  • Plotly

查看R 数据可视化课程与交互式数据可视化技能路径,用 R 语言提升您的可视化能力。

零代码开源工具

零代码工具为缺乏编程知识的人提供了易用的解决方案——当然具备编程技能的人也可选择使用它们。更正式地说:零代码工具是带有图形用户界面的应用,能够运行原生脚本以处理与增强数据。比较流行的有:

  • RAWGraphs
  • DataWrapper
  • Google Charts

商业智能工具

这些一体化工具被数据驱动型公司广泛采用。它们用于大规模原始数据的收集、处理、整合、可视化与分析,以支持业务决策。常见的商业智能工具包括:

  • Tableau
  • PowerBI
  • Qlik

若想进一步了解这些工具,强烈推荐我们的Tableau 入门课程与Power BI 入门课程。

近年来,为提升数据沟通效果出现了创新方法。其中之一是数据叙事,这一方法主张结合可视化、叙事与数据,将洞见转化为行动。收听我们与《有效数据叙事:如何用数据、叙事与可视化推动变革》作者 Brent Dykes 的DataFramed 播客节目,了解更多信息。

结语

希望您喜欢本文,并已准备好开始自己的数据分析。一个很好的起点是报名我们的数据科学入门课程。通过动手练习,学员将了解不同的数据科学家角色、A/B 测试、时间序列分析与机器学习等基础主题,以及数据科学家如何从真实世界数据中提取洞见。

在入门课程之后,我们还提供系统化学习路径,帮助学习者继续进阶。学员可在职业路径中选择偏好的语言(Python 数据科学家、R 或 SQL),通过围绕真实数据集的系统化、交互式练习掌握关键数据技能。

完成上述任一职业路径后,您可以继续参加数据科学认证项目,由专家对您的新技术技能进行验证与认证。

如何分析数据 常见问答

什么是数据分析?

数据分析是收集、清洗、转换与建模数据以发现有用信息的过程。参阅我们的完整“什么是数据分析”指南获取更深入的解释。

什么是数据科学工作流?

这是一个用于分析数据的五步框架。五个步骤分别是:1)明确业务问题,2)收集与存储数据,3)清洗与准备数据,4)分析数据,5)可视化与沟通数据。

数据清洗步骤的目的是什么?

用于发现并修复数据中的异常。这是在开始分析数据之前的关键步骤。

什么是数据可视化?

对数据的图形化呈现。可通过绘图、图表、地图等方式实现。

成为数据分析师需要理工科背景吗?

不需要!尽管学习编程具有挑战性,但数据科学欢迎所有人参与。只要有耐心、决心与学习意愿,前途无量。

主题