深度学习:
机器学习的一个子领域,研究受人脑结构启发的人工神经网络算法。与传统机器学习算法不同,深度学习算法更少线性、更复杂且更具层次性,能够从海量数据中学习,并能在处理非结构化数据(如音频和图像)时产生高度准确的结果。
自然语言处理
机器学习的一个领域,研究如何让计算机理解人类语言(书面与口语)。NLP 是数据科学发展最快的领域之一。要开始入门,您可以报名我们的Python 自然语言处理技能路径。常见的 NLP 技术包括:
- 文本分类。这是文本挖掘中重要的任务之一,属于监督式方法。它有助于识别给定文本(如博客、书籍、网页、新闻文章与推文)的类别或类型。
- 情感分析。一种将用户的内容、想法、信念或观点进行量化的技术。情感分析有助于更好、更准确地理解人群。
计算机视觉
计算机视觉的目标是帮助计算机看懂并理解数字图像的内容。例如,要实现自动驾驶汽车,计算机视觉是必不可少的。入门的绝佳方式是学习我们的Python 图像处理技能路径。
一些常见的计算机视觉技术包括:
- 图像分类。这是计算机视觉中最简单的技术之一,主要目标是将图像归入一个或多个类别。
- 目标检测。该技术不仅能检测图像中存在哪些类别,还能定位它们的位置。最常见的方法是找到图像中的该类别,并用边界框对目标进行定位。
5. 可视化与沟通结果
数据科学工作流的最后一步是将分析结果进行可视化与沟通。要把洞见转化为决策,必须确保受众和关键相关方理解您的工作。
在这一步中,数据可视化是主角。前文已提到,数据可视化是将数据转化为可视化形式的过程。可使用图表、绘图、动画、信息图等方式呈现。其背后的理念,是让人们更容易识别数据中的趋势、离群点与模式。
无论是静态图表还是交互式仪表板,数据可视化对于让您的工作易于理解、有效传达洞见至关重要。以下是最常用的数据可视化工具:
Python 包
Python 是一种高级、解释型、通用编程语言。它提供多种优秀的绘图库用于数据可视化,例如:
- Matplotlib
- Seaborn
- Plotly
- Bokeh
- Geoplotlib
Python 数据可视化技能路径包含一系列优质课程,帮助您用 Python 最流行且稳健的可视化库强化数据科学技能。
R 包
R 是一门用于统计计算与图形的编程语言。它是数据分析的利器,凭借其多样的包几乎可以创建任何类型的图表。常用的 R 数据可视化包包括:
- ggplot2
- Lattice
- highcharter
- Leaflet
- Plotly
查看R 数据可视化课程与交互式数据可视化技能路径,用 R 语言提升您的可视化能力。
零代码开源工具
零代码工具为缺乏编程知识的人提供了易用的解决方案——当然具备编程技能的人也可选择使用它们。更正式地说:零代码工具是带有图形用户界面的应用,能够运行原生脚本以处理与增强数据。比较流行的有:
- RAWGraphs
- DataWrapper
- Google Charts
商业智能工具
这些一体化工具被数据驱动型公司广泛采用。它们用于大规模原始数据的收集、处理、整合、可视化与分析,以支持业务决策。常见的商业智能工具包括:
- Tableau
- PowerBI
- Qlik
若想进一步了解这些工具,强烈推荐我们的Tableau 入门课程与Power BI 入门课程。
近年来,为提升数据沟通效果出现了创新方法。其中之一是数据叙事,这一方法主张结合可视化、叙事与数据,将洞见转化为行动。收听我们与《有效数据叙事:如何用数据、叙事与可视化推动变革》作者 Brent Dykes 的DataFramed 播客节目,了解更多信息。
结语
希望您喜欢本文,并已准备好开始自己的数据分析。一个很好的起点是报名我们的数据科学入门课程。通过动手练习,学员将了解不同的数据科学家角色、A/B 测试、时间序列分析与机器学习等基础主题,以及数据科学家如何从真实世界数据中提取洞见。
在入门课程之后,我们还提供系统化学习路径,帮助学习者继续进阶。学员可在职业路径中选择偏好的语言(Python 数据科学家、R 或 SQL),通过围绕真实数据集的系统化、交互式练习掌握关键数据技能。
完成上述任一职业路径后,您可以继续参加数据科学认证项目,由专家对您的新技术技能进行验证与认证。
如何分析数据 常见问答
什么是数据分析?
数据分析是收集、清洗、转换与建模数据以发现有用信息的过程。参阅我们的完整“什么是数据分析”指南获取更深入的解释。
什么是数据科学工作流?
这是一个用于分析数据的五步框架。五个步骤分别是:1)明确业务问题,2)收集与存储数据,3)清洗与准备数据,4)分析数据,5)可视化与沟通数据。
数据清洗步骤的目的是什么?
用于发现并修复数据中的异常。这是在开始分析数据之前的关键步骤。
什么是数据可视化?
对数据的图形化呈现。可通过绘图、图表、地图等方式实现。
成为数据分析师需要理工科背景吗?
不需要!尽管学习编程具有挑战性,但数据科学欢迎所有人参与。只要有耐心、决心与学习意愿,前途无量。
大数据就是大生意。社会的快速数字化带来了前所未有的数据增长。随着虚拟现实、元宇宙、物联网(IoT)和 5G 等新技术与基础设施的出现,这一趋势很可能在未来持续。因此,了解如何分析数据至关重要。
数据已成为 21 世纪经济中最宝贵的资产之一。政府、企业和个人都在利用数据改进决策流程。这导致对能够处理和分析海量数据的专业人才需求激增。
然而,许多公司仍在为如何管理并理解数据而苦恼。根据 Splunk 的一项调查,企业收集的全部数据中有 55% 被视为“暗数据”——也就是企业在日常业务活动中收集却未能使用的数据。有时企业根本不知道这些数据的存在,但更多情况下,之所以不分析数据,是因为缺乏合适的人才。
通过内部数据科学培训项目培养员工,是缓解数据科学家短缺的最佳策略之一。与常见看法相反,开始分析数据并不一定需要统计学高等学位或计算机科学博士。市场上针对不同人群与场景有大量选择。以 DataCamp 为例,我们为个人与组织提供全面的数据培训。
本文将介绍数据分析流程。我们会呈现一个简明框架——数据科学工作流,列出从原始数据走向有价值洞见所需遵循的简单步骤。
如何借助数据科学工作流分析数据
当数据从业者启动一个涉及数据分析的新项目时,通常会遵循一个五步流程。这就是我们所说的数据科学工作流,其组成部分如下:
数据科学工作流
在接下来的章节中,我们将更详细地了解每一步。
尽管数据科学工作流可能因任务而异,但每次启动新数据项目时坚持使用一致且明确的框架很重要。这将帮助您规划、实施并优化工作。
1. 明确业务问题
数据的价值取决于您提出的问题。许多机构耗资数百万从不同来源收集各类数据,但却未能从中创造价值。事实是,无论公司拥有哪些数据,或数据科学团队规模多大,只有当您识别出正确的业务问题时,数据才会真正改变游戏规则。
将数据转化为洞见的第一步,是定义一套清晰的目标与问题。以下是一些示例:
在数据科学工作流的第一步结束时,您应对后续的推进路径有清晰且明确的认识。这份纲要将帮助您在数据的复杂性中把握方向、达成目标。
不要担心在这一步多花时间。识别正确的业务问题对于提升效率至关重要,最终能为公司节省时间与其他资源。
2. 收集与存储数据
现在您已有清晰的问题清单,是时候亲自上手了。首先,您需要收集并把数据安全地存储起来,以便分析。
在数据驱动的社会中,每秒都会产生海量数据。三大主要数据来源包括:
我们可以将数据分为两类:
根据您希望回答的业务问题,会采用不同类型的数据与技术。一般而言,定性数据的采集、存储与分析比定量数据需要更为先进的方法。
3. 清洗与准备数据
收集并存储好数据后,下一步是评估其质量。务必牢记,数据分析的成败高度依赖于数据质量。如果信息不准确、不完整或不一致,结论就会错误或具有误导性。因此,投入时间进行清洗与准备是必不可少的。想了解更多,请查看我们关于劣质数据征兆的文章。
原始数据很少能直接用于分析。评估数据质量对于发现并纠正错误至关重要。此过程包括修复如下问题:
发现数据中的错误与异常本身就是一种数据分析,通常称为探索性数据分析。
探索性数据分析
探索性数据分析旨在研究并总结数据特征。主要方法包括统计与数据可视化:
本阶段投入的时间在很大程度上取决于数据量与数据质量。然而,数据清洗通常是数据科学工作流中最耗时的一步。事实上,数据科学家有 80% 的时间花在这一阶段。
如果您所在的公司在日常业务中需要进行数据分析,提高此阶段效率的良策是实施数据治理策略。通过就如何清洗与处理数据制定明确规则与政策,公司将更好地应对数据,并减少清洗所需时间。
若您想了解数据清洗流程的具体做法与主要数据问题类型,可查看我们的Python 数据清洗课程与R 数据清洗课程。此外,如欲学习探索性数据分析的实操方法,我们的SQL 探索性数据分析课程将助您入门。
4. 分析数据
现在数据已经较为干净,您可以开始分析了。发现模式、联系、洞见与预测,往往是数据科学工作中最令人满意的部分。
根据分析目标与数据类型,可用技术各不相同。多年来,为应对各类数据而不断涌现新技术与新方法,范围从简单的线性回归到源自前沿领域的高级方法,如机器学习、自然语言处理(NLP)与计算机视觉。
以下列出一些常见的数据分析方法,帮助您更深入地开展分析:
机器学习
这一人工智能分支提供一组算法,使机器能够从历史数据中学习模式与趋势。算法训练完成后,能够以不断提升的准确度进行泛化预测。根据要解决的问题类型,机器学习分为三类: