跳至主要内容

Z 值(Z-Score):统计标准化完整指南

学习 Z 值的数学基础,掌握实用计算方法,并了解其在统计与数据科学中的应用。
· 8分钟 阅读

使用 AI 探索

您正在比较 2020 年的 SAT 分数与同年的 ACT 分数。一名学生 SAT 得了 1200 分,另一名学生 ACT 得了 24 分,但哪位的表现更好?这正是 Z 值通过将不同度量转换到同一尺度来解决的问题。

Z 值将原始数据转化为标准化数值,使得在完全不同的分布之间进行有意义的比较成为可能。这种标准化有助于在分析不同来源的数据、识别离群值或在统计分析中计算概率时取得一致结果。本文将介绍 Z 值的数学基础,逐步讲解实用的计算方法,并将这些技术应用于不同情境。 

什么是 Z 值?

Z 值为您提供一种标准化方式,理解任意数据点相对于其分布所处的位置。

定义与核心公式

Z 值表示某个数据点距离其分布均值有多少个标准差。公式很简单:

Z-score formula

其中 X 为原始分数,μ(mu)为总体均值,σ(sigma)为总体标准差。Z 值使您可以直接比较来自不同分布的数据点,而不受其原始单位或量纲的影响。

标准正态分布的性质

Z 值将近似正态分布的数据转换为标准正态分布,这是一个均值为 0、标准差为 1 的特殊钟形曲线。该变换带来一些有用的分析能力:大约 68% 的数值落在均值的一个标准差范围内(Z 值介于 -1 与 +1 之间),95% 落在两个标准差内(-2 到 +2),99.7% 落在三个标准差内(-3 到 +3)。

Z 值公式及其变体

基础的 Z 值公式适用于总体数据,但在现实分析中,依据数据类型与样本量,往往需要作些微调整。

标准 Z 值公式

如前所述,Z 值的基本公式为: 

standard z-score formula

在此基础上,会根据您是使用样本数据还是将样本均值与总体均值进行检验而产生不同变体。 

对于样本中的单个数据点: 

standard z-score formula for individual data points

其中 X̄ 为样本均值,s 是样本标准差(分母采用 n−1 计算)。该版本显示一个点距离样本均值有多少个样本标准差,有助于识别数据集内的相对位置和潜在离群值。

当检验样本均值是否与总体均值存在显著差异时,我们在计算中使用均值的标准误:

z-score for sample mean

其中 X̄ 为样本均值,μ 为总体均值,σ 为总体标准差,n 为样本量。分母(σ/√n)表示均值的标准误,它在假设检验中体现样本量的影响。

由 Z 值反推原始分数

有时您需要从 Z 值反向求原始数值。对公式进行变形即可得到: 

z-score for population mean

如果某学生的考试 Z 值为 1.5,而该考试的均值为 75、标准差为 10,则其实际分数为 75 +(1.5 × 10)= 90。

如何计算 Z 值

将原始数据转换为 Z 值遵循一套系统流程,多加练习就能驾轻就熟。

分步计算

手动计算 Z 值的方法如下:首先,通过将所有数值求和并除以数量得到分布的均值。接着,计算标准差,即均值差平方的平均数开方。最后,套用 Z 值公式:用原始分数减去均值,再除以标准差。

举个例子:若考试分数 85、92、78、96、88 构成完整数据集(均值 = 87.8,标准差 = 6.14),则 92 分对应的 Z 值为 (92 - 87.8) / 6.14 = 0.68。

您也可以使用 Excel 的 STANDARDIZE() 函数或 Google 表格中的同名函数,配合 AVERAGE() 与 STDEV.P()(总体数据)或 STDEV.S()(样本数据)快速计算 Z 值。

解读指南

不论原始数据如何,Z 值的解读遵循一致的方向规则:正的 Z 值表示高于均值,负的 Z 值表示低于均值。Z 值为 0 表示数据点恰好等于均值。

对于正态分布数据,还可以应用更多解读准则:Z 值超出 ±2 的数值不常见(约占 5%),而超出 ±3 的更为罕见(概率小于 1%)。您可以使用 Z 表查询正态分布下任意 Z 值对应的精确百分位,了解有多少比例的观测值低于该 Z 值。

对于非正态数据,Z 值仍可表征相对位置并帮助识别潜在离群值,但上述具体百分比不再适用。

解读 Z 值与标准差

理解 Z 值与标准差之间的关系,有助于把握这些标准化数值的实际含义。

与标准差的关系

Z 值以标准差为单位直接度量与均值的距离。Z 值为 2.5 意味着您的数据点位于均值之上 2.5 个标准差处。这与标准差本身不同,后者衡量的是数据围绕均值的典型离散程度。

标准差描述单一数据集的变异性,而 Z 值可在具有不同均值与离散程度的不同数据集间进行比较。可以将标准差理解为测量分布“宽度”,而 Z 值则精确告诉您单个点在该“宽度”中的具体位置。

低于某一 Z 值的观测比例

对于正态分布数据,Z 表可将 Z 值转换为百分位,显示有多少比例的观测低于您的取值。在正态分布中,Z 值为 1.0 对应第 84 个百分位,意味着 84% 的观测更小。

现代的在线计算器和统计软件可即时完成这些正态分布下的换算。然而,对于非正态数据,您需要使用特定分布的方法来确定百分位,因为标准 Z 表给出的百分比并不适用。

Z 值的应用

Z 值广泛出现在统计与数据科学中,帮助解决各领域的实际问题。

概率估计与假设检验

在正态分布中,Z 值是概率计算的基础。例如,您想计算在均值为 500、标准差为 100 的考试中得分高于 600 的概率,首先将 600 转换为 Z 值 1.0,然后查对应概率(约 16%)。您也可以通过两端累积概率之差,计算两个 Z 值之间的区间概率。

在假设检验中,Z 值通过在正态性假设下将样本统计量与期望的总体数值进行比较,帮助判断统计显著性。我们的 Hypothesis Testing in R 课程涵盖了这些应用,展示了 Z 值如何与 p 值和置信区间相联系。 

离群值检测与数据标准化

数据科学家经常使用 Z 值识别潜在离群值。对于正态分布数据,Z 值超出 ±3 的数值极为罕见(发生概率小于 1%),往往提示录入错误、测量问题,或值得进一步研究的特殊个案。即使在非正态数据中,极端 Z 值也能标记出需要重点审视的观测。

用 Z 值对整个数据集进行标准化可以得到均值为 0、标准差为 1 的变量,使其可直接比较。这对于对尺度差异敏感的机器学习算法(如 k-means 聚类或神经网络)尤为重要。 

比较不同量表上的分数

当不同测试或测量的分布形状相似时,Z 值可实现公平比较。先前的 SAT 与 ACT 比较,在将二者都按各自的均值和标准差转换为 Z 值后就变得直观明了。无论量表如何不同,SAT 的 Z 值为 1.2 的学生都优于 ACT 的 Z 值为 0.8 的学生。

统计与数据科学中的高级应用

Z 值也出现在复杂的分析技术中,如聚类分析(通过标准化确保各变量贡献相当)、多维尺度分析和主成分分析。 

在回归分析中,标准化系数(又称 Beta 系数)通过将变量置于同一尺度上,帮助比较连续自变量的相对重要性。其过程是在回归前将所有变量(自变量与因变量)转换为 Z 值。由此得到的标准化系数回答的是:“当该自变量增加一个标准差时,因变量预计会变化多少个标准差?”从而可以在原始单位不同的预测变量之间进行直接比较。

医疗与教育评估

医疗专业人员通过将检验结果与参照人群数据比较来解读 Z 值。骨密度 Z 值会将个体测量与同龄人群比较,帮助诊断如骨质疏松等疾病。教育评估依赖 Z 值在不同年份和人群间对考试结果进行标准化,即使测试条件有所差异也能实现公平比较。 

计算方法与工具

现代分析依赖软件工具自动完成 Z 值计算。

Z 表与百分位换算

传统的 Z 表仍有助于理解 Z 值与正态分布概率之间的联系。Z 表列出了标准正态分布的累积概率,通常覆盖 z = -3.49 到 z = 3.49。读取 Z 表时,先在左侧列找到 Z 值的前两位,再在顶部行找到第三位。

使用编程计算 Z 值

我们已在分步计算部分介绍了 Excel 的 STANDARDIZE() 函数。对于 Python 和 R,下面用同一组考试分数示例:85、92、78、96、88。

Python(scipy.stats):

import numpy as np
from scipy import stats

# Our exam scores
scores = np.array([85, 92, 78, 96, 88])

# Calculate z-scores using scipy (uses population std by default)
# This means dividing by N, not N-1
z_scores = stats.zscore(scores)
print(f"Z-scores: {z_scores}")
# Output: [-0.46  0.68 -1.59  1.33  0.03]

# Manual calculation for verification
mean_score = np.mean(scores)
std_score = np.std(scores, ddof=0)  # Population standard deviation
z_manual = (scores - mean_score) / std_score
print(f"Manual z-scores: {z_manual}")

R(使用 scale() 函数):

# Our exam scores
scores <- c(85, 92, 78, 96, 88)

# Calculate z-scores using scale() (uses sample std by default)
z_scores <- scale(scores)[,1]  # Extract vector from matrix
print(paste("Z-scores:", z_scores))
# Output: [-0.41  0.61 -1.43  1.19  0.03]

# Manual calculation for verification
z_manual <- (scores - mean(scores)) / sd(scores)
print(paste("Manual z-scores:", z_manual))

请注意,Python 与 R 的结果略有不同,因为 scipy.stats.zscore() 使用总体标准差(以 N 为分母),而 R 的 scale() 使用样本标准差(以 N-1 为分母)。在 92 分这个点上,Python 给出 Z 值 0.68,而 R 给出 0.61。两者都正确,取决于您将数据视为完整总体还是样本。 

结论

Z 值在原始数据与有意义的统计解读之间搭起桥梁。它们使跨不同量表的公平比较成为可能,在数据服从正态分布时支持概率计算,并帮助识别值得关注的异常观测。

这些标准化数值从基础数据分析延伸到高级机器学习应用,对任何从事定量数据工作的人都大有裨益。欢迎探索我们的 Inference for Numerical Data in R 课程,了解如何用真实数据集进行统计推断;以及 A/B Testing in R course,其中频繁用到 Z 值概念的假设检验方法。

Vinod Chugani

作者

Vinod Chugani

Vinod Chugani 的职业生涯始于东京,曾任摩根大通最年轻的对冲基金销售台负责人,随后在雷曼兄弟创下个人销售纪录,之后又打造了覆盖 30 个国家的电子分销业务,营收突破 1 亿新元,随后转向数据领域。他毕业于杜克大学经济学专业,亦为 NYC Data Science Academy 校友,并在 100 多名申请者中成为Hugo Bowne-Anderson 在 Maven 开设的 “Building AI Applications” 课程的三位奖学金获得者之一。目前,他为 DataCamp、KDnuggets、Machine Learning Mastery 和 Statology 撰稿,内容涵盖从统计学到代理式 AI 等主题,并在 NYC Data Science Academy 指导数据从业者,已完成超过 1,000 场一对一辅导。

 

常见 Z 值问题

什么是 t 值,何时用它而不用 Z 值?

t 值是一种标准化分数,表示样本均值相对于总体均值相差多少个标准误。它主要用于总体标准差未知且样本量较小(通常小于 30)的情形。在这种情况下,t 分布比用于 Z 值的正态分布能提供更好的估计。

如何解读负的 Z 值?

负的 Z 值表示数据点低于分布均值。例如,Z 值为 -1.5 表示该值比平均值低 1.5 个标准差。绝对值大小反映其不寻常程度,而负号仅表示相对于均值的方向。

非正态分布可以计算 Z 值吗?

从数学上讲,任何分布都可以计算 Z 值,但对于非正态数据,其解读会发生变化。68-95-99.7 规则和标准 Z 表的概率仅适用于正态分布。对其他分布而言,Z 值仍表示相对位置,但不再对应相同的概率值。

标准化与归一化有何区别?

标准化(使用 Z 值)会生成均值为 0、标准差为 1 的数据,同时保留原始分布形状。归一化通常将数据重新缩放到固定区间(如 0-1),可能改变分布形状。当您希望保持数据点之间的相对关系时,更适合使用 Z 值标准化。

Z 值在质量控制中如何应用?

质量控制在控制图中使用 Z 值来监测过程稳定性,通常适用于过程数据服从正态分布的情形。Z 值超出 ±2 或 ±3 个标准差的点会触发潜在问题警报。这与在其他情境下识别离群值所用的统计原理相同,帮助制造商在影响产品质量之前发现问题。

Z 值为 0 代表什么?

Z 值为 0 表示您的数据点恰好等于分布均值。这代表完全“平均”的表现——既不高于也不低于典型水平。在实践中,这意味着您的观测位于分布中心。

Z 值如何帮助机器学习中的数据预处理?

Z 值标准化确保所有特征具有相同的尺度(均值 0、标准差 1),防止取值范围更大的变量主导算法。这对基于距离的算法(如 k-means 聚类或 k 近邻)尤为重要,否则未标准化的数据可能导致结果偏差。

Z 值会大于 3 或小于 -3 吗?

是的,Z 值可以大于 3 或小于 -3,但在正态分布中这很少见(发生概率小于 0.3%)。如此极端的 Z 值通常表示离群点或来自非正态分布的数据。在实践中,超出 ±3 的数值值得进一步调查,以判断其是否为错误或真正罕见的观测。

主题