A/B 测试如何运作？
A/B 测试成效显著，但前提是严格遵循步骤。以下是设计成功 A/B 测试的一些关键环节：
1. 提出假设
假设用于说明测试变量的改变如何影响某一人群上的性能指标。一个示例假设如下：
“将加入购物车按钮的颜色从蓝色改为红色（测试变量），会提高所有桌面端用户（人群）的转化率（性能指标）。”
一个常见陷阱是在单个实验中包含多个测试变量，这会使难以分辨每项更改对指标的影响。
2. 创建测试变量的对照版与处理版
A/B 测试中的“A/B”指的是您所测试事物的两个版本。
通俗地说，对照组是产品的“版本 A”，即您正在测试的测试变量的现有版本。而“版本 B”是处理组，即您正在测试的测试变量的新版本。
仍以加入购物车按钮为例，对照（版本 A）是现有的蓝色按钮，而处理（版本 B）是新的红色按钮。
3. 确定达到统计显著性的样本量
根据具体用例和服务用户规模，往往不可能在整个人群上运行 A/B 测试。次优选择是在用户子集或样本上运行测试。为此，从业者通常会确定一个在统计上足够显著的用户样本，以便对总体做出结论。
例如，回到加入购物车按钮的例子，A/B 测试会在部分桌面端用户上运行，而不是所有桌面端用户。
4. 为对照与处理选择随机分组
实验中的每位用户会看到版本 A 或版本 B。那如何决定用户进入对照还是处理呢？
为确保测试公平公正，从业者通常会将样本随机（即每位用户进入处理或对照的概率相同）且等量（即处理组和对照组规模相同）地分成处理组与对照组。
5. 运行测试并分析结果
准备就绪后，A/B 测试即可启动。一旦达到足够大的样本量，就可以分析测试结果。
为分析结果，我们会计算处理组与对照组在测试指标（转化率）上的差异。如果差异足够显著，我们就能有把握地得出结论：确有一个版本优于另一个版本。
6. 持续迭代
如果 A/B 测试中出现明显的优胜者，就可以将更优版本上线！从业者也会对数据进行深度分析，以更好地理解用户行为。A/B 测试只是优化流程中的一小部分。从 A/B 测试中获得的经验可以启发新的想法与假设，并进一步通过测试来验证。
A/B 测试示例
大多数科技公司对 A/B 测试并不陌生。事实上，您很可能曾在使用的某项服务中成为 A/B 测试的对照或处理组成员。以下是当今一些最受欢迎的网站和服务中的 A/B 测试代表性案例：
1. Airbnb 的 A/B 测试
Airbnb 提供了多个出色的 A/B 测试示例。Airbnb 一直拥有浓厚的实验与 A/B 测试文化。在这篇 2014 年的博文中，他们深入介绍了如何将搜索页价格筛选器的最大值从 300 美元调整为 1000 美元的测试。
Airbnb 测试最大价格筛选器的更改
在另一个例子中，团队展示了重新设计的首页示例，并讨论了其对 Airbnb 平台使用情况的影响。尽管略显技术性，但文章很好地展示了 A/B 测试如何成为 Airbnb 产品成功的关键助力。
Airbnb 使用 A/B 测试来确定更佳的用户界面
2. Netflix 的 A/B 测试
通过一系列 A/B 测试，Netflix 为众多片名选择了最佳艺术图，并显著提高了播放时长。A/B 测试的一个良好副产物是，它能揭示用户行为与用户体验的深层洞察。例如，通过这次测试，Netflix 确定了能够传达片名基调、富含表情的面部艺术图表现尤为出色。
Netflix《我本坚强》的部分艺术图示例
3. Gojek 的 A/B 测试
在印尼广受欢迎的一体化应用 Gojek 使用 A/B 测试来寻找其首页上展示产品数量的最优值。产品团队随后根据反馈决定将哪个实验版本推送给所有用户。这只是 Gojek 诸多 A/B 测试用例中的一个。您也可以通过收听这期 DataFramed，进一步了解 Gojek 的数据文化。
Gojek 使用自研实验平台来确定其首页设计
今天就开始上手数据
希望您喜欢这篇对 A/B 测试的简要介绍。在下一篇中，我们将走进数据可视化的世界，拆解如何解读当今最常用的可视化图表。
如果您想从今天就开启数据学习之旅，欢迎查看以下资源。
Richie 帮助个人与组织更好地运用数据与人工智能。他在“数据科学”这一称谓流行之前就从事相关工作，并在该领域撰写了两本书，创作了多门 DataCamp 课程。他主持 DataFramed 播客，并负责 DataCamp 的网络研讨会项目。
与 AI 版 Richie 对话，畅聊每一期 DataFramed——欢迎所有数据高手加入！
欢迎来到我们为期一个月的“数据解密”系列第七篇。作为数据素养月的一部分，本系列将澄清数据世界中的关键概念，回答您可能不敢问的问题，并在此过程中保持有趣。如果您想从头开始，请阅读本系列的第一篇：什么是数据集？
在这篇文章中，我们将探讨数据中的一个主要用例：A/B 测试。即使您没听说过它——只要使用过数字服务或网站——您很有可能亲身参与过 A/B 测试。整篇博文中，我们将概述什么是 A/B 测试、它通常如何设置，以及来自 Airbnb、Netflix 和 Gojek 等热门服务的一些典型 A/B 测试案例。
什么是 A/B 测试？
A/B 测试用于比较同一事物两个版本（通常是网页或数字产品）的表现。更广泛地说，A/B 测试是一种框架，帮助您快速搭建实验，使用统计分析来解读结果，并据此做出决策。
A/B 测试有助于验证关键问题，例如“更改按钮颜色是否会提高点击次数？”或者“使用不同的电影海报是否会提升某片名的观看量？”。
A/B 测试能够建立因果关系。如果首页上的红色按钮在其他条件不变的情况下带来比蓝色按钮更多的点击，我们可以得出结论：红色按钮导致了点击量的提升。不言而喻，A/B 测试是数据驱动团队优化产品的得力工具。