[信息图] 数据科学项目清单

如何去做？

明确要解决的业务问题

尽可能清晰、毫不含糊地阐明为何要开展该项目。 

识别利益相关者

角色可能包括项目经理、数据科学家、客户经理、数据管理员。

回顾既往工作

审视已有的、覆盖相似领域的项目。

• 项目的关键成果是什么？
• 是否有工作或资产可在本项目中复用？
• 有哪些失误需要在本项目中避免？

确定衡量成功的关键绩效指标（KPI 或指标）

指标应符合 SMART 标准。

• Specific（具体）：定义明确，团队每个人都能理解。
• Measurable（可衡量）：能够判断 KPI 是否达成。
• Achievable（可实现）：团队具备实现 KPI 所需的技能与资源。
• Relevant（相关）：KPI 与更广泛的组织目标相关。
• Time-related（有时限）：设定达成目标的截止日期。

非 SMART 示例："Increase website conversion"

SMART 示例："Optimize the website's design and user experience to increase website conversion rate by 10% by the end of Q2"

确定范围

• 项目的交付物有哪些？
• 这些交付物的要求是什么？
• 项目将不包含哪些内容？

撰写项目计划

• 为项目的中间步骤设定里程碑。
• 为每个里程碑确定时间表。
• 为每个步骤写一段简短说明。

评估项目影响

• 在目标达成的情况下，量化其对组织的收益。
• 若计算存在不确定性，请给出收益范围或置信区间。
• 列出无法量化的任何定性收益。

评估项目投入

• 项目成本是多少？
• 项目将花费多长时间？
• 项目需要哪些资源？

评估项目风险

• 列出项目的所有风险。
• 对每个风险，按发生概率乘以发生严重程度计算其风险影响。

决定是否推进项目

基于项目预期影响相对于投入与风险的评估，决定是

• 立即推进项目；
• 暂缓项目，优先处理更高优先级的项目；
• 取消项目。

明确各利益相关者的职责

使用 RACI 模型。针对每项任务，明确谁是

• Responsible（负责）：执行工作的人。
• Accountable（问责）：对关键决策负最终责任的人。
• Consulted（咨询）：在关键决策时征求意见的人。
• Informed（知会）：需要获知关键决策的人。

制定沟通策略

• 您将如何保持沟通？
• 会议的节奏如何安排？

识别数据来源

• 您是否已获得这些数据的访问权限？
• 数据存储在哪里？
• 数据以何种形式存在？
• 数据集有多大？
• 是否有解释数据含义的数据字典？
• 能否创建用于概念验证的合成数据？

预判合规与监管需求

• 是否会有任何交付物（如金融模型）被审计？
• 所有数据来源或特征在法律上是否都可使用？

确定技术栈

• 就数据存储、处理与建模所用工具达成一致。

撰写项目章程

• 将项目相关决策浓缩为一份简短文档，包括目标、利益相关者、KPI、计划、数据来源、技术栈与沟通策略。

如何去做？

为数据科学家开通所有数据集的访问权限

• 为每个数据集配置相应的访问权限。
• 采购任何商用数据集，或使用具有相似属性的合成数据。

摄取数据

• 将每个数据源迁移到分析环境。

探索数据

• 使用直方图或条形图可视化每个变量的分布。
• 量化每个变量的缺失值。
• 使用散点图、直方图、箱线图或热力图可视化各特征与目标变量之间的关系。

撰写数据质量报告

针对每个数据集

• 给出数据集概览。
• 描述任何宏观层面的数据质量问题。
• 描述目标变量的质量。
• 描述每个特征的质量。
• 描述每个特征与目标变量之间的关系。

决定是否推进项目

基于数据质量报告，决定是

• 继续推进项目；
• 在收集更多数据期间暂停项目；
• 取消项目。

构建数据管道

随着项目推进，数据通常需要定期更新。数据管道 

• 应当自动化摄取与清洗流程；
• 应当按计划运行（批量更新）或持续运行（流式更新）。

为数据管道编写文档

• 绘制数据管道各步骤及其依赖关系的示意图。
• 描述每个步骤中发生的处理。

如何去做？

提出假设

• 该假设在业务领域是否合理？
• 您能否衡量结果？
• 您是否有足够数据观察到统计显著的效应？
• 是否存在需要校正的统计偏差？

将数据划分为训练集与测试集

务必在开始特征工程之前完成此步骤，以避免数据泄漏。

进行特征工程

通过以下技术为模型创建特征：

• 对数值变量进行中心化或缩放。
• 通过分箱将数值变量转为分类型变量。
• 对数值变量应用 Box-Cox 或 Yeo-Johnston 变换，使其更接近正态分布。
• 合并分类型变量中的稀有或相关类别。
• 提取或组合日期时间的各部分。
• 基于汇总统计创建新变量。
• 从文本等非结构化数据中提取定量指标。

拟合模型或运行实验

• 先从最简单的模型开始，逐步增加复杂度。
• 对于大型数据集，考虑在样本上建模。

评估结果

使用准确率、精确率、召回率等指标量化模型表现。如果性能尚可进一步提升：

• 能否收集更多数据？
• 能否开展更多特征工程？
• 能否尝试其他算法？

汇报结果

• 定期向利益相关者提供反馈。
• 面向业务与技术受众分别调整表达方式。
• 既要报告成功，也要报告失败。

如何去做？

创建测试套件

定义自动运行的测试，以检查模型或实验的性能，并在迭代中发现可能引入的缺陷。可包括：

• 代码的单元测试。
• 针对投资组合或其他时间序列的回测。

验证业务影响

基于当前的模型性能指标，更好地量化其对业务的预期影响，并与业务方讨论。

验证技术方案

检查最终模型在技术上是否合适。

• 模型的假设是否成立？
• 结果对抽样数据是否敏感？
• 超参数是否合适？
• 他人能否复现您的模型？

验证可部署性

• 是否能处理所有可能的输入值或用例？
• 生产环境中是否具备所需的全部数据源？
• 若部分数据源不可用，模型能否优雅降级？
• 预测速度是否足够快？

保留无效结果

凡未进入生产的内容都应记录在知识库中，避免后续项目重复尝试而浪费时间。

如何去做？

开发数据管道

• 为所有数据源到生产环境搭建有向无环图（DAG）。
• 将数据更新设置为自动调度运行。

开发模型管道

• 将模型流程拆分为任务，并将其组合为一条管道。

使模型可运营

为模型提供一个 API，供仪表盘、网站或其他软件访问。

设计监控方案

• 确定需要跟踪的指标，包括性能指标和能表征是否引入缺陷的安全指标。
• 为这些指标设定可接受范围。
• 决定当指标超出范围时希望以何种方式收到告警。

通过 A/B 测试逐步发布

• 向一组随机抽样的用户提供新功能或模型。
• 密切监控所选指标，但在达到统计显著性之前克制住宣布赢家的冲动。

分析并报告 A/B 测试结果

• 比较各组需要跟踪的指标。
• 报告结果，即便测试并未成功。

向大多数或全部用户发布

若测试成功，则将该功能或模型推广至大多数或全部用户。

• 保留一小部分未获得该功能或模型的对照组，有助于长期评估新功能或模型所带来的性能提升幅度。

如何去做？

撰写结项报告

总结项目现状与收获。

• 提供项目概览。
• 概述您尝试解决的业务问题。
• 描述数据来源及其处理方式。
• 描述所用建模技术及其验证方法。
• 概述解决方案架构。
• 列出项目为公司与客户带来的收益。
• 总结在项目执行、数据科学、业务领域与产品方面的经验教训。
• 提出后续步骤。

获取客户反馈

• 开展问卷与用户访谈。
• 监测评价、评分与社交媒体。

如何去做？

开发监控管道

搭建管道，自动跟踪监控方案中定义的性能与安全指标。

创建仪表盘

创建仪表盘，跟踪这些指标随时间的变化。

设置告警

设置告警，当指标超出可接受范围时，通过电子邮件、Slack 等方式通知您。