跳至主要内容

如何以道德方式运用机器学习推动决策

获得高质量数据需要坚实的数据基础,并承诺对模型进行监控并消除偏见。
Joyce Chiu
Joyce Chiu

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

专注于夯实数据基础与工具体系

获取高质量数据本身就是一项巨大的挑战。我们建议希望利用机器学习、人工智能和数据科学的公司参考 Monica Rogati 的AI 需求层次,其中将机器学习置于接近顶端的位置,作为拼图的最终关键部分之一。

来源:Hackernoon

该层次结构表明,在开展机器学习之前,您需要扎实的数据基础,以及用于抽取、加载与转换数据(ETL)的工具,并能清洗并聚合来自不同来源的数据。

这需要过硬的数据工程实践——您需要利用数据库,理解如何正确处理数据,调度工作流,并充分使用云计算。

因此,在招聘第一位机器学习工程师之前,您应先搭建好数据工程、数据科学与数据分析职能。

警惕数据与算法中的偏见

机器学习的效果取决于输入的数据质量。如果您的数据存在偏见,模型也会有偏见。比如,亚马逊曾构建一款 ML 招聘工具,基于十年简历数据来预测候选人的成功率,但由于科技行业长期由男性主导,训练数据偏向男性——这也导致该工具对女性存在偏见。

这就是近年来数据伦理之所以成为重要议题的原因。随着数据量激增,数据使用方式的影响也随之大幅扩大。这需要有原则的考量与监控。正如谷歌首席决策科学家Cassie Kozyrkov所比喻的,教师的水平取决于他们用来授课的书。如果书本存在偏见,授课内容也会带有偏见。

持续跟踪您的模型并不断改进

请记住,机器学习的工作并不会在模型上线、开始做出预测或执行分类时就结束。已部署并在运行的模型仍需要被监控与维护。

如果您有一个基于交易数据预测信用卡欺诈的模型,那么每次模型做出预测并据此采取行动,您都会获得有用的信息。此外,您试图监控和预测的行为——此处为信用卡欺诈——可能是动态变化的。这个过程,即生成的数据持续变化,被称为数据漂移——它证明了定期更新模型是多么必要。

来源:DataBricks

主题