专注于夯实数据基础与工具体系 获取高质量数据本身就是一项巨大的挑战。我们建议希望利用机器学习、人工智能和数据科学的公司参考 Monica Rogati 的AI 需求层次,其中将机器学习置于接近顶端的位置,作为拼图的最终关键部分之一。 来源:Hackernoon 该层次结构表明,在开展机器学习之前,您需要扎实的数据基础,以及用于抽取、加载与转换数据(ETL)的工具,并能清洗并聚合来自不同来源的数据。 这需要过硬的数据工程实践——您需要利用数据库,理解如何正确处理数据,调度工作流,并充分使用云计算。 因此,在招聘第一位机器学习工程师之前,您应先搭建好数据工程、数据科学与数据分析职能。 警惕数据与算法中的偏见 机器学习的效果取决于输入的数据质量。如果您的数据存在偏见,模型也会有偏见。比如,亚马逊曾构建一款 ML 招聘工具,基于十年简历数据来预测候选人的成功率,但由于科技行业长期由男性主导,训练数据偏向男性——这也导致该工具对女性存在偏见。 这就是近年来数据伦理之所以成为重要议题的原因。随着数据量激增,数据使用方式的影响也随之大幅扩大。这需要有原则的考量与监控。正如谷歌首席决策科学家Cassie Kozyrkov所比喻的,教师的水平取决于他们用来授课的书。如果书本存在偏见,授课内容也会带有偏见。 持续跟踪您的模型并不断改进 请记住,机器学习的工作并不会在模型上线、开始做出预测或执行分类时就结束。已部署并在运行的模型仍需要被监控与维护。 如果您有一个基于交易数据预测信用卡欺诈的模型,那么每次模型做出预测并据此采取行动,您都会获得有用的信息。此外,您试图监控和预测的行为——此处为信用卡欺诈——可能是动态变化的。这个过程,即生成的数据持续变化,被称为数据漂移——它证明了定期更新模型是多么必要。 来源:DataBricks 主题机器学习
专注于夯实数据基础与工具体系
获取高质量数据本身就是一项巨大的挑战。我们建议希望利用机器学习、人工智能和数据科学的公司参考 Monica Rogati 的AI 需求层次,其中将机器学习置于接近顶端的位置,作为拼图的最终关键部分之一。
来源:Hackernoon
该层次结构表明,在开展机器学习之前,您需要扎实的数据基础,以及用于抽取、加载与转换数据(ETL)的工具,并能清洗并聚合来自不同来源的数据。
这需要过硬的数据工程实践——您需要利用数据库,理解如何正确处理数据,调度工作流,并充分使用云计算。
因此,在招聘第一位机器学习工程师之前,您应先搭建好数据工程、数据科学与数据分析职能。
警惕数据与算法中的偏见
机器学习的效果取决于输入的数据质量。如果您的数据存在偏见,模型也会有偏见。比如,亚马逊曾构建一款 ML 招聘工具,基于十年简历数据来预测候选人的成功率,但由于科技行业长期由男性主导,训练数据偏向男性——这也导致该工具对女性存在偏见。
这就是近年来数据伦理之所以成为重要议题的原因。随着数据量激增,数据使用方式的影响也随之大幅扩大。这需要有原则的考量与监控。正如谷歌首席决策科学家Cassie Kozyrkov所比喻的,教师的水平取决于他们用来授课的书。如果书本存在偏见,授课内容也会带有偏见。
持续跟踪您的模型并不断改进
请记住,机器学习的工作并不会在模型上线、开始做出预测或执行分类时就结束。已部署并在运行的模型仍需要被监控与维护。
如果您有一个基于交易数据预测信用卡欺诈的模型,那么每次模型做出预测并据此采取行动,您都会获得有用的信息。此外,您试图监控和预测的行为——此处为信用卡欺诈——可能是动态变化的。这个过程,即生成的数据持续变化,被称为数据漂移——它证明了定期更新模型是多么必要。
来源:DataBricks