本文由我们的社区成员提供，并由 DataCamp 为提高清晰度与准确性进行编辑。
想分享您的专业见解吗？我们非常期待！欢迎通过我们的社区投稿表单提交文章或想法。
数据科学是研究数据以提炼可用于决策的有效洞见的过程，涵盖从统计学、数学到人工智能与计算机工程的方方面面。
尽管数据科学至关重要，但仍有诸多障碍使企业难以充分释放其潜力。本文将带您了解 5 个必须克服的主要数据科学挑战，帮助您最大化数据分析价值，提升业务决策水平。
1. 处理多数据源
获取适合分析的正确数据是一项艰巨任务，尤其当您需要从多个来源获取数据时。因此，若要有效开展数据科学，整合多源数据必不可少。
然而，将不同且半结构化来源的数据进行整合，是一个复杂且耗时的过程。
应对这一挑战的快捷方法是使用数据集成工具或数据管理系统，例如 Informatica 和 Oracle。这些软件可帮助您从不同来源收集与汇总数据，并进行筛选以便于访问。
其原理是充当与数据源对接的集中化平台。这样，您便能获得数据的全局视图，从而产出更准确且更有意义的洞见。
您也可以使用商业 AI 解决方案快速分析数据并给出有用的业务决策建议。尽管存在生成式 AI 风险，如幻觉问题，但通过事实核查等对策即可有效缓解。
2. 技术人才不足
当今世界在决策中越来越依赖数据科学。高达 59% 的企业以不同方式使用数据科学来提升业绩。这导致对数据科学专业人才的需求远超供给。试想一下：数据科学岗位发布数量是求职搜索的三倍。
来源
但这还不止于此。即便在现有人才中，也有部分数据科学家缺乏应对现代数据处理所需的升级技能。由于生成式 AI 等新兴技术的出现，传统的数据处理方式已不再适用。此外，还有两大发展趋势要求数据从业者提升或重塑技能：数据规模的爆炸式增长与算力的进步。
对现有数据科学专家的技能提升与再培训不仅限于技术能力。他们同样需要更强的解决问题与沟通能力。伴随海量数据而来的，是必须解决的新挑战与新问题。
这些问题的解决方案需要清晰传达给团队成员与管理层，而他们未必具备自行解读数据的专业能力。我们稍后将对此展开更多讨论。
要应对供给少于需求的人才挑战，您需要在雇主品牌上脱颖而出，吸引到这类专业人士。因此，请提供具有竞争力的薪酬与福利。根据 Glassdoor，美国数据科学家的平均基础薪酬为 146,422 美元，如果您能提供更高，自然更好。
无论您是新招聘数据科学家，还是已有数据专业人士在职，都应投入数据科学研讨与培训。这将帮助确保团队技能与时俱进，并参考行业内的现行实践与标准。
3. 数据隐私与安全
向云环境的迁移，促使 21 世纪的数据安全事件频发。据估计，60% 的企业数据存储在云端。仅 2020 年，FBI 每天就收到逾 2,000 起网络犯罪举报。勒索软件、对数据系统的攻击以及数据盗窃，都是常见的数据安全漏洞形式。
因此，企业如今聘用网络安全专家，包括利用ChatGPT 进行渗透测试的道德黑客，以确保客户数据安全。此类道德渗透有助于提前识别潜在数据安全风险并预先修复。
鉴于存在大量可能落入不当之手的数据，欧盟等机构也已采取行动。
例如，自 2018 年起生效的《通用数据保护条例》（GDPR）旨在保护欧盟居民的数据。对于违反 GDPR 隐私与安全标准的机构，条例可处以高达数百万欧元的罚款。
来源
因此，作为企业，您需要确保不仅公司自身的数据安全与隐私得到保障，消费者的数据同样受到保护。
要有效保护这些数据，首先需要了解您拥有哪些数据、它们目前存放在哪里，这一过程称为数据发现。您可以使用 Tableau、IBM Cognos Analytics 等自动化数据发现工具，快速识别手中的敏感数据。
随后，选择可靠的数据存储解决方案，作为额外的安全防护层。此外，请始终备份数据，以便在丢失或损坏时可以轻松恢复。
务必实施细粒度的访问控制。无论您的业务性质如何，让所有人享有同等访问权限都不合理。
来源
以一家软件公司为例。财务团队日常运营所需的数据，与市场部门用于执行其SaaS 营销策略的数据有很大不同。同样，销售团队与客户支持部门为完成工作也需不同的数据集。
更重要的是，细粒度访问控制可防止未经授权的访问，并降低侵犯客户数据隐私与安全的风险。这至关重要，因为组织与数据专家需要在保护客户机密数据与向相关成员共享必要数据集之间取得平衡。可考虑使用数据目录，在限制敏感数据访问的同时，为数据专家授予访问相关数据集所需的权限。
4. 数据清洗
从数据集中移除无用数据是您将面对的关键挑战之一。低质量数据会给企业带来高昂成本，部分企业因此每年损失高达 1,210 万美元。对于数据科学家而言，处理不准确、重复、不一致或不恰当的数据堪称噩梦，这会导致错误结论并引发错误决策。
作为企业，了解大数据的四个 V 对数据清洗至关重要，包括：
- Velocity（速度）——指数据传输的速度。由于传输是实时发生的，您也需要实时分析这些数据集。
- Veracity（真实性）——您需选择与业务相关的数据，让人们相信由此得出的决策值得信赖。
- Volume（体量）——数据交换日益增长，这意味着您需要借助技术来应对。
- Variety（多样性）——您会遇到多种形式的数据，包括结构化、非结构化与半结构化数据。制定标准化格式有助于处理数据多样性。
鉴于需要处理的数据量庞大且类型多样，清洗不一致的数据可能耗费数小时。
可考虑通过数据治理来解决这一问题。数据治理指企业为管理其数据资产而制定的流程。现代数据治理工具可帮助您清洗、规范并维护数据集的准确性。IBM Data Governance、OvalEdge 与 Collibra 都是不俗的选择。
此外，聘请数据专业人士负责各部门的数据质量把控。这将帮助您获得高质量的数据集，同时节省时间与成本。
5. 向非技术相关方汇报
提升组织进行知情决策的能力，是数据科学的主要目标之一。这些决策应与公司的业务规划保持一致，唯有如此，企业方能实现其业务目标。
我们刚才已略有提及。由于数据科学高度技术化，将数据科学家的发现传达给不熟悉技术语言的管理者与业务高管，往往颇具挑战。许多管理者与组织领导者对数据科学中使用的工具与机器学习模型并不熟悉。
此外，一些组织并未清晰界定业务术语与 KPI，这也会为数据科学家的汇报带来挑战。若各部门对业务术语的理解不一、计算 KPI 的方式各异，数据科学家将面临大量额外工作。
他们需要解释其工作对各部门特定 KPI 的影响。结果就可能难以形成兼顾各部门利益的整体业务决策。
应对这些重大挑战的方案？其一正如前文所述：对数据科学家进行再培训与技能提升，强化其沟通能力。您可以培训他们掌握数据讲故事，以便受众更有效地可视化结果。数据讲故事能确保数据分析易于理解，并有助于说服受众认同所达成的业务决策。
另一种方案是为非技术人员——数据科学家的受众——打好数据科学基础。
您还应明确定义组织的 KPI，确保各部门对每个业务术语达成共识。这样能让数据科学家更容易传达分析中的关键洞见。
确保一致性的另一种方式同样是使用数据目录。它可作为业务术语与 KPI 的单一事实来源，确保所有人对其含义的理解一致。
结语
总而言之，随着企业不断采用新技术来完成工作，新的数据科学挑战也在不断涌现。多源或不可靠的数据，使数据科学家难以从海量数据中提取可执行的洞见。同时，人才缺口也使得具备实战经验的高技能数据科学专家难觅。
数据隐私与安全问题持续增加企业获取分析所需数据的难度。组织在识别与剔除低质量数据时，数据清洗会消耗大量时间与资金。最后，由于数据科学是一个技术领域，向非技术相关方汇报也可能困难重重。
为解决这些挑战，请提供有竞争力的薪酬，从相对紧缺的人才库中吸引现代数据科学家。对数据专业人士进行技能提升与再培训，使其跟上不断变化的技术与新兴的数据科学需求。同时培训其他员工，让他们具备数据科学的基础认知。此外，也可考虑使用数据目录与数据治理软件等工具。
遵循这些建议，您将释放数据科学在业务中的全部潜力，发掘令人振奋的机遇。
本文由我们的社区成员提供，并由 DataCamp 为提高清晰度与准确性进行编辑。
想分享您的专业见解吗？我们非常期待！欢迎通过我们的社区投稿表单提交文章或想法。
数据科学是研究数据以提炼可用于决策的有效洞见的过程，涵盖从统计学、数学到人工智能与计算机工程的方方面面。
尽管数据科学至关重要，但仍有诸多障碍使企业难以充分释放其潜力。本文将带您了解 5 个必须克服的主要数据科学挑战，帮助您最大化数据分析价值，提升业务决策水平。
1. 处理多数据源
获取适合分析的正确数据是一项艰巨任务，尤其当您需要从多个来源获取数据时。因此，若要有效开展数据科学，整合多源数据必不可少。
然而，将不同且半结构化来源的数据进行整合，是一个复杂且耗时的过程。
应对这一挑战的快捷方法是使用数据集成工具或数据管理系统，例如 Informatica 和 Oracle。这些软件可帮助您从不同来源收集与汇总数据，并进行筛选以便于访问。
其原理是充当与数据源对接的集中化平台。这样，您便能获得数据的全局视图，从而产出更准确且更有意义的洞见。
您也可以使用商业 AI 解决方案快速分析数据并给出有用的业务决策建议。尽管存在生成式 AI 风险，如幻觉问题，但通过事实核查等对策即可有效缓解。
2. 技术人才不足
当今世界在决策中越来越依赖数据科学。高达 59% 的企业以不同方式使用数据科学来提升业绩。这导致对数据科学专业人才的需求远超供给。试想一下：数据科学岗位发布数量是求职搜索的三倍。
来源
但这还不止于此。即便在现有人才中，也有部分数据科学家缺乏应对现代数据处理所需的升级技能。由于生成式 AI 等新兴技术的出现，传统的数据处理方式已不再适用。此外，还有两大发展趋势要求数据从业者提升或重塑技能：数据规模的爆炸式增长与算力的进步。
对现有数据科学专家的技能提升与再培训不仅限于技术能力。他们同样需要更强的解决问题与沟通能力。伴随海量数据而来的，是必须解决的新挑战与新问题。
这些问题的解决方案需要清晰传达给团队成员与管理层，而他们未必具备自行解读数据的专业能力。我们稍后将对此展开更多讨论。
要应对供给少于需求的人才挑战，您需要在雇主品牌上脱颖而出，吸引到这类专业人士。因此，请提供具有竞争力的薪酬与福利。根据 Glassdoor，美国数据科学家的平均基础薪酬为 146,422 美元，如果您能提供更高，自然更好。
无论您是新招聘数据科学家，还是已有数据专业人士在职，都应投入数据科学研讨与培训。这将帮助确保团队技能与时俱进，并参考行业内的现行实践与标准。
3. 数据隐私与安全
向云环境的迁移，促使 21 世纪的数据安全事件频发。据估计，60% 的企业数据存储在云端。仅 2020 年，FBI 每天就收到逾 2,000 起网络犯罪举报。勒索软件、对数据系统的攻击以及数据盗窃，都是常见的数据安全漏洞形式。
因此，企业如今聘用网络安全专家，包括利用ChatGPT 进行渗透测试的道德黑客，以确保客户数据安全。此类道德渗透有助于提前识别潜在数据安全风险并预先修复。
鉴于存在大量可能落入不当之手的数据，欧盟等机构也已采取行动。
例如，自 2018 年起生效的《通用数据保护条例》（GDPR）旨在保护欧盟居民的数据。对于违反 GDPR 隐私与安全标准的机构，条例可处以高达数百万欧元的罚款。
来源
因此，作为企业，您需要确保不仅公司自身的数据安全与隐私得到保障，消费者的数据同样受到保护。
要有效保护这些数据，首先需要了解您拥有哪些数据、它们目前存放在哪里，这一过程称为数据发现。您可以使用 Tableau、IBM Cognos Analytics 等自动化数据发现工具，快速识别手中的敏感数据。
随后，选择可靠的数据存储解决方案，作为额外的安全防护层。此外，请始终备份数据，以便在丢失或损坏时可以轻松恢复。
务必实施细粒度的访问控制。无论您的业务性质如何，让所有人享有同等访问权限都不合理。
来源
以一家软件公司为例。财务团队日常运营所需的数据，与市场部门用于执行其SaaS 营销策略的数据有很大不同。同样，销售团队与客户支持部门为完成工作也需不同的数据集。
更重要的是，细粒度访问控制可防止未经授权的访问，并降低侵犯客户数据隐私与安全的风险。这至关重要，因为组织与数据专家需要在保护客户机密数据与向相关成员共享必要数据集之间取得平衡。可考虑使用数据目录，在限制敏感数据访问的同时，为数据专家授予访问相关数据集所需的权限。
4. 数据清洗
从数据集中移除无用数据是您将面对的关键挑战之一。低质量数据会给企业带来高昂成本，部分企业因此每年损失高达 1,210 万美元。对于数据科学家而言，处理不准确、重复、不一致或不恰当的数据堪称噩梦，这会导致错误结论并引发错误决策。
作为企业，了解大数据的四个 V 对数据清洗至关重要，包括：
鉴于需要处理的数据量庞大且类型多样，清洗不一致的数据可能耗费数小时。
可考虑通过数据治理来解决这一问题。数据治理指企业为管理其数据资产而制定的流程。现代数据治理工具可帮助您清洗、规范并维护数据集的准确性。IBM Data Governance、OvalEdge 与 Collibra 都是不俗的选择。
此外，聘请数据专业人士负责各部门的数据质量把控。这将帮助您获得高质量的数据集，同时节省时间与成本。
5. 向非技术相关方汇报
提升组织进行知情决策的能力，是数据科学的主要目标之一。这些决策应与公司的业务规划保持一致，唯有如此，企业方能实现其业务目标。
我们刚才已略有提及。由于数据科学高度技术化，将数据科学家的发现传达给不熟悉技术语言的管理者与业务高管，往往颇具挑战。许多管理者与组织领导者对数据科学中使用的工具与机器学习模型并不熟悉。
此外，一些组织并未清晰界定业务术语与 KPI，这也会为数据科学家的汇报带来挑战。若各部门对业务术语的理解不一、计算 KPI 的方式各异，数据科学家将面临大量额外工作。
他们需要解释其工作对各部门特定 KPI 的影响。结果就可能难以形成兼顾各部门利益的整体业务决策。
应对这些重大挑战的方案？其一正如前文所述：对数据科学家进行再培训与技能提升，强化其沟通能力。您可以培训他们掌握数据讲故事，以便受众更有效地可视化结果。数据讲故事能确保数据分析易于理解，并有助于说服受众认同所达成的业务决策。
另一种方案是为非技术人员——数据科学家的受众——打好数据科学基础。
您还应明确定义组织的 KPI，确保各部门对每个业务术语达成共识。这样能让数据科学家更容易传达分析中的关键洞见。
确保一致性的另一种方式同样是使用数据目录。它可作为业务术语与 KPI 的单一事实来源，确保所有人对其含义的理解一致。
结语
总而言之，随着企业不断采用新技术来完成工作，新的数据科学挑战也在不断涌现。多源或不可靠的数据，使数据科学家难以从海量数据中提取可执行的洞见。同时，人才缺口也使得具备实战经验的高技能数据科学专家难觅。
数据隐私与安全问题持续增加企业获取分析所需数据的难度。组织在识别与剔除低质量数据时，数据清洗会消耗大量时间与资金。最后，由于数据科学是一个技术领域，向非技术相关方汇报也可能困难重重。
为解决这些挑战，请提供有竞争力的薪酬，从相对紧缺的人才库中吸引现代数据科学家。对数据专业人士进行技能提升与再培训，使其跟上不断变化的技术与新兴的数据科学需求。同时培训其他员工，让他们具备数据科学的基础认知。此外，也可考虑使用数据目录与数据治理软件等工具。
遵循这些建议，您将释放数据科学在业务中的全部潜力，发掘令人振奋的机遇。