什么是合成数据？

合成数据用于数据科学和机器学习领域，指通过人工方式生成的数据，使研究人员和开发者能够在不危及真实世界数据的隐私或安全的前提下测试与改进算法。

合成数据解读

合成数据本质上是通过算法创建的人工数据。其目的是在不包含任何真实信息的情况下，模仿真实世界数据的特征。合成数据被广泛用于数据科学和机器学习中，使算法得以在不冒隐私或安全风险的条件下进行测试与优化。它还可用于扩充现有数据集，尤其是在原始数据有限或存在偏差的情况下。

生成合成数据通常通过统计方法、机器学习或二者结合来实现，使生成的数据在结构与模式上贴近原始数据。例如，生成式对抗网络（GAN）是一类机器学习框架，由两个相互博弈的神经网络组成，常被用于此目的。GAN 的工作机制是由生成器负责创建合成数据样本，而判别器则评估其真实性。通过这一过程，生成器不断学习，产出愈发逼真的数据。

也有若干商业工具可用于生成合成数据，如 MOSTLY AI 和 Hazy。

合成数据的真实应用场景

合成数据在多个领域发挥作用：

• 自动驾驶。Waymo 和 Tesla 等公司使用合成数据来训练自动驾驶算法。他们创建模拟真实世界场景的虚拟环境，让算法在不进行现实风险测试的情况下，学习如何应对不同情境。
• 医疗健康。合成数据用于生成用于研究的健康记录。这样研究人员就能在不泄露患者隐私的前提下，使用保持真实患者数据统计特性的资料。例如，合成数据可用于生成逼真的器官或组织图像，进而训练算法在真实患者图像中识别模式并发现异常。这有助于更准确高效的诊断与治疗规划，而无需大量真实患者数据。您可以通过使用 Python 或 R 的数据隐私与匿名化课程来学习如何处理敏感信息。
• 金融。合成数据用于模拟金融市场，从而在无需实际市场数据的情况下测试交易策略和风控模型。比如，在信用风险建模中，合成数据可用来模拟借款人特征与信用行为，使放贷机构在不暴露敏感客户信息的前提下测试并优化其信用风险模型，从而提升信用评分的准确性并降低违约风险。
• 机器学习。提升机器学习模型表现和准确率的一个通用方法是使用合成数据。这有助于应对数据不均衡等问题，并减少现有数据集中的偏差。

合成数据的局限性是什么？

尽管优势明显，合成数据也存在一些局限：

• 质量。合成数据的质量取决于其生成所用的算法。如果算法无法准确捕捉真实世界数据的底层分布，生成的数据就可能缺乏代表性。
• 偏差。合成数据基于特定的假设、算法或模型生成。若这些底层假设存在偏差，或未能准确反映真实世界情境，合成数据可能会继承这些偏差。带偏差的合成数据会导致模型或预测出现偏斜或不准确。
• 难以捕捉稀有事件。真实数据中的稀有事件或离群点可能无法在合成数据中得到充分呈现。要准确生成极其罕见的情况或离群值具有挑战性。这一限制会影响仅使用合成数据训练的模型在处理这些特殊情形时的表现。
• 复杂性。生成高质量的合成数据可能过程复杂，需要先进的机器学习技术知识和大量计算资源。

在项目中使用合成数据

Gartner预测，到 2024 年，用于构建机器学习与分析应用的数据中将有 60% 来自人工生成。这一趋势源于采集与清洗真实世界数据的高成本与稀缺性。

例如，与银行欺诈、乳腺癌、自动驾驶汽车以及恶意软件攻击相关的数据在现实中很难获取。即便得到这些数据，也可能需要大量时间和资源来清洗与处理，方能用于机器学习任务。

除此之外，我会使用 faker Python 库来生成用于测试数据库和各类应用的示例数据集。不过，它并不适用于机器学习应用，因为其数据来自有限的池。对于机器学习，我会使用条件 GAN 来生成合成表格数据。这有助于提升模型表现与稳定性。

如果您正在解决一个专业化的机器学习问题，可能需要探索能满足特定需求的合成数据生成技术。这是因为在 Kaggle 和 Accuriqin 上获取的陈旧数据缺乏适应性。

想要 进一步了解 AI 和机器学习？请查看以下资源：

• 机器学习基础课程
• 人工智能基础课程
• 学习 ChatGPT 课程
• 什么是机器学习？
• 生成式对抗网络（GAN）教程