零样本学习：示例指南

什么是零样本学习？

零样本学习（ZSL）是一种机器学习技术，使模型能够处理从未遇到过的任务或识别未见过的事物。它通过利用已有知识并将其连接到新情境来实现这一点，即便没有针对这些情境进行过专门训练。

假设一个模型被训练来识别动物，但在训练阶段从未学习过斑马。借助 ZSL，模型仍然可以通过描述来判断斑马是什么。怎么做到的？让我先简化一下（稍后我们再看更技术性的细节）并解释如下：

• 模型了解动物及其特征，比如“有四条腿”“生活在稀树草原”或“有条纹”。
• 它得到一个新的描述：“一种生活在非洲草原、黑白相间、有马样体型的动物。”
• 借助对动物属性的理解与给定描述，模型可以推断图像很可能是斑马，即使它以前从未见过。
• 模型通过在已知动物特征与新描述之间“连点成线”来完成这种推理。

零样本学习如何工作？

零样本学习包含两个阶段（训练与推理），并依赖三大关键组成：预训练模型、辅助信息与知识迁移。

预训练模型

ZSL 依赖于在海量数据上训练过的预训练模型。例如，GPT 系列（用于语言）或 CLIP（用于图像-文本关联）。这些模型提供了坚实的一般性知识基础。

辅助信息

辅助信息帮助模型理解新事物。这些信息可以包括：

• 文本描述。
• 属性或特征。
• 词语关联或向量。

知识迁移

ZSL 将已知类与新类映射到共享的“语义空间”中进行比较。常用技术包括：

• 语义嵌入：一种对已知与未知类别进行统一表示的方式。
• 迁移学习：复用相似任务中的知识来应对新任务。
• 生成式模型：为未见类别合成伪样本以辅助模型学习。

训练与推理

ZSL 可概念化为两阶段过程：

1. 训练： 模型学习带标注数据样本及其属性的知识。
2. 推理： 将所获知识借助辅助信息扩展到新类别。通常分三步：
• 模型将新的输入（如图像）转换为语义表示。
• 将该表示与已知类别或描述进行比较。
• 基于相似度选择最接近的匹配。

这种方法使 ZSL 模型能够仅凭描述或语义信息，动态地在不需要额外标注训练数据的情况下，随着时间识别开放集的新概念。

让我们回到动物分类的示例。

示例：动物分类

设想我们使用的是 CLIP 模型，它在海量的图像-文本对数据集上进行了预训练。该预训练模型提供了关于动物的一般性知识基础，即使它没有被明确训练过“斑马”。

在斑马的例子中，辅助数据（额外信息）包括诸如“生活在非洲草原、黑白相间、有马样体型的动物”这类文本描述，以及“有四条腿”“有条纹”“生活在稀树草原”等属性。这些描述与属性将模型已知的（一般动物特征）与未见类别（斑马）连接起来。

随后，模型将已见类别（如马、老虎）与未见类别（斑马）映射到共享的语义空间。模型把斑马的描述（“黑白条纹、马样体型”）编码到与已知动物相同的空间中，并利用对马、老虎等动物的理解来推理斑马。

模型将斑马的嵌入与已知动物及描述（如马、老虎、“黑白条纹”）的嵌入进行比较。通过相似度分数，模型识别出斑马与以下描述最为匹配：“一种生活在非洲草原、黑白相间、有马样体型的动物。”

零样本学习 vs. 小样本学习

零样本学习（ZSL）与小样本学习（FSL）都是在数据极少甚至没有的情况下，帮助模型处理新任务或新对象的方法。但它们存在差异。下面概览两种技术及其关键区别：

如何选择？

当您没有任何带标注数据可用时，ZSL 是最佳选择。它适用于出现模型未训练过的新类别或新任务、且没有时间或资源去收集标注示例的场景。

例如，某在线商店可能新增产品类别，模型可以基于描述对这些商品进行归类，而无需带标注示例。

当您需要灵活性，而采集标注数据过于昂贵、缓慢或不可行时，ZSL 再合适不过。

另一方面，当您能提供少量带标注示例（通常 1–5 个）并需要模型快速学习且更高准确度时，FSL 表现更佳。

例如，若聊天机器人出现新的问题类型，如“如何取消我的订阅？”，只需展示少量此类查询的示例，就能帮助它更准确地分类类似问题。

当您能够提供少量带标注示例且对表现要求较高时，FSL 很适用，尤其是在如客服或医学影像等注重准确性的任务中。

零样本学习的应用

ZSL 的用武之地很多。我们来看看其中的几个。

文本与语言处理

ZSL 广泛用于文本分类，使模型无需事先训练即可将文本归入新标签。

例如，它可以根据类别描述将邮件分为垃圾与非垃圾，无需带标注示例。这一能力也可帮助聊天机器人理解用户请求，而不必针对每种可能的查询进行训练。

在情感分析中，ZSL 使模型仅通过理解标签含义来判断评论是正面还是负面。它也用于社交媒体内容审核，基于文本描述识别有害或误导内容，例如检测被标为“传播虚假医疗声明”的错误信息，即使模型从未遇到过此类案例。

图像与视觉识别

在图像分类中，ZSL 通过将图像与文本描述关联，使模型能够识别从未见过的对象。像 CLIP 这样的工具可以识别陌生对象，如“红熊猫”，并对齐图像与文本，从而让视觉搜索引擎更高效地根据用户描述检索图像。

ZSL 还在环境监测中发挥价值，可在没有标注训练数据的情况下检测卫星影像中的变化。例如，它可以通过识别被描述为“森林地区出现显著树冠损失”的区域来发现非法采伐，即便模型未被明确训练过森林砍伐模式。

零售与推荐

在零售领域，ZSL 仅凭文本描述即可将新产品归类到库存类别中。即使训练时未包含该类别，模型也能自动将新品分配到“环保材料”等标签下。

它还可解决推荐系统中的冷启动问题，在没有先验用户数据的情况下推荐产品或内容。诸如 ZESRec 的算法能够在与既有数据完全不重叠的新数据集上推荐项目。

零样本学习的挑战

尽管 ZSL 灵活且能推广到新任务，但也面临若干挑战。

知识表示

ZSL 模型难以表示细节或细微差异。例如，模型可能会把豹和猎豹混淆，因为它们都被描述为“有斑点的大型猫科”，而这些描述无法捕捉更细致的区别。

领域差异

当新任务或新数据与训练时大相径庭时，ZSL 模型可能会失效。例如，一个被训练来识别家居物品的模型，可能无法识别医疗器械，因为差异过大。

性能

与监督学习（基于带标注数据进行训练）相比，ZSL 在特定任务上往往精度较低。对此的一种解决方案是将 ZSL 与在特定数据上的微调结合，以在保持灵活性的同时提高准确率。

偏见

ZSL 依赖预训练数据，而这些数据可能包含偏见。这往往会导致不公平的预测。想象一个用于招聘的 ZSL 模型，如果预训练数据存在性别或种族偏见，它可能会偏向某些群体。一种缓解策略是在数据前期检测并减少偏见，或使用对抗去偏等方法来提高模型的公平性。

可解释性

当 ZSL 模型进行复杂推理时，很难理解其决策过程。以诊断罕见疾病为例，在没有训练数据示例的情况下，为什么模型会做出该诊断，可能并不清楚。 

可扩展性

随着新任务或类别数量增长，ZSL 模型可能变得缓慢且低效。基于 ZSL 的推荐系统可能难以处理跨不同类别的数百万新品。通过更优的数据组织与检索方法（如高效索引或将相似任务分组）在某些情况下可缓解这一问题。

结论

零样本学习无需大型带标注数据集，能够节省时间和成本，并在多个领域表现出色，如文本归类、图像识别、健康问题诊断以及个性化推荐。

尽管 ZSL 并不完美——有时在复杂概念或准确性方面会遇到挑战——但在灵活性至关重要、数据又过于昂贵或稀缺的场景下，它是极佳的选择。