从历史上看，许多机器学习模型都是为特定任务而设计的，每个新任务都需要大量数据集。鉴于当时的技术限制，最有效的方法是使用庞大且与任务密切相关的数据集来训练机器学习模型。其结果是，最先进的模型在预测其受训问题的结果方面表现极为出色。然而，与人类基于既有经验学习新任务的惊人能力相比，这些模型仍相去甚远。
将自适应学习策略引入机器学习模型，是元学习的核心使命。元学习是机器学习的一个分支，专注于提升模型高效学习新任务的能力。元学习致力于让模型在有限的再训练和人工干预下快速适应，并随时间推移不断提升表现。
本文将介绍元学习及其如何革新机器学习。我们将涵盖元学习模型的技术细节、最常见的方法与应用，以及其优势与挑战。之后，我也鼓励您尝试我们的AI Fundamentals技能路径，真正掌握有关人工智能中各类相关概念的表达与讨论。
什么是元学习？
元学习的研究可以追溯到20世纪80年代，但随着神经网络的兴起，该领域在2010年代获得了更高关注；更近一步，生成式AI的发展也进一步推动了其发展。作为机器学习的一个子领域，元学习专注于教会模型如何快速、高效地学习新任务。它的灵感来自人类“学会学习”的能力。
设想您想要快速学会解数学题。传统方法是记住大量不同题目的解法，这样当您看到类似题时就能立刻回忆出答案。然而，一旦遇到全新的题型，这种方法就会捉襟见肘。
相反，如果您把重点放在学习通用的解题策略，而不是记忆具体解法，会怎样？您可能会研究解题技巧、识别模式，并形成应对新挑战的直觉。这样，当面对新问题时，即便您从未见过完全相同的题，也能迅速调整并应用合适的方法。
这正是元学习的精髓。传统机器学习会从大型数据集中为单一任务记忆模式，而元学习通过“学习如何学习”，训练模型能够快速适应新任务。
元学习如何运作
您可以将元学习模型视为一个系统，其中包含一个学习子系统，它会根据以往学习过程或不同任务的经验被动态调整。
与只针对单一任务并依赖固定且庞大数据集的传统机器学习模型不同，元学习模型会接触一系列任务以提取可泛化的模式。通常，每个问题都配有较小的、与任务相关的训练数据集。
元训练过程的目标，是提取关于各个任务学习过程的通用信息，从而提升模型以较少再训练应对新任务的能力。
开发元学习模型通常遵循两步流程，重采样了传统机器学习的训练过程：
- 元训练（Meta-training）。在此阶段，模型在多个任务上进行训练，每个任务包含一份训练数据样本（共同构成元训练数据集），并且在许多情况下还包含模型元数据，如模型参数和性能度量。目标是发掘通用且可泛化的模式，使模型具备可用于新任务的广博知识。
- 元测试（Meta-testing）。在元测试期间，模型会接触训练时从未遇到过的新任务。目标是通过测量其适应新环境和新任务的速度与效果来评估其性能。
下图展示了元训练与元测试的过程。
用于图像分类的元学习。来源：Dida
元学习可用于解决任何类型的机器学习问题，无论是监督学习、无监督学习，还是强化学习。
常见的元学习方法
元学习有多种方法。以下是三种最常见的方法：
基于模型的元学习
基于模型的元学习模型专为快速学习而设计，即它们能在少量训练步中迅速更新参数。这样的快速更新可以通过其内部架构实现，或由另一个元学习器模型来控制。
以下是最常见的基于模型的元学习策略：
- 记忆增强型神经网络（MANNs）。由谷歌研究人员在2016年论文中提出。MANNs 配有外部记忆模块，能快速编码与检索新信息，并仅凭少量样本就做出准确预测。随着新数据输入模型，这些网络不仅通过权重更新来调整其偏置，还通过学习将表征快速缓存到存储器中来调制其输出。
- 元网络（Meta Networks）。由 Munkhdalai 与 Yu 在2017年论文中提出。元网络包含两个模型：元学习器与基础学习器。基础学习器像传统神经网络一样工作：它接收输入任务并将当前任务空间的元信息发送给元学习器。元学习器利用这些信息快速更新模型权重。
基于度量的元学习
基于度量的元学习专注于学习一种距离度量，用于计算成对数据点之间的相似或不相似程度。当对象相似时返回高分，而当图像或对象不同则返回低分。
这一方法的核心思想与最近邻算法相似，如K-NN或K-means，它们通过数据点之间的距离来进行分类或聚类。
与传统分类问题（需要大量训练数据）相比，基于度量的模型只需少量样本就能工作。
一些采用基于度量的元学习策略的常见模型包括：
- 卷积孪生神经网络。孪生网络是一类用于相似度度量或度量学习（如人脸验证）的神经网络。该模型由两个孪生网络组成，它们的输出在顶层通过一个函数联合训练，以学习输入数据样本对之间的关系。两个孪生网络结构相同，且共享相同的权重和网络参数。
- 匹配网络（Matching Networks）。由谷歌研究人员在2016年论文中提出。匹配网络使用一种称为余弦相似度的度量来对两个样本进行分类。其架构采用了带外部记忆与注意力机制的记忆增强型神经网络，用于访问记忆。
- 原型网络（Prototypical Networks）。由 Snell 等人在2017年论文中提出。原型网络学习一个度量空间，通过计算到各类别原型表征的距离来完成分类。其前提是存在一种嵌入，使得若干点会围绕每个类别的单一原型表征聚类。
基于优化的元学习
神经网络通过反向传播梯度来逐步降低模型误差并提升性能。优化函数负责找到最有效的方式来重新计算网络的权重与偏置。然而，大多数流行的优化函数是为处理海量训练数据而设计的，而非小数据集。
基于优化的元学习专注于设计创新的优化函数，使其仅凭小型训练数据集就能更新模型参数，从而快速适应新任务。
最受欢迎的基于优化的元学习模型包括：
- LSTM 元学习器。由 Ravi 与 Larochelle 在2017年提出，使用长短期记忆（LSTM）网络来训练一个元学习器，使其能学习用于训练另一神经网络分类器的精确优化算法，从而在新任务且训练数据受限的情境下，加速参数更新并快速收敛。
- 与模型无关的元学习（MAML）。由 Finn 等人在2017年论文中提出。MAML 兼容任何用梯度下降训练的模型，适用于多种学习问题，包括分类、回归与强化学习。MAML 假设只需少量梯度更新即可对模型初始参数进行训练，从而在新任务上实现快速学习。其目标是在任务发生变化时找到对参数变化敏感的模型参数，使得对这些参数的微小调整即可带来任务损失函数的显著改进。
- Reptile。由OpenAI开发，是一种一阶、基于梯度的元学习算法。它反复采样一个任务，在其上执行随机梯度下降，并将初始参数向该任务最终学得的参数方向更新。Reptile 是最短下降算法在元学习情境下的应用，在数学上与 MAML 类似，且具有相近的计算效率与性能。
元学习与其他学习类型
与传统监督学习方法需要大量数据不同，元学习带来了范式转变，使AI模型能够跨任务泛化、用最少数据快速适应，并随时间持续改进。
让我们来分析一些最具前景的应用：
小样本学习（Few-shot Learning）
小样本学习是机器学习的一个子领域，模型基于极少的训练样本来学习识别模式并做出预测。小样本学习强调泛化而非记忆，挑战对大量微调的需求。支持者认为，其关键在于辨识定义某一类别的底层结构与特征。
小样本学习属于更广泛的 n-shot 学习范畴，按提供的样本数量包含多种技术：
- 零样本学习（Zero-shot）：不提供示例；模型完全依赖先验知识或描述。
- 一次样本学习（One-shot）：每个类别只提供一个示例。
- 两次样本学习（Two-shot）：每个类别提供两个示例进行训练。
- 小样本学习（Few-shot）：每个类别仅有少量示例（通常在3到10之间）。
零样本、一次样本与小样本学习示例。来源：LinkedIn
迁移学习
迁移学习让一个为某任务训练好的模型可以被用于另一个不同但相关的任务，通常通过对预训练模型进行微调来实现。相较之下，元学习侧重于教会模型以最少再训练快速适应新任务。尽管元学习在某些情况下可以增强迁移学习，例如用于优化超参数或选择最佳微调策略，但它并非迁移学习的必要组成部分。许多迁移学习方法仅依赖传统的微调技术，而非元学习。
推荐系统
推荐系统利用用户反馈为其或与其偏好相似的其他用户寻找新的相关项目，基于的假设是过去偏好相似的用户未来也可能保持相似偏好。
推荐系统的目标是基于用户的偏好与过往行为为其提供个性化推荐。元学习可通过学习如何为每位用户优化推荐算法来助力实现这一目标。
元推荐系统由两层组成：基础推荐系统与元层优化器。基础推荐系统基于用户的历史行为生成推荐，而元层优化器则学习如何为每位用户优化基础推荐系统。
自动化机器学习（AutoML）
自动化机器学习（AutoML）是将构建机器学习模型的端到端流程自动化的过程。这包括数据预处理、特征工程、模型选择与超参数调优等任务。
元学习技术可以支持这些流程，例如自动化超参数的优化与自适应，甚至为特定任务寻找最合适的模型。
元学习的优势与挑战
有多项有力理由说明，越来越多的机器学习研究人员转向元学习策略来开发模型。
-
训练效率：元学习通过避免使用海量数据集进行训练来缩短训练时间，并允许在有限数据下进行微调。
-
降低运营成本：元学习无需从零开始训练模型，从而降低成本；获取数据与进行模型训练的计算资源往往都很昂贵。
-
更强的适应性与可复用性：元学习是使模型适应多种场景与任务的关键技术，从而提升其潜力与可用性。
-
模型性能：除提升适应性外，元学习也能改善现有机器学习模型的准确性。
然而，元学习并非放之四海而皆准的策略。它也存在需要谨慎应对的局限与潜在风险。元学习中一些常见挑战包括：
-
领域不匹配：当源任务与目标任务在一定程度上相关时，元学习更可能取得良好效果。如果新任务差异过大，所迁移的可泛化知识可能不足以准确完成新任务，甚至会降低所有任务的整体表现。
-
数据稀缺：始终需要一定量的训练数据。如果训练数据极其有限或数据质量较差，模型可能出现欠拟合。
-
过拟合：元学习同样无法避免过拟合风险。如果对某一任务微调过度，模型可能学到无法很好泛化到新数据的任务特定特征。
-
复杂性与成本：有时目标任务过于复杂，以至于微调过程本身就具有挑战性、计算成本高且耗时。
未来方向与研究机遇
元学习是提高神经网络效率与潜力的重要设计路径。可以说，没有众多可用的迁移学习技术，就不会有当下这场AI革命。
这一领域正在快速发展，仍有一些方向需要进一步研究，包括：
- 样本效率。模型在新任务中变得有效需要多少数据？这是元学习中的核心问题。尽管小样本学习等策略表明模型在有限数据下也能学习，但要让模型更高效、更通用，仍有很大的提升空间。
- 任务多样性。当任务之间存在一定关联时，元学习技术往往表现更好。然而，要推进能在广泛任务范围内不发生过拟合的元学习模型，仍需进一步研究。
- 先进技术。元学习是当今一些最具前景与价值技术（包括强化学习、机器人技术与Transformer）的核心创新催化剂。
结语
随着机器学习模型日益庞大与复杂，寻找新方法来提升其效率与通用性，对AI行业兑现承诺、实现经济可行并推动行业可持续发展至关重要。
在这方面，元学习有很多可施展之处。该研究领域正迅速演进，提供了一系列对于提升AI能力至关重要的技术与策略。关注 DataCamp，获取元学习、AI以及更多领域的最新动态：
从历史上看，许多机器学习模型都是为特定任务而设计的，每个新任务都需要大量数据集。鉴于当时的技术限制，最有效的方法是使用庞大且与任务密切相关的数据集来训练机器学习模型。其结果是，最先进的模型在预测其受训问题的结果方面表现极为出色。然而，与人类基于既有经验学习新任务的惊人能力相比，这些模型仍相去甚远。
将自适应学习策略引入机器学习模型，是元学习的核心使命。元学习是机器学习的一个分支，专注于提升模型高效学习新任务的能力。元学习致力于让模型在有限的再训练和人工干预下快速适应，并随时间推移不断提升表现。
本文将介绍元学习及其如何革新机器学习。我们将涵盖元学习模型的技术细节、最常见的方法与应用，以及其优势与挑战。之后，我也鼓励您尝试我们的AI Fundamentals技能路径，真正掌握有关人工智能中各类相关概念的表达与讨论。
什么是元学习？
元学习的研究可以追溯到20世纪80年代，但随着神经网络的兴起，该领域在2010年代获得了更高关注；更近一步，生成式AI的发展也进一步推动了其发展。作为机器学习的一个子领域，元学习专注于教会模型如何快速、高效地学习新任务。它的灵感来自人类“学会学习”的能力。
设想您想要快速学会解数学题。传统方法是记住大量不同题目的解法，这样当您看到类似题时就能立刻回忆出答案。然而，一旦遇到全新的题型，这种方法就会捉襟见肘。
相反，如果您把重点放在学习通用的解题策略，而不是记忆具体解法，会怎样？您可能会研究解题技巧、识别模式，并形成应对新挑战的直觉。这样，当面对新问题时，即便您从未见过完全相同的题，也能迅速调整并应用合适的方法。
这正是元学习的精髓。传统机器学习会从大型数据集中为单一任务记忆模式，而元学习通过“学习如何学习”，训练模型能够快速适应新任务。
元学习如何运作
您可以将元学习模型视为一个系统，其中包含一个学习子系统，它会根据以往学习过程或不同任务的经验被动态调整。
与只针对单一任务并依赖固定且庞大数据集的传统机器学习模型不同，元学习模型会接触一系列任务以提取可泛化的模式。通常，每个问题都配有较小的、与任务相关的训练数据集。
元训练过程的目标，是提取关于各个任务学习过程的通用信息，从而提升模型以较少再训练应对新任务的能力。
开发元学习模型通常遵循两步流程，重采样了传统机器学习的训练过程：
下图展示了元训练与元测试的过程。
用于图像分类的元学习。来源：Dida
元学习可用于解决任何类型的机器学习问题，无论是监督学习、无监督学习，还是强化学习。
常见的元学习方法
元学习有多种方法。以下是三种最常见的方法：
基于模型的元学习
基于模型的元学习模型专为快速学习而设计，即它们能在少量训练步中迅速更新参数。这样的快速更新可以通过其内部架构实现，或由另一个元学习器模型来控制。
以下是最常见的基于模型的元学习策略：
基于度量的元学习
基于度量的元学习专注于学习一种距离度量，用于计算成对数据点之间的相似或不相似程度。当对象相似时返回高分，而当图像或对象不同则返回低分。
这一方法的核心思想与最近邻算法相似，如K-NN或K-means，它们通过数据点之间的距离来进行分类或聚类。
与传统分类问题（需要大量训练数据）相比，基于度量的模型只需少量样本就能工作。
一些采用基于度量的元学习策略的常见模型包括：
基于优化的元学习
神经网络通过反向传播梯度来逐步降低模型误差并提升性能。优化函数负责找到最有效的方式来重新计算网络的权重与偏置。然而，大多数流行的优化函数是为处理海量训练数据而设计的，而非小数据集。
基于优化的元学习专注于设计创新的优化函数，使其仅凭小型训练数据集就能更新模型参数，从而快速适应新任务。
最受欢迎的基于优化的元学习模型包括：
元学习与其他学习类型
与传统监督学习方法需要大量数据不同，元学习带来了范式转变，使AI模型能够跨任务泛化、用最少数据快速适应，并随时间持续改进。
让我们来分析一些最具前景的应用：
小样本学习（Few-shot Learning）
小样本学习是机器学习的一个子领域，模型基于极少的训练样本来学习识别模式并做出预测。小样本学习强调泛化而非记忆，挑战对大量微调的需求。支持者认为，其关键在于辨识定义某一类别的底层结构与特征。
小样本学习属于更广泛的 n-shot 学习范畴，按提供的样本数量包含多种技术：
零样本、一次样本与小样本学习示例。来源：LinkedIn
迁移学习
迁移学习让一个为某任务训练好的模型可以被用于另一个不同但相关的任务，通常通过对预训练模型进行微调来实现。相较之下，元学习侧重于教会模型以最少再训练快速适应新任务。尽管元学习在某些情况下可以增强迁移学习，例如用于优化超参数或选择最佳微调策略，但它并非迁移学习的必要组成部分。许多迁移学习方法仅依赖传统的微调技术，而非元学习。
推荐系统
推荐系统利用用户反馈为其或与其偏好相似的其他用户寻找新的相关项目，基于的假设是过去偏好相似的用户未来也可能保持相似偏好。
推荐系统的目标是基于用户的偏好与过往行为为其提供个性化推荐。元学习可通过学习如何为每位用户优化推荐算法来助力实现这一目标。
元推荐系统由两层组成：基础推荐系统与元层优化器。基础推荐系统基于用户的历史行为生成推荐，而元层优化器则学习如何为每位用户优化基础推荐系统。
自动化机器学习（AutoML）
自动化机器学习（AutoML）是将构建机器学习模型的端到端流程自动化的过程。这包括数据预处理、特征工程、模型选择与超参数调优等任务。
元学习技术可以支持这些流程，例如自动化超参数的优化与自适应，甚至为特定任务寻找最合适的模型。
元学习的优势与挑战
有多项有力理由说明，越来越多的机器学习研究人员转向元学习策略来开发模型。
训练效率：元学习通过避免使用海量数据集进行训练来缩短训练时间，并允许在有限数据下进行微调。
降低运营成本：元学习无需从零开始训练模型，从而降低成本；获取数据与进行模型训练的计算资源往往都很昂贵。
更强的适应性与可复用性：元学习是使模型适应多种场景与任务的关键技术，从而提升其潜力与可用性。
模型性能：除提升适应性外，元学习也能改善现有机器学习模型的准确性。
然而，元学习并非放之四海而皆准的策略。它也存在需要谨慎应对的局限与潜在风险。元学习中一些常见挑战包括：
领域不匹配：当源任务与目标任务在一定程度上相关时，元学习更可能取得良好效果。如果新任务差异过大，所迁移的可泛化知识可能不足以准确完成新任务，甚至会降低所有任务的整体表现。
数据稀缺：始终需要一定量的训练数据。如果训练数据极其有限或数据质量较差，模型可能出现欠拟合。
过拟合：元学习同样无法避免过拟合风险。如果对某一任务微调过度，模型可能学到无法很好泛化到新数据的任务特定特征。
复杂性与成本：有时目标任务过于复杂，以至于微调过程本身就具有挑战性、计算成本高且耗时。
未来方向与研究机遇
元学习是提高神经网络效率与潜力的重要设计路径。可以说，没有众多可用的迁移学习技术，就不会有当下这场AI革命。
这一领域正在快速发展，仍有一些方向需要进一步研究，包括：
结语
随着机器学习模型日益庞大与复杂，寻找新方法来提升其效率与通用性，对AI行业兑现承诺、实现经济可行并推动行业可持续发展至关重要。
在这方面，元学习有很多可施展之处。该研究领域正迅速演进，提供了一系列对于提升AI能力至关重要的技术与策略。关注 DataCamp，获取元学习、AI以及更多领域的最新动态：
什么是小样本学习？用有限数据解锁洞见
什么是深度学习？新手入门教程
理解超对齐：让AI与人类价值观保持一致
什么是AI对齐？确保AI服务于人类
AI中的迁移学习是什么？含示例的入门指南
生成式AI概念