什么是基础模型？

BERT、GPT-3、DALL-E 2、LLaMA、BLOOM；自ChatGPT 发布以来，这些模型一直是我们所见 AI 革命中的明星。它们有什么共同点？您猜对了：它们都是基础模型。

基础模型是 AI 领域的最新进展。这类模型基于旨在优化输出通用性与多样性的算法构建而成。它们以大规模神经网络为基础，通常在来源广泛且数据量巨大的语料上进行训练，以完成各种下游任务，其中包括一些并非针对性开发和训练的任务。

基础模型的普及，正在搅动关于“弱人工智能（Narrow AI）与通用人工智能（AGI）”的经典争论，也被称为强人工智能。弱人工智能是指为特定任务设计、无法在既定范围之外执行任务的 AI 系统。相较之下，AGI 是一种假设中的 AI 系统，能够像人类一样在广泛任务中理解、学习并应用知识。

虽然基础模型仍无法像人类那样思考，但它们已带来突破性成果，让我们更接近 AGI 的门槛。这也是数据专业人士和非专业人士都应熟悉这些模型的原因。

如果您是入门者，我们的AI 基础技能路径将帮助您全面了解下一代 AI 模型。若您已有相关技能，我们的生成式 AI 项目文章可让您检验所学。

让我们更近一步了解基础模型！

什么是基础模型？关键概念解析

“基础模型”这一术语出现较晚，且与其他常见概念（如生成式 AI、Transformer 以及大型语言模型 LLM）有所重叠。

不过，AI 术语仍在不断演化。以下是一些定义，助您在快速发展的 AI 领域中理清脉络：

• 生成式 AI。这是一个广义术语，用于描述以生成内容为主要功能的 AI 系统，与那些为分类、预测等其他任务而设计的 AI 系统相对。
• Transformer（转换器）。Transformer 颠覆了深度学习领域，它为更高效地处理序列数据提供了创新架构。Transformer 尤其适合处理文本，因此成为自然语言处理（NLP）和自然语言生成（NLG）领域的基石。不过，Transformer 也已成功应用于图像等其他数据类型。
• 大型语言模型。LLM 是用于建模和处理人类语言的 AI 系统。Transformer 是 LLM 的底层技术。之所以称为“大型”，是因为它们拥有数亿甚至数十亿参数，并在海量文本语料上进行预训练。
• 基础模型。用于定义旨在产生广泛且通用输出的 AI 模型的广义术语。它们能够胜任多种任务与应用，包括文本、视频、图像或音频生成。此类模型的一个显著特征是既可作为独立系统使用，也可作为其他应用的“基础”。例如，名为 GPT 的 LLM 就是 ChatGPT 的基础模型。

基础模型如何工作？

无论基础模型被设计来完成何种任务、使用何种类型的数据进行训练，其底层技术都是 Transformer。

由谷歌研究人员于 2017 年提出，Transformer 为处理序列数据（主要是文本）提供了不同于传统循环神经网络（RNN）和卷积神经网络（CNN）的途径。

Transformer 通过预测序列中的下一个词来生成连贯的响应。该过程依赖一种称为“注意力”的机制，在生成响应时对不同词语的影响进行加权。

训练 Transformer 通常包括两个阶段：预训练与微调。

预训练

在此阶段，Transformer 在海量原始（文本）数据上进行训练，互联网是主要数据来源。

训练采用自监督学习，这是一种无需人工标注数据的创新训练方式。

预训练的目标是学习语言的统计模式。由于当前提升 Transformer 表现的主流策略是扩大模型规模（即增加参数量）并增加预训练数据量，因此该阶段通常耗时且成本高昂。

微调

预训练使 Transformer 获得对语言的基础理解，但不足以胜任特定的实际任务。因此模型需要进入微调阶段，在更窄、更具领域针对性的数据集上进行训练，该数据集通常由遵循特定指南的人类审阅者协助构建。

模态

基础模型的另一个重要特征是模态性。根据可接收输入的数据类型，基础模型可分为单模态或多模态。前者只能接收一种数据并生成同类型输出；后者可接收多种模态的输入并生成多种类型的输出（例如，GPT-4 可接受图像与文本输入并生成文本输出）。

理解 Transformer 的工作原理并不容易，且超出本文范围。若需更详尽的解释，请参阅我们的文章《什么是 ChatGPT》，我们直接向 ChatGPT 发问，并了解Transformer 与 Hugging Face，以获得更技术性的视角。

若您想进一步了解 LLM 的工作机制，我们的大型语言模型（LLM）概念课程是绝佳起点。

基础模型的应用

基础模型既可作为独立系统使用，也可作为无数下游 AI 系统与应用的基础。尽管大多数现代基础系统旨在生成文本或代码并执行 NLP 任务，但越来越多的系统能够生成图像或音乐等其他类型的输出。

下表列出了一些最受欢迎的基础模型。