如果您正在阅读这篇文章，想必已经听说过大型语言模型（LLM）。谁没听过呢？毕竟，LLM 正是推动正在进行的生成式 AI 革命的超热门工具背后的核心技术，包括ChatGPT、Google Bard 和 DALL-E。
为了实现这些神奇能力，这些工具依赖一种强大的技术，能够处理数据并根据用户提出的问题生成准确的内容。这正是 LLM 大显身手之处。
本文旨在向您介绍 LLM。阅读以下内容后，我们将了解什么是 LLM、它们如何工作、不同类型的 LLM 及示例，以及它们的优势与局限。
对于初学者，我们的大型语言模型（LLM）概念课程是系统深入了解 LLM 的理想起点。而如果您已经熟悉 LLM，并希望更进一步学习如何构建基于 LLM 的应用，请查看我们的文章如何使用 LangChain 构建 LLM 应用。
让我们开始吧！
什么是大型语言模型？
LLM 是用于建模和处理人类语言的 AI 系统。之所以称为“大型”，是因为这类模型通常由数亿甚至数十亿个参数构成，这些参数定义了模型的行为，并通过海量文本语料进行预训练。
LLM 的底层技术称为 Transformer 神经网络，通常简称为Transformer。正如我们将在下一节更详细解释的那样，Transformer 是深度学习领域的一种创新神经架构。
由谷歌研究人员在 2017 年著名论文 Attention is All You Need 中提出，Transformer 能以前所未有的准确性和速度完成自然语言处理（NLP）任务。凭借其独特能力，Transformer 使 LLM 的能力实现了重大飞跃。可以公平地说，没有 Transformer，就不可能有当下的生成式 AI 革命。
上图展示了这种演进。可以看到，第一批现代 LLM 出现在 Transformer 问世后不久，代表性模型包括 BERT（谷歌开发的首个用于验证 Transformer 威力的 LLM），以及 OpenAI 创建的 GPT 系列前两个模型 GPT-1 和 GPT-2。但直到 2020 年代，LLM 才真正走向主流，参数规模不断扩大、能力也更强，典型代表如 GPT-4 和 LLaMa。
LLM 如何工作？
现代 LLM 成功的关键在于 Transformer 架构。在谷歌研究人员提出 Transformer 之前，自然语言建模是一项极具挑战性的任务。尽管出现了更复杂的神经网络——如循环或卷积神经网络——其效果仍然有限。
主要挑战在于这些神经网络用于预测句子中缺失词的策略。Transformer 之前，最先进的神经网络依赖于编码器-解码器架构，这是一种功能强大但耗时耗资、且不适合并行计算的机制，从而限制了可扩展性。
Transformer 为处理序列数据（即文本）提供了不同于传统神经网络的替代方案（尽管 Transformer 也已成功用于图像、音频等其他数据类型）。
LLM 的组成
Transformer 与循环和卷积神经网络一样，基于编码器-解码器架构。此类神经架构旨在发现文本标记之间的统计关系。
这通过一系列嵌入技术来实现。嵌入是对标记（如句子、段落或文档）在高维向量空间中的表示，每个维度对应语言的一个已学习特征或属性。
嵌入过程发生在编码器中。由于 LLM 规模庞大，创建嵌入需要大量训练和可观资源。然而，使 Transformer 有别于以往神经网络的是，嵌入过程高度可并行化，从而实现更高效的处理。这要归功于注意力机制。
循环和卷积神经网络进行词预测时仅依赖前文，因此可视为单向。相比之下，注意力机制使 Transformer 能够双向预测词语，即同时基于前后文。注意力层被纳入编码器和解码器中，旨在捕捉输入句子中不同词之间的上下文关系。
想详细了解 Transformer 中编码器-解码器架构的工作方式，我们强烈推荐阅读使用 Transformers 和 Hugging Face 入门。
Transformer 架构示意
LLM 的训练
训练 Transformer 包含两个步骤：预训练和微调。
预训练
在此阶段，Transformer 在海量原始文本数据上进行训练。互联网是主要数据来源。
训练采用无监督学习技术，这是一种无需人工为数据打标签的创新训练方式。
预训练的目标是学习语言的统计模式。实现更高准确度的主流策略是增大模型规模（增加参数数量）并扩大训练数据体量。因此，大多数先进的 LLM 都拥有数十亿级参数（例如，PaLM 2 具有 3400 亿参数，GPT-4 估计约有 1.8 万亿参数），并在海量语料上训练完成。
这种趋势带来了可及性问题。鉴于模型与训练数据规模庞大，预训练过程通常耗时且昂贵，只有少数公司能够承担。
微调
预训练让 Transformer 获得对语言的基本理解，但仍不足以在特定实际任务上达到高准确度。
为避免在训练过程中进行耗时且昂贵的反复迭代，Transformer 利用迁移学习技术将（预）训练阶段与微调阶段分离。这样开发者可以选择预训练模型，并基于更窄、更具领域性的数据库进行微调。很多情况下，微调过程会在人工评审的协助下进行，采用一种名为人类反馈强化学习的技术。
这两步训练流程使 LLM 能适配广泛的下游任务。换句话说，这一特性让 LLM 成为无数构建其上的基础模型。
LLM 的多模态性
最早的现代 LLM 是文本到文本模型（即输入文本，输出文本）。不过，近年来开发者创建了所谓的多模态 LLM。这些模型将文本数据与其他信息类型结合，包括图像、音频和视频。不同数据类型的结合促成了复杂的任务专用模型，如 OpenAI 的用于图像生成的 DALL-E，以及 Meta 的用于音乐与音频生成的 AudioCraft。
LLM 用于做什么？
得益于 Transformer，现代 LLM 在多项 NLP 任务上达到了最先进水平。以下是 LLM 表现突出的部分任务：
- 文本生成。像 ChatGPT 这样的 LLM 能在数秒内生成篇幅长、结构复杂且近似人类风格的文本。
- 翻译。当 LLM 在多种语言上训练时，能够执行高水平的翻译。借助多模态，可能性几乎无限。例如，Meta 的 SeamlessM4T 可根据任务在多达 100 种语言间进行语音转文本、语音互译、文本转语音以及文本互译。
- 情感分析。从影评正负面预测到营销活动舆情，LLM 可胜任各类情感分析。
- 对话式 AI。作为现代聊天机器人的底层技术，LLM 擅长问答与对话，哪怕是复杂任务。
- 自动补全。LLM 可用于自动补全任务，例如邮件或消息服务中的输入联想。比如，Gmail 的自动补全工具就由 Google 的 BERT 提供支持。
LLM 的优势
LLM 对组织机构具有巨大的潜力，这从 ChatGPT 的广泛采用即可见一斑——其在发布后短短几个月内就成为史上增长最快的数字应用。
基于 LLM 的商业应用已经不在少数，随着这些工具在各行业的普及，用例只会越来越多。以下是 LLM 带来的一些益处：
- 内容创作。LLM 是各类生成式 AI 工具的强大引擎。凭借其能力，LLM 非常适合生成内容（主要是文本，但与其他模型结合也能生成图像、视频和音频）。根据微调过程中使用的数据，LLM 能在您能想到的任何行业（从法律、金融到医疗和市场营销）输出准确、面向特定领域的内容。
- NLP 任务效果更佳。如前文所述，LLM 在许多 NLP 任务上表现出色。它们能够理解人类语言，并以空前的准确度与人类互动。不过需要注意的是，这些工具并不完美，仍可能给出不准确的结果，甚至出现幻觉。
- 提高效率。LLM 的一大商业优势在于，它们可以在数秒内完成枯燥耗时的任务。虽然这为企业带来巨大效率红利，但也对劳动者与就业市场产生深远影响，值得审慎对待。
LLM 的挑战与局限
LLM 站在生成式 AI 革命的前沿。然而，正如一切新兴技术一样，能力越大，责任越大。尽管 LLM 具备独特能力，但其潜在风险与挑战同样需要正视。
以下是与 LLM 广泛采用相关的一些风险与挑战：
- 缺乏透明度。算法不透明是与 LLM 相关的主要担忧之一。这些模型因其复杂性常被称为“黑箱”，难以监控其推理过程和内部机理。专有 LLM 的提供商往往不愿披露模型信息，给监督与问责带来困难。
- LLM 垄断。鉴于开发、训练与运行 LLM 所需资源巨大，市场高度集中在少数具备相应能力与资源的大型科技公司。所幸，越来越多的开源 LLM 推向市场，让开发者、AI 研究者和社会更容易理解与使用 LLM。
- 偏见与歧视。带有偏见的 LLM 可能导致不公正的决策，常常加剧对少数群体的歧视。同样，这里透明度至关重要，以便更好地理解并消除潜在偏见。
- 隐私问题。LLM 主要以不加区分的方式从互联网获取海量数据进行训练，其中往往包含个人数据。这会引发与数据隐私与安全相关的问题和风险。
- 伦理考量。LLM 有时会介入对我们生活有重大影响的决策，关系到我们的基本权利。我们在另一篇文章中探讨了生成式 AI 的伦理。
- 环境影响。研究人员与环保组织对训练与运行 LLM 所带来的环境足迹表示担忧。专有 LLM 很少公布其能耗与资源使用情况以及相关环境影响，在这些工具被迅速采用的背景下，这尤为棘手。
LLM 的类型与示例
LLM 的设计使其具备极强的灵活性与适应性。这种模块化体现在不同类型的 LLM 上，尤其包括：
- 零样本 LLM。这类模型无需任何训练示例即可完成任务。比如，一个 LLM 能基于新词与其余文本的位置信息与语义关系来理解新俚语。
- 微调 LLM。开发者常常在预训练 LLM 的基础上，用新数据进行微调以满足特定目的。要了解更多关于 LLM 微调的内容，请阅读我们的文章微调 LLaMA 2：定制大型语言模型的分步指南。
- 领域专用 LLM。这类模型专为捕捉特定领域（如医疗或法律）的术语、知识和特殊性而设计。在开发这些模型时，选择精心整理的训练数据十分重要，以确保模型符合相应领域的标准。
如今，专有与开源的 LLM 数量都在快速增长。您可能已经听说过 ChatGPT，但 ChatGPT 本身并不是 LLM，而是构建在 LLM 之上的应用。具体来说，ChatGPT 由 GPT-3.5 提供支持，而 ChatGPT-Plus 则由目前最强大的 LLM——GPT-4——提供支持。要了解如何使用 OpenAI 的 GPT 模型，请阅读我们的文章通过 OpenAI API 在 Python 中使用 GPT-3.5 与 GPT-4。
以下是其他一些广受欢迎的 LLM：
- BERT。由谷歌于 2018 年推出并开源，BERT 是最早也是最成功的现代 LLM 之一。查看我们的文章什么是 BERT？全面了解这一经典 LLM。
- PaLM 2。相比其前身 PaLM 更为先进，PaLM 2 是驱动 Google Bard 的 LLM，后者是与 ChatGPT 竞争的最雄心勃勃的聊天机器人之一。
- LLaMa 2。由 Meta 开发，LLaMa 2 是市面上最强大的开源 LLM 之一。想了解此模型及其他开源 LLM，推荐阅读我们的专题文章2024 年 8 大开源 LLM。
结论
LLM 正在驱动当下的生成式 AI 浪潮。其潜在应用极为广泛，未来每个行业与领域（包括数据科学）都可能因 LLM 的采用而受到影响。
可能性巨大，同时也伴随风险与挑战。凭借其变革性力量，LLM 引发了关于未来以及 AI 将如何影响就业市场和社会诸多方面的讨论。这是一场至关重要的辩论，需要坚定而集体的应对，因为利害攸关。
DataCamp 正努力为每个人提供全面且易获得的资源，以便及时掌握 AI 动态。欢迎查阅：
