什么是 Llama 3？专家眼中的下一代开源大语言模型

什么是 Llama 3？

Llama 3 是一款文本生成式 AI。也就是说，类似于 OpenAI 的 GPT 和 Anthropic 的 Claude 模型，您输入文本提示，它会生成文本回应。最新的模型承诺带来更好的表现，尤其是在上下文理解和逻辑推理方面。Llama 模型用于驱动 Meta AI，这是一款集成在 Instagram、WhatsApp、Messenger 和 Facebook 中的智能助手。

Llama 3 是一个“开放权重”模型。这意味着模型本身是开源的，在其如何进行计算方面提供了一定的透明度。不过，用于完整复现模型的细节（例如训练所用的数据集）并未公开。

使用 Midjourney 生成的三只羊驼的图片。提示词为“A cartoon of 3 llamas happily frolicking in a field”。

Llama3 的新能力

Llama 3 提供两种规模：80 亿参数模型和 700 亿参数模型。一般而言，参数越多，输出质量越高，但运行越慢、成本越高。700 亿参数与许多竞品模型相当，尽管也有参数规模更大的知名模型。第三个更大的 4000 亿参数模型已宣布在开发中。

上下文窗口——即一次可被推理的文本量——已从 4096 个 token 翻倍到 8192 个 token。一个token通常对应一个词或一个标点，但有些词会被拆分成多个 token。以英语计，四个 token 约等于三个词，因此新的上下文窗口大约相当于 15 页文本（按每页 400 词计）。尽管这个提升值得肯定，但距离前沿仍有差距，例如 Claude 3 模型提供 200,000 个 token 的上下文窗口。

发布文章并未详细描述模型的其他特性，更多关注点放在了周边的软件生态系统。

Llama 3 生态系统

在发布 Llama3 的同时，Meta 还宣布了一套工具，旨在让使用 Llama 更加便捷和安全。以下是概览。

Llama Guard 2

Llama Guard 2 是一款用于将文本分类为“安全”或“不安全”的 LLM 工具，可用于提示和回复。例如，它可以检测文本是否包含暴力、仇恨言论或其他不当内容的描述。

一个示例用例是聊天机器人。您可以检查每个提示，如果内容被标记为不安全，则提供警告或采用其他方式处理问题内容。同样，如果聊天机器人生成的回复被标记为不安全，您可以在用户看到之前拦截并重试。

除了安全/不安全标记外，Llama Guard 2 的响应还会附带安全标签——来自 MLCommons AI Safety Taxonomy 的 11 个不当内容类别之一。

Llama Code Shield

Llama Code Shield 将代码分类为安全或不安全。由于许多软件开发者使用 LLM 辅助编写代码，生成并进入生产环境的不安全代码存在风险。该工具旨在集成到 AI 编码助手中，并与 VSCode 和 DataLab 等其他工具集成。

CyberSec Eval 2

CyberSec Eval 2 可用于评估 LLM 的安全性。原版 CyberSec Eval 能评估代码生成的安全性和网络攻击防护。最新版本在此基础上扩展，加入了评估提示注入易感性、自动化进攻性网络安全能力以及滥用代码解释器倾向的功能。

torchtune

torchtune 是一个与 PyTorch 深度学习框架配套的 Python 包，便于开发您自己的 LLM。它为四类任务提供工具。

• 基于现有 LLM 的构件创建新模型
• 使用诸如LoRA 和 QLoRA 等技术微调 LLM
• 配置模型训练、量化和评估的设置
• 用于更易训练的提示模板与数据集集成

torchtune 已与 Hugging Face、Weights & Biases、EleutherAI 和 Executorch 等热门机器学习平台集成。

Llama 3 的应用场景有哪些？

Llama 3 的应用场景与 Llama 2 及其他 LLM 相同。常见用途包括以下方面。

1. 聊天机器人：通过对话式代理自动化客户服务、支持与互动。
2. 文档摘要：将长文档浓缩为突出要点的短版本，适用于法律、学术和商业场景。
3. 内容创作：生成文章、报告、博客，乃至诗歌、故事等创意写作。
4. 邮件与沟通助手：自动起草邮件、回复及其他日常沟通内容。
5. 产品描述：为电商网站自动生成独特且有吸引力的产品描述。
6. 教育工具：创建学习指南、考试题目和按学生学习水平定制的教育内容。
7. 编程与代码生成：通过生成代码片段、调试现有代码或提供编程建议来辅助开发者。
8. 数据分析报告：总结数据发现，并基于结构化数据输入生成报告。
9. 虚拟助手：为个人助理应用提供支持，管理日程、解答问题并执行任务。

Llama 3 的性能如何对比？

Meta 的发布信息展示了 Llama 3 的 80 亿（8B）和 700 亿（70B）参数版本对比另外两款模型的基准测试结果。

使用了以下基准测试。

• MMLU（大规模多任务语言理解）。包含小学数学、美国历史、计算机科学、法律等任务。要在此测试中取得高准确率，模型必须具备广博的世界知识与解题能力。
• GPQA（研究生级、无法通过谷歌搜索的问答）。由生物、物理与化学领域的专家编写的多选题。问题高质量且极具难度：对应领域的博士或在读博士专家可达到 74% 的准确率。
• HumanEval。用于检查代码生成的计算机代码功能正确性测试。
• GSM-8K。高质量、语言多样化的小学数学应用题。
• MATH。初高中数学问题。

Llama 3 8B 与 Google 的 Gemma 7B It 和 Mistral 7B Instruct 进行了对比。这些 LLM 规模可比（参数数量相近），均为可在 Hugging Face 平台获取的开放权重模型，面向相似用例。结果见图 1。

在五项基准上，Llama 3 8B 全面优于另外两款模型。

图 1. Llama 3 8B 与两款可比模型在 5 项 LLM 基准上的表现。

Llama 3 70B 与 Google DeepMind 的 Gemini Pro 1.5 和 Anthropic 的 Claude 3 Sonnet 进行了对比。这些接近前沿，但并非当前性能最强的模型（目前桂冠在 OpenAI 的 GPT-4 Turbo 与 Anthropic 的 Claude 3 Opus 之间轮转）。结果见图 2。

在这里，三项基准测试的表现基本打成平手。Llama 3 80B 在用于生成代码的 HumanEval 基准上获胜，并在 MATH 基准上名列 Gemini Pro 1.5 之后。

图 2. Llama 3 70B 与两款可比模型在 5 项 LLM 基准上的表现。

如何解读基准测试结果

基准测试不止这五项：Llama 3 共参与了 15 项测试，但公告中仅展示了五项的结果。同样，可对比的 LLM 还有很多。Meta 在呈现结果时做了多少“择优展示”，尚不明确。

其次，输出质量只是性能的一个维度。生成响应所需的时间和成本同样重要，而公告并未涵盖。

第三，性能始终会因用例而异，要获得与您用例相匹配的准确结果，仍需要在您自己的硬件上进行测试。

Chatbot Arena 排名

在 Meta 发布后的几天里，Llama 3 的表现已出现在LMSYS Chatbot Arena 排行榜（一份公开的 LLM 排名）上。Llama 3 70B 目前位列第 6，是开放权重 LLM 中的最高排名。（其后仍有多个版本的 OpenAI GPT-4、Anthropic Claude 3 Opus 和 Google Gemini Pro。）与此同时，Llama 3 8B 位列第 14。

这些排名的跃升值得关注，也值得探究自 Llama 2 以来发生了哪些变化。

Llama 3 的工作原理是什么？

Llama 3 采用仅解码器的Transformer 架构，与其前代及 GPT 系列相同。这是生成文本模型最常见的架构。（与之相对，仅编码器架构用于理解或分类用户提供的文本。）

Llama 3 的发布并未描述模型结构或训练流程的激进变化。相反，更多是围绕响应质量、响应速度与开发效率之间权衡所做的诸多优化。

用于将文本转换为 token 的新分词器更高效，因此提示与回复所占用的 token 减少 15%，意味着在同样的上下文窗口里可容纳更多文本。

新的注意力机制——即 LLM 用于判断哪些词语或短语对生成输出至关重要的技术——称为分组查询注意力（grouped query attention），相较以往机制，在输出质量与生成速度之间提供了更好的权衡。

训练数据集比 Llama 2 使用的规模大 7 倍，包含 4 倍的代码。一般来说，训练数据中包含更多代码，会使 LLM 在代码生成方面更出色。

有趣的是，Llama 2 被用于评估和分类纳入 Llama 3 训练集的数据。用 AI 来打造更强的 AI 向来是科幻作品中的经典设定（它是《银河系漫游指南》中的情节要点），如今已在实践中落地。

后训练过程也得到优化。LLM 训练完成后，可以对这个“原始”模型进行调优以提升性能。Meta 指出，Llama 3 的流程包括以下技术。

• 监督微调，这是一种监督式机器学习技术，使用提示与高质量答案的成对样本来提供良好输出的示例。
• 拒绝采样，生成多个输出并进行排序，剔除最差的结果。
• 直接策略优化（DPO）和近端策略优化（PPO）等强化学习技术，通过对优质回复给予奖励来优化模型。

有哪些未包含？

本次发布也有一些明显缺席的内容。

未支持多模态 AI

OpenAI 的 ChatGPT 将 GPT-4 文本 AI 与 DALL∙E 3 图像 AI 结合，即“多模态”。Meta 的发布表示，让 Llama 3 实现多模态是近期目标。

未支持多语种 AI

据称 Llama 3 的数据集中有 95% 为英文文本。这意味着其他语言的表现预计会弱得多。与多模态 AI 类似，多语言版本的 Llama 3 也在路线图上。

未采用专家混合（Mixture of Experts）

公告未提及采用专家混合架构。该技术让一个 LLM 由多个专精于更窄任务的小型 LLM 组成（例如，用于代码生成、文档摘要和对话的不同 LLM）。它被 Mistral AI 的 Mixtral 模型推广，据传也是 OpenAI GPT-4 的基础，可带来更高的参数效率。也就是说，借助该技术，可以用更小（因此更便宜、更快）的模型达到相同性能。由于 Meta 未提及该技术（Llama 3 的 GitHub 仓库也未提到），我们可以推测未采用。

未采用世界模型

Meta 首席 AI 科学家 Yann LeCun 一直是世界模型的积极倡导者，该思路让 AI 发展对世界运作方式的内部表征，从而更快学习、完成复杂任务并适应陌生情景。公告未提及这种激进架构，看来 Llama 3 并未采用。

我在哪里可以使用 Llama 3？

您可以从其官网和其 GitHub 仓库下载 Llama 3。它已为 Facebook、Instagram、WhatsApp 和 Messenger 中的 Meta AI 助手提供支持，因此您在这些平台上使用 Meta AI，即可间接体验 Llama 3。

与 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 的集成被承诺“即将推出”，届时您可通过这些平台访问 Llama 3。

Llama 3 重要吗？

在性能高端，近来的大语言模型格局是 OpenAI 的 GPT-4 与 Anthropic 的 Claude 3 Opus 争夺霸主，Google Gemini Pro 与 Cohere 的 Command R+ 紧随其后。尚待观察正在开发的大规模 Llama 3 是否有望问鼎，但在此期间，Meta 已在 Llama 3 上取得了显著的性能提升。

过去几年，闭源模型（模型细节不向公众开放）的表现优于更开放的模型。因此，Llama 3 能位居第 6，这一事实本身就意义重大。

Meta 对 Llama 的短期主要目标只是为其社交平台的 Meta AI 智能助手提供动力。这与 OpenAI、Anthropic 或 Cohere 的商业模式截然不同，后者希望向其他公司的 AI 产品出售其 LLM。从这个角度看，生成代码或解数学题的性能基准，或许对 Meta 并不那么重要。

Meta 拥有独一无二的训练数据集——数十亿用户创作的社交帖文。撇开“炫技”不谈，唯一重要的性能指标是：“Llama 3 是否足以满足社交媒体用户的需求？”

除此之外，开放权重意味着 Llama 3 的运行成本可能低于竞品。通过实质性地“免费”提供 AI，它对竞争对手 API 的定价形成下行压力。这一点很重要：2023 年的高涨乐观与对生成式 AI 性能无限攀升的憧憬，在 2024 年趋于理性，管理者开始注意到 LLM 功能的高昂成本，“单位成本的性能”成为优先事项。

在数据隐私至关重要的场景中（如金融数据、医疗数据或可识别个人身份信息），开放权重模型也尤为重要。将此类高度敏感数据交由他家公司托管的 LLM（如 GPT 等闭源模型）处理，会带来大多数企业不愿承受的业务风险。这意味着在构建聊天机器人或其他 AI 功能时，必须采用更复杂的架构，将敏感数据与 LLM 隔离。像 Llama 3 这样的开放权重模型可以托管在组织任意选择的位置，更便于在保障数据隐私的同时构建 AI 产品与功能。

结语

Llama 3 似乎是 Llama 2 的迭代式改进。发布中未宣布架构层面的重大变更，也没有重大功能的亮相。

对成本—性能权衡的关注表明，Meta 正致力于打造可以低成本大规模运行的 AI。最令人兴奋的消息来自生态产品：帮助其他开发者更高效地创建高质量 LLM，正是 Meta 开放策略带来的重要价值之一。

如果您迫不及待想进入生成式 AI 的世界，我们的AI 基础技能路径将帮助您快速掌握机器学习、深度学习、NLP、生成式模型等内容。您还可以阅读我们的指南：本地微调 Llama 3、Llama 3.1 和 Llama 3.2。