为更好地理解本文关于 Falcon 40B 的内容,读者应具备机器学习和自然语言处理的基础知识。熟悉 Transformer 模型及其组件(如注意力机制与位置嵌入)将更有帮助。
如果您刚接触人工智能并希望学习基础知识,可参加我们的 AI Fundamentals 技能路径。您将了解 ChatGPT、机器学习、LLM、生成式 AI 以及 AI 伦理。
什么是 Falcon 40B?
Falcon 40B 属于由 Technology Innovation Institute(TII)开发的 Falcon 系列大语言模型(LLM),同时还包括 Falcon 7B 和 Falcon 180B。作为因果解码器(decoder-only)模型,Falcon 40B 面向多种自然语言生成任务而设计。
Falcon 40B 具备多语种能力,覆盖英语、德语、西班牙语和法语,并对包括意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语与瑞典语在内的多种语言具备一定能力。
模型架构
Falcon 40B 的架构在 GPT-3 基础上改造 ,通过关键改进提升性能。其采用旋转位置嵌入以更好理解序列;注意力机制引入多查询注意力(Multi-Query Attention)与 FlashAttention;解码器模块使用并行注意力与多层感知机(MLP)结构,并配合双层归一化方案,在计算效率与效果之间取得平衡。
训练数据
Falcon 40B 基于 1 万亿个来自 RefinedWeb 的标记进行训练——这是一个经过质量筛选的互联网语料库,同时还包含其他精心整理的数据集。与其分散收集各类精编来源,TII 通过大规模去重与严格过滤直接提升网页数据质量,从而获得高质量训练数据集,显著助力 Falcon 系列模型的强劲表现。
训练过程
Falcon 40B 在 AWS SageMaker 上使用 384 张 A100 40GB GPU 进行训练,采用 3D 并行策略(TP=8,PP=4,DP=12)并结合 ZeRO。训练自 2022 年 12 月开始,历时两个月完成。
若想从环境搭建到最终实现,系统学习如何用 PyTorch 训练大语言模型,请参阅教程 How to Train a Large Language Model with PyTorch 。
多查询注意力(MQA)
不同于传统多头注意力,Falcon 40B 采用多查询注意力,即所有注意力头共享同一组 key 与 value。该创新注意力机制对预训练影响不大,却能极大提升推理的可扩展性。
图片来源:Falcon 博客
Instruct 版本
TII 还推出了模型的 instruct 版本,Falcon-7B-Instruct 与 Falcon 40B-Instruct ,通过指令与对话数据微调,以在助理类任务中获得更佳表现。
面向消费者的可用性
尽管 Falcon 40B 需要大量 GPU 显存,您仍可借助量化技术在更廉价的 GPU 上使用该模型,或在 Google Colab 上运行更小的 Falcon-7B 版本。
为何选择 Falcon 40B?
Falcon 40B 在 OpenLLM 排行榜 上的表现优于 LLaMA、StableLM、RedPajama 与 MPT 等其他开源模型。其卓越性能使其成为开源模型中的领先之选。
图片来源:Open LLM Leaderboard
Falcon 40B 的架构针对高效推理做了优化,引入 FlashAttention 与多查询注意力等特性,从而在推理速度与可扩展性方面表现更佳。它是一个未经指令对齐的预训练语言模型,在多数应用场景中需要进一步微调。
Falcon 40B 采用 Apache 2.0 许可协议,允许您在无版税义务与限制的情况下将模型与数据集用于商业用途。
开始使用 Falcon 40B
本节将介绍加载 Falcon 40B 模型并运行推理的流程。此外,我们还将演示如何在 Google Colab 上使用 4bit 量化运行更小的 Falcon 7B 版本。最后,我们将学习使用 QLoRA 与 SFT Trainer 在新数据集上对模型进行微调。
Falcon 40B 的推理
运行拥有 400 亿参数的 Falcon 40B 会带来内存挑战。即便使用约需 45GB 内存的 8 位低精度模式,该模型的显存占用仍超过单张 80GB 显存的 NVIDIA A100 GPU 容量。
通过配合最新版的 bitsandbytes、transformers 与 accelerate 库,以 4 位精度加载,内存占用可降至约 27GB,从而可将 Falcon-40B 加载到 40GB 显存的 A100 GPU 上。
from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch
model = "tiiuae/falcon-40b"
tokenizer = AutoTokenizer. from_pretrained( model)
pipeline = transformers. pipeline(
"text-generation" ,
model= model,
tokenizer= tokenizer,
torch_dtype= torch. bfloat16,
load_in_8bit= True ,
trust_remote_code= True ,
device_map= "auto" ,
)
prompt = "What are the main benefits of enrolling in a DataCamp career track?"
sequences = pipeline(
prompt,
max_length= 100 ,
do_sample= True ,
top_k= 10 ,
num_return_sequences= 1 ,
eos_token_id= tokenizer. eos_token_id,
)
for seq in sequences:
print ( f"Result: { seq[ 'generated_text' ] } " ) 技术支持
在 Google Colab 上运行 Falcon 7B
在消费级 GPU 上,无法以 4 位量化的方式加载 Falcon 40B 并运行推理。因此,我们将使用更小的 Falcon 7B 版本,它可以在 Google Colab 的免费版本上轻松运行。
我们将安装所有必要的 Python 库。
% pip install transformers bitsandbytes accelerate - q技术支持
随后加载进行模型加载与推理所需的模块。
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import transformers
import torch技术支持
我们使用 BitsAndBytes 创建采用 NF4 配置的 4 位量化。这会降低内存占用,使我们能够在 Colab 的 GPU 上加载模型。阅读更多内容:4-bit 量化与 QLoRA 。
compute_dtype = getattr ( torch, "float16" )
bnb_config = BitsAndBytesConfig(
load_in_4bit= True ,
bnb_4bit_quant_type= "nf4" ,
bnb_4bit_compute_dtype= compute_dtype,
bnb_4bit_use_double_quant= False ,
) 技术支持
我们将加载 Falcon 7B 的模型与分词器,并使用 Transformers 库创建文本生成管线以运行推理。
model_name = "tiiuae/falcon-7b"
tokenizer = AutoTokenizer. from_pretrained( model_name)
model = AutoModelForCausalLM. from_pretrained(
model_name,
torch_dtype= torch. bfloat16,
trust_remote_code= True ,
quantization_config= bnb_config,
device_map= "auto" ,
)
pipeline = transformers. pipeline(
"text-generation" ,
model= model,
tokenizer= tokenizer,
) 技术支持
向管线提供提示词后,即可生成响应。
prompt = "What are the main benefits of enrolling in a DataCamp career track?"
sequences = pipeline(
prompt,
max_length= 100 ,
do_sample= True ,
top_k= 20 ,
num_return_sequences= 1 ,
eos_token_id= tokenizer. eos_token_id,
)
for seq in sequences:
print ( f"Result: { seq[ 'generated_text' ] } " ) 技术支持
我们的结果相当不错。您可以在管线中尝试不同参数,以进一步提升模型的响应质量。
Result: What are the main benefits of enrolling in a DataCamp career track? A: When you enroll in a DataCamp career track you have the opportunity to: - Build a solid foundation in one specific topic. - Learn new data science skills. - Gain valuable job search and interview prep tools. - Build a project portfolio that you can easily showcase to potential employers. - Network with thousands of like-minded people from diverse backgrounds.技术支持
如果您在 Colab 上运行 Falcon 7B 遇到困难,可以参考这份 Colab Notebook 。
微调 Falcon 7B
借助 TRL 库与 QLoRA,我们可以对模型进行微调。下面的代码是微调流程的一部分,使得无需 PEFT 也可运行 SFTTrainer。
from datasets import load_dataset
from trl import SFTTrainer
dataset = load_dataset( "timdettmers/ openassistant- guanaco
", split=" train")
trainer = SFTTrainer(
model,
tokenizer= tokenizer,
train_dataset= dataset,
dataset_text_field= "text" ,
max_seq_length= 512 ,
)
trainer. train( ) 技术支持
您可以查看 Falcon-Guanaco.ipynb 笔记本,获取在 Guanaco 数据集上微调 Falcon-7B 的代码。要在 Guanaco 数据集(Open Assistant 数据集的高质量子集,约 1 万段对话)上训练模型,我们可以结合使用 PEFT 库与最新的 QLoRA 方法,对适配器进行微调,这些适配器置于冻结的 4 位模型之上。
使用低秩适配器(LoRA )时,仅有极少部分模型参与训练,从而显著减少可训练参数数量与训练产物体积。这既可加快微调速度,又能节省内存资源。
您也可以跳过微调阶段,使用检索增强生成(RAG) ,通过提供对您的私有文档的访问来实现个性化响应。可参考教程 LlamaIndex: 面向大语言模型(LLM)应用的数据框架 。
您还可以使用刚刚微调好的模型,基于 LangChain 构建 LLM 应用 ,方式与 LlamaIndex 类似。
新模型:Falcon 180B
Falcon-180B 在 RefinedWeb 数据集上训练,使用了 3,500B 个标记。该模型拥有 1800 亿参数,是一个因果解码器(decoder-only)模型,遵循 Falcon-180B TII 许可,在 OpenLLM 排行榜上优于 LLaMA-2、StableLM、RedPajama、MPT 等顶尖模型。
Falcon 180B 的不足在于其推理至少需要 400GB 的内存。简言之,您大约需要 8×A100 80GB。
本次发布的积极之处在于,TII 还推出了 Falcon-180B-Chat ,该模型在 Ultrachat、Platypus 与 Airoboros 等数据集的组合上完成微调,已在 AI 社区获得广泛关注。您也可以在 Hugging Face Spaces 上试用演示,体验其高质量响应。
图片来源:Falcon-180B 演示
结语
TII 的 Falcon 40B 作为开源生成式语言模型展现出令人印象深刻的性能。凭借 400 亿参数与高质量过滤的网页数据进行训练,它在 OpenLLM 排行榜上取得了领先成绩。
尽管完整的 Falcon 40B 模型需要可观的算力资源,但更小的 7B 版本可在免费的 Colab GPU 上通过 4 位量化运行。您可以通过 QLoRA、PEFT 与 SFT Trainer 进行微调。全新的 180B 版本将性能进一步推高,但仅运行推理就需要 400GB 内存。
如果您有志于从事机器学习相关职业,并希望构建自己的大语言模型,建议学习 Machine Learning Scientist with Python 职业路径。
官方资源
为更好地理解本文关于 Falcon 40B 的内容,读者应具备机器学习和自然语言处理的基础知识。熟悉 Transformer 模型及其组件(如注意力机制与位置嵌入)将更有帮助。
如果您刚接触人工智能并希望学习基础知识,可参加我们的 AI Fundamentals 技能路径。您将了解 ChatGPT、机器学习、LLM、生成式 AI 以及 AI 伦理。
什么是 Falcon 40B?
Falcon 40B 属于由 Technology Innovation Institute(TII)开发的 Falcon 系列大语言模型(LLM),同时还包括 Falcon 7B 和 Falcon 180B。作为因果解码器(decoder-only)模型,Falcon 40B 面向多种自然语言生成任务而设计。
Falcon 40B 具备多语种能力,覆盖英语、德语、西班牙语和法语,并对包括意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语与瑞典语在内的多种语言具备一定能力。
模型架构
Falcon 40B 的架构在 GPT-3 基础上改造,通过关键改进提升性能。其采用旋转位置嵌入以更好理解序列;注意力机制引入多查询注意力(Multi-Query Attention)与 FlashAttention;解码器模块使用并行注意力与多层感知机(MLP)结构,并配合双层归一化方案,在计算效率与效果之间取得平衡。
训练数据
Falcon 40B 基于 1 万亿个来自 RefinedWeb 的标记进行训练——这是一个经过质量筛选的互联网语料库,同时还包含其他精心整理的数据集。与其分散收集各类精编来源,TII 通过大规模去重与严格过滤直接提升网页数据质量,从而获得高质量训练数据集,显著助力 Falcon 系列模型的强劲表现。
训练过程
Falcon 40B 在 AWS SageMaker 上使用 384 张 A100 40GB GPU 进行训练,采用 3D 并行策略(TP=8,PP=4,DP=12)并结合 ZeRO。训练自 2022 年 12 月开始,历时两个月完成。
若想从环境搭建到最终实现,系统学习如何用 PyTorch 训练大语言模型,请参阅教程 How to Train a Large Language Model with PyTorch。
多查询注意力(MQA)
不同于传统多头注意力,Falcon 40B 采用多查询注意力,即所有注意力头共享同一组 key 与 value。该创新注意力机制对预训练影响不大,却能极大提升推理的可扩展性。
图片来源:Falcon 博客
Instruct 版本
TII 还推出了模型的 instruct 版本,Falcon-7B-Instruct 与 Falcon 40B-Instruct,通过指令与对话数据微调,以在助理类任务中获得更佳表现。
面向消费者的可用性
尽管 Falcon 40B 需要大量 GPU 显存,您仍可借助量化技术在更廉价的 GPU 上使用该模型,或在 Google Colab 上运行更小的 Falcon-7B 版本。
为何选择 Falcon 40B?
Falcon 40B 在 OpenLLM 排行榜上的表现优于 LLaMA、StableLM、RedPajama 与 MPT 等其他开源模型。其卓越性能使其成为开源模型中的领先之选。
图片来源:Open LLM Leaderboard
Falcon 40B 的架构针对高效推理做了优化,引入 FlashAttention 与多查询注意力等特性,从而在推理速度与可扩展性方面表现更佳。它是一个未经指令对齐的预训练语言模型,在多数应用场景中需要进一步微调。
Falcon 40B 采用 Apache 2.0 许可协议,允许您在无版税义务与限制的情况下将模型与数据集用于商业用途。
开始使用 Falcon 40B
本节将介绍加载 Falcon 40B 模型并运行推理的流程。此外,我们还将演示如何在 Google Colab 上使用 4bit 量化运行更小的 Falcon 7B 版本。最后,我们将学习使用 QLoRA 与 SFT Trainer 在新数据集上对模型进行微调。
Falcon 40B 的推理
运行拥有 400 亿参数的 Falcon 40B 会带来内存挑战。即便使用约需 45GB 内存的 8 位低精度模式,该模型的显存占用仍超过单张 80GB 显存的 NVIDIA A100 GPU 容量。
通过配合最新版的
bitsandbytes、transformers与accelerate库,以 4 位精度加载,内存占用可降至约 27GB,从而可将 Falcon-40B 加载到 40GB 显存的 A100 GPU 上。在 Google Colab 上运行 Falcon 7B
在消费级 GPU 上,无法以 4 位量化的方式加载 Falcon 40B 并运行推理。因此,我们将使用更小的 Falcon 7B 版本,它可以在 Google Colab 的免费版本上轻松运行。
我们将安装所有必要的 Python 库。
随后加载进行模型加载与推理所需的模块。
我们使用 BitsAndBytes 创建采用 NF4 配置的 4 位量化。这会降低内存占用,使我们能够在 Colab 的 GPU 上加载模型。阅读更多内容:4-bit 量化与 QLoRA。
我们将加载 Falcon 7B 的模型与分词器,并使用 Transformers 库创建文本生成管线以运行推理。
向管线提供提示词后,即可生成响应。
我们的结果相当不错。您可以在管线中尝试不同参数,以进一步提升模型的响应质量。
如果您在 Colab 上运行 Falcon 7B 遇到困难,可以参考这份 Colab Notebook。
微调 Falcon 7B
借助 TRL 库与 QLoRA,我们可以对模型进行微调。下面的代码是微调流程的一部分,使得无需 PEFT 也可运行 SFTTrainer。
您可以查看 Falcon-Guanaco.ipynb 笔记本,获取在 Guanaco 数据集上微调 Falcon-7B 的代码。要在 Guanaco 数据集(Open Assistant 数据集的高质量子集,约 1 万段对话)上训练模型,我们可以结合使用 PEFT 库与最新的 QLoRA 方法,对适配器进行微调,这些适配器置于冻结的 4 位模型之上。
使用低秩适配器(LoRA)时,仅有极少部分模型参与训练,从而显著减少可训练参数数量与训练产物体积。这既可加快微调速度,又能节省内存资源。
您也可以跳过微调阶段,使用检索增强生成(RAG),通过提供对您的私有文档的访问来实现个性化响应。可参考教程 LlamaIndex: 面向大语言模型(LLM)应用的数据框架。
您还可以使用刚刚微调好的模型,基于 LangChain 构建 LLM 应用,方式与 LlamaIndex 类似。
新模型:Falcon 180B
Falcon-180B 在 RefinedWeb 数据集上训练,使用了 3,500B 个标记。该模型拥有 1800 亿参数,是一个因果解码器(decoder-only)模型,遵循 Falcon-180B TII 许可,在 OpenLLM 排行榜上优于 LLaMA-2、StableLM、RedPajama、MPT 等顶尖模型。
Falcon 180B 的不足在于其推理至少需要 400GB 的内存。简言之,您大约需要 8×A100 80GB。
本次发布的积极之处在于,TII 还推出了 Falcon-180B-Chat,该模型在 Ultrachat、Platypus 与 Airoboros 等数据集的组合上完成微调,已在 AI 社区获得广泛关注。您也可以在 Hugging Face Spaces 上试用演示,体验其高质量响应。
图片来源:Falcon-180B 演示
结语
TII 的 Falcon 40B 作为开源生成式语言模型展现出令人印象深刻的性能。凭借 400 亿参数与高质量过滤的网页数据进行训练,它在 OpenLLM 排行榜上取得了领先成绩。
尽管完整的 Falcon 40B 模型需要可观的算力资源,但更小的 7B 版本可在免费的 Colab GPU 上通过 4 位量化运行。您可以通过 QLoRA、PEFT 与 SFT Trainer 进行微调。全新的 180B 版本将性能进一步推高,但仅运行推理就需要 400GB 内存。
如果您有志于从事机器学习相关职业,并希望构建自己的大语言模型,建议学习 Machine Learning Scientist with Python 职业路径。
官方资源