目前,这六款是最热门的开源大语言模型(LLM):
LLaMA2
BLOOM
Falcon 180B
OPT-175B
GPT-Neox
Vicuna 13-B
它们都有同一个缺点——上下文长度非常短,最多只有 2048 个 token。相比之下,像 GPT-3.5 和 GPT-4 等专有模型可提供高达 32k token(约 50 页文本!)的长度,开源 LLM 似乎处于明显劣势。
上下文长度本质上是 LLM 的“记忆”。2048-token 的上下文窗口意味着模型在同一时间只能记住对话中的 2048 个 token。这会显著影响在需要大上下文的任务上的表现,例如摘要、翻译、代码生成等。
为了解决这一关键问题,Salesforce 发布了 XGen-7B 模型,提供高达 8k token 的超长上下文长度(是其他类似 LLM 的 4 倍)。本文将介绍该模型的关键特性,并演示如何在示例数据集上使用和微调它。
为什么选择 XGen 7B?
对大多数人而言,像上下文长度这样的统计指标,只有转化为切实的收益才有意义。以下是其主要特性以及对您项目可能产生的影响:
小而强大
尽管参数规模仅为 70 亿,XGen 的表现却远超“体量”——性能可与更大规模的模型匹敌甚至超越。这种高效性对开发者和研究人员而言意义重大:无需庞大的云计算资源,就能在高端本地机器上直接运行和部署前沿 AI 应用。尺寸与性能的平衡,使 XGen 对从小型初创团队到学术研究者的广泛用户群都极具吸引力。
多样的模型变体
考虑到不同用户需求,XGen 提供了三个版本,分别适用于特定应用:
XGen-7B-4K-base: 具备 4k token 的序列长度,适合需要中等上下文规模的任务。采用 Apache 2.0 许可证。
XGen-7B-8K-base: 旗舰模型,拥有 8k token 的序列长度,专为可从大段文本分析中获益的复杂任务而设计。同样采用 Apache 2.0 许可证,意味着几乎可用于任何用途。
XGen-7B-{4K,8K}-inst: 基于公开的指令数据进行微调,这些模型专注于交互式与指令型应用,提供非商业用途许可。非常适合教育工具、交互式机器人以及其他需要引导或指令的应用。
基准测试表现优秀
模型实力的真正衡量体现在基准上。与同等规模的模型相比,XGen 在 MMLU、HumanEval 等多项基准测试中名列前茅。要深入了解,发布博文 对 XGen 在各项基准中的表现做了全面概述。
为长序列任务优化
再重复一次重点:XGen 对需要大上下文窗口的任务进行了高度优化。这一能力对诸如长文档摘要等应用至关重要,因为要生成准确摘要,需要把握全文语义。同样地,在复杂问答与长文本生成中,XGen 处理海量信息的能力可带来更连贯、上下文相关性更强的输出。
Salesforce XGen 7B 的训练细节
那么,XGen 如何取得这些出色结果?答案当然在于 Salesforce AI 研究人员采用的训练与优化方法。
XGen 的训练策略分为两个阶段。第一阶段,从头训练一个新模型,使用 1.37 万亿个 token,涵盖自然语言数据与代码的混合。
第二阶段,额外使用 550 亿个代码 token 进行训练,以提升代码生成能力:
训练使用了内部库 JaxFormer ,专为在 TPU-v4 硬件上实现数据并行与模型并行下的高效 LLM 训练而设计。
XGen 7B 的前置条件与安装
尽管体量不大,从神经网络角度看 XGen 7B 仍相当“庞大”。如果您打算不借助云资源在本地运行,需要高端机器。首要要求是足够大的内存,需明显高于 32 GB,因为从 HuggingFace 下载模型约需 30 GB。至于 GPU,越大越好。
如果您的电脑不满足这些规格,最便宜的选择是 Colab Pro,配有 40 GB 内存和 40GB GPU 显存(A100)。本教程中我使用的是 Colab Pro:
在设置好兼容的机器后,就可以安装并下载模型了。如果您在本地跟做,步骤 0 是创建虚拟环境:
$ conda create - n xgen - y
$ conda activate xgen
技术支持
要从 HuggingFace 下载模型,必须先安装带 GPU 支持的 torch。以下命令将安装所有必需库:
$ pip install torch torchvision torchaudio transformers[ torch]
技术支持
后续微调步骤还需要以下库:
$ pip install accelerate peft bitsandbytes trl datasets - - upgrade
技术支持
安装完成后别忘了重启内核。
等到用到时,我会逐一解释每个库。
现在,让我们用下面的代码片段首次运行模型。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer. from_pretrained( "Salesforce/xgen-7b-8k-base" , trust_remote_code= True )
model = AutoModelForCausalLM. from_pretrained( "Salesforce/xgen-7b-8k-base" , torch_dtype= torch. bfloat16)
inputs = tokenizer( "DataCamp is one he ..." , return_tensors= "pt" )
sample = model. generate( ** inputs, max_length= 128 )
print ( tokenizer. decode( sample[ 0 ] ) )
技术支持
AutoTokenizer 类会为 4098 长度的模型 xgen-7b-4k-base 加载自动分词器。AutoModelForCausalLM 类用于加载文本生成模型。
我们将提示设为 inputs,并在 model.generate 中解包,指定最大 token 长度为 128。首次运行时,上述代码会花一些时间,因为需要下载模型。
以下是我最终得到的输出:
DataCamp is one of the world’s leading providers of data science courses and training. . . 技术支持
开头的回应还不错,但往后逐渐变差。我们需要通过微调来提升表现。
微调 Salesforce XGen 7B
LLM 不像 sklearn 模型——无法只用几行代码就调完超参数。因此,我们会分多步微调 XGen 7B。建议您一步一步来,深呼吸,因为细节很多。
需要注意的是,只要算力充足,下面的流程也适用于 HuggingFace 上的许多 LLM。
开始吧。
1. 安装
我们之前已经介绍过这一步。这里回顾一下已安装的库以及用途:
torch:用于张量与神经网络的 PyTorch 库;支持 GPU 加速。
transformers:Hugging Face 的预训练 NLP 模型库。
datasets:便捷加载与处理 HuggingFace 数据集。
accelerate:HuggingFace 官方库,简化 LLM 的分布式训练。
peft:仅微调 LLM 的一小部分参数,以加速训练的工具包。
bitsandbytes:在内存与计算效率方面优化 LLM 的库。
trl:基于人类反馈强化学习(RLHF)来微调大模型的技术集合。
在使用到它们时,我们会解释各自的好处。
2. 导入必要模块
import os
import torch
from datasets import load_dataset
from transformers import (
AutoModelForCausalLM,
AutoTokenizer,
BitsAndBytesConfig,
TrainingArguments,
pipeline,
)
from peft import LoraConfig
from trl import SFTTrainer
技术支持
下面概述我们新导入的类与函数:
BitsAndBytesConfig:用于以 bits and bytes 技术优化模型参数的配置,提升内存与计算效率。
TrainingArguments:指定用于微调模型的训练参数(如学习率、批量大小)。
pipeline:简化将模型应用于文本生成等任务的流程。
LoraConfig:用于应用 LoRA(低秩适应 )的配置,这是一种参数高效微调方法,仅调整少量参数来适配模型。
SFTTrainer:用于监督式微调(SFT)的训练器类,便于结合人工反馈或标注数据集进行训练。
3. 定义基础与微调模型的配置
base_model = "Salesforce/xgen-7b-8k-base"
guanaco_dataset = "mlabonne/guanaco-llama2-1k"
new_model = "xgen-7b-8k-tuned"
技术支持
数据集方面,我们将使用 Guanaco LLaMA2 数据集,其中包含 1000 条指令—输出对,用于将 LLM 调整为更适合交互式与指令型任务(如聊天机器人)。
4. 加载数据
dataset = load_dataset( guanaco_dataset, split= "train" ) 技术支持
从 HuggingFace 加载数据时,我们使用 load_dataset 函数并指定数据集路径与切分方式。我们可以将其转为文本格式并索引一条随机的指令—输出对来查看样本:
>> > dataset[ "text" ] [ 89 ]
< s> [ INST] In England, what vegetable is referred to as a rocket? [ / INST] The species name for "rocket" is "Eruca vesicaria" , and it's also sometimes called "eruca" .
However, other countries have different names for it:
* Arugula - America
* Garden Rocket or Rocket - Britain, Australia, South Africa, Ireland, New Zealand
Other names include "ruchetta" , "rucola" , "rucoli" , "rugula" , "colewoort" , and "roquette" .
The word transferred from Latin to Italian to English, which might explain the variants with similar pronunciation. < / s>
技术支持
5. 定义量化参数
量化是机器学习中一种强大的技术,用于减少表示数据所需的比特数。其做法是用更少的比特近似原始数据,从而得到更紧凑的表示。
量化可用于降低模型的内存占用、提升计算效率,有时甚至还能提高精度。
compute_dtype = torch. float16
quant_config = BitsAndBytesConfig(
load_in_4bit= True ,
bnb_4bit_quant_type= "nf4" ,
bnb_4bit_compute_dtype= compute_dta
技术支持
首先,我们用 compute_dtype 将每个张量的数据类型设为 float16。然后,借助 BitsAndBytesConfig 定义如下量化参数:
load_in_4bit=True:指定将输入数据量化为 4 比特。
bnb_4bit_compute_dtype=compute_dtype:指定计算时使用的数据类型,这里设为先前的 float16。
bnb_4bit_quant_type="nf4":指定 4 比特量化的类型,这里为 "nf4"。
nf4 指一种使用 4 比特的非均匀量化类型。非均匀量化在某些情况下优于简单的均匀量化。
6. 定义模型及其参数
model = AutoModelForCausalLM. from_pretrained(
base_model,
quantization_config= quant_config,
device_map= "auto"
)
技术支持
这一步与我们最初下载 XGen 类似,但这次我们将量化参数传给 quantization_config,并将 device_map 设为 auto,以自动使用 GPU。
7. 加载分词器
tokenizer = AutoTokenizer. from_pretrained( base_model, trust_remote_code= True )
tokenizer. pad_token = tokenizer. eos_token
tokenizer. padding_side = "right"
技术支持
加载分词器后,我们需要配置填充(pad)token 参数。在 NLP 中,填充 token 是没有语义的特殊符号,会被添加到每个输入序列中,使所有序列长度一致。固定长度往往是许多 NLP 模型架构的要求。
tokenizer.pad_token = tokenizer.eos_token 将分词器的填充 token 设为句子结束(EOS)token。这是常见做法,有助于模型区分句子结束与填充 token。tokenizer.padding_side = "right" 指定在输入序列右侧进行填充。
8. PEFT 参数
peft_params = LoraConfig(
lora_alpha= 16 ,
lora_dropout= 0.1 ,
r= 64 ,
bias= "none" ,
task_type= "CAUSAL_LM" ,
)
技术支持
预训练 LLM 在微调时需要海量数据与算力。通过参数高效微调(PEFT),我们只需微调总参数的一小部分,从而显著缩短运行时间。您可阅读官方文档 了解更多。
LoraConfig 类用于设置低秩适配(LoRA)方法的配置。LoRA 是 PEFT 中的一种特定参数化方式。总体而言,上述代码片段控制了 LoRA 层的适应强度、可训练参数数量以及层的其他方面。
9. 设置训练参数
training_params = TrainingArguments(
output_dir= "./results" ,
num_train_epochs= 1 ,
per_device_train_batch_size= 1 ,
gradient_accumulation_steps= 1 ,
optim= "paged_adamw_32bit" ,
learning_rate= 2e-4 ,
weight_decay= 0.001 ,
fp16= False ,
bf16= False ,
max_grad_norm= 0.3 ,
max_steps= - 1 ,
warmup_ratio= 0.03 ,
group_by_length= True ,
lr_scheduler_type= "constant" ,
)
技术支持
除了此前定义的内容,微调 XGen 还需要十来个训练参数。这些包括熟悉的学习率、学习率调度器、轮数、优化器,以及一些新参数,如 warmup_ratio、fp16、bf16、weight_decay 等。
为保持重点,我们不逐一解释其作用,您可参考这篇关于微调 LLaMA2 的优秀文章。
10. 正式开始微调!
要微调用 PEFT 的模型,我们将使用 trl 库中的 SFTTrainer(监督式微调)类,这是 RLHF 的关键步骤之一。
trainer = SFTTrainer(
model= model,
train_dataset= dataset,
peft_config= peft_params,
dataset_text_field= "text" ,
max_seq_length= None ,
tokenizer= tokenizer,
args= training_params,
packing= False ,
)
技术支持
初始化训练器时,我们传入模型、训练数据集、PEFT 参数、训练参数以及分词器。启动微调过程只需调用 .train():
trainer. train( )
技术支持
根据训练参数(尤其是轮数),训练可能需要 15 分钟到数小时不等。
11. 评估
训练完成后,我们终于可以测试微调后的模型:
prompt = "Who wrote Python?"
pipe = pipeline( task= "text-generation" , model= model, tokenizer= tokenizer, max_length= 200 )
result = pipe( f"<s>[INST] { prompt} [/INST]" )
print ( result[ 0 ] [ 'generated_text' ] )
技术支持
在将提示传给微调后的 model 前,我们先将 model 与 tokenizer 交给 pipeline。pipeline 函数用于加载预训练模型,使用分词器对输入做预处理,并对生成文本应用(若有)自定义后处理步骤。
上面我们使用了与训练时一致的特殊提示格式 <s>[INST] {prompt} [/INST] 来运行 pipeline。结果如下:
< s> [ INST] Who wrote Python? [ / INST] Python was created by Guido van Rossum, a Dutch computer programmer. He started working on the language in the late 1980s and released the first version in 1991. < / s>
Python is a high- level, general- purpose programming language that is widely used in various fields, including data science, machine learning, and web development. It is known for its readability, flexibility, and ease of use, making it a popular choice for beginners and experienced developers alike. < / s>
Python is an open - source language, meaning that anyone can access and modify the source code, making it a popular choice for developers who want to contribute to the community. < / s> . . .
技术支持
12. 保存模型与分词器
对模型满意后,我们就可以将其保存:
trainer. model. save_pretrained( new_model)
trainer. tokenizer. save_pretrained( new_model)
技术支持
您可以再次使用 AutoModelForCausalLM 类将其加载回来:
fine_tuned_xgen = AutoModelForCausalLM. from_pretrained( new_model, . . . )
技术支持
结语
入门使用像 Salesforce 的 XGen 7B 这样的 LLM 并不复杂,但要按特定需求进行定制则更具挑战。我们在一个小型指令数据集上微调 XGen 7B 的经历就体现了这一点。要让模型适配多种任务,既需要能访问相关数据集(可通过 Hugging Face 的 datasets 库获取),也需要足以支撑在这些数据集上训练 70 亿参数模型的算力资源。
微调流程可概括为以下步骤:
安装相关库
导入必要模块
定义全局配置
加载用于微调的数据集
使用 bitsandbytes 定义量化参数
通过 transformers 定义模型及其初始化参数
加载与模型匹配的分词器
使用 LoraConfig 将 LoRA 作为层来定义 PEFT 参数
通过 transformers 设置训练参数
使用 trl 中的 SFTTrainer 微调模型
通过示例提示测试/评估模型
保存模型与分词器以便后续使用
如果某些概念或代码片段仍让您感到陌生或模糊,推荐以下优秀资源:
感谢您的阅读!
目前,这六款是最热门的开源大语言模型(LLM):
它们都有同一个缺点——上下文长度非常短,最多只有 2048 个 token。相比之下,像 GPT-3.5 和 GPT-4 等专有模型可提供高达 32k token(约 50 页文本!)的长度,开源 LLM 似乎处于明显劣势。
上下文长度本质上是 LLM 的“记忆”。2048-token 的上下文窗口意味着模型在同一时间只能记住对话中的 2048 个 token。这会显著影响在需要大上下文的任务上的表现,例如摘要、翻译、代码生成等。
为了解决这一关键问题,Salesforce 发布了 XGen-7B 模型,提供高达 8k token 的超长上下文长度(是其他类似 LLM 的 4 倍)。本文将介绍该模型的关键特性,并演示如何在示例数据集上使用和微调它。
为什么选择 XGen 7B?
对大多数人而言,像上下文长度这样的统计指标,只有转化为切实的收益才有意义。以下是其主要特性以及对您项目可能产生的影响:
小而强大
尽管参数规模仅为 70 亿,XGen 的表现却远超“体量”——性能可与更大规模的模型匹敌甚至超越。这种高效性对开发者和研究人员而言意义重大:无需庞大的云计算资源,就能在高端本地机器上直接运行和部署前沿 AI 应用。尺寸与性能的平衡,使 XGen 对从小型初创团队到学术研究者的广泛用户群都极具吸引力。
多样的模型变体
考虑到不同用户需求,XGen 提供了三个版本,分别适用于特定应用:
基准测试表现优秀
模型实力的真正衡量体现在基准上。与同等规模的模型相比,XGen 在 MMLU、HumanEval 等多项基准测试中名列前茅。要深入了解,发布博文对 XGen 在各项基准中的表现做了全面概述。
为长序列任务优化
再重复一次重点:XGen 对需要大上下文窗口的任务进行了高度优化。这一能力对诸如长文档摘要等应用至关重要,因为要生成准确摘要,需要把握全文语义。同样地,在复杂问答与长文本生成中,XGen 处理海量信息的能力可带来更连贯、上下文相关性更强的输出。
Salesforce XGen 7B 的训练细节
那么,XGen 如何取得这些出色结果?答案当然在于 Salesforce AI 研究人员采用的训练与优化方法。
XGen 的训练策略分为两个阶段。第一阶段,从头训练一个新模型,使用 1.37 万亿个 token,涵盖自然语言数据与代码的混合。
第二阶段,额外使用 550 亿个代码 token 进行训练,以提升代码生成能力:
训练使用了内部库 JaxFormer,专为在 TPU-v4 硬件上实现数据并行与模型并行下的高效 LLM 训练而设计。
XGen 7B 的前置条件与安装
尽管体量不大,从神经网络角度看 XGen 7B 仍相当“庞大”。如果您打算不借助云资源在本地运行,需要高端机器。首要要求是足够大的内存,需明显高于 32 GB,因为从 HuggingFace 下载模型约需 30 GB。至于 GPU,越大越好。
如果您的电脑不满足这些规格,最便宜的选择是 Colab Pro,配有 40 GB 内存和 40GB GPU 显存(A100)。本教程中我使用的是 Colab Pro:
在设置好兼容的机器后,就可以安装并下载模型了。如果您在本地跟做,步骤 0 是创建虚拟环境:
要从 HuggingFace 下载模型,必须先安装带 GPU 支持的
torch。以下命令将安装所有必需库:后续微调步骤还需要以下库:
安装完成后别忘了重启内核。
等到用到时,我会逐一解释每个库。
现在,让我们用下面的代码片段首次运行模型。
AutoTokenizer类会为 4098 长度的模型xgen-7b-4k-base加载自动分词器。AutoModelForCausalLM类用于加载文本生成模型。我们将提示设为
inputs,并在model.generate中解包,指定最大 token 长度为 128。首次运行时,上述代码会花一些时间,因为需要下载模型。以下是我最终得到的输出:
开头的回应还不错,但往后逐渐变差。我们需要通过微调来提升表现。
微调 Salesforce XGen 7B
LLM 不像
sklearn模型——无法只用几行代码就调完超参数。因此,我们会分多步微调 XGen 7B。建议您一步一步来,深呼吸,因为细节很多。需要注意的是,只要算力充足,下面的流程也适用于 HuggingFace 上的许多 LLM。
开始吧。
1. 安装
我们之前已经介绍过这一步。这里回顾一下已安装的库以及用途:
torch:用于张量与神经网络的 PyTorch 库;支持 GPU 加速。transformers:Hugging Face 的预训练 NLP 模型库。datasets:便捷加载与处理 HuggingFace 数据集。accelerate:HuggingFace 官方库,简化 LLM 的分布式训练。peft:仅微调 LLM 的一小部分参数,以加速训练的工具包。bitsandbytes:在内存与计算效率方面优化 LLM 的库。trl:基于人类反馈强化学习(RLHF)来微调大模型的技术集合。在使用到它们时,我们会解释各自的好处。
2. 导入必要模块
下面概述我们新导入的类与函数:
BitsAndBytesConfig:用于以 bits and bytes 技术优化模型参数的配置,提升内存与计算效率。TrainingArguments:指定用于微调模型的训练参数(如学习率、批量大小)。pipeline:简化将模型应用于文本生成等任务的流程。LoraConfig:用于应用 LoRA(低秩适应)的配置,这是一种参数高效微调方法,仅调整少量参数来适配模型。SFTTrainer:用于监督式微调(SFT)的训练器类,便于结合人工反馈或标注数据集进行训练。3. 定义基础与微调模型的配置
数据集方面,我们将使用 Guanaco LLaMA2 数据集,其中包含 1000 条指令—输出对,用于将 LLM 调整为更适合交互式与指令型任务(如聊天机器人)。
4. 加载数据
从 HuggingFace 加载数据时,我们使用
load_dataset函数并指定数据集路径与切分方式。我们可以将其转为文本格式并索引一条随机的指令—输出对来查看样本:5. 定义量化参数
量化是机器学习中一种强大的技术,用于减少表示数据所需的比特数。其做法是用更少的比特近似原始数据,从而得到更紧凑的表示。
量化可用于降低模型的内存占用、提升计算效率,有时甚至还能提高精度。
首先,我们用 compute_dtype 将每个张量的数据类型设为 float16。然后,借助 BitsAndBytesConfig 定义如下量化参数:
load_in_4bit=True:指定将输入数据量化为 4 比特。bnb_4bit_compute_dtype=compute_dtype:指定计算时使用的数据类型,这里设为先前的 float16。bnb_4bit_quant_type="nf4":指定 4 比特量化的类型,这里为"nf4"。nf4指一种使用 4 比特的非均匀量化类型。非均匀量化在某些情况下优于简单的均匀量化。6. 定义模型及其参数
这一步与我们最初下载 XGen 类似,但这次我们将量化参数传给
quantization_config,并将device_map设为 auto,以自动使用 GPU。7. 加载分词器
加载分词器后,我们需要配置填充(pad)token 参数。在 NLP 中,填充 token 是没有语义的特殊符号,会被添加到每个输入序列中,使所有序列长度一致。固定长度往往是许多 NLP 模型架构的要求。
tokenizer.pad_token = tokenizer.eos_token将分词器的填充 token 设为句子结束(EOS)token。这是常见做法,有助于模型区分句子结束与填充 token。tokenizer.padding_side = "right"指定在输入序列右侧进行填充。8. PEFT 参数
预训练 LLM 在微调时需要海量数据与算力。通过参数高效微调(PEFT),我们只需微调总参数的一小部分,从而显著缩短运行时间。您可阅读官方文档了解更多。
LoraConfig类用于设置低秩适配(LoRA)方法的配置。LoRA 是 PEFT 中的一种特定参数化方式。总体而言,上述代码片段控制了 LoRA 层的适应强度、可训练参数数量以及层的其他方面。9. 设置训练参数
除了此前定义的内容,微调 XGen 还需要十来个训练参数。这些包括熟悉的学习率、学习率调度器、轮数、优化器,以及一些新参数,如
warmup_ratio、fp16、bf16、weight_decay等。为保持重点,我们不逐一解释其作用,您可参考这篇关于微调 LLaMA2 的优秀文章。
10. 正式开始微调!
要微调用 PEFT 的模型,我们将使用
trl库中的SFTTrainer(监督式微调)类,这是 RLHF 的关键步骤之一。初始化训练器时,我们传入模型、训练数据集、PEFT 参数、训练参数以及分词器。启动微调过程只需调用
.train():根据训练参数(尤其是轮数),训练可能需要 15 分钟到数小时不等。
11. 评估
训练完成后,我们终于可以测试微调后的模型:
在将提示传给微调后的
model前,我们先将model与tokenizer交给pipeline。pipeline 函数用于加载预训练模型,使用分词器对输入做预处理,并对生成文本应用(若有)自定义后处理步骤。上面我们使用了与训练时一致的特殊提示格式
<s>[INST] {prompt} [/INST]来运行 pipeline。结果如下:12. 保存模型与分词器
对模型满意后,我们就可以将其保存:
您可以再次使用
AutoModelForCausalLM类将其加载回来:结语
入门使用像 Salesforce 的 XGen 7B 这样的 LLM 并不复杂,但要按特定需求进行定制则更具挑战。我们在一个小型指令数据集上微调 XGen 7B 的经历就体现了这一点。要让模型适配多种任务,既需要能访问相关数据集(可通过 Hugging Face 的 datasets 库获取),也需要足以支撑在这些数据集上训练 70 亿参数模型的算力资源。
微调流程可概括为以下步骤:
bitsandbytes定义量化参数transformers定义模型及其初始化参数LoraConfig将 LoRA 作为层来定义 PEFT 参数transformers设置训练参数trl中的SFTTrainer微调模型如果某些概念或代码片段仍让您感到陌生或模糊,推荐以下优秀资源:
感谢您的阅读!