跳至主要内容

SOLAR-10.7B 微调模型教程

在真实场景中使用 SOLAR-10.7B 指令微调模型的完整指南。
· 13分钟 阅读

使用 AI 探索

SOLAR-10.7B 项目在大型语言模型的发展上迈出了重要一步,提出了一种高效扩展此类模型的新方法。

本文将先介绍 SOLAR-10.7B 模型是什么,然后对比其与其他大型语言模型的表现,并深入讲解如何使用其专门的微调版本。最后,读者将了解微调后的 SOLAR-10.7B-Instruct 模型的潜在应用场景及其局限性。

什么是 SOLAR-10.7B?

SOLAR-10.7B 是由韩国 Upstage AI 团队开发的、拥有 107 亿参数的模型。

该模型基于 Llama-2 架构,性能超越了参数量高达 300 亿的其他大型语言模型,包括 Mixtral 8X7B 模型。

如需进一步了解 Llama-2,我们的文章 微调 LLaMA 2:定制大型语言模型的分步指南 提供了对 Llama-2 进行微调的详细流程,采用新方法来突破内存与算力限制,从而更好地使用开源的大型语言模型。

此外,在 SOLAR-10.7B 坚实基础之上,SOLAR 10.7B-Instruct 模型针对复杂指令跟随进行了微调。该变体展现出更强的性能,体现了模型的适应性以及微调在达成专项目标方面的有效性。

最后,SOLAR-10.7B 引入了一种名为 Depth Up-Scaling 的方法,接下来我们将进一步探讨。

Depth Up-Scaling 方法

这一创新方法允许在不显著增加计算资源的情况下扩展模型神经网络的深度。该策略提升了模型的效率和整体表现。

Depth Up-Scaling 的关键要素

Depth Up-Scaling 基于三大组成部分:(1) Mistral 7B 权重,(2) Llama 2 框架,(3) 持续预训练。

n = 32、s = 48、m = 8 的深度扩放。深度扩放通过“按深度缩放 + 持续预训练”的双阶段过程实现。(来源)

n = 32、s = 48、m = 8 的深度扩放。深度扩放通过“按深度缩放”后接“持续预训练”的双阶段过程实现。(来源)

基础模型:

  • 采用 32 层 Transformer 架构,具体为 Llama 2 模型,并以 Mistral 7B 的预训练权重进行初始化。
  • 之所以选择该组合,是看重其兼容性与性能,旨在利用社区资源并引入新颖改动以增强能力。
  • 作为按深度缩放与后续持续预训练的基础,以实现高效扩展。

按深度缩放(Depthwise Scaling):

  • 根据硬件能力为缩放后的模型设定目标层数,从而对基础模型进行扩展。
  • 具体做法是复制基础模型,从原模型中移除最后 m 层、从副本中移除最初 m 层,再将二者拼接为具有 s 层的模型。
  • 通过此过程可创建一个层数调整后的缩放模型,使参数量位于 70 亿至 130 亿之间;本文以 n=32 层为基,移除 m=8 层后得到 s=48 层。

持续预训练:

  • 为应对按深度缩放后初始性能下滑的问题,对缩放模型继续进行预训练。
  • 在持续预训练过程中观测到性能快速恢复,归因于模型异质性与差异性的减小。
  • 持续预训练对于恢复乃至超越基础模型性能至关重要,并能利用按深度缩放后的架构实现高效学习。

以上要点概括了 Depth Up-Scaling 方法的核心策略与成果:立足现有模型、通过调深扩展规模,并借助持续预训练提升性能。

这种多维路径使 SOLAR-10.7B 达到并在许多情况下超越了更大模型的能力。其高效性使之成为诸多特定应用的优选,充分展现出实力与灵活性。

SOLAR 10.7B Instruct 模型如何工作?

SOLAR-10.7B Instruct 擅长理解并执行复杂指令,在需要对人类指令进行精准理解与及时响应的场景中极具价值。这一能力对于构建更直观、可交互的 AI 系统至关重要。


  • SOLAR 10.7B Instruct 来自对原始 SOLAR 10.7B 模型的微调,使其能够以问答(QA)格式遵循指令。
  • 微调主要使用开源数据集,并配合合成的数学 QA 数据集以增强模型的数学能力。
  • 第一版 SOLAR 10.7B Instruct 通过整合 Mistral 7B 权重而成,以提升其学习能力,实现高效的信息处理。
  • SOLAR 10.7B 的骨干架构为 Llama2,在速度与准确性之间取得平衡。

总体而言,微调后的 SOLAR-10.7B 模型凭借更强的性能与适应性,以及广泛的应用潜力,推动了自然语言处理与人工智能领域的前进。

微调版 SOLAR-10.7B 模型的潜在应用

在进入技术实现之前,让我们先看看微调版 SOLAR-10.7B 模型的一些潜在应用。

以下是个性化教育与辅导、增强型客户支持以及自动化内容创作的示例。

  • 个性化教育与辅导:SOLAR-10.7B-Instruct 能通过提供个性化学习体验来革新教育领域。它可以理解学生的复杂问题,给出量身定制的解释、资源与练习。因此它非常适合用于开发智能辅导系统,能适配个体化的学习风格与需求,从而提升参与度与学习效果。

  • 更优的客户支持:SOLAR-10.7B-Instruct 可驱动高级聊天机器人与虚拟助手,高准确率地理解并解决复杂客户问题。该应用既能通过及时、相关的支持提升客户体验,又能通过自动化常规问询来减轻人工客服的工作负担。

  • 自动化内容创作与摘要:对于媒体与内容创作者,SOLAR-10.7B-Instruct 可自动生成诸如新闻稿、报告和创意写作等文本内容。此外,它还能将冗长文档浓缩为简洁易懂的摘要,对于需要快速吸收与报道海量信息的记者、研究者与专业人士尤为有用。


这些示例凸显了 SOLAR-10.7B-Instruct 的多样性与潜力,能够在广泛行业中提升效率、可及性与用户体验。

SOLAR-10.7B Instruct 使用步骤指南

在了解了足够的背景之后,现在是动手实践的时候了。

本节将提供来自 upstage 的 SOLAR 10.7 Instruct v1.0 - GGUF 模型的完整运行指引。

以下代码参考了 Hugging Face 的官方文档。主要步骤如下:

  • 安装并导入必要的库
  • 从 Hugging Face 指定要使用的 SOLAR-10.7B 模型
  • 运行模型推理
  • 根据用户请求生成结果

安装依赖库

主要使用的库是 transformers 和 accelerate。

  • transformers 库用于访问预训练模型,这里指定版本为 4.35.2。
  • accelerate 库旨在简化在不同硬件(CPU、GPU)上运行机器学习模型,而无需深度了解硬件细节。
%%bash
pip -q install transformers==4.35.2
pip -q install accelerate

导入库

安装完成后,导入以下必要库:

  • torch 是 PyTorch 库,一款广泛用于计算机视觉与自然语言处理等应用的开源机器学习库。
  • AutoModelForCausalLM 用于加载因果语言建模的预训练模型,AutoTokenizer 负责将文本转换为模型可理解的格式(分词)。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

GPU 配置

此处使用的是 Hugging Face 上 SOLAR-10.7B 模型的 v1 版本。

需要 GPU 资源来加速模型加载与推理过程。

下图展示了在 Google Colab 中获取 GPU 的方式:

  • 在 Runtime 选项卡中选择 Change runtime
  • 在 Hardware accelerator 一栏选择 T4 GPU,然后保存更改

这将把默认运行时切换为 T4:

从 Google Colab 获取 GPU

可在 Colab 笔记本中运行以下命令查看运行时属性。

!nvidia-smi

GPU 属性

GPU 属性

模型定义

准备就绪后,按如下方式加载模型:

model_ID = "Upstage/SOLAR-10.7B-Instruct-v1.0"

tokenizer = AutoTokenizer.from_pretrained(model_ID)
model = AutoModelForCausalLM.from_pretrained(
	model_ID,
	device_map="auto",
	torch_dtype=torch.float16,
)
  • model_ID 是标识所用预训练模型的字符串,此处为 "Upstage/SOLAR-10.7B-Instruct-v1.0"。
  • AutoTokenizer.from_pretrained(model_ID) 加载基于所给 model_ID 预训练的分词器,为处理文本输入做准备。
  • AutoModelForCausalLM.from_pretrained() 加载因果语言模型;device_map="auto" 将自动使用可用的最佳硬件(即我们设置的 GPU),torch_dtype=torch.float16 使用 16 位浮点数以节省内存并可能加速计算。

模型推理

在生成回复前,需要对输入文本(用户请求)进行格式化与分词。

  • user_request 保存模型要回答的问题或输入。
  • conversation 将输入格式化为对话的一部分,并标注角色(如“user”)。
  • apply_chat_template 为输入应用会话模板,使之转为模型可理解的格式。
  • tokenizer(prompt, return_tensors="pt") 将提示转换为标记,并指定张量类型("pt" 表示 PyTorch 张量);.to(model.device) 确保输入与模型运行在同一设备(CPU 或 GPU)上。
user_request = "What is the square root of 24?"

conversation = [ {'role': 'user', 'content': user_request} ]

prompt = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

结果生成

最后一节使用模型对输入问题生成回复,然后对生成文本进行解码与打印。

  • model.generate() 基于给定输入生成文本;use_cache=True 通过复用先前计算结果来加速生成;max_length=4096 限制生成文本的最大长度。
  • tokenizer.decode(outputs[0]) 将生成的标记转换回人类可读文本。
  • print 语句用于输出对用户问题的答案。
outputs = model.generate(**inputs, use_cache=True, max_length=4096)
output_text = tokenizer.decode(outputs[0])
print(output_text)

成功运行上述代码将生成如下结果:

image4.png

将用户请求替换为以下文本,即可获得对应的生成结果:

user_request = "Tell me a story about the universe"

image6.png

SOLAR-10.7B 模型的局限性

尽管 SOLAR-10.7B 具有诸多优势,但与其他大型语言模型一样也存在局限性,主要体现在以下方面:

  • 超参数探索不充分:在进行 Depth Up-Scaling(DUS)时,需要更全面地探索模型超参数。这一限制导致由于硬件受限而从基础模型中移除了 8 层。
  • 计算资源需求高:模型对算力要求较高,这限制了算力较弱的个人或组织的使用。
  • 偏见风险:训练数据中的潜在偏见可能会影响模型在某些用例下的表现。
  • 环境影响:模型的训练与推理需要大量能源,可能引发环境方面的担忧。

结语

本文探讨了 SOLAR-10.7B 模型,重点介绍了其通过深度扩放方法对人工智能的贡献,概述了模型的工作方式与潜在应用,并提供了从安装到生成结果的实操指南。

同时,我们也讨论了 SOLAR-10.7B 模型的局限性,为用户提供全面视角。随着 AI 不断演进,SOLAR-10.7B 体现了向更易用、更通用 AI 工具迈进的步伐。

如果您希望更深入挖掘 AI 的潜力,我们的教程 FLAN-T5 教程:指南与微调 提供了使用 transformers 库对 FLAN-T5 模型进行问答任务微调并在真实场景中进行优化推理的完整流程。您还可以查看我们的 GPT-3.5 微调教程 以及关于微调您自己的 LlaMA 2 模型的代码演练。

Zoumana Keita

作者

Zoumana Keita

一位多才多艺、乐于分享知识并回馈他人的数据科学家。Zoumana 是 YouTube 内容创作者,也是 Medium 上的顶尖科技写作者。他热爱演讲、编程与教学。Zoumana 拥有两个硕士学位:其一是在法国巴黎获得的计算机科学硕士,专注于机器学习;其二是在美国德州理工大学获得的数据科学硕士。他的职业生涯始于法国 Groupe OPEN 的软件开发工程师,随后加入 IBM 担任机器学习顾问,为保险公司构建端到端的 AI 解决方案。之后,Zoumana 加入了 Axionable——一家总部位于巴黎与蒙特利尔的首家“可持续 AI”初创公司。在那里,他担任数据科学家,为来自法国、蒙特利尔、新加坡和瑞士的客户交付 AI 产品,主要聚焦 NLP 场景。此外,他将 5% 的时间投入到研发工作。目前,他在 IFC(世界银行集团)担任高级数据科学家。

主题