跳至主要内容

免费课程

使用 PyTorch 的 Transformer 模型

高级2 小时

LLM 的工作原理是什么?了解 transformer 如何革新文本建模并引爆生成式 AI 热潮。

Python2 小时成就证明

创建您的免费账户

继续使用 Google
或
继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

深受数千家公司学习者的喜爱

要培训团队?

试用企业版 →

课程简介

深入解析 Transformer 架构

Transformer 模型彻底革新了文本建模,通过赋能当今的大语言模型(LLMs),引爆了生成式 AI 热潮。 在本课程中,你将了解这一架构中的关键组件,包括位置编码、注意力机制和前馈子层。 你将以模块化的方式编写这些组件,逐步构建你自己的 transformer。

使用 PyTorch 实现注意力机制

注意力机制是一项关键进展,它帮助将 Transformer 架构形式化。 自注意力使 Transformer 能更好地识别标记之间的关系,从而提升生成文本的质量。 学习如何创建一个多头注意力机制类,它将成为你 Transformer 模型中的关键构建模块。

构建你自己的 Transformer 模型

学习构建仅编码器、仅解码器以及编码器-解码器 Transformer 模型。 了解如何为不同的语言任务选择并编写这些不同的 transformer 架构,包括文本分类和情感分析、文本生成和补全,以及序列到序列翻译。

先修要求

课程体系

课程大纲

1

Transformer 模型的构建基石

2

构建 Transformer 架构

设计 Transformer 的编码器与解码器模块,并将它们与位置编码、多头注意力、以及逐位置前馈网络结合,构建您自己的 Transformer 架构。在此过程中,您将深入理解并更好地把握 Transformer 的底层工作原理。
开始本章

使用 PyTorch 的 Transformer 模型

课程已完成

获得成就证明

立即报名

通过 DataCamp 移动版提升您的数据技能

借助我们的移动课程和每日 5 分钟编程挑战,随时随地取得进步。