使用 PyTorch 的 Transformer 模型

深入解析 Transformer 架构

Transformer 模型彻底革新了文本建模，通过赋能当今的大语言模型（LLMs），引爆了生成式 AI 热潮。 在本课程中，你将了解这一架构中的关键组件，包括位置编码、注意力机制和前馈子层。 你将以模块化的方式编写这些组件，逐步构建你自己的 transformer。

使用 PyTorch 实现注意力机制

注意力机制是一项关键进展，它帮助将 Transformer 架构形式化。 自注意力使 Transformer 能更好地识别标记之间的关系，从而提升生成文本的质量。 学习如何创建一个多头注意力机制类，它将成为你 Transformer 模型中的关键构建模块。

构建你自己的 Transformer 模型

学习构建仅编码器、仅解码器以及编码器-解码器 Transformer 模型。 了解如何为不同的语言任务选择并编写这些不同的 transformer 架构，包括文本分类和情感分析、文本生成和补全，以及序列到序列翻译。