Build your ultimate AI agent
课程介绍
深入解析 Transformer 架构
Transformer 模型彻底革新了文本建模，通过赋能当今的大语言模型（LLMs），引爆了生成式 AI 热潮。 在本课程中，你将了解这一架构中的关键组件，包括位置编码、注意力机制和前馈子层。 你将以模块化的方式编写这些组件，逐步构建你自己的 transformer。使用 PyTorch 实现注意力机制
注意力机制是一项关键进展，它帮助将 Transformer 架构形式化。 自注意力使 Transformer 能更好地识别标记之间的关系，从而提升生成文本的质量。 学习如何创建一个多头注意力机制类，它将成为你 Transformer 模型中的关键构建模块。构建你自己的 Transformer 模型
学习构建仅编码器、仅解码器以及编码器-解码器 Transformer 模型。 了解如何为不同的语言任务选择并编写这些不同的 transformer 架构，包括文本分类和情感分析、文本生成和补全，以及序列到序列翻译。先修要求
课程大纲
课程大纲
1
Transformer 模型的构建基石
了解这类最热门的 AI 深度学习架构为何如此高效！学习组成 Transformer 模型的关键组件，包括著名论文 "Attention is All You Need" 中描述的自注意力机制。
2
构建 Transformer 架构
设计 Transformer 的编码器与解码器模块，并将它们与位置编码、多头注意力、以及逐位置前馈网络结合，构建您自己的 Transformer 架构。在此过程中，您将深入理解并更好地把握 Transformer 的底层工作原理。
使用 PyTorch 的 Transformer 模型
课程完成
