一起来学吴恩达新课《Transformer中的注意力机制：PyTorch的概念和代码实现》！

吴恩达新课《Transformer 中的注意力机制：PyTorch 中的概念和代码》来了！主要内容是深入浅出的理解Transformer架构的核心技术——注意力机制。该课程适合于有一定的 Python 知识并想了解 ChatGPT 等 LLM 中的注意力机制的原理的同学，也欢迎大家添加公众号助手加入公众号的官方读者交流群一起学习交流~

课程主要内容：

• 了解 LLM 中的注意力机制如何帮助将基本标记嵌入转换为丰富的上下文感知嵌入。

• 了解查询、键和值矩阵，它们的用途，如何生成它们，以及如何在注意力中使用它们。

• 了解自我注意力、掩蔽自我注意力和交叉注意力之间的区别，以及多头注意力如何扩展算法。

课程链接

• https://www.deeplearning.ai/short-courses/attention-in-transformers-concepts-and-code-in-pytorch

关于本课程

本课程清晰地解释了注意力机制背后的思想。它介绍了算法本身以及如何在 Pytorch 中对其进行编码。Transformers中的注意力：PyTorch 中的概念和代码，是与 StatQuest 合作开发的，由其创始人兼首席执行官 Josh Starmer 讲授。

注意力机制是一项突破，它催生了 transformers，即为 ChatGPT 等大型语言模型提供动力的架构。Ashish Viswani 等人在 2017 年的论文《注意力就是你所需要的一切》中介绍了 transformers，它通过可扩展的设计彻底改变了人工智能。

了解此基础架构如何工作，以提高您构建可靠、功能性和可扩展的 AI 应用程序的直觉。

你要做什么

• 了解注意力机制的演变，这是促成 transformers 出现的关键突破。
• 了解词嵌入、位置嵌入和注意力之间的关系。
• 了解查询、键和值矩阵，如何生成它们，以及如何在注意力中使用它们。
• 通过计算自我注意力和掩蔽自我注意力所需的数学知识来了解该方程式如何以及为何如此运作。
• 了解自我注意力和掩蔽自我注意力之间的区别，以及如何在编码器中使用一个来构建上下文感知嵌入，以及如何在解码器中使用另一个来生成输出。
• 了解编码器-解码器架构、交叉注意力和多头注意力的细节，以及它们如何融入到转换器中。
• 使用 PyTorch 编写一个实现自注意力、掩蔽自注意力和多头注意力的类。

课程大纲

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～