大语言模型基础：从零到一实现之路

徐经纬

课程目录

课程目录

  1. 课程简介
  2. 特征空间的变换1: 前反向运行视角理解深度学习模型
  3. 特征空间的变换2: 前反向运行视角理解深度学习模型
  4. 大语言模型解析 I: Input/Positional Embedding
  5. 大语言模型解析 II: RMSNorm/FFN
  6. 大语言模型解析 III: Attention Mechanism I
  7. 大语言模型解析 IV: Attention Mechanism II
  8. 大语言模型解析 V: Attention Mechanism III
  9. 大语言模型解析 VI: 数据，模型运行，代码

课程目录
10. 大语言模型解析 VII: 模型训练二三事
11. 大语言模型解析 VIII: 模型推理二三事
12. 大语言模型解析 IX: Sparse Attention
13. 大语言模型推理应用: 检索增强生成
14. 大语言模型推理应用: 检索增强生成II
15. 大语言模型进阶: Megatron中运用的并行化技术介绍

![bg right:50% 90%](images/hero-large_2x.png)

- [课程概览](lecture1.html)

# 大语言模型应用开发

<!--