大语言模型应用开发

徐经纬

课程目录

课程目录

  1. 课程简介
  2. 深度学习基础 I
  3. 深度学习基础 II
  4. 大语言模型解析 I: Tokenizer, Positional Embedding
  5. 大语言模型解析 II: RMSNorm,MLP
  6. 大语言模型解析 III: Attention Layer
  7. 大语言模型解析 IV: Flash Attention
  8. 大语言模型解析 V: MoE, LoRA
  9. 大语言模型解析 VI: Fine-tuning

课程目录
10. 大语言模型解析 VII: LLM save/load
11. 大语言模型解析 VII: LLM 推理, 解码策略, KVCache
12. 大语言模型推理技术: RAG
13. 大语言模型推理技术: RAG进阶
14. 大语言模型进阶: Megatron中的并行化技术介绍

![bg right:50% 90%](images/hero-large_2x.png)

- [课程概览](lecture1.html)

<!--