本文目录
Transformer 基础(分词 / Embedding / MHA·GQA·MLA / MoE)+ 大模型 Memory 模块
本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。
补齐大模型底层硬功夫:Transformer 四大基础 + Agent 长程记忆
面试被问「讲讲 GQA 和 MHA 的区别」「MoE 怎么路由」「Memory 模块怎么设计」时卡壳，往往不是不努力，而是底层基础没系统补过。
这个项目把 Transformer 的四大基础(分词、Embedding 训练、注意力变体、MoE)和大模型 Memory 模块一次补齐，既是底层原理，也是面试高频。
分词
- Tokenization 原理
- 常见分词算法
- 为什么重要
Embedding
- 词嵌入是什么
- Embedding 训练方法
- 和检索的关系
注意力 + 架构
- MHA / GQA / MLA
- MoE 专家网络
- 门控 / 负载均衡
Memory 模块
- 大模型 Memory 架构
- 短期 / 长期记忆
- 工程实现
学习成果
把底层原理和 Memory 工程补扎实，被问到架构细节时答得上、讲得清。
适合谁
想补底层、面试常被架构题问住的同学
想跟着老师完成项目
需要项目实现、代码复盘和面试指导，可以了解大模型训练营的课程安排。