Transformer — 手算一遍注意力
用数字确认为什么要除以 √d
고급 · 课时 31 · 实验 10
课程大纲
注意力的内部
- 注意力就是加权平均 讲解
- 不用库实现注意力 实验
- 当下的模型地貌与那些编码器 讲解
- Transformer 确认 测验
分词与词表
- 同一句话,token 数却不一样 讲解
- 亲手做一个分词器 实验
- 测验:分词与词表 测验
旋转位置编码(RoPE)
- 位置不是加上去的,是转出来的 讲解
- 用旋转把位置放进去 实验
- 测验:旋转位置编码 测验
温度、top-k 与 top-p
上下文长度与代价
- 上下文翻倍,什么会变成四倍 讲解
- 亲手数出上下文长度的代价 实验
- 测验:上下文长度与代价 测验
KV 缓存减少的计算量
嵌入、权重共享与 logits
整数量化对精度的影响
MHA、MQA 与 GQA
交叉熵与困惑度
- 把模型的好坏变成一个数字 讲解
- 亲手算出一个损失 实验
- 测验:交叉熵与困惑度 测验