Transformer — 手算一遍注意力

用数字确认为什么要除以 √d

고급 · 课时 31 · 实验 10

开始实验

课程大纲

参考文档

• 官方文档 · arxiv.org · 1706.03762
• The Illustrated Transformer
• 官方文档 · nlp.seas.harvard.edu · annotated transformer
• PyTorch — nn.MultiheadAttention
• 官方文档 · arxiv.org · 2104.09864
• Vision Transformer (ViT)
• 官方文档 · arxiv.org · 2212.04356
• 官方文档 · arxiv.org · 2103.00020