Transformer — アテンションを手で計算する

なぜ√dで割るのかを数字で確かめる

고급 · レッスン 31 · ラボ 10

ラボを始める

カリキュラム

参考ドキュメント

• Attention Is All You Need (원논문)
• The Illustrated Transformer
• The Annotated Transformer (하버드 NLP)
• PyTorch — nn.MultiheadAttention
• RoFormer — 회전 위치 임베딩(RoPE)
• Vision Transformer (ViT)
• Whisper — 음성 인식
• CLIP — 이미지·텍스트 정렬