标签: #트랜스포머

← 全部文章

• DETR: 将检测视为集合预测，匈牙利匹配与无锚框检测

  我们来看看 DETR (2020)，它去掉了锚框和 NMS 等人工设计的组件，将检测重新定义为“一次性输出一组边界框”。100 个查询槽（query slot）各自输出一个边界框，在训练期间与真实标签进行 1:1 配对，没有配对的槽则学习“无物体”。我们自己实现了配对所用的匈牙利算法，通过排列组合穷举确认了它与 200 个问题完全一致，并在两个重叠选手的例子中展示了“依次选择最便宜的”总成本为 3.9，而匈牙利算法为 1.8。我们还用手

  2026-10-17 · 12 分钟阅读 #비전 모델#DETR#트랜스포머#헝가리안 알고리즘#집합 예측

• Vision Transformer: 将图像读作 16×16 图块的句子，以及为什么需要大量数据

  我们来看看 ViT（2021）的原理，它用原本用于阅读句子的 Transformer 来阅读图像。它将图像切割成 16×16 的图块并像单词一样排列，通过自注意力机制观察所有图块对之间的关系。「切割图块并进行线性变换」与步幅为 16 的卷积完全相同，如果没有位置嵌入，模型将完全不知道图块的顺序，当分辨率增加 2 倍时，注意力开销会变成 16 倍，我们通过 numpy 验证了这些。由于放弃了卷积通过结构赋予的「邻近项互相关联」的假设，它仅

  2026-10-17 · 13 分钟阅读 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩