태그: #Swin

← 전체 글

• Vision Transformer: 그림을 16×16 조각의 문장으로 읽기, 그리고 데이터가 많이 필요한 이유

  문장을 읽던 트랜스포머로 그림을 읽는 ViT(2021)의 원리를 봅니다. 그림을 16×16 조각으로 잘라 단어처럼 늘어놓고, 셀프 어텐션으로 모든 조각 쌍의 관계를 봅니다. 「조각으로 잘라 선형 변환」이 보폭 16 합성곱과 똑같다는 것, 위치 임베딩이 없으면 모델이 조각의 순서를 전혀 모른다는 것, 해상도를 2배 늘리면 어텐션 비용이 16배가 된다는 것을 numpy 로 확인합니다. 합성곱이

  2026-10-17 · 13 분 읽기 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩