태그: #ViT

← 전체 글

• 자기지도 학습 2: MAE — 그림의 4분의 3을 가리고 맞히게 하면 왜 잘 배우나

  글에서 빈칸 채우기(BERT)가 언어 모델을 키웠듯, 그림에서도 조각을 가리고 맞히게 하면 좋은 특징을 배웁니다. MAE 가 BERT 의 15% 대신 75% 를 가리는 이유(그림은 글보다 훨씬 중복이 많다), 보이는 조각만 인코더에 넣어 계산을 3배 넘게 줄이는 비대칭 구조, 가린 조각에서만 재는 화소 손실을 설명합니다. 16조각짜리 장난감 그림에서 가리는 비율을 25–90% 로 바꿔 직접

  2026-10-17 · 11 분 읽기 #비전 모델#자기지도 학습#MAE#BEiT#마스킹

• Vision Transformer: 그림을 16×16 조각의 문장으로 읽기, 그리고 데이터가 많이 필요한 이유

  문장을 읽던 트랜스포머로 그림을 읽는 ViT(2021)의 원리를 봅니다. 그림을 16×16 조각으로 잘라 단어처럼 늘어놓고, 셀프 어텐션으로 모든 조각 쌍의 관계를 봅니다. 「조각으로 잘라 선형 변환」이 보폭 16 합성곱과 똑같다는 것, 위치 임베딩이 없으면 모델이 조각의 순서를 전혀 모른다는 것, 해상도를 2배 늘리면 어텐션 비용이 16배가 된다는 것을 numpy 로 확인합니다. 합성곱이

  2026-10-17 · 13 분 읽기 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩