태그: #마스킹

← 전체 글

• 자기지도 학습 2: MAE — 그림의 4분의 3을 가리고 맞히게 하면 왜 잘 배우나

  글에서 빈칸 채우기(BERT)가 언어 모델을 키웠듯, 그림에서도 조각을 가리고 맞히게 하면 좋은 특징을 배웁니다. MAE 가 BERT 의 15% 대신 75% 를 가리는 이유(그림은 글보다 훨씬 중복이 많다), 보이는 조각만 인코더에 넣어 계산을 3배 넘게 줄이는 비대칭 구조, 가린 조각에서만 재는 화소 손실을 설명합니다. 16조각짜리 장난감 그림에서 가리는 비율을 25–90% 로 바꿔 직접

  2026-10-17 · 11 분 읽기 #비전 모델#자기지도 학습#MAE#BEiT#마스킹