태그: #Hiera

← 전체 글

• SAM 2 와 EfficientTAM: 메모리 어텐션으로 영상 속 물체를 따라가기, 그리고 가볍게 만들기

  그림 한 장을 칠하던 SAM 을 영상으로 넓힌 SAM 2(2024)를 봅니다. 프레임을 하나씩 흘려보내며, 지난 프레임에서 칠한 마스크를 「기억」으로 바꿔 메모리 뱅크에 쌓고, 새 프레임이 메모리 어텐션으로 그 기억을 참고해 같은 물체를 칠합니다. 영상 5만여 편·마스크렛 64만여 개의 SA-V 데이터, 그림에서도 SAM 보다 6배 빠른 결과, SAM 2.1 크기별 수치와 우리 실측(tiny

  2026-10-17 · 14 분 읽기 #비전 모델#SAM 2#EfficientTAM#영상 분할#메모리 어텐션

• Vision Transformer: 그림을 16×16 조각의 문장으로 읽기, 그리고 데이터가 많이 필요한 이유

  문장을 읽던 트랜스포머로 그림을 읽는 ViT(2021)의 원리를 봅니다. 그림을 16×16 조각으로 잘라 단어처럼 늘어놓고, 셀프 어텐션으로 모든 조각 쌍의 관계를 봅니다. 「조각으로 잘라 선형 변환」이 보폭 16 합성곱과 똑같다는 것, 위치 임베딩이 없으면 모델이 조각의 순서를 전혀 모른다는 것, 해상도를 2배 늘리면 어텐션 비용이 16배가 된다는 것을 numpy 로 확인합니다. 합성곱이

  2026-10-17 · 13 분 읽기 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩