TT Lab
블로그

한국어 English 日本語 中文

시작하기
블로그

블로그

광류와 RAFT: 움직임을 화소로 읽기 — 모든 짝을 한 번 비교하고, 같은 갱신을 되풀이한다

상태: 초안 (2026-10-13), 일부 실측. 논문 수치는 원문을 열어 조건과 함께 확인했습니다. 직접 해 본 것은 노트북 CPU 의 numpy 예제(code/05_flow_toy.py, 1초 미만)입니다. 탁구 영상의 광류 실측(Farneback)은 저장소 docs/tt/PERFORMANCE.md 2.9.7 의 값이고, RAFT 는 우리 영상에서 돌려 보지 않았습니다(미실측). 시리즈 「비전 모델 읽기 2」 5편. 여기서부터는 「움직임」입니다. 다음 편: 영상 모델.

목차

1. 직관: 화소마다 화살표 하나

영상의 두 프레임을 겹쳐 보면, 움직인 것은 어긋나 있고 멈춘 것은 겹칩니다. 광류는 첫 프레임의 화소 하나하나에 「다음 프레임에서 어디로 갔나」를 나타내는 화살표(가로 이동 u, 세로 이동 v)를 하나씩 붙인 지도입니다. 1080p 프레임이면 화살표가 200만 개 남짓입니다.

광류는 「무엇이」 움직였는지는 말하지 않고 「어디가 얼마나」 움직였는지만 말합니다. 그래서 물체를 몰라도 쓸 수 있습니다. 탁구 영상에서는 선수가 크게 움직이는 구간(랠리 중)과 서성이는 구간(랠리 사이)이 광류의 크기만으로도 꽤 갈립니다.

2. 고전 방법의 가정과 그 한계

고전 방법은 두 가정에서 출발합니다.

  1. 밝기는 그대로다. 점 하나가 움직여도 그 점의 밝기는 변하지 않는다: I₁(x, y) = I₂(x+u, y+v).
  2. 움직임은 작다. 그래서 오른쪽을 1차 테일러 전개할 수 있다: I_x·u + I_y·v + I_t ≈ 0.

식은 하나인데 미지수는 둘(u, v)입니다. Lucas–Kanade(1981)는 「작은 창 안의 화소들은 같이 움직인다」고 가정해 창 안의 식들을 모아 최소제곱으로 풉니다.

이 방법이 깨지는 곳이 셋 있습니다.

3. 학습 모델은 정답을 어디서 얻나

사진에서 화소마다 정답 화살표를 손으로 달 수는 없습니다. 그래서 학습형 광류는 합성 데이터에서 시작했습니다. FlowNet(2015)은 사진 배경 위에 3D 의자 모델 809종을 렌더링해 붙이고 아핀 변환으로 움직인 Flying Chairs(22,872쌍)를 만들었습니다. 움직임을 직접 만들었으니 정답이 정확히 알려져 있습니다(논문). 이후 더 사실적인 FlyingThings3D, 애니메이션 영화에서 뽑은 Sintel, 자동차 거리 KITTI 로 이어지는 학습 순서가 표준이 됐습니다.

손실은 대개 끝점 오차(EPE, End-Point Error) 입니다. 예측 화살표 끝과 정답 화살표 끝 사이의 거리(화소)를 평균합니다.

4. 그림: RAFT

RAFT: 모든 짝을 한 번 비교, 같은 갱신을 반복 프레임 1 프레임 2 특징 인코더 ⅛ 해상도 두 프레임 공유 상관 부피(4차원) 4단 반복(학습 12번, 평가 24–32번) 지금 추정 둘레 반경 4칸 조회 4단 모두 합성곱 GRU 가중치 공유 추정 += Δ ⅛ 해상도 흐름 손실: 매 반복의 추정을 정답과 L1 로 비교 뒤 반복일수록 무겁게, 가중 0.8^(N−i) 마지막: 볼록 결합 업샘플링 이웃 3×3 의 가중 평균(가중치도 학습)으로 원래 해상도로
그림: RAFT: 특징 → 4차원 상관 부피 → 반경 조회 → 가중치 공유 GRU 를 되풀이

RAFT(Teed & Deng, ECCV 2020)는 세 부품으로 되어 있습니다.

  1. 특징 인코더. 두 프레임을 같은 CNN 에 넣어 ⅛ 해상도의 특징(256차원)을 뽑습니다. 밝기 대신 특징을 비교하니 「밝기는 그대로」 가정이 느슨해집니다.
  2. 모든 짝의 상관 부피(all-pairs correlation volume). 첫 프레임의 모든 위치와 둘째 프레임의 모든 위치 사이의 내적을 한꺼번에 계산해 4차원 표(H×W×H×W)로 둡니다. 그리고 뒤의 두 차원을 1·2·4·8 칸으로 풀링해 4단 피라미드를 만듭니다. 한 번 계산해 두면 끝입니다.
  3. 반복 갱신기. 지금의 흐름 추정이 가리키는 자리 둘레 반경 4칸을 피라미드 4단에서 모두 조회(lookup)하고, 그 값을 합성곱 GRU 에 넣어 「추정을 얼마나 고칠지」(Δ)를 냅니다. 같은 가중치의 GRU 를 학습 때 12번, 평가 때 Sintel 32번·KITTI 24번 되풀이합니다. 200번까지 돌려도 발산하지 않았다고 적었습니다(논문).

피라미드를 「거친 해상도에서 풀고 고운 해상도로 내려가는」 단계 구조로 쓰던 이전 방법(PWC-Net 등)과 달리, RAFT 는 ⅛ 해상도 하나에서 모든 거리의 짝을 이미 알고 있으니, 빠르게 크게 움직인 물체도 처음부터 볼 수 있습니다.

5. 어떻게 학습시키나

L = Σᵢ γ^(N−i) · ‖ fᵢ − f_정답 ‖₁,   γ = 0.8,  N = 반복 횟수

모든 반복의 출력에 손실을 걸되, 뒤의 반복일수록 무겁게 봅니다(논문). 초반 반복은 크게 틀려도 되지만 점점 맞아 가야 한다는 뜻입니다. 이 손실 덕분에 GRU 는 「한 번에 맞히기」가 아니라 「조금씩 고치기」를 배웁니다.

⅛ 해상도의 흐름을 원래 해상도로 키울 때는 단순 보간 대신, 이웃 3×3 칸의 가중 평균을 망이 배운 가중치로 계산합니다(볼록 결합 업샘플링). 물체 경계에서 흐름이 번지지 않게 하기 위해서입니다.

학습 순서는 처음부터(사전학습 없이) Flying Chairs 10만 걸음 → FlyingThings 10만 걸음 → Sintel·KITTI 등을 섞어 10만 걸음 → KITTI 5만 걸음이었고, 데스크톱급 GPU 2장으로 학습했습니다(논문).

6. 직접 해 보기

code/05_flow_toy.py 는 numpy 만으로 RAFT 의 두 생각을 흉내 냅니다.

  1. 매끄러운 무늬가 있는 64×64 그림을 (3.4, −2.2) 화소만큼 옮겨 두 번째 프레임을 만듭니다(푸리에 이동이라 소수점 이동도 정확합니다).
  2. 화소마다 둘레 5×5 조각을 특징으로 삼아, 두 프레임 모든 화소 짝의 유사도를 4,096×4,096 = 1,680만 칸의 표로 한 번에 계산합니다(상관 부피).
  3. 출발점 (0, 0) 둘레 반경 8칸 안에서 가장 비슷한 자리를 고릅니다(조회). 정수 단위까지만 맞습니다.
  4. 그 추정에서 출발해 「지금 추정대로 두 번째 프레임을 되돌려 놓고, 남은 밝기 차이를 기울기로 나눠 고친다」를 되풀이합니다. RAFT 의 GRU 가 배워서 하는 일을, 여기서는 Lucas–Kanade 식 손으로 짠 규칙으로 대신했습니다.
[무늬 있는 그림] 상관 부피 4,096×4,096 = 16.8M 칸
  반경 안 argmax(정수) 추정: EPE 평균 0.6546px · 중앙 0.4472px, 가장 흔한 값 (3, -2)
  갱신 1회: EPE 평균 0.1649px · 중앙 0.0414px
  갱신 2회: EPE 평균 0.1726px · 중앙 0.0602px
  갱신 5회: EPE 평균 0.1593px · 중앙 0.0499px

모든 짝의 비교만으로는 정수 (3, −2) 까지이고, 오차 중앙값이 0.45px(참값 3.4, −2.2 와 정수 사이의 거리)입니다. 갱신 한 번에 0.04px 로 줄었습니다. 그 뒤로 더 줄지 않은 것은 손으로 짠 규칙의 한계(되돌릴 때 쓰는 이중선형 보간의 오차)입니다. RAFT 가 GRU 를 학습시키는 이유가 여기 있습니다. 「얼마나 고칠지」를 규칙 대신 데이터에서 배우면, 보간 오차나 가림 같은 상황도 고려할 수 있습니다.

같은 일을 세로줄 무늬에 해 봤습니다.

[세로줄(구경 문제)]
  반경 안 argmax(정수) 추정: EPE 평균 7.5758px, 가장 흔한 값 (-4, 0)
  갱신 1–5회: 변화 없음 (식이 풀리지 않는 화소 100.0%)
  → 가로 움직임 중앙값 -4.00(참값 3.4), 세로 움직임은 17가지 값으로 흩어짐

세로줄은 위아래로 움직여도 똑같아 보이니 세로 움직임은 알 길이 없습니다(17가지 값으로 흩어짐). 가로 움직임도 줄 간격이 8화소라 3.4 와 3.4−8 = −4.6 이 구별되지 않습니다(가장 가까운 정수 −4 를 골랐습니다). 갱신 식은 아예 풀리지 않습니다. 구경 문제를 숫자로 본 것입니다. 학습 모델도 이 경우에는 주변 맥락(물체 경계, 다른 부분의 움직임)에서 추측할 뿐입니다.

7. 논문 수치

모델 수치(논문) 조건
FlowNetS / FlowNetC(2015) Sintel final 시험 EPE 7.42 / 7.28 Flying Chairs 학습. 데스크톱급 GPU 에서 0.08 / 0.15초
PWC-Net(2018) Sintel final 5.04, KITTI-15 Fl-all 9.60%, 파라미터 875만 1024×436 에서 약 35fps(데스크톱급 GPU)
RAFT(2020) Sintel clean/final 1.94/3.18(두 프레임), 1.61/2.86(앞 흐름으로 시작), KITTI-15 Fl-all 5.10% 파라미터 530만(작은 판 100만). 1088×436 에서 10회 반복 0.10초(데스크톱급 GPU), 1080p 12회 550ms
RAFT, 합성 데이터만으로 Sintel 학습 세트 clean 1.43 · final 2.71, KITTI-15 EPE 5.04 · Fl-all 17.4% Chairs → Things 만 학습하고 다른 데이터에 바로
SEA-RAFT(2024) Spring 벤치마크 1px 오류율 3.686, EPE 0.363 반복 4번(학습)·4–12번(추론), 540×960 에서 RAFT 140.7ms 대 70.96ms(데스크톱급 GPU)

Fl-all 은 끝점 오차가 3화소와 정답 크기의 5% 를 모두 넘는 화소의 비율입니다. 낮을수록 좋습니다.

SEA-RAFT 는 RAFT 의 손실을 「라플라스 분포 두 개를 섞은 음의 로그우도」로 바꿨습니다. 맞히기 쉬운 화소에는 L1 처럼, 원래 모호한 화소(가림, 구경 문제)에는 오차를 덜 벌하도록 망이 스스로 불확실도를 함께 내게 한 것입니다. 첫 추정을 0 대신 직접 회귀해 반복 횟수를 줄였습니다(논문).

8. 한계

9. 우리 프로젝트와의 연결

티티 한마디. 줄무늬 셔츠가 위아래로 움직이면, 컴퓨터는 그게 움직였는지 몰라요. 정말이에요, 예제로 직접 확인했어요. 그래서 광류는 「대충 어디가 얼마나 움직이나」에 쓰고, 공은 따로 찾아요.

참고 문헌

로그인하면 좋아요를 누를 수 있습니다

댓글

아직 댓글이 없습니다.

로그인하면 댓글을 쓸 수 있습니다