상태: 초안 (2026-10-13), 일부 실측. 논문 수치는 원문을 열어 조건과 함께 확인했습니다. 직접 해 본 것은 노트북 CPU 의 numpy 예제(
code/05_flow_toy.py, 1초 미만)입니다. 탁구 영상의 광류 실측(Farneback)은 저장소docs/tt/PERFORMANCE.md2.9.7 의 값이고, RAFT 는 우리 영상에서 돌려 보지 않았습니다(미실측). 시리즈 「비전 모델 읽기 2」 5편. 여기서부터는 「움직임」입니다. 다음 편: 영상 모델.
목차
- 1. 직관: 화소마다 화살표 하나
- 2. 고전 방법의 가정과 그 한계
- 3. 학습 모델은 정답을 어디서 얻나
- 4. 그림: RAFT
- 5. 어떻게 학습시키나
- 6. 직접 해 보기
- 7. 논문 수치
- 8. 한계
- 9. 우리 프로젝트와의 연결
- 참고 문헌
1. 직관: 화소마다 화살표 하나
영상의 두 프레임을 겹쳐 보면, 움직인 것은 어긋나 있고 멈춘 것은 겹칩니다. 광류는 첫 프레임의 화소 하나하나에 「다음 프레임에서 어디로 갔나」를 나타내는 화살표(가로 이동 u, 세로 이동 v)를 하나씩 붙인 지도입니다. 1080p 프레임이면 화살표가 200만 개 남짓입니다.
광류는 「무엇이」 움직였는지는 말하지 않고 「어디가 얼마나」 움직였는지만 말합니다. 그래서 물체를 몰라도 쓸 수 있습니다. 탁구 영상에서는 선수가 크게 움직이는 구간(랠리 중)과 서성이는 구간(랠리 사이)이 광류의 크기만으로도 꽤 갈립니다.
2. 고전 방법의 가정과 그 한계
고전 방법은 두 가정에서 출발합니다.
- 밝기는 그대로다. 점 하나가 움직여도 그 점의 밝기는 변하지 않는다: I₁(x, y) = I₂(x+u, y+v).
- 움직임은 작다. 그래서 오른쪽을 1차 테일러 전개할 수 있다: I_x·u + I_y·v + I_t ≈ 0.
식은 하나인데 미지수는 둘(u, v)입니다. Lucas–Kanade(1981)는 「작은 창 안의 화소들은 같이 움직인다」고 가정해 창 안의 식들을 모아 최소제곱으로 풉니다.
이 방법이 깨지는 곳이 셋 있습니다.
- 구경 문제(aperture problem). 줄무늬처럼 한 방향으로만 무늬가 변하는 곳에서는 줄을 따라가는 움직임이 밝기에 아무 흔적을 남기지 않습니다. 식이 풀리지 않습니다.
- 큰 움직임. 1차 전개는 움직임이 1–2화소일 때만 맞습니다. 빠른 공처럼 한 프레임에 수십 화소를 가면 틀립니다. 그림을 줄여 큰 움직임을 작게 만든 뒤 다시 키우는 피라미드가 표준 처방입니다.
- 밝기가 변하는 곳. 그림자, 반사, 번짐에서 첫 가정이 깨집니다. 탁구공의 번짐이 정확히 여기에 해당합니다.
3. 학습 모델은 정답을 어디서 얻나
사진에서 화소마다 정답 화살표를 손으로 달 수는 없습니다. 그래서 학습형 광류는 합성 데이터에서 시작했습니다. FlowNet(2015)은 사진 배경 위에 3D 의자 모델 809종을 렌더링해 붙이고 아핀 변환으로 움직인 Flying Chairs(22,872쌍)를 만들었습니다. 움직임을 직접 만들었으니 정답이 정확히 알려져 있습니다(논문). 이후 더 사실적인 FlyingThings3D, 애니메이션 영화에서 뽑은 Sintel, 자동차 거리 KITTI 로 이어지는 학습 순서가 표준이 됐습니다.
손실은 대개 끝점 오차(EPE, End-Point Error) 입니다. 예측 화살표 끝과 정답 화살표 끝 사이의 거리(화소)를 평균합니다.
4. 그림: RAFT
RAFT(Teed & Deng, ECCV 2020)는 세 부품으로 되어 있습니다.
- 특징 인코더. 두 프레임을 같은 CNN 에 넣어 ⅛ 해상도의 특징(256차원)을 뽑습니다. 밝기 대신 특징을 비교하니 「밝기는 그대로」 가정이 느슨해집니다.
- 모든 짝의 상관 부피(all-pairs correlation volume). 첫 프레임의 모든 위치와 둘째 프레임의 모든 위치 사이의 내적을 한꺼번에 계산해 4차원 표(H×W×H×W)로 둡니다. 그리고 뒤의 두 차원을 1·2·4·8 칸으로 풀링해 4단 피라미드를 만듭니다. 한 번 계산해 두면 끝입니다.
- 반복 갱신기. 지금의 흐름 추정이 가리키는 자리 둘레 반경 4칸을 피라미드 4단에서 모두 조회(lookup)하고, 그 값을 합성곱 GRU 에 넣어 「추정을 얼마나 고칠지」(Δ)를 냅니다. 같은 가중치의 GRU 를 학습 때 12번, 평가 때 Sintel 32번·KITTI 24번 되풀이합니다. 200번까지 돌려도 발산하지 않았다고 적었습니다(논문).
피라미드를 「거친 해상도에서 풀고 고운 해상도로 내려가는」 단계 구조로 쓰던 이전 방법(PWC-Net 등)과 달리, RAFT 는 ⅛ 해상도 하나에서 모든 거리의 짝을 이미 알고 있으니, 빠르게 크게 움직인 물체도 처음부터 볼 수 있습니다.
5. 어떻게 학습시키나
L = Σᵢ γ^(N−i) · ‖ fᵢ − f_정답 ‖₁, γ = 0.8, N = 반복 횟수
모든 반복의 출력에 손실을 걸되, 뒤의 반복일수록 무겁게 봅니다(논문). 초반 반복은 크게 틀려도 되지만 점점 맞아 가야 한다는 뜻입니다. 이 손실 덕분에 GRU 는 「한 번에 맞히기」가 아니라 「조금씩 고치기」를 배웁니다.
⅛ 해상도의 흐름을 원래 해상도로 키울 때는 단순 보간 대신, 이웃 3×3 칸의 가중 평균을 망이 배운 가중치로 계산합니다(볼록 결합 업샘플링). 물체 경계에서 흐름이 번지지 않게 하기 위해서입니다.
학습 순서는 처음부터(사전학습 없이) Flying Chairs 10만 걸음 → FlyingThings 10만 걸음 → Sintel·KITTI 등을 섞어 10만 걸음 → KITTI 5만 걸음이었고, 데스크톱급 GPU 2장으로 학습했습니다(논문).
6. 직접 해 보기
code/05_flow_toy.py 는 numpy 만으로 RAFT 의 두 생각을 흉내 냅니다.
- 매끄러운 무늬가 있는 64×64 그림을 (3.4, −2.2) 화소만큼 옮겨 두 번째 프레임을 만듭니다(푸리에 이동이라 소수점 이동도 정확합니다).
- 화소마다 둘레 5×5 조각을 특징으로 삼아, 두 프레임 모든 화소 짝의 유사도를 4,096×4,096 = 1,680만 칸의 표로 한 번에 계산합니다(상관 부피).
- 출발점 (0, 0) 둘레 반경 8칸 안에서 가장 비슷한 자리를 고릅니다(조회). 정수 단위까지만 맞습니다.
- 그 추정에서 출발해 「지금 추정대로 두 번째 프레임을 되돌려 놓고, 남은 밝기 차이를 기울기로 나눠 고친다」를 되풀이합니다. RAFT 의 GRU 가 배워서 하는 일을, 여기서는 Lucas–Kanade 식 손으로 짠 규칙으로 대신했습니다.
[무늬 있는 그림] 상관 부피 4,096×4,096 = 16.8M 칸
반경 안 argmax(정수) 추정: EPE 평균 0.6546px · 중앙 0.4472px, 가장 흔한 값 (3, -2)
갱신 1회: EPE 평균 0.1649px · 중앙 0.0414px
갱신 2회: EPE 평균 0.1726px · 중앙 0.0602px
갱신 5회: EPE 평균 0.1593px · 중앙 0.0499px
모든 짝의 비교만으로는 정수 (3, −2) 까지이고, 오차 중앙값이 0.45px(참값 3.4, −2.2 와 정수 사이의 거리)입니다. 갱신 한 번에 0.04px 로 줄었습니다. 그 뒤로 더 줄지 않은 것은 손으로 짠 규칙의 한계(되돌릴 때 쓰는 이중선형 보간의 오차)입니다. RAFT 가 GRU 를 학습시키는 이유가 여기 있습니다. 「얼마나 고칠지」를 규칙 대신 데이터에서 배우면, 보간 오차나 가림 같은 상황도 고려할 수 있습니다.
같은 일을 세로줄 무늬에 해 봤습니다.
[세로줄(구경 문제)]
반경 안 argmax(정수) 추정: EPE 평균 7.5758px, 가장 흔한 값 (-4, 0)
갱신 1–5회: 변화 없음 (식이 풀리지 않는 화소 100.0%)
→ 가로 움직임 중앙값 -4.00(참값 3.4), 세로 움직임은 17가지 값으로 흩어짐
세로줄은 위아래로 움직여도 똑같아 보이니 세로 움직임은 알 길이 없습니다(17가지 값으로 흩어짐). 가로 움직임도 줄 간격이 8화소라 3.4 와 3.4−8 = −4.6 이 구별되지 않습니다(가장 가까운 정수 −4 를 골랐습니다). 갱신 식은 아예 풀리지 않습니다. 구경 문제를 숫자로 본 것입니다. 학습 모델도 이 경우에는 주변 맥락(물체 경계, 다른 부분의 움직임)에서 추측할 뿐입니다.
7. 논문 수치
| 모델 | 수치(논문) | 조건 |
|---|---|---|
| FlowNetS / FlowNetC(2015) | Sintel final 시험 EPE 7.42 / 7.28 | Flying Chairs 학습. 데스크톱급 GPU 에서 0.08 / 0.15초 |
| PWC-Net(2018) | Sintel final 5.04, KITTI-15 Fl-all 9.60%, 파라미터 875만 | 1024×436 에서 약 35fps(데스크톱급 GPU) |
| RAFT(2020) | Sintel clean/final 1.94/3.18(두 프레임), 1.61/2.86(앞 흐름으로 시작), KITTI-15 Fl-all 5.10% | 파라미터 530만(작은 판 100만). 1088×436 에서 10회 반복 0.10초(데스크톱급 GPU), 1080p 12회 550ms |
| RAFT, 합성 데이터만으로 | Sintel 학습 세트 clean 1.43 · final 2.71, KITTI-15 EPE 5.04 · Fl-all 17.4% | Chairs → Things 만 학습하고 다른 데이터에 바로 |
| SEA-RAFT(2024) | Spring 벤치마크 1px 오류율 3.686, EPE 0.363 | 반복 4번(학습)·4–12번(추론), 540×960 에서 RAFT 140.7ms 대 70.96ms(데스크톱급 GPU) |
Fl-all 은 끝점 오차가 3화소와 정답 크기의 5% 를 모두 넘는 화소의 비율입니다. 낮을수록 좋습니다.
SEA-RAFT 는 RAFT 의 손실을 「라플라스 분포 두 개를 섞은 음의 로그우도」로 바꿨습니다. 맞히기 쉬운 화소에는 L1 처럼, 원래 모호한 화소(가림, 구경 문제)에는 오차를 덜 벌하도록 망이 스스로 불확실도를 함께 내게 한 것입니다. 첫 추정을 0 대신 직접 회귀해 반복 횟수를 줄였습니다(논문).
8. 한계
- 계산이 무겁다. RAFT 는 1080p 한 프레임에 0.5초 남짓이었습니다(데스크톱급 GPU, 논문). 60fps 한 프레임 예산(16.7ms)과는 자릿수가 다릅니다.
- 작고 빠른 물체에 약하다. ⅛ 해상도에서는 지름 몇 화소의 탁구공이 특징 한 칸보다 작습니다. 공의 움직임은 광류보다 공 검출을 이어 붙이는 쪽이 정확합니다(9편).
- 번짐은 밝기 가정을 깬다. 번진 공은 프레임마다 모양이 달라져 「같은 점」을 찾기 어렵습니다.
9. 우리 프로젝트와의 연결
- 실측: 싸고 거친 신호로는 쓸 만했다. OpenTTGames 시험 7경기(51,060프레임)에서, 160×90 으로 줄인 영상의 Farneback 광류(고전 방법)로 「지금 랠리 중인가」를 1초 단위로 가렸습니다. 선수 쪽 광류의 AUC 가 0.798, 영상 전체 프레임 차분이 0.770, BlurBall 공 히트맵 최댓값이 0.860, 공과 광류를 순위 평균으로 합치면 0.876 이었고, CPU 에서 프레임당 2.5–2.8ms 였습니다(저장소
docs/tt/PERFORMANCE.md2.9.7). 공이 가려졌을 때 「아직 랠리 중」을 알려 주는 보조 신호로 쓸 수 있다는 뜻입니다. - 바운드 판별에는 아직 근거가 없다. 같은 광류·차분 값을 학습형 바운드 판별기(4편)의 입력에 단순히 이어 붙여 본 초기 시험에서는 이득이 보이지 않았고, 확정된 결과는 아직 없습니다(2026-10-13 연구 원장 기준, 진행 중 연구 — 원장은 아직 저장소 밖). 「이어 붙이기」라는 결합 방식만 해 본 것이라, 다른 결합은 열려 있습니다.
- 공 추적기 안의 움직임. 9편의 TrackNetV4·V5 는 광류 대신 프레임 차분을 주의 지도로 써서 움직이는 공을 강조하고, TOTNet 은 광류를 입력에 더한 판이 가림 구간에서 더 정확했지만 그만큼 느렸습니다(9편).
티티 한마디. 줄무늬 셔츠가 위아래로 움직이면, 컴퓨터는 그게 움직였는지 몰라요. 정말이에요, 예제로 직접 확인했어요. 그래서 광류는 「대충 어디가 얼마나 움직이나」에 쓰고, 공은 따로 찾아요.
참고 문헌
- Lucas & Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, IJCAI 1981.
- Farnebäck, Two-Frame Motion Estimation Based on Polynomial Expansion, SCIA 2003. https://doi.org/10.1007/3-540-45103-X_50
- Dosovitskiy et al., FlowNet: Learning Optical Flow with Convolutional Networks, ICCV 2015. https://arxiv.org/abs/1504.06852
- Sun et al., PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume, CVPR 2018. https://arxiv.org/abs/1709.02371
- Teed & Deng, RAFT: Recurrent All-Pairs Field Transforms for Optical Flow, ECCV 2020. https://arxiv.org/abs/2003.12039
- Wang, Lipson, Deng, SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow, ECCV 2024. https://arxiv.org/abs/2405.14793
- 우리 측정: 저장소
docs/tt/PERFORMANCE.md2.9.7. 예제 코드와 출력:code/05_flow_toy.py,code/05_flow_toy.out.txt