태그: #ResNet
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
ResNet: 잔차 연결이 깊은 망을 학습 가능하게 만든 이유와 배치 정규화
층을 더 쌓았는데 학습 오류까지 나빠지는 「깊이의 역설」을 ResNet 이 어떻게 풀었는지 봅니다. 블록이 출력 전체가 아니라 「입력에 더할 차이」만 배우게 하면, 역전파에서 기울기가 덧셈 지름길을 따라 그대로 내려갑니다. 배치 정규화가 무엇을 하는지(그리고 원래 설명과 나중 연구의 설명이 어떻게 다른지)도 정리합니다. 직접 돌린 작은 실험(깊이 4·16·64, 정규화 유무)에서 그냥 쌓은
2026-10-17 · 13 분 읽기 #비전 모델#ResNet#잔차 연결#배치 정규화#기울기 소실