태그: #역전파
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
ResNet: 잔차 연결이 깊은 망을 학습 가능하게 만든 이유와 배치 정규화
층을 더 쌓았는데 학습 오류까지 나빠지는 「깊이의 역설」을 ResNet 이 어떻게 풀었는지 봅니다. 블록이 출력 전체가 아니라 「입력에 더할 차이」만 배우게 하면, 역전파에서 기울기가 덧셈 지름길을 따라 그대로 내려갑니다. 배치 정규화가 무엇을 하는지(그리고 원래 설명과 나중 연구의 설명이 어떻게 다른지)도 정리합니다. 직접 돌린 작은 실험(깊이 4·16·64, 정규화 유무)에서 그냥 쌓은
2026-10-17 · 13 분 읽기 #비전 모델#ResNet#잔차 연결#배치 정규화#기울기 소실합성곱 신경망은 무엇을 배우나: 필터, 수용 영역, 역전파, 그리고 LeNet 과 AlexNet
합성곱 신경망(CNN)이 그림에서 「무엇」을 배우는지 가장 작은 단위부터 확인합니다. 3×3 필터가 그림 위를 미끄러지며 곱하고 더하는 계산, 층을 쌓을수록 넓어지는 수용 영역, 손실을 줄이는 방향으로 필터를 고치는 역전파와 경사 하강을 numpy 예제로 직접 돌려 봅니다(무작위로 시작한 필터가 500걸음 만에 세로 경계 필터가 됩니다). 그다음 LeNet-5(1998)와 AlexNet(20
2026-10-17 · 14 분 읽기 #비전 모델#합성곱#CNN#역전파#경사 하강