로그에서 답 뽑아내기
목표
로그 파일 하나에서 질문을 명령으로 옮기는 훈련을 합니다. /opt/lab/data/app.log 는 IP 날짜 메서드 경로 상태코드 [ERROR] 형식이며 480줄입니다. 마지막 두 단계에서는 「집계가 대시보드와 다르다」 는 사건을 받아, 틀린 숫자를 낸 파이프라인을 찾아 고칩니다.
왜 중요한가
장애 상황에서 필요한 건 로그 뷰어가 아니라 질문을 파이프라인으로 옮기는 능력입니다. "무엇이 가장 많은가"라는 질문은 거의 항상 sort | uniq -c | sort -rn | head 라는 하나의 관용구로 답할 수 있습니다. uniq -c 가 인접한 중복만 세기 때문에 앞의 sort 가 필수라는 점, 파이프로 이어진 명령들은 각각 별도 프로세스에서 동시에 흘러가기 때문에 거대한 파일도 메모리에 올리지 않고 처리된다는 점 - 이 두 가지가 이 관용구가 빠른 이유입니다.
파이프라인은 틀려도 오류를 내지 않습니다. 회전된 로그를 빠뜨려도, 칸이 밀려도, 정렬을 빼먹어도 그럴듯한 숫자가 조용히 나옵니다. 그래서 사건 단계에서는 숫자가 「작게」 나왔는지 「크게」 나왔는지부터 보고, 틀리게 센 줄을 직접 뽑아 눈으로 확인하는 순서를 연습합니다. 채점기는 고친 스크립트를 다른 날 로그로 한 번 더 돌리므로, 값을 맞춰 넣은 것은 통과하지 못합니다.
단계
ERROR가 들어간 줄의 개수를/root/error_count.txt에 숫자만 적으세요.- 가장 많이 등장한 IP 하나를
/root/top_ip.txt에 적으세요. - 상태코드가
500인 줄만 그대로/root/five_hundreds.txt에 저장하세요. - 등장하는 고유 경로(4번째 필드) 목록을
/root/paths.txt에 한 줄에 하나씩 저장하세요. - 상태코드별 개수를
코드 개수형식으로, 코드 오름차순 3줄로/root/status_counts.txt에 저장하세요. - 요청 수 상위 3개 경로를
경로 개수형식으로, 개수 내림차순 3줄로/root/top3_paths.txt에 저장하세요. /root/report.sh <로그 파일>을 만드세요. 그 로그를 읽어total=<전체 줄 수>,errors=<200 이 아닌 줄 수>,error_rate=<오류 백분율, 소수점 첫째 자리, % 없이>,top_path=<가장 많이 요청된 경로>네 줄을 이 순서로 출력해야 합니다.- 사건
lb-count-drift— 어제 요청 수 집계가 대시보드보다 훨씬 적게 나옵니다. 원인을 골라 적고, 스크립트가 다른 날·다른 디렉터리에서도 맞는 숫자를 내게 고치세요. - 사건
lb-report-mismatch— 운영 리포트의 세 숫자가 대시보드와 다릅니다. 스크립트마다 원인을 골라 적고, 세 스크립트를 고치세요.
참고
awk '{print $4}' 파일로 4번째 필드만 뽑을 수 있습니다. awk 는 연속된 공백을 칸 경계 하나로 봅니다.- 사건 도구:
incident list로 사건 목록을,incident show <이름>으로 티켓을 다시 봅니다. 같은 사건을 다시 내면 처음 고장 상태로 돌아갑니다. - 사건 보고서는
/root/incident/<이름>/report.txt입니다. 원인이 하나면cause: <코드>, 대상이 여럿이면<대상>: <코드>를 한 줄씩 적고, 마지막에evidence: <원인을 보여 준 출력 한 줄>을 그대로 붙입니다. 코드는 단계 설명에 적힌 후보 중에서 고릅니다. - 흔한 실수 1:
uniq -c앞에sort를 빼먹으면 인접한 것만 세서 결과가 엉뚱해집니다. - 흔한 실수 2: 3번에서
grep 500을 쓰면 IP 나 다른 필드에 500 이 든 줄까지 걸립니다. 필드를 지정하세요.
ERROR 줄 세기
ERROR 가 들어간 줄의 개수를 /root/error_count.txt 에 숫자만 적으세요.
고르는 도구와 세는 도구를 파이프로 이으세요. grep 에는 개수만 세는 옵션도 있습니다.
가장 많이 요청한 IP
가장 많이 등장한 IP 하나를 /root/top_ip.txt 에 적으세요.
「무엇이 가장 많은가」 는 늘 같은 모양입니다 — 볼 칸만 뽑고, 같은 값끼리 모아 세고, 센 숫자로 줄 세운 뒤 맨 위를 봅니다. 세는 도구(uniq -c)는 붙어 있는 같은 줄만 묶는다는 점을 잊지 마세요. 마지막에는 개수를 떼고 IP 만 남깁니다.
500 응답만 뽑기
상태코드가 500 인 줄만 그대로 /root/five_hundreds.txt 에 저장하세요.
상태코드는 5번째 필드입니다. 문자열로 grep 하면 다른 필드에 든 500 까지 걸릴 수 있습니다.
고유 경로 목록
등장하는 고유 경로(4번째 필드) 목록을 /root/paths.txt 에 한 줄에 하나씩 저장하세요.
경로는 4번째 필드입니다. 그 칸만 뽑은 뒤 같은 값을 하나로 줄이면 되는데, 정렬 도구에 「중복은 하나만 남기기」 옵션이 이미 있습니다.
상태코드별 집계
상태코드별 개수를 코드 개수 형식으로, 코드 오름차순 3줄로 /root/status_counts.txt 에 저장하세요.
상태코드 칸만 모아 코드별로 세면 됩니다. 세는 방법은 두 가지 — 정렬한 뒤 붙은 것끼리 묶어 세거나, awk 가 코드마다 개수를 쌓아 두었다가 끝에서 한 번에 내놓게 하거나. 묶어 세는 도구는 「개수 값」 순서로 내놓으니 칸 순서를 뒤집어야 합니다.
요청 많은 경로 TOP 3
요청 수 상위 3개 경로를 경로 개수 형식으로, 개수 내림차순 3줄로 /root/top3_paths.txt 에 저장하세요.
2단계의 「가장 많은 것」 과 같은 모양인데, 볼 칸이 경로이고 맨 위 하나가 아니라 세 줄입니다. 결과는 「경로 개수」 순서여야 하니 세는 도구가 내놓는 칸 순서를 마지막에 뒤집으세요.
오류율과 요약 리포트 스크립트
/root/report.sh <로그 파일> 을 만드세요. IP 날짜 메서드 경로 상태코드 형식의 로그를 읽어 다음 네 줄을 이 순서로 출력합니다 — total=<전체 줄 수>, errors=<상태코드가 200 이 아닌 줄 수>, error_rate=<errors 의 백분율, 소수점 첫째 자리, % 없이>, top_path=<가장 많이 요청된 경로>. 실행 권한이 있어야 하고, 채점기는 /opt/lab/data/app.log 와 채점기가 그 자리에서 만든 다른 로그로 한 번씩 돌려 봅니다.
앞의 세 값은 awk 한 번으로 셀 수 있습니다 — 줄마다 전체와 오류를 세어 두었다가 끝(END) 블록에서 비율을 계산하면 파일을 두 번 읽지 않습니다. 소수점 자리 반올림은 printf 의 형식 지정이 해 줍니다. 1등 경로는 2·6단계의 「가장 많은 것」 모양으로 따로 구해 붙여도 됩니다. 로그 파일 이름은 스크립트의 첫 인자로 받으세요.
사건 — 어제 요청 수가 대시보드보다 훨씬 적게 나왔다
incident lb-count-drift 를 실행하면 사건이 납니다. /srv/lbreport/daily-count.sh 2026-11-04 가 184 를 내는데 대시보드의 2026-11-04 요청 수는 1905 입니다. 원인을 찾아 스크립트를 고쳐 같은 명령이 1905 를 내게 하세요. 숫자를 적어 넣으면 안 됩니다 — 채점기는 회전 구성과 날짜가 다른 로그 디렉터리를 두 번째 인자로 주고 한 번 더 돌립니다(daily-count.sh <날짜> <로그 디렉터리>). /var/log/lbweb/ 의 로그는 지우거나 고치면 안 됩니다. /root/incident/lb-count-drift/report.txt 에 cause: <코드> 와 evidence: <관찰한 출력 한 줄> 을 적습니다. 코드는 다음 중 하나입니다: rotated-missed(회전된 로그를 빠뜨림), timezone-shift(시간대가 어긋남), substring-match(날짜가 아닌 칸까지 맞음), duplicate-lines(같은 줄을 두 번 셈).
방향: 숫자가 「작게」 나왔습니다. 덜 셌다면 어디를 안 읽었는지, 더 셌다면 무엇을 두 번 읽었는지부터 가릅니다. 도구: ls -l, head, tail, zcat, awk, wc. 구체: 로그 디렉터리의 파일 목록과 각 파일의 첫 줄·마지막 줄 시각을 보면 어제 하루가 어느 파일들에 나뉘어 있는지 보입니다. .gz 는 압축된 회전본이라 평범한 읽기 도구로는 내용이 안 보입니다. 스크립트가 지금 몇 개의 파일을 읽는지, 회전 구성이 바뀌어도 버티는지 보세요.
사건 — 운영 리포트의 세 숫자가 대시보드와 다르다
incident lb-report-mismatch 를 실행하면 사건이 납니다. /srv/lbreport/ 의 세 스크립트가 /var/log/lbweb/today.log 를 읽어 낸 값이 대시보드와 다릅니다 — errors-500.sh 59(대시보드 77), not-found.sh 219(135), top-path.sh /login(/api/list). 스크립트마다 원인을 찾아 세 스크립트를 고치세요. 값을 적어 넣으면 안 됩니다 — 채점기는 다른 날 로그를 첫 인자로 주고 한 번 더 돌립니다(<스크립트> <로그 파일>). 로그는 고치면 안 됩니다. /root/incident/lb-report-mismatch/report.txt 에 errors-500: <코드>, not-found: <코드>, top-path: <코드> 세 줄과 evidence: <관찰한 로그 한 줄>(스크립트를 틀리게 만든 줄)을 적습니다. 코드는 스크립트마다 다음 중 하나입니다: field-split(칸을 잘못 잘라 엉뚱한 칸을 봄), substring-match(다른 칸에 든 글자까지 맞음), unsorted-uniq(정렬하지 않고 묶어 셈), rotated-missed(회전된 로그를 빠뜨림).
방향: 스크립트가 덜 셌는지 더 셌는지 먼저 봅니다. 그다음 스크립트가 「맞다」 고 판정한 줄과 「아니다」 라고 판정한 줄을 직접 몇 개 뽑아 눈으로 비교하세요. 셋이 같은 이유라고 가정하지 마세요. 도구: cat, grep, cut, awk, sort, uniq, diff. 구체: 티켓의 「이번 주부터 LB 노드가 하나 늘었다」 는 말을 단서로, 새 노드가 쓴 줄과 원래 줄의 모양이 어떻게 다른지 비교해 보세요. 스크립트마다 그 스크립트가 센 줄 가운데 세지 말았어야 할 줄, 또는 빠뜨린 줄을 하나씩 찾아 그 줄의 어느 칸이 판정을 바꿨는지 보면 됩니다.