프로세스와 시그널 다루기
목표
프로세스에 시그널을 보내며 정지·종료·강제 종료가 각각 무엇이 다른지 확인합니다. 마지막 두 단계에서는 「보냈는데 안 죽는다」 「죽였는데 다시 뜬다」 는 사건을 증거로 가려 풉니다.
왜 중요한가
"프로세스가 안 죽는다"는 신고는 최소 네 가지 다른 상황을 뭉뚱그린 말입니다. 애플리케이션이 SIGTERM 을 잡아 무시했을 수도 있고, D 상태라 시그널 처리 자체가 미뤄졌을 수도 있고, 이미 죽어서 좀비로 남은 것일 수도 있습니다. 대응이 전부 다르기 때문에 어느 계층에서 멈췄는지를 먼저 물어야 합니다. 그리고 SIGKILL 과 SIGSTOP 만 잡을 수 없다는 규칙은 커널이 운영자에게 남겨 둔 최후의 수단입니다 - 그래서 SIGKILL 은 정리 기회를 주지 않고, DB 나 큐 소비자에게는 전원을 뽑는 것과 같습니다.
사건 단계는 그 판단을 실제로 해 보는 자리입니다. 같은 「안 죽었다」 가 정지 상태의 보류, 처리기의 무시, 엉뚱한 PID 로 갈리고, 셋 다 -9 로 덮으면 큐를 쓰는 작업이 정리 없이 끊깁니다. 「다시 뜬다」 는 부모-자식 관계를 따라 올라가야 풀립니다. 그래서 채점기는 프로세스가 사라졌는지만이 아니라 정상 종료했는지, 살려 둬야 할 프로세스가 그대로인지도 봅니다.
단계
sleep 3600을 백그라운드로 띄우고 그 PID 를/root/proc/pid.txt에 적으세요.- 그 프로세스의 부모 PID 를
/root/proc/ppid.txt에 적으세요. - 또 다른
sleep을 띄워 정지(SIGSTOP) 시키고, PID 를/root/proc/stopped_pid.txt에, 정지 후의 상태 글자 한 개를/root/proc/state_stopped.txt에 적으세요. - 또 다른
sleep을 띄워 PID 를/root/proc/killed_pid.txt에 적은 뒤 SIGTERM 으로 종료시키세요. /root/proc/trapper.sh를 만드세요. SIGTERM 을 받으면/root/proc/term.log에caught SIGTERM한 줄을 추가해야 합니다. 실행 권한을 주고 백그라운드로 띄운 뒤 SIGTERM 을 보내 로그가 쌓이는지 확인하세요.trapper.sh를 다시 띄우고 이번엔 SIGKILL 을 보내세요. 보내기 직전term.log의 줄 수를/root/proc/before_kill.txt에, 보낸 직후의 줄 수를/root/proc/after_kill.txt에 적으세요. 실습이 끝나면trapper.sh는 하나도 살아 있으면 안 됩니다./root/proc/cleanup.sh <패턴>을 만드세요. 명령줄이 그 패턴에 맞는 프로세스를 모두 종료하고, 종료한 개수를terminated=<n>형식으로 한 줄 출력해야 합니다. 자기 자신은 세지도 죽이지도 않아야 합니다.- 사건
lb-term-ignored— 세 작업에 SIGTERM 을 보냈는데 셋 다 안 내려갔습니다. 작업마다 원인을 골라 적고, 큐를 쓰는 b·c 는 정상 종료시켜 셋 다 내리세요. - 사건
lb-respawn— CPU 를 먹는 crunch 를 죽여도 PID 만 바뀌어 다시 뜹니다. 원인을 골라 적고, log-shipper 는 살려 둔 채 crunch 를 영구히 내리세요.
참고
awk '{print $3}' /proc/<PID>/stat로 상태 글자를 볼 수 있습니다. R 실행, S 대기, D 중단 불가 대기, T 정지, Z 좀비.kill -0 <PID>는 시그널을 보내지 않고 존재·권한만 확인합니다. 생존 폴링의 정석입니다.- 사건 도구:
incident list로 사건 목록을,incident show <이름>으로 티켓을 다시 봅니다. 같은 사건을 다시 내면 처음 고장 상태로 돌아갑니다. - 사건 보고서는
/root/incident/<이름>/report.txt입니다. 원인이 하나면cause: <코드>, 대상이 여럿이면<대상>: <코드>를 한 줄씩 적고, 마지막에evidence: <원인을 보여 준 출력 한 줄>을 그대로 붙입니다. 코드는 단계 설명에 적힌 후보 중에서 고릅니다. - 이 실습 환경의 PID 1 은 끝난 자식을 거두지 않습니다. 사건에서 내린 프로세스가
<defunct>(Z)로 목록에 남는 것은 이미 죽은 것이고, 채점기도 Z 는 살아 있는 것으로 세지 않습니다. - 흔한 실수 1: 3번에서 종료(TERM)와 정지(STOP)를 헷갈리면 프로세스가 사라져 채점이 실패합니다.
- 흔한 실수 2:
pgrep -f·pkill -f는 명령줄 전체를 봅니다. 패턴이 넓으면 살려 둬야 할 프로세스까지 걸리므로, 같은 패턴으로pgrep -af를 먼저 돌려 목록을 확인하세요.
백그라운드 프로세스 띄우기
sleep 3600 을 백그라운드로 띄우고 그 PID 를 /root/proc/pid.txt 에 적으세요.
명령 뒤에 & 를 붙이면 백그라운드로 갑니다. 바로 다음에 $! 안에 그 PID 가 들어 있습니다.
부모 PID 확인하기
그 프로세스의 부모 PID 를 /root/proc/ppid.txt 에 적으세요.
프로세스마다 커널이 부모 PID 를 기록해 둡니다. /proc// 아래의 상태 파일에서 부모를 뜻하는 줄을 찾거나, ps 에 보여 줄 열을 골라 달라고 하면 됩니다. 1단계의 PID 는 이미 파일에 적어 두었습니다.
프로세스 정지시키기
또 다른 sleep 을 띄워 정지(SIGSTOP) 시키고, PID 를 /root/proc/stopped_pid.txt 에, 정지 후의 상태 글자 한 개를 /root/proc/state_stopped.txt 에 적으세요.
정지와 종료는 다릅니다. 정지된 프로세스는 목록에 남아 있고 상태 글자가 바뀝니다.
정중하게 종료 요청하기
또 다른 sleep 을 띄워 PID 를 /root/proc/killed_pid.txt 에 적은 뒤 SIGTERM 으로 종료시키세요.
시그널을 보내는 명령은 번호나 이름을 따로 주지 않으면 SIGTERM 을 보냅니다. 죽은 뒤에는 그 PID 를 알아낼 방법이 없으니, 보내기 전에 파일에 적어 두세요.
SIGTERM 을 잡는 스크립트
/root/proc/trapper.sh 를 만드세요. SIGTERM 을 받으면 /root/proc/term.log 에 caught SIGTERM 한 줄을 추가해야 합니다. 실행 권한을 주고 백그라운드로 띄운 뒤 SIGTERM 을 보내 로그가 쌓이는지 확인하세요.
셸에는 「이 시그널이 오면 이 명령을 돌려라」 를 걸어 두는 내장 명령이 있습니다. 걸어 둔 뒤 스크립트가 바로 끝나 버리면 시그널을 받을 기회가 없으니, 끝나지 않고 기다리는 부분이 필요합니다. 띄운 뒤 그 PID 에 종료 요청을 보내고 로그 파일을 확인하세요.
SIGKILL 은 잡히지 않는다
trapper.sh 를 다시 띄우고 이번엔 SIGKILL 을 보내세요. 보내기 직전 term.log 의 줄 수를 /root/proc/before_kill.txt 에, 보낸 직후의 줄 수를 /root/proc/after_kill.txt 에 적으세요. 실습이 끝나면 trapper.sh 는 하나도 살아 있으면 안 됩니다.
trap 이 걸린 그 스크립트에 9번을 보내고, 로그 줄 수가 늘었는지 전후로 비교해 기록하세요.
패턴 기반 정리 스크립트
/root/proc/cleanup.sh <패턴> 을 만드세요. 명령줄이 그 패턴에 맞는 프로세스를 모두 종료하고, 종료한 개수를 terminated=<n> 형식으로 한 줄 출력해야 합니다. 자기 자신은 세지도 죽이지도 않아야 합니다. 채점기가 시험용 프로세스를 띄워 스크립트를 실제로 돌려 봅니다.
명령줄로 프로세스를 찾는 도구(pgrep 의 -f)는 패턴을 명령줄 전체에서 찾으므로, 그 패턴을 인자로 받은 이 스크립트 자신도 걸립니다. 목록을 먼저 받아 두고, 자기 PID 는 건너뛰면서 하나씩 종료 요청을 보내며 센 뒤, 마지막에 개수를 출력하세요. 목록을 명령 치환으로 받으면 그 서브셸의 명령줄도 걸린다는 점은 아래 형식 예시의 설명을 보세요.
사건 — SIGTERM 을 보냈는데 셋 다 안 내려갔다
incident lb-term-ignored 를 실행하면 사건이 납니다. 배포 담당이 /srv/lbproc/run/ 의 pid 파일에 적힌 PID 마다 SIGTERM 을 보냈는데 작업 lbjob-a·lbjob-b·lbjob-c 가 셋 다 내려가지 않았습니다(목록에 남아 있거나 로그 /srv/lbproc/log/<작업>.log 가 계속 늘어납니다). 작업마다 원인을 찾아 셋 다 내리세요. 큐를 쓰는 b·c 는 정상 종료해야 합니다 — 로그에 clean shutdown 이 남아야 하고 SIGKILL 로 끊으면 안 됩니다. a 는 상태가 없는 작업이라 어떻게 내려도 됩니다. /root/incident/lb-term-ignored/report.txt 에 lbjob-a: <코드>, lbjob-b: <코드>, lbjob-c: <코드> 세 줄과 evidence: <관찰한 출력 한 줄> 을 적습니다. 코드는 작업마다 다음 중 하나입니다: term-ignored(TERM 을 잡아 무시), stopped-pending(정지 상태라 TERM 이 보류됨), wrapper-only(감싸는 셸만 죽고 진짜 일꾼은 살아남음), zombie(이미 죽고 회수만 안 됨), d-state(커널 안에서 중단 불가 대기).
방향: 「안 죽었다」 를 셋으로 나눠 봅니다 — 시그널이 도착해 처리됐는데 무시했나, 도착했는데 아직 처리되지 못했나, 엉뚱한 프로세스가 받았나. 셋이 같은 이유라고 가정하지 마세요. 도구: ps, pgrep, /proc//status, 작업 로그. 구체: /proc/<PID>/status 의 State(S 대기, T 정지, Z 좀비, D 중단 불가), ShdPnd·SigPnd(보류 중인 시그널, TERM 은 4000 비트), SigCgt(처리기를 단 시그널), PPid(부모) 줄을 봅니다. pid 파일의 PID 가 이미 없으면, 같은 일을 하는 프로세스가 다른 PID 로 살아 있는지 명령줄로 찾고 그 부모를 보세요. 그 프로세스의 상태 칸이 무엇인지, 그 상태에서 도착한 시그널이 어떻게 처리되는지(바로 처리되는가, 보류되는가)를 보세요. 내린 뒤 목록에 <defunct>(Z)로 남는 것은 이미 끝난 것입니다 — 이 환경의 PID 1 이 거두지 않을 뿐입니다.
사건 — 죽여도 PID 만 바뀌어 다시 뜬다
incident lb-respawn 을 실행하면 사건이 납니다. CPU 를 먹는 crunch(/srv/lbops/bin/crunch.py)를 kill 하면 1~2초 뒤 다른 PID 로 다시 떠 있습니다(-9 로도 같습니다). 원인을 찾아 crunch 를 영구히 내리세요(다시 뜨지 않게). 같은 서버의 log-shipper 는 계속 돌아야 하고 PID 가 바뀌어서도 안 됩니다. /root/incident/lb-respawn/report.txt 에 cause: <코드> 와 evidence: <관찰한 출력 한 줄> 을 적습니다. 코드는 다음 중 하나입니다: respawned-by-parent(부모 프로세스가 끝날 때마다 다시 띄움), cron-job(주기 작업이 다시 띄움), term-ignored(시그널을 무시해 안 죽음), multiple-instances(처음부터 여러 개가 떠 있음).
방향: 「누가 띄웠나」 는 프로세스마다 기록돼 있습니다. 다시 뜬 crunch 의 부모를 따라 올라가 보세요. 부모를 내린 뒤에 자식이 어떻게 되는지도 확인합니다. 도구: ps, /proc//status. 구체: /proc/<PID>/status 의 PPid 줄(또는 ps 의 부모 PID 열)이 부모입니다. 다시 뜬 crunch 의 PID 는 /srv/lbops/run/crunch.pid 에 새로 적힙니다. 부모의 명령줄과 그 스크립트 내용을 보면 무엇을 반복하는지 나옵니다. 셸이 자식을 기다리는 중에 TERM 으로 죽으면 자식은 고아(PPid 1)로 남습니다. 이름 패턴으로 한꺼번에 죽이면 log-shipper 까지 걸릴 수 있습니다.