견고한 스크립트 작성하기
목표
운영 서버에 올려도 되는 스크립트의 조건 - 실패를 숨기지 않고, 뒷정리를 보장하고, 두 번 돌아도 안전한 - 을 하나씩 구현합니다. 마지막에는 set -e 를 켰는데도 실패를 0 으로 보고한 작업 넷을 원인별로 고칩니다.
왜 중요한가
셸은 기본적으로 관대합니다. 없는 변수는 빈 문자열로 넘어가고, 파이프 중간의 실패는 마지막 명령이 성공하면 묻히고, 스크립트가 죽어도 임시 파일은 남습니다. 이 관대함이 "매일 성공으로 보고되던 백업이 사실 0바이트였다" 같은 사고를 만듭니다. set -euo pipefail 은 문제를 발견 지점에서 멈춰 세우는 장치이고, trap ... EXIT 는 어떤 경로로 끝나든 뒷정리가 돌게 하는 장치입니다. 두 개는 짝으로 써야 의미가 있습니다.
그런데 이 장치들에는 명세로 정해진 빈틈이 있습니다. 파이프의 앞쪽, 선언과 함께 쓴 대입, 조건 자리에서 부른 함수, 종료 코드를 다시 쓰는 트랩 — 이 자리에서는 set -e 가 있어도 실패가 0 으로 빠져나가고, 모니터링은 종료 코드만 보므로 알람이 울리지 않습니다. 선언이 있는지 세는 것으로는 이것을 못 잡습니다. 깨진 입력으로 일부러 돌려 보는 것만이 확인입니다.
단계
/root/robust/strict.sh를 만드세요. 맨 앞에set -euo pipefail을 넣고, 인자를 하나 받아 그대로 출력합니다.strict.sh hello는hello를 출력하고 0 으로, 인자 없이 실행하면 0이 아닌 코드로 끝나야 합니다./root/robust/pipe.sh를 만드세요. 인자가ok면 성공하는 파이프라인을,broken이면 앞 단계가 실패하는 파이프라인을 실행합니다.broken일 때 종료 코드가 0이 아니어야 합니다./root/robust/tmpwork.sh를 만드세요.mktemp로 임시 파일을 만들어 그 경로를 표준출력에 한 줄 출력하고, 종료할 때trap으로 반드시 지웁니다. 인자로fail을 주면 실패로 끝나되 그때도 임시 파일이 남으면 안 됩니다./root/robust/once.sh를 만드세요. 실행하면 약 3초간 작업하고 0 으로 끝납니다. 이미 실행 중일 때 다시 실행하면already running을 알리고 종료 코드 9 로 끝나야 합니다. 앞 실행이 끝난 뒤에는 다시 정상 실행돼야 합니다./root/robust/count.sh <디렉터리>를 만드세요. 그 디렉터리 바로 아래의 일반 파일 개수만 출력합니다. 디렉터리 경로와 파일 이름 모두에 공백이 있어도 정확해야 하고, 인자가 없으면 0이 아닌 코드로 끝나야 합니다./root/robust/backup.sh <원본디렉터리> <결과파일>을 만드세요.- 인자가 없으면 표준에러에
usage를 포함한 안내를 내고 종료 코드64 - 원본 경로가 없으면 종료 코드
66 - 정상이면 하위 디렉터리까지 포함해 tar.gz 를 만들고 종료 코드
0
- 인자가 없으면 표준에러에
/root/robust/retry.sh <횟수> <명령...>을 만드세요. 명령이 실패하면 최대 그 횟수만큼 재시도하되, 시도 사이에 최소 1초는 쉬고, 성공하면 즉시 멈춥니다. 매 시도마다attempt라는 단어가 들어간 로그를 남깁니다.- 사건
incident sh-silent-success— 넷 다set -e를 켠 야간 작업이 입력이 빠졌는데도 모두 exit 0 으로 끝났습니다. 작업마다 실패가 어디서 사라지는지 가려, 깨진 입력에는 실패로·멀쩡한 입력에는 0 으로 끝나게 고치고, 보고서에 원인 코드와 증거를 남깁니다.
참고
- 사건 도구:
incident list로 낼 수 있는 사건과 한 줄 증상을,incident show <이름>으로 티켓을 다시 봅니다. 같은 사건을 다시 내면 처음 고장 상태로 돌아갑니다. - 보고서는
/root/incident/<이름>/report.txt입니다. 대상마다이름: <원인 코드>한 줄씩, 마지막에evidence: <원인을 보여 준 출력 한 줄>을 그대로 붙입니다. 채점기는 고친 뒤의 실제 동작을 먼저 보고, 보고서는 판단을 확인하는 데 씁니다. trap핸들러 안의 명령도$?를 바꿉니다. 핸들러가 종료 코드를 어떻게 다루는지는 이론의 「set -e가 봐 주지 않는 자리」 와 그 뒤 절을 보세요.find "$d" -maxdepth 1 -type f로 최상위 일반 파일만 셀 수 있습니다.- 흔한 실수 1: 4번에서 잠금 파일만 만들고 지우지 않으면 다음 실행이 영원히 막힙니다.
- 흔한 실수 2: 7번에서
$*로 명령을 다시 실행하면 공백이 든 인자가 깨집니다. - 흔한 실수 3: 사건에서 스크립트 끝에
exit 1을 붙여 「실패로 끝나게」 만드는 것. 멀쩡한 입력에서도 실패해 매일 알람이 울립니다. 채점기는 두 방향을 다 돌려 봅니다.
엄격 모드 켜기
/root/robust/strict.sh 를 만드세요. 맨 앞에 set -euo pipefail 을 넣고, 인자를 하나 받아 그대로 출력합니다. strict.sh hello 는 hello 를 출력하고 0 으로, 인자 없이 실행하면 0이 아닌 코드로 끝나야 합니다.
set -euo pipefail 한 줄이면 됩니다. -u 가 걸려 있으면 없는 $1 을 읽는 순간 죽어야 합니다.
파이프라인 실패 전파
/root/robust/pipe.sh 를 만드세요. 인자가 ok 면 성공하는 파이프라인을, broken 이면 앞 단계가 실패하는 파이프라인을 실행합니다. broken 일 때 종료 코드가 0이 아니어야 합니다.
기본 셸은 마지막 명령의 상태만 봅니다. 앞 단계가 실패했을 때도 실패로 끝나게 만드세요.
임시 파일을 반드시 지우기
/root/robust/tmpwork.sh 를 만드세요. mktemp 로 임시 파일을 만들어 그 경로를 표준출력에 한 줄 출력하고, 종료할 때 trap 으로 반드시 지웁니다. 인자로 fail 을 주면 실패로 끝나되 그때도 임시 파일이 남으면 안 됩니다.
trap ... EXIT 는 정상·오류 종료 모두에서 돕니다. 임시 파일은 mktemp 로 만드세요.
중복 실행 막기
/root/robust/once.sh 를 만드세요. 실행하면 약 3초간 작업하고 0 으로 끝납니다. 이미 실행 중일 때 다시 실행하면 already running 을 알리고 종료 코드 9 로 끝나야 합니다. 앞 실행이 끝난 뒤에는 다시 정상 실행돼야 합니다.
flock 이나 mkdir 기반 잠금을 씁니다. 두 번째 실행은 즉시 종료 코드 9 로 끝나야 하고, 앞 실행이 끝나면 잠금이 풀려야 합니다.
공백이 든 경로 안전하게 다루기
/root/robust/count.sh <디렉터리> 를 만드세요. 그 디렉터리 바로 아래의 일반 파일 개수만 출력합니다. 디렉터리 경로와 파일 이름 모두에 공백이 있어도 정확해야 하고, 인자가 없으면 0이 아닌 코드로 끝나야 합니다.
경로에도, 파일 이름에도 공백이 있습니다. 변수를 감싸지 않으면 개수가 틀어집니다.
사용법과 종료 코드 규약
/root/robust/backup.sh <원본디렉터리> <결과파일> 을 만드세요.
- 인자가 없으면 표준에러에
usage를 포함한 안내를 내고 종료 코드64 - 원본 경로가 없으면 종료 코드
66 - 정상이면 하위 디렉터리까지 포함해 tar.gz 를 만들고 종료 코드
0
사용법 안내는 표준에러로, 상황별로 다른 종료 코드로. 64 는 사용법 오류, 66 은 입력 없음입니다.
재시도 헬퍼
/root/robust/retry.sh <횟수> <명령...> 을 만드세요. 명령이 실패하면 최대 그 횟수만큼 재시도하되, 시도 사이에 최소 1초는 쉬고, 성공하면 즉시 멈춥니다. 매 시도마다 attempt 라는 단어가 들어간 로그를 남깁니다.
명령을 그대로 다시 실행하려면 "$@" 가 필요합니다. 성공하면 즉시 멈추고, 시도 사이에는 쉬어야 합니다.
사건 — 넷 다 exit 0 인데 결과물이 비었다
incident sh-silent-success 를 실행하면 사건이 납니다. /srv/ops/nightly 가 부르는 작업 넷(/srv/ops/bin/dump.sh·stamp.sh·prepare.sh·rotate.sh)이 입력이 빠졌는데도 모두 exit=0 으로 끝났습니다(기록 /srv/ops/nightly.log). 넷 다 set -e 를 켠 스크립트입니다. 입력을 되살리는 것은 다른 팀 몫이고, 여기서는 입력이 깨지면 0 이 아닌 코드로 끝나게 고칩니다. 입력이 멀쩡하면 지금처럼 0 으로 끝나고 같은 결과를 내야 하며, 부르는 방법(인자)은 바꾸지 않습니다 — 채점기가 깨진 입력과 멀쩡한 입력을 직접 만들어 둘 다 돌려 봅니다. /root/incident/sh-silent-success/report.txt 에 dump: <코드>, stamp: <코드>, prepare: <코드>, rotate: <코드> 네 줄과 evidence: <관찰한 출력 한 줄> 을 적습니다. 코드는 작업마다 다음 중 하나입니다: no-pipefail(파이프 앞 단계의 실패가 묻힘), local-masks(선언과 함께 쓴 대입이 종료 코드를 덮음), errexit-cond(조건 자리에서 부른 함수 안에서 set -e 가 꺼짐), trap-swallow(EXIT 트랩이 종료 코드를 바꿈), subshell-exit(서브셸 안의 exit 가 바깥을 끝내지 못함).
방향: set -e 는 「어느 명령의」 종료 코드를 볼지가 정해져 있습니다. 실패한 명령의 코드가 그 자리까지 오지 못하면 멈추지 않습니다. 스크립트마다 처음 실패한 명령을 찾고, 그 코드가 어디서 다른 값으로 바뀌는지 따라갑니다. 도구: bash -x, echo $?, PIPESTATUS, grep -n. 구체: 각 스크립트를 빈 디렉터리 같은 깨진 입력으로 bash -x 로 돌려 처음 실패한 줄을 찾은 뒤, 그 줄이 파이프 안인지, 선언과 같은 줄의 대입인지, 조건 자리에서 불린 함수 안인지, 트랩이 부르는 함수의 어느 순서에서 $? 를 읽는지 보세요. 고친 뒤에는 깨진 입력과 멀쩡한 입력 둘 다로 돌려 봅니다.