TT Lab
블로그 시작하기
배우기 러닝패스 코스

셸 스크립팅

견고한 스크립트 작성하기

TT Lab 에서 이어서 보기

목표

운영 서버에 올려도 되는 스크립트의 조건 - 실패를 숨기지 않고, 뒷정리를 보장하고, 두 번 돌아도 안전한 - 을 하나씩 구현합니다. 마지막에는 set -e 를 켰는데도 실패를 0 으로 보고한 작업 넷을 원인별로 고칩니다.

왜 중요한가

셸은 기본적으로 관대합니다. 없는 변수는 빈 문자열로 넘어가고, 파이프 중간의 실패는 마지막 명령이 성공하면 묻히고, 스크립트가 죽어도 임시 파일은 남습니다. 이 관대함이 "매일 성공으로 보고되던 백업이 사실 0바이트였다" 같은 사고를 만듭니다. set -euo pipefail 은 문제를 발견 지점에서 멈춰 세우는 장치이고, trap ... EXIT 는 어떤 경로로 끝나든 뒷정리가 돌게 하는 장치입니다. 두 개는 짝으로 써야 의미가 있습니다.

그런데 이 장치들에는 명세로 정해진 빈틈이 있습니다. 파이프의 앞쪽, 선언과 함께 쓴 대입, 조건 자리에서 부른 함수, 종료 코드를 다시 쓰는 트랩 — 이 자리에서는 set -e 가 있어도 실패가 0 으로 빠져나가고, 모니터링은 종료 코드만 보므로 알람이 울리지 않습니다. 선언이 있는지 세는 것으로는 이것을 못 잡습니다. 깨진 입력으로 일부러 돌려 보는 것만이 확인입니다.

단계

  1. /root/robust/strict.sh 를 만드세요. 맨 앞에 set -euo pipefail 을 넣고, 인자를 하나 받아 그대로 출력합니다. strict.sh hello 는 hello 를 출력하고 0 으로, 인자 없이 실행하면 0이 아닌 코드로 끝나야 합니다.
  2. /root/robust/pipe.sh 를 만드세요. 인자가 ok 면 성공하는 파이프라인을, broken 이면 앞 단계가 실패하는 파이프라인을 실행합니다. broken 일 때 종료 코드가 0이 아니어야 합니다.
  3. /root/robust/tmpwork.sh 를 만드세요. mktemp 로 임시 파일을 만들어 그 경로를 표준출력에 한 줄 출력하고, 종료할 때 trap 으로 반드시 지웁니다. 인자로 fail 을 주면 실패로 끝나되 그때도 임시 파일이 남으면 안 됩니다.
  4. /root/robust/once.sh 를 만드세요. 실행하면 약 3초간 작업하고 0 으로 끝납니다. 이미 실행 중일 때 다시 실행하면 already running 을 알리고 종료 코드 9 로 끝나야 합니다. 앞 실행이 끝난 뒤에는 다시 정상 실행돼야 합니다.
  5. /root/robust/count.sh <디렉터리> 를 만드세요. 그 디렉터리 바로 아래의 일반 파일 개수만 출력합니다. 디렉터리 경로와 파일 이름 모두에 공백이 있어도 정확해야 하고, 인자가 없으면 0이 아닌 코드로 끝나야 합니다.
  6. /root/robust/backup.sh <원본디렉터리> <결과파일> 을 만드세요.
    • 인자가 없으면 표준에러에 usage 를 포함한 안내를 내고 종료 코드 64
    • 원본 경로가 없으면 종료 코드 66
    • 정상이면 하위 디렉터리까지 포함해 tar.gz 를 만들고 종료 코드 0
  7. /root/robust/retry.sh <횟수> <명령...> 을 만드세요. 명령이 실패하면 최대 그 횟수만큼 재시도하되, 시도 사이에 최소 1초는 쉬고, 성공하면 즉시 멈춥니다. 매 시도마다 attempt 라는 단어가 들어간 로그를 남깁니다.
  8. 사건 incident sh-silent-success — 넷 다 set -e 를 켠 야간 작업이 입력이 빠졌는데도 모두 exit 0 으로 끝났습니다. 작업마다 실패가 어디서 사라지는지 가려, 깨진 입력에는 실패로·멀쩡한 입력에는 0 으로 끝나게 고치고, 보고서에 원인 코드와 증거를 남깁니다.

참고

엄격 모드 켜기

/root/robust/strict.sh 를 만드세요. 맨 앞에 set -euo pipefail 을 넣고, 인자를 하나 받아 그대로 출력합니다. strict.sh hello 는 hello 를 출력하고 0 으로, 인자 없이 실행하면 0이 아닌 코드로 끝나야 합니다.

set -euo pipefail 한 줄이면 됩니다. -u 가 걸려 있으면 없는 $1 을 읽는 순간 죽어야 합니다.

파이프라인 실패 전파

/root/robust/pipe.sh 를 만드세요. 인자가 ok 면 성공하는 파이프라인을, broken 이면 앞 단계가 실패하는 파이프라인을 실행합니다. broken 일 때 종료 코드가 0이 아니어야 합니다.

기본 셸은 마지막 명령의 상태만 봅니다. 앞 단계가 실패했을 때도 실패로 끝나게 만드세요.

임시 파일을 반드시 지우기

/root/robust/tmpwork.sh 를 만드세요. mktemp 로 임시 파일을 만들어 그 경로를 표준출력에 한 줄 출력하고, 종료할 때 trap 으로 반드시 지웁니다. 인자로 fail 을 주면 실패로 끝나되 그때도 임시 파일이 남으면 안 됩니다.

trap ... EXIT 는 정상·오류 종료 모두에서 돕니다. 임시 파일은 mktemp 로 만드세요.

중복 실행 막기

/root/robust/once.sh 를 만드세요. 실행하면 약 3초간 작업하고 0 으로 끝납니다. 이미 실행 중일 때 다시 실행하면 already running 을 알리고 종료 코드 9 로 끝나야 합니다. 앞 실행이 끝난 뒤에는 다시 정상 실행돼야 합니다.

flock 이나 mkdir 기반 잠금을 씁니다. 두 번째 실행은 즉시 종료 코드 9 로 끝나야 하고, 앞 실행이 끝나면 잠금이 풀려야 합니다.

공백이 든 경로 안전하게 다루기

/root/robust/count.sh <디렉터리> 를 만드세요. 그 디렉터리 바로 아래의 일반 파일 개수만 출력합니다. 디렉터리 경로와 파일 이름 모두에 공백이 있어도 정확해야 하고, 인자가 없으면 0이 아닌 코드로 끝나야 합니다.

경로에도, 파일 이름에도 공백이 있습니다. 변수를 감싸지 않으면 개수가 틀어집니다.

사용법과 종료 코드 규약

/root/robust/backup.sh <원본디렉터리> <결과파일> 을 만드세요.

사용법 안내는 표준에러로, 상황별로 다른 종료 코드로. 64 는 사용법 오류, 66 은 입력 없음입니다.

재시도 헬퍼

/root/robust/retry.sh <횟수> <명령...> 을 만드세요. 명령이 실패하면 최대 그 횟수만큼 재시도하되, 시도 사이에 최소 1초는 쉬고, 성공하면 즉시 멈춥니다. 매 시도마다 attempt 라는 단어가 들어간 로그를 남깁니다.

명령을 그대로 다시 실행하려면 "$@" 가 필요합니다. 성공하면 즉시 멈추고, 시도 사이에는 쉬어야 합니다.

사건 — 넷 다 exit 0 인데 결과물이 비었다

incident sh-silent-success 를 실행하면 사건이 납니다. /srv/ops/nightly 가 부르는 작업 넷(/srv/ops/bin/dump.sh·stamp.sh·prepare.sh·rotate.sh)이 입력이 빠졌는데도 모두 exit=0 으로 끝났습니다(기록 /srv/ops/nightly.log). 넷 다 set -e 를 켠 스크립트입니다. 입력을 되살리는 것은 다른 팀 몫이고, 여기서는 입력이 깨지면 0 이 아닌 코드로 끝나게 고칩니다. 입력이 멀쩡하면 지금처럼 0 으로 끝나고 같은 결과를 내야 하며, 부르는 방법(인자)은 바꾸지 않습니다 — 채점기가 깨진 입력과 멀쩡한 입력을 직접 만들어 둘 다 돌려 봅니다. /root/incident/sh-silent-success/report.txt 에 dump: <코드>, stamp: <코드>, prepare: <코드>, rotate: <코드> 네 줄과 evidence: <관찰한 출력 한 줄> 을 적습니다. 코드는 작업마다 다음 중 하나입니다: no-pipefail(파이프 앞 단계의 실패가 묻힘), local-masks(선언과 함께 쓴 대입이 종료 코드를 덮음), errexit-cond(조건 자리에서 부른 함수 안에서 set -e 가 꺼짐), trap-swallow(EXIT 트랩이 종료 코드를 바꿈), subshell-exit(서브셸 안의 exit 가 바깥을 끝내지 못함).

방향: set -e 는 「어느 명령의」 종료 코드를 볼지가 정해져 있습니다. 실패한 명령의 코드가 그 자리까지 오지 못하면 멈추지 않습니다. 스크립트마다 처음 실패한 명령을 찾고, 그 코드가 어디서 다른 값으로 바뀌는지 따라갑니다. 도구: bash -x, echo $?, PIPESTATUS, grep -n. 구체: 각 스크립트를 빈 디렉터리 같은 깨진 입력으로 bash -x 로 돌려 처음 실패한 줄을 찾은 뒤, 그 줄이 파이프 안인지, 선언과 같은 줄의 대입인지, 조건 자리에서 불린 함수 안인지, 트랩이 부르는 함수의 어느 순서에서 $? 를 읽는지 보세요. 고친 뒤에는 깨진 입력과 멀쩡한 입력 둘 다로 돌려 봅니다.