TT Lab
博客 开始
学习 学习路径 课程

Shell 脚本

变量展开不是字符串替换

在 TT Lab 中继续学习

一句话总结

shell 是在把变量替换成值之后才分词的。所以漏掉一对双引号,一个参数就会被拆成多个,而这种事故要到遇见含空格的文件名那天才第一次暴露出来。

为什么需要它

一个部署脚本稳定运行了 6 个月。某天有人上传了名为 My Report.pdf 的文件,脚本试图删除 My 和 Report.pdf 两个文件,结果失败了。代码一个字都没改过。

原因在于 shell 的处理顺序。遇到 rm $FILE 时,shell 先把 $FILE 替换成值,再把结果按空格重新分词。像 rm "$FILE" 这样用双引号括起来,就不会发生这种拆分。规则只有一条——使用变量时永远加双引号。 与其琢磨例外,不如直接加上来得快。

它如何工作

参数扩展能用一行完成默认值处理和必填值校验。需要区分三种写法。

语法 作用 是否把值留在变量中
${VAR:-기본값} 为空时改用默认值 不保留
${VAR:=기본값} 为空时把默认值赋给变量 保留
${VAR:?메시지} 为空时输出消息并退出 -

它同样可用于把函数参数设为必填。一行 local name="${1:?사용법: deploy.sh <앱이름>}",就能同时完成参数校验和用法提示。

字符串操作也无需外部命令。与其用 echo | sed 启动两个进程,不如使用扩展语法,速度快得多。

file="/var/log/nginx/access.log"
${file##*/}      # access.log      (앞에서 최장 매칭 제거 = 경로 떼기)
${file%.*}       # /var/log/nginx/access   (뒤에서 최단 매칭 제거 = 확장자 떼기)
${file%.log}.bak # /var/log/nginx/access.bak
${VER^^}         # 대문자로
${var//old/new}  # 전부 치환

条件判断有三种语法,用途各不相同。

文件检查要区分 -f(普通文件)、-d(目录)、-s(大小大于 0)、-r(可读)、-x(可执行)、-e(存在)。-e 对目录也为真,所以只想要文件时必须用 -f。

现场遇到的情形

环境变量是配置的标准通道。 在 12-factor 风格的部署中,配置不是通过文件而是通过环境变量传递。因此脚本的形态就变成“有环境变量就用它,没有就用合理的默认值运行”。这一行就是 : "${LOG_LEVEL:=info}"。

错误消息输出到标准错误。 成功结果发往 stdout,错误和用法提示发往 stderr。只有遵守这个约定,像 result=$(script.sh) 这样只捕获结果的用法才能成立。如果用法提示输出到 stdout,它就直接变成了结果值。

退出码也有惯例。 0 表示成功,1 表示一般失败,2 表示用法错误;按照 sysexits 惯例,64 是用法错误,66 是没有输入文件。比值本身更重要的是在一个项目内保持一致,并写进文档。

不加引号也行的地方,加了引号也没用的地方

“永远加双引号”是正确的规则,但如果知道其中的原因,在例外的地方 就不会迷惑。

不需要引号的地方。 在 [[ ... ]] 中不会发生分词和通配符展开, 所以 [[ -n $VAR ]] 是安全的。给变量赋值的 VAR=$OTHER, 在赋值的右侧也不会发生拆分。了解这两点的价值, 不在于可以省掉引号,而在于让其他地方为什么需要引号 变得清晰。

加了引号也没用的地方。 双引号只能阻止分词, 其中的变量扩展和命令替换照样会发生。所以把不可信的 字符串传给 eval 或 bash -c,无论加多少引号,其中的 $(...) 都会被执行。这种地方要改的不是引号,而是改成根本不把那个字符串 当作命令来解释的形式。

单引号什么都不扩展。 所以像正则表达式或 awk 程序这样 shell 不应触碰的东西,要用单引号括起来。反过来,要在其中使用变量, 就得暂时关闭单引号再重新打开,而一旦变得这么复杂,通常不如把那个值 作为环境变量或参数传进去。

最后提一下数组。把参数列表存进一个变量、之后再展开的情况 很常见,但如果存成字符串,遇到含空格的参数必然会出错。存入 bash 数组, 再用 "${ARGS[@]}" 展开,就能获得与前面看到的 "$@" 相同的性质。而且 展开空数组时也是安全的形式,所以在拼装视条件可能没有参数的命令时, 价值尤其大。

明明有执行位,却报 “No such file” 的原因

只用路径调用脚本时,打开那个文件的不是 shell,而是内核。内核查看前两个 字节是不是 #!,并把那一行的其余部分原封不动地当作解释器路径。这里的 事故分成两种。

用 Windows 编辑器保存的文件,行尾是 CR+LF。内核把 LF 之前的部分读作路径, 所以它找的不是 /bin/bash,而是后面多了一个 CR 字符的名称,而这样的文件并不存在。 错误是 “No such file or directory”,可在人眼里那个文件明明存在,于是迷惑了 很久。用 cat -A 查看,行尾的 ^M 就会显现。从别的服务器搬来的脚本, 如果 shebang 指向只有那台服务器才有的路径(比如 /usr/local/bin/bash),也会出现完全相同的提示。 提示相同,要修的地方却不同。

“Permission denied”也有两种原因。执行位在所有者、组、其他人三栏中 各自独立,即使 ls -l 中能看到一个 x,如果那个账号所属的那一栏没有,也会被拒绝。 另外,通往文件的路径上的所有目录都必须有 x(穿过)。目录的 x 和 r(查看列表)是不同的权限,可以只允许穿过而不允许查看内部 ——在以“安全收紧”为名把目录改成 700 的那天,其下的脚本即使文件 权限是 755,对服务账号来说也等于不存在。root 不受这些位的限制, 所以服务账号的作业必须用那个账号复现。

最后,对于内核以不认识格式为由拒绝的文件(没有 shebang 或空文件),shell 会自己 代为读取。 所以即使只对空文件执行 chmod +x,在 bash 中看起来也像“成功”。 有执行位和那个文件能被执行是两回事,确认的方法只有 用那个账号实际运行一次。

接下来的实验要做什么

从一个问候脚本开始,处理参数默认值和环境变量优先级,编写处理分数等级边界值的脚本,以及校验环境变量并通过退出码报告结果的部署脚本。最后会接到服务账号的四个夜间作业明明有执行位却跑不起来的故障事件,逐个作业分辨隐藏在同一句错误提示背后的原因并修好。