循环用 glob,返回值用退出码
一句话总结
shell 函数不返回值。它用退出码表示真假,用标准输出输出值。 另外,为了获取文件列表而解析 ls,总有一天必然出错。
为什么需要它
for f in $(ls *.log) 很容易学,所以用得很多。可是这一行里叠着三个陷阱。
- 用命令替换接收
ls的输出时,会按空格分词。access 2026.log会变成两个。 - 一个匹配的文件都没有时,
ls会报错,而那条错误消息会变成循环的输入。 - 文件名中含有换行符或 glob 字符时,行为无法预测。
正确答案是直接交给 shell 去做。
for f in /var/log/*.log; do
[ -f "$f" ] || continue
...
done
这里的关键是 [ -f "$f" ] || continue。没有匹配的文件时,glob 模式会原样作为字符串留下,所以没有这道防线,脚本就会试图处理一个名为 /var/log/*.log 的不存在的文件。实际的实验中也会出现这个陷阱。
它如何工作
三种循环形式按情况使用。
for x in a b c- 固定列表for f in 경로/*.log- 遍历文件(前面是路径)。由 shell 直接展开while IFS=, read -r name role; do ... done < users.csv- 按行输入
在第三种形式中,把 IFS=, 放在 read 前面,分隔符就只对该命令生效。-r 表示不把反斜杠解释为转义,实际上几乎总要加上。
函数的接口由以下三部分构成。
| 什么 | 发往哪里 |
|---|---|
| 计算出的值 | 标准输出(echo) |
| 成功/失败、真/假 | 退出码(return 0 / return 1) |
| 给人看的消息 | 标准错误 |
像 is_number 123 这样的判定函数,如果用 echo yes 输出结果,就不能写成 if is_number "$x" 的形式。判定必须通过退出码报告。
处理参数时最重要的是 "$@" 和 $* 的区别。"$@" 会把每个参数像各自加了引号一样展开,而 $* 会把全部参数合并成一个字符串。在原样重新执行命令的重试函数之类的地方,必须使用 "$@"。
函数内的变量默认是全局的。不加 local,就会悄悄覆盖调用方的同名变量。最好养成习惯,在函数内创建的变量一律用 local 声明。
现场遇到的情形
拆分成库。 多个脚本复制粘贴同一个函数,要改的地方就会有好几处。把函数集中到 lib.sh,再用 . /root/bin/lib.sh 引入,只改一处即可。source 和 . 是同一个命令,它不创建新进程,而是在当前 shell 中执行,所以函数定义会保留下来。
循环内的外部命令会蚕食性能。 在遍历 1000 行的循环中调用 $(echo "$v" | sed ...),会产生 2000 个进程。用 ${v//old/new} 做同样的事,进程数是 0。“shell 脚本很慢”的印象,有一半来自这里。
需要并行时,使用 xargs -P 或 & + wait。不过,为了不漏掉并行作业的失败,必须收集各个 PID,再用 wait "$pid" 逐个确认状态。
脚本悄无声息出错的地方
shell 遇到错误也会继续执行下一行。所以脚本看似成功地 结束,却什么也没做的状态很常见。防止这种情况的机制有好几个, 要知道它们各自防的是什么再使用。
set -e 在命令失败时停止。不过例外很多。在条件语句中、&& 或
|| 的左边、! 之后,即使失败也不会停止。而且如果函数内的失败
是作为条件语句的一部分被调用的,整个函数都不会停止。 所以不能只依赖 set -e
这一项,重要的地方要显式地加上检查。
set -u 在使用未定义的变量时停止。它能防止因一个拼写错误变成空字符串,
使 rm -rf "$PREFX/" 变成 rm -rf / 的事故。不过在可能没有参数的
地方,要像 ${1:-} 这样写上默认值。
set -o pipefail 把管道的退出码改为失败者中的最后一个。
没有它的话,在 curl ... | jq ... 中即使 curl 失败,只要 jq 成功,
整体就是成功。这就是上一门课程中看到的那个陷阱。
惯例是三个一起打开,但打开后要运行一遍,确认没有意外
停止的地方。尤其是 set -u,加到已有脚本中,
会在平时用不到的分支里突然退出。
最后要保证清理。 像 trap 'rm -rf "$TMP"' EXIT 这样设置好,
即使中途失败也不会留下临时文件。如果只想在失败时保留,
不如在成功路径中显式删除;无论哪种方式,事先定好为了调试要保留什么、
删除什么,才是日后不把磁盘塞满的办法。
手动运行正确、只在 cron 中出错的原因
“我运行就没问题”是 shell 脚本故障报告中最常见的一句话。这不是谎话。 手动运行和由 cron 运行时,同一个脚本运行在不同的世界里。
cron 不登录。所以 .bashrc、.profile 铺好的东西全都没有。
PATH 只有 /usr/bin:/bin 之类,装在 /usr/local/bin 的内部辅助工具
就会变成 “command not found”。工作目录不是脚本所在的位置,而是该账号的
HOME,所以 data/today.csv 这样的相对路径会指向错误的地方。而且命令由
/bin/sh 执行。在 Debian、Ubuntu 上它不是 bash,而是 dash。
最后一个差异最隐蔽。没有 shebang 的脚本在 bash 中调用时,bash 会把它作为
自己的子进程来读取,所以数组和 [[ 都能正常运行。同一个文件由 cron 调用时,由 dash 读取,
在第一个数组处就因语法错误而退出。所以“shebang 可以省略”这句话,其实带着“我永远
只在 bash 中调用”这一隐含前提。
也有不报错、只是数字出错的情况。 登录 shell 中通常有 LANG=C.UTF-8 之类的
locale,但 cron 的环境中没有。没有 locale 时,shell 以 C locale 运行,
${#name} 数的不是字符而是字节。三个字的韩文名字变成 9,被当作“太长”
过滤掉,却不留下任何错误,退出码也是 0。即使循环和函数写得完全正确,
只要那个函数所依赖的环境不同,结果就会不同。
修复的方向有两个。在 crontab 中放置 PATH=、LANG= 之类的行,或者让脚本自己
确定所需的东西(绝对路径、开头的 cd、shebang)。不过 crontab 中的那种行
不会展开 $PATH 之类的变量——写成 PATH=$PATH:/usr/local/bin,就会按字面原样
填入,把 PATH 整个毁掉。无论哪种方式,确认的方法都一样:用 env -i 构造与 cron 相同的空
环境,亲自运行一遍。
接下来的实验要做什么
从输出数字的循环开始,经过 glob 遍历、读取 CSV、拆分函数与 source、基于退出码的判定、安全处理含空格的参数,最后编写一个接收目录并输出汇总的脚本。最后会接到四个手动运行正确、只在 cron 中出错的夜间汇总作业,逐个作业分辨它卡在了 cron 与登录 shell 的哪种差异上并修好。