TT Lab
博客 开始
学习 学习路径 课程

备份与恢复

用 rsync 组织多代备份

在 TT Lab 中继续学习

目标

使用 rsync 配置 mirror sync 与 generation backup,并以实际运维形式加入 --delete guard 和负载控制。

为什么重要

--link-dest generation backup 是 rsync 最优雅的功能之一。每一代目录看起来都像完整 snapshot,但磁盘只占用变更部分。其原理是 hard link,因此用 du 测量时会比预期小得多——相同 inode 不会被重复计算。

而且,--delete 必须配合 guard 使用。如果 source 为空或 mount 已断开时执行,它会删除 target 中的全部数据。这是现实中反复发生的事故。

在最后的故障事件中,一夜之间三个镜像都以“该有的文件不见了”这同一副样子坏掉了。rsync 只是完全按吩咐做了,所以也没有错误。因此原因不能在 rsync 身上找,而要在那一夜 rsync 收到的源和参数中找;修好之后,还必须亲自运行一遍,确认“今晚是否还会发生同样的事”。

步骤

  1. 在 /root/rs/src 下创建 app/main.py、conf/app.yaml、logs/app.log、tmp/cache.bin,并同步到 /root/rs/dst/。结果 /root/rs/dst/app/main.py 必须存在,并且 dst 必须是以相同内容、相同修改时间(保留属性)容纳整个源目录树的副本。
  2. 以 dry-run + itemize 方式运行,保存到 /root/rs/itemize.txt。目标必须是尚未同步过的新目录——如果再次指向第 1 步的 dst/,由于已是相同状态,rsync 不会输出任何一行,文件就是空的。itemize 是用来查看“什么因何而变”的工具,所以要有将要改变的东西才有内容可看。
  3. 编写 /root/rs/backup.sh。它必须以 set -euo pipefail 开头,源目录为空时以退出码 1 中止,并用 --delete 把 /root/rs/src/ 同步到 /root/rs/mirror/。源路径通过第一个参数接收,没有参数时使用 /root/rs/src/——评分器会把一个空目录作为第一个参数传入,确认防护措施确实生效。运行它以生成 /root/rs/mirror。
  4. 在 /root/rs/exclude.txt 中写入排除模式(logs/ 和 tmp/),并用它同步到 /root/rs/clean/。/root/rs/clean/logs 和 /root/rs/clean/tmp 必须不存在。
  5. 创建分代备份。先完整同步到 /root/rs/gen/daily.1/,然后用 --link-dest 创建 /root/rs/gen/daily.0/。未改变的文件必须由两代共享同一个 inode。
  6. 使用 --numeric-ids 同步到 /root/rs/numeric/,并把 app/main.py 所有者的 UID 以一行数字写入 /root/rs/uid.txt。
  7. 编写 /root/rs/throttled.sh。必须用同时包含 ionice、nice、--bwlimit(非 0 值)三个要素的 rsync 命令,把 /root/rs/src/ 同步到 /root/rs/slow/。运行它以生成 /root/rs/slow/。评分器会重新运行该脚本并记录三个命令是否真的被调用,所以命令要按名称调用。
  8. 故障事件——触发 incident bk-mirror-wiped,为每个镜像分辨一夜之间三个镜像(/backup/mirror/media、docs、conf)中文件消失的原因,然后把三个镜像恢复原样,并修改 /opt/bkmirror/nightly.sh,使它今晚不再做同样的事。报告是 /root/incident/bk-mirror-wiped/report.txt(候选代码和最终状态见步骤说明)。

参考

执行基础 mirror sync

在 /root/rs/src 下创建 app/main.py、conf/app.yaml、logs/app.log、tmp/cache.bin,并同步到 /root/rs/dst/。结果 /root/rs/dst/app/main.py 必须存在,并且 dst 必须是以相同内容、相同修改时间(保留属性)容纳整个源目录树的副本。

记住 trailing slash 规则。target 内不应再出现 source 目录名称。

显示变更明细

使用 dry-run + itemize 执行并保存到 /root/rs/itemize.txt。target 必须是尚未同步过的新目录——如果再次指向第 1 步的 dst/,由于状态已经相同,rsync 不会输出任何行,文件会为空。itemize 用来查看“什么会因为什么原因改变”,因此必须先有待变更内容。

dry-run 与 itemize 一起使用时,会逐行显示哪些内容将如何改变。

编写带 guard 的 backup 脚本

编写 /root/rs/backup.sh。以 set -euo pipefail 开始;source 为空时以退出码 1 中止;使用 --delete 将 /root/rs/src/ 同步到 /root/rs/mirror/。source 路径必须通过第一个参数接收,没有参数时使用 /root/rs/src/——评分器会把空目录作为第一个参数传入,检查 guard 是否真的执行。运行脚本创建 /root/rs/mirror。

source 为空时必须立即停止,并通过退出码区分该情况。

创建排除列表文件

在 /root/rs/exclude.txt 中写入排除模式(logs/ 与 tmp/),并使用它同步到 /root/rs/clean/。不得存在 /root/rs/clean/logs 和 /root/rs/clean/tmp。

把 pattern 集中在文件中更容易管理,每行写一个 pattern。

创建 generation backup

创建 generation backup。先完整同步到 /root/rs/gen/daily.1/,再通过 --link-dest 创建 /root/rs/gen/daily.0/。未变更文件必须在两代中共享同一个 inode。

为 --link-dest 使用绝对路径更安全。可通过 link count 验证。

保留数字 owner

使用 --numeric-ids 同步到 /root/rs/numeric/,并把 app/main.py 的 owner UID 作为单独一行数字写入 /root/rs/uid.txt。

有一个选项可使用数字 ID 而不是名称,这是为恢复到不同系统做准备。

控制负载

编写 /root/rs/throttled.sh。必须用同时包含 ionice、nice、--bwlimit(非 0 值)三个要素的 rsync 命令,把 /root/rs/src/ 连同属性一起同步到 /root/rs/slow/。运行它以生成 /root/rs/slow/。评分器会重新运行该脚本并记录三个命令是否真的被调用,所以命令要不带路径、按名称调用。

同时使用 bandwidth 限制选项和降低磁盘优先级的命令,并把完整命令保存在脚本中。

故障事件——一夜之间三个镜像中该有的文件不见了

运行 incident bk-mirror-wiped 会触发故障事件。症状:夜里 /opt/bkmirror/nightly.sh(记录:/var/log/bkmirror/nightly.log)运行之后,三个镜像 /backup/mirror/media、docs、conf 中该有的文件都不在原位。为每个镜像找出原因,把三个镜像恢复原样(media 为 NAS 的内容,docs 与现在的源完全相同,conf 为源中去掉临时文件 *.tmp 后的内容),并修改 nightly.sh,让今晚不再发生同样的事。修改后的脚本在 NAS 没挂上的夜里不能动 media 镜像,并以非 0 的退出码结束;在 NAS 已挂上的夜里,必须正确同步三个镜像——评分器会通过脚本开头的 NAS、SRV、DST 变量提供临时目录树,亲自运行这两种情况。NAS 是否已挂上,通过共享最上层的 .nas-volume 标志文件判断(这个实验环境无法进行真正的挂载,所以用标志代替挂载点检查)。以昨天的一代为基础新建今晚的一代是可以的。不要往 NAS 挂载点 /mnt/nas/media 中写任何东西,昨天一代的快照 /backup/snap/daily.1 保持不动。在 /root/incident/bk-mirror-wiped/report.txt 中写下 media: <코드>、docs: <코드>、conf: <코드> 三行以及 evidence: <관찰한 출력 한 줄>(观察到的一行输出)。每个镜像的代码是以下之一:broad-exclude(排除模式比预期更宽)· source-deleted(在源中确实被删除了)· trailing-slash(源路径末尾的斜杠)· unmounted-source(源是没有挂上的空挂载点)。

方向:--delete 只是把目标变得“与源相同”,并不过问源是否正确。为每个镜像重新描绘那一夜 rsync 收到的源实际是什么。 工具:记录中的 deleting 行、ls -A、find、rsync -ain(预先查看它打算做什么)、diff -rq。 具体:media 看挂载点是否为空、共享的标志(.nas-volume)是否存在;docs 看镜像中是否多出了源中没有的一层;conf 看排除模式匹配到了哪些名称。在没有 NAS 的现在,恢复 media 的来源是昨天的一代;恢复时如果移动了那一代,今晚这一代的基准就没了。