No space left on device 的五张脸
一句话总结
ENOSPC 的意思不是“没有块了”,而是**“内核没有可以容纳这次写入的资源”**。这个资源可能是块,可能是 inode,也可能是扣除预留部分后的余量。
为什么需要它
df -h /var 显示剩余 35G,touch /var/log/test 却以 No space left on device 失败。应用写不了日志,部署在创建临时文件时失败,数据库写不了 WAL。
这时如果得出“df 错了”的结论,就不会有进展。df 只是如实报告了它所知道的东西(块使用量),只不过失败的原因不是块而已。
它如何工作
按可能性大小整理,共有五种情况。
0. 路径误判。 / 有余量,但 /var 是独立分区并且已经满了。30 秒就能确认——先用 findmnt -T /var/log/app.log 确定该路径属于哪个文件系统。如果 /tmp 是 tmpfs,就会与磁盘无关地出现 ENOSPC,同时还会占用同等大小的内存。
1. inode 耗尽。 ext2/3/4 在格式化时就确定了 inode 数量,之后无法增加。默认配置大约每 16KB 一个,所以 100GB 的文件系统约有 655 万个。如果工作负载的平均文件大小比这更小(会话文件、邮件队列、缓存),inode 会比块先耗尽。df -i 的 IUse% 为 100% 即可确诊。XFS 是动态分配的,实际上没有这个问题。
2. 已删除但仍被打开的文件。 就是上一门课程中学过的那个结构。rm 只删除链接,链接数为 0 并且打开的 fd 为 0 时,块才会被释放。du 是沿路径遍历的,所以数不到没有目录项的那个文件。df 与 du 的差距是决定性信号。 常见原因是 logrotate 轮转后没有发送重新打开的信号。
3. 预留块。 ext 系列默认保留 5% 给 root 专用。目的有两个——即使满了也给管理员留出清理的余地,以及给分配器留出寻找连续块的余地,延缓碎片化。症状很有特点:用 root 能行,只有服务账号会失败。
4. 挂载遮蔽。 在有文件的目录上挂载另一个文件系统,原来的文件就看不到了,但仍持续占用下层文件系统的空间。du 只遍历上层,所以用任何工具都看不到。
5. inotify。 超过 watch 上限时,inotify_add_watch 会返回 ENOSPC。 与磁盘毫无关系,提示却一模一样。
现场遇到的情形
df 20G / du 3.1G。 相差 17GB 时,要怀疑已删除但仍打开的文件。lsof -nP +L1 中 NLINK 列为 0 的条目就是它,SIZE 就是尚未释放的字节数。在没有 lsof 的最小镜像中,直接扫描 /proc/*/fd 查找 (deleted)。实验中用的正是这种方法。
应急处置的陷阱。 truncate -s 0 /proc/PID/fd/N 会清空文件并立即归还空间。但如果文件不是以 O_APPEND 打开的,进程会继续在原来的偏移处写入,变成稀疏(sparse)文件,ls -l 显示的大小依旧很大。这只是应急处置,正式的解决办法是发送重新打开的信号(kill -USR1 等)或重启。
诊断加剧故障的情况。 在 I/O 已经饱和的磁盘上对 find / 做全盘扫描,会让情况更糟。用 -xdev 固定文件系统边界,缩小范围再开始。
df 和 du 说法不一时
收到磁盘已满的告警后进去查看,有时用 du 怎么加都加不出那么多
用量。原因是以下三者之一。
删了但仍被打开的文件。 在 Unix 中删除文件,只是从目录中
摘掉名称而已。只要有进程打开着那个文件,块就不会
被释放。 用 rm 删了日志文件,进程却仍在向那个 fd
写入,这是典型情形。du 沿名称遍历,所以看不到这部分容量,
而 df 统计的是块,所以能看到。
lsof +L1 # 링크 수가 0인, 즉 지워졌는데 열려 있는 파일
ls -l /proc/<pid>/fd | grep deleted
夺回空间的方法是重启进程,如果做不到,就截断 fd
来应对。: > /proc/<pid>/fd/3 不删除文件,只把大小变成 0。
这就是要用 truncate 或日志轮转的 copytruncate 来代替 rm 的原因。
inode 先耗尽的情况。 块还有剩余,却无法创建文件。
出现的是相同的 No space left on device 消息,所以只看症状无法
区分。积累了几百万个小文件的缓存目录、邮件队列、会话文件
就是原因。
df -i # 사용률이 100%인 파일 시스템
find /var -xdev -type f | cut -d/ -f1-4 | sort | uniq -c | sort -rn | head
去掉 -xdev 会跨到其他挂载点,数错地方。inode 数量在创建文件
系统时就确定了(以 ext4 为准),之后无法增加。XFS 是动态
分配的,但有 imaxpct 上限。
被挂载遮住的文件。 在 /data 中写入大量文件后,又在那个位置挂载磁盘,
原来的文件就看不到了,却仍持续占用根文件系统的
空间。必须卸载挂载才能看到。
mkdir /mnt/root && mount --bind / /mnt/root
du -shx /mnt/root/data
最后要记住预留块。 ext4 默认保留 5% 给 root。
对普通用户来说看起来已经满了,但 df 仍说还有
余量。如果是数据专用磁盘,可以用 tune2fs -m 1 调小,但根文件
系统上不要动它——那份余量是系统自我恢复的最后
一块地方。
故障事件:用数字解释缺口
收到“df 满了,du 却看不出来”的报告时,候选会一下子全冒出来:隐藏的点目录、几万个小文件、删掉的日志。三者都说得通,而且三者同时存在的情况也很常见。所以诊断不能问“有什么”,而要问**“什么能解释这个缺口”**。
先把缺口变成数字。用告警所说的增量减去 du 统计到的部分,就是要找的大小。然后为每个候选测量大小,与那个数字比较。隐藏的点目录有一个陷阱——du -sh 디렉터리/* 中的 * 由 shell 展开,会漏掉以点开头的名称。但 du -sh 디렉터리 会把它算进去。所以那不是“du 看不到”的部分,而是“我的统计方法错了”的部分。几万个小文件会占用 inode,每个文件也各占一个块,但它们有名称,du 都会算进去。能在没有名称的情况下占住块的,只有已删除但仍被打开的文件,而它的大小只能在 /proc/<PID>/fd 的链接另一端测量。
修复的方法也有顺序。重启服务能让空间回来,但正在处理的请求和尚未捞回的日志内容会一起消失。如果服务支持重新打开日志的信号(通常是 SIGHUP),这就是标准做法——打开新文件的同时,旧 inode 的最后一个引用被关闭,块随之释放。如果没有这样的信号,或者眼下急需空间,就截断 fd。这时写入方是否以追加(O_APPEND)方式打开很重要。如果不是,截断后它仍会在原来的偏移处继续写入,变成前面有空洞的文件,ls -l 显示的大小依旧很大。所以确认时看的不是大小,而是已分配的块(stat 的 %b)。删掉诱饵来凑数字不算修好。删掉会话文件会让用户被登出,而缺口依然存在,下一次告警还会到来。
接下来的实验要做什么
亲手测量 inode 使用率和目录容量,确认 500 个空文件为什么会占用容量。然后亲手制造已删除但仍被打开的文件,在 /proc 中找到占住它的 fd,并通过该 fd 路径恢复内容。编写一个在整个系统中找出这类幽灵文件的脚本,最后在混有三个诱饵的故障事件中找出缺口在哪里,并在不停止服务的情况下夺回空间。