TT Lab
ブログ はじめる
学ぶ 学習パス コース

Linux障害対応

ディスクとinodeの診断

TT Labで続きを見る

目標

ディスク容量の問題をブロックとinodeの2つの軸に分けて測り、「削除したのに容量が減らない」状況を自分で作って復旧したあと、おとりが混ざった実際のインシデントで、足りない容量がどこにあるかを見つけ、サービスを止めずに取り戻します。

なぜ重要なのか

No space left on deviceは、「ブロックがない」という意味ではなく、「カーネルがこの書き込みを受け入れるリソースがない」という意味です。そのリソースは、ブロックのことも、inodeのことも、root予約分を除いた空きのこともあります。そのためdf -hとdf -iを一緒に見る必要があり、dfとduが食い違ったら、削除されたが開いたままのファイルを疑う必要があります。特にステップ5–6で作る状況は、実務で最もよく出会う形です。そしてその状況でプロセスを再起動した瞬間に、復旧の機会も一緒に消えます。順序がそのまま実力です。

ステップ8のインシデントは現場そのままです。「duで見えない」という言葉には、隠れたドットディレクトリも、数千個の小さなファイルも、それらしく当てはまります。候補ごとにサイズを測り、足りない分を説明するものだけを残すのが診断であり、サービスを落として数字を合わせるのは直したことになりません。

ステップ

/root/diskディレクトリで作業します。

  1. /rootが属するファイルシステムのinode使用率(%)を測り、数字だけ/root/disk/inode_pct.txtに書いてください。ブロック使用率とは別の値です。
  2. /etcディレクトリが実際に占めている容量を測り、KB単位の数字だけ/root/disk/etc_kb.txtに書いてください。ファイルサイズの合計ではなく、占有しているブロック基準です。
  3. /usr/binの直下にある通常ファイルのうち、最も大きいもののファイル名を/root/disk/biggest.txtに書いてください。
  4. /root/disk/manyディレクトリを作成し、サイズ0のファイルをちょうど500個入れたあと、そのディレクトリが占めている容量(du -sk)を測って/root/disk/many_kb.txtに書いてください。
  5. 10MB以上の/root/disk/ghost.logを作成し、あるプロセスがそのファイルを開き続けている状態で、ファイル名だけを削除してください。そのプロセスのPIDを/root/disk/ghost_pid.txtに書いてください。採点時点で、そのプロセスは生きている必要があります。
  6. ステップ5のプロセスが握っているそのファイルの内容を、/root/disk/recovered.logに復旧してください。サイズが元のファイルと同じである必要があります。
  7. /root/disk/findghosts.sh <최소바이트>を作成してください(プレースホルダーは最小バイト数です)。システム全体から、削除されたが開いたままのファイルのうち、そのサイズ以上のものを探し、pid=<PID> bytes=<크기>の形式で1行ずつ出力します(bytesの後ろのプレースホルダーはサイズです)。
  8. インシデント incident ts-disk-full — tsappボリュームの使用量は約130MB増えたのに、duで合計してもその分が出てきません。tsappサービスを停止・再起動せず、保管ログやセッションファイルも削除せずに容量を取り戻してください。原因コード(deleted-open · hidden-dotdir · small-files · reserved-blocks · mount-shadow)と証拠1行を/root/incident/ts-disk-full/report.txtに書きます。

参考

inode使用率を読み取る

/rootが属するファイルシステムのinode使用率(%)を測り、数字だけ/root/disk/inode_pct.txtに書いてください。ブロック使用率とは別の値です。

ブロックとinodeは別々のリソースなので、dfも両者を別のオプションで表示します(man dfでinodeを探してみてください)。%記号は除いて、数字だけを書きます。

ディレクトリの実使用量を測る

/etcディレクトリが実際に占めている容量を測り、KB単位の数字だけ/root/disk/etc_kb.txtに書いてください。ファイルサイズの合計ではなく、占有しているブロック基準です。

duはパスをたどりながら「占有しているブロック」を数えます。集計とKB単位を選ぶオプションがあります。ファイルサイズを足した値とは異なることも確認してみてください。

一番大きいファイルを探す

/usr/binの直下にある通常ファイルのうち、最も大きいもののファイル名を/root/disk/biggest.txtに書いてください。

サブディレクトリに降りないよう深さを1に制限し、通常ファイルだけを選んで(シンボリックリンクは除く)サイズ順に並べてください。パスではなく名前だけを書きます。

空のファイルを500個作る

/root/disk/manyディレクトリを作成し、サイズ0のファイルをちょうど500個入れたあと、そのディレクトリが占めている容量(du -sk)を測って/root/disk/many_kb.txtに書いてください。内容は0バイトなのに、なぜ0にならないのかを考えてみてください。

空のファイルを一度に作る方法は、シェルのブレース展開か、数字を並べるツールです。ファイルごとのデータブロックはありませんが、それらの名前を格納する場所はどこなのかを見てください。

削除されたが開いたままのファイルを作る

10MB以上の/root/disk/ghost.logを作成し、あるプロセスがそのファイルを開き続けている状態で、ファイル名だけを削除してください。そのプロセスのPIDを/root/disk/ghost_pid.txtに書いてください。採点時点で、そのプロセスは生きている必要があります。

ファイルを開いたまま長く生き続けるプロセスが必要です(ファイルの末尾を監視し続けるコマンドが代表的です)。そのプロセスがファイルを開いたあとに名前だけを削除し、削除したあともそのプロセスのfdの表に何が残るかを見てください。

幽霊ファイルを復旧する

ステップ5のプロセスが握っているそのファイルの内容を、/root/disk/recovered.logに復旧してください。サイズが元のファイルと同じである必要があります。

名前は消えましたが、そのプロセスのfdの表には、まだ開いているファイルがあります。/procの下でそのfdを見つければ、それ自体がファイルのように読めます。プロセスに手を出す前に回収してください。

幽霊ファイルの検出スクリプト

/root/disk/findghosts.sh <최소바이트>を作成してください(プレースホルダーは最小バイト数です)。システム全体から、削除されたが開いたままのファイルのうち、そのサイズ以上のものを探し、pid=<PID> bytes=<크기>の形式で1行ずつ出力します(bytesの後ろのプレースホルダーはサイズです)。

すべてのプロセスのfdの表を調べ、リンクが指す対象の名前の末尾に付く印で、削除されたファイルを選びます。サイズはリンク自身ではなく、リンクの先のファイルで測る必要があります。すでに消えたプロセスは黙ってスキップしてください。次のステップのインシデントでこのツールを使います。

インシデント — ボリュームは埋まっていくのに、duで合計してもその分が出てこない

incident ts-disk-fullを実行すると、tsappサービスでインシデントが発生します(先にチケットを読んでください)。症状: ボリュームの使用量は約130MB増えたのに、duで合計してもその分が出てきません。足りない分がどこにあるかを見つけ、容量を取り戻してください。 ただし、tsapp-writer・tsapp-healthを停止・再起動してはいけません(利用者のリクエストが途切れます)。writerはログを書き続ける必要があり、正常なデータ(隠れた保管ログ、セッションファイル)を削除して数字を合わせることも許されません。/root/incident/ts-disk-full/report.txtにcause: <코드>とevidence: <관찰한 출력 한 줄>を書きます(プレースホルダーは、順にコードと、観察した出力1行です)。コードはdeleted-open(削除されたが開かれたままのファイル)・hidden-dotdir(隠れたドットディレクトリ)・small-files(数千個の小さなファイル)・reserved-blocks(root用の予約ブロック)・mount-shadow(マウントに隠されたファイル)のいずれかです。

方針: duが数えられない分は、「duがたどらなかった場所」か「名前がないためたどれないブロック」です。候補ごとにサイズを測り、足りない分(約100MB)を説明するかどうかを数字で見分けてください。 ツール: du(ドットファイルまで数える方法と取りこぼす方法)、find、/proc//fd、stat。 具体: ディレクトリごと測ったduと*で測ったduを比べ、すべてのプロセスのfdの表で、リンク先の末尾に付く印とその先のファイルのサイズを見てください。サービスがログを開き直す方法は/etc/tsapp/tsapp.confのコメントにあります。