TT Lab
ブログ はじめる
学ぶ 学習パス コース

Linux障害対応

メモリとOOMの診断

TT Labで続きを見る

目標

メモリのメトリクスを正確に読み取り、プロセスが実際に握ったメモリと予約しただけのアドレス空間を区別し、OOM Killerが何を見て選ぶのかを確認したあと、「メモリを多く使っているように見える」4つのプロセスのうち、本当の原因1つだけを選んで止めます。

なぜ重要なのか

メモリ問題の誤診の大半は、間違った列を見ることから始まります。freeのfree列ではなくavailable列を見る必要があり、topのVIRTではなくRES(RSS)を見る必要があります。OOM Killerのスコアも、RSS基準です。64GBをmmapで予約しただけのプロセスは、候補にすらなりません。そしてコンテナの中でfreeはホスト全体を表示するため、本当の上限はcgroupのファイルから読み取る必要があります。このラボのステップ7が「なければないと書く」ことまで採点する理由は、現場でもそのファイルがあるかどうかを確認することが最初の動作だからです。

ステップ8のインシデントでは、「大きい」は犯人の証拠ではありません。VIRTが大きいもの、RSSが最も大きいもの、キャッシュを作るものはどれもそれらしく見えますが、上限に向かっていくのは 時間とともに増える匿名メモリ です。見当違いのものをkillすると、そのサービスの利用者が切断されるだけで、グラフは上がり続けます。

ステップ

/root/memディレクトリで作業します。

  1. /proc/meminfoのMemTotalの値を、kBの数字だけ/root/mem/total_kb.txtに書いてください。
  2. MemAvailableの値を、kBの数字だけ/root/mem/available_kb.txtに書いてください。
  3. 実際の常駐メモリ(VmRSS)が100MB以上のプロセスをバックグラウンドで起動し、PIDを/root/mem/hog_pid.txtに書いてください。以降のステップの間ずっと生きている必要があります。
  4. そのプロセスのVmSizeとVmRSSを、/root/mem/vm.txtに次の2行で書いてください(プレースホルダーは値です)。
    • vsize_kb=<값>
    • rss_kb=<값>
  5. このコンテナが最初に受け取ったoom_score_adjを、手を加えていないPID 1で測ってinitial_adj=<값>として、ステップ3のプロセスのoom_score_adjを最大値1000に上げたあとに読み取ったoom_scoreをoom_score=<값>として、/root/mem/oom_score.txtに書いてください(プレースホルダーはそれぞれ読み取った値です)。
  6. /root/mem/topmem.sh <N>を作成してください。RSS上位N個のプロセスを<rss_kb> <comm>の形式で、降順に出力します。ちょうどN行である必要があります。
  7. このコンテナのcgroupメモリ制限を、/root/mem/limit.txtにそのまま書いてください。該当ファイルを読み取れない環境なら、unavailableと書いてください。
  8. インシデント incident ts-mem-pressure — コンテナのメモリ使用量が上がり続けます。4つのサービス(tsmem-indexer・mapper・cache・backup)をleak · reserve-only · page-cache · steady · shmemのいずれかに分類し、/root/incident/ts-mem-pressure/report.txtに<서비스>: <코드>の4行(プレースホルダーは、順にサービスとコードです)とevidence:の1行を書き、使用量を増やしている原因1つだけを止めてください。残りの3つと保管ファイルには手を付けません。

参考

メモリ全体を読み取る

/proc/meminfoのMemTotalの値を、kBの数字だけ/root/mem/total_kb.txtに書いてください。

カーネルが認識しているメモリ全体のサイズは、meminfoの一番上にあります。コンテナの中でもホストの値が見えることを覚えておいてください。ステップ7で改めて比べます。単位はkBのまま、数字だけを書きます。

MemAvailableとMemFreeを区別する

MemAvailableの値を、kBの数字だけ/root/mem/available_kb.txtに書いてください。

Linuxは余ったメモリをページキャッシュとして使います。回収可能な量まで計算した値が別にあります。

メモリを実際に握る

実際の常駐メモリ(VmRSS)が100MB以上のプロセスをバックグラウンドで起動し、PIDを/root/mem/hog_pid.txtに書いてください。以降のステップの間ずっと生きている必要があります。

割り当てるだけで触れなければ、RSSは増えません。カーネルは初めて書き込む瞬間にようやくページ(page)を割り当てます。大きなバッファーを確保したあと、ページごとに実際に値を書き込み、長くスリープするプログラムを起動してください。

VmSizeとVmRSSの比較

そのプロセスのVmSizeとVmRSSを、/root/mem/vm.txtに次の2行で書いてください(プレースホルダーは値です)。

カーネルがプロセスごとに提供する状態ファイルに、両方あります。一方は予約したアドレス空間、もう一方は実際にRAMに載っているページです。どちらがどれだけ大きいかを比べてください。

OOMスコアを調整する

まず、このコンテナが最初に受け取ったoom_score_adjを、手を加えていないプロセス(PID 1)で測ってinitial_adj=<값>として書いてください。次に、ステップ3のプロセスのoom_score_adjを最大値1000(「真っ先に強制終了される対象」)に上げ、その後に読み取ったoom_scoreをoom_score=<값>として書きます。2行とも/root/mem/oom_score.txtに書き込みます(プレースホルダーはそれぞれ読み取った値です)。

スコアを調整するファイルとスコアを読むファイルが、プロセスごとに別々にあります。コンテナの最初の値は、起動した側が決めます。Kubernetes は Pod の QoS クラス(Guaranteed・Burstable・BestEffort)ごとに異なる値を与えます。その値より上げることは誰でもできますが、下げるにはリソース制限を超える権限(capability)が必要なため、このPodでは拒否されます。必ず変更したあとにスコアを読んでください。

RSS上位のプロセスを取り出す

/root/mem/topmem.sh <N>を作成してください。RSS上位N個のプロセスを<rss_kb> <comm>の形式で、降順に出力します。ちょうどN行である必要があります。

すべてのプロセスの状態ファイルから常駐メモリの値を集め、数値で並べ替えます。カーネルスレッドにはその項目がなく、調べている間に終了するプロセスもあるので、失敗する項目はスキップしてください。

コンテナの本当の制限を探す

このコンテナのcgroupメモリ制限を、/root/mem/limit.txtにそのまま書いてください。該当ファイルを読み取れない環境なら、unavailableと書いてください。

freeコマンドはホストを表示します。実際の上限はcgroupのファイルにあります。なければないと書いてください。

インシデント — メモリ使用量が上がり続けるのに、犯人候補が4つある

incident ts-mem-pressureを実行すると、このコンテナのメモリ使用量が上がり続けるインシデントが発生します。4つのサービスtsmem-indexer・tsmem-mapper・tsmem-cache・tsmem-backupは、それぞれ「メモリを多く使っているように」見えます。それぞれをleak(使用メモリが増え続ける)・reserve-only(アドレス空間だけを予約した)・page-cache(読んだファイルがキャッシュとして計上される)・steady(大きいが増えない)・shmem(共有メモリ・tmpfs)のいずれかに分類し、/root/incident/ts-mem-pressure/report.txtに<서비스>: <코드>の4行とevidence: <관찰한 출력 한 줄>を書き(プレースホルダーは、順にサービス、コード、観察した出力1行です)、使用量を増やしている原因1つだけを止めてください。残りの3つを停止・再起動したり、保管ファイルを削除してキャッシュを空にしたりすると失敗です。

方針: 「多い」と「増えている」は別の話であり、「アドレス空間」と「実際に載っているメモリ」と「読み直せば済むキャッシュ」も別物です。一度取った値ではなく、時間による変化とメモリの種類を見てください。 ツール: /proc//status、cgroupのmemory.current・memory.stat、サービスのログ(/var/log/tsmem)。 具体: 4つのプロセスのVmSizeとVmRSSを並べ、10秒ほど間隔を空けてVmRSSを2回測ってください。コンテナの使用量のうち、匿名メモリとファイルキャッシュの分は、memory.statのanon・fileの行に別々にあります。