可観測性
本物のPrometheusの上でPromQL・SLO・アラートを回す
중급 · レッスン 30 · ラボ 10
カリキュラム
メトリクス・ログ・トレース
- 三つの信号は代替品ではなく調査の順序だ reading
- 本物のPrometheusにクエリを投げる lab
- クイズ: 三つの信号とメトリクス設計 quiz
SLOとエラーバジェット
- エラーバジェットは交渉の道具だ reading
- エラーバジェットを数字で計算する lab
- クイズ: SLOとエラーバジェット quiz
アラートの設計
- 正確でも有害なアラートがある reading
- Alertmanagerでアラートを流す lab
- クイズ: アラートの設計 quiz
カーディナリティ爆発
- ラベルにuser_idを入れてはいけない理由 reading
- ラベルを一つ足したら時系列が 100 倍になった lab
- クイズ: カーディナリティ爆発 quiz
SLI は何を数えるのか
- 分母を変えれば可用性は変わる reading
- 同じ 12 時間なのに可用性が 98.9% と 85.0% に割れた lab
- クイズ: SLI の定義 quiz
アラート疲れと症状ベースのアラート
- 正確なアラートも積み重なれば不正確になる reading
- 一晩で 70 件鳴ったのに利用者には何も起きていなかった lab
- クイズ: アラート疲れ quiz
グラフを読み違える場所
- グラフはデータではなくデータの要約だ reading
- 同じ障害がダッシュボードでは見えなかった lab
- クイズ: グラフの読み方 quiz
ログレベルとサンプリング
- ログを全部残すと何も見つからない reading
- デバッグログを入れた日に、調査に必要な行が消えた lab
- クイズ: ログレベルとサンプリング quiz
トレースで遅い区間を見つける
- いちばん長いスパンが犯人ではない reading
- いちばん遅いスパンを直したのに応答は変わらなかった lab
- クイズ: クリティカルパス quiz
インシデント調査とポストモーテム
- 調査で最初にやるのは時刻を確定させることだ reading
- 三つの仮説のうち二つは、データで30分あれば消せた lab
- クイズ: インシデント調査 quiz