可观测性
在真的 Prometheus 上跑 PromQL、SLO 与告警
중급 · 课时 30 · 实验 10
课程大纲
指标、日志与追踪
- 三种信号不是互相替代，是调查的顺序 reading
- 往真的 Prometheus 上打查询 lab
- 测验：三种信号与指标设计 quiz
SLO 与错误预算
- 错误预算是一件谈判工具 reading
- 把错误预算算成数字 lab
- 测验：SLO 与错误预算 quiz
告警设计
- 有些告警很准，却有害 reading
- 用 Alertmanager 把告警送出去 lab
- 测验：告警设计 quiz
基数爆炸
- 不能把 user_id 放进标签的原因 reading
- 多加了一个标签，时间序列翻了一百倍 lab
- 测验：基数爆炸 quiz
SLI 到底在数什么
- 换个分母，可用性就变了 reading
- 同样的 12 小时，可用性一个 98.9% 一个 85.0% lab
- 测验：SLI 的定义 quiz
告警疲劳与基于症状的告警
- 准确的告警堆多了就变成不准确的告警 reading
- 一夜响了七十次告警，用户却什么都没遇到 lab
- 测验：告警疲劳 quiz
图表容易读错的地方
- 图表不是数据，而是数据的摘要 reading
- 同一次故障在仪表板上看不见 lab
- 测验：读图 quiz
日志级别与采样
- 日志全都留下，反而什么都找不到 reading
- 打开调试日志那天，排查需要的那几行反而没了 lab
- 测验：日志级别与采样 quiz
用链路追踪找出慢的环节
- 耗时最长的 span 并不是元凶 reading
- 修好了最慢的 span，响应时间却纹丝不动 lab
- 测验：关键路径 quiz
故障排查与事后复盘
- 排查要做的第一件事，是把时间钉死 reading
- 三个假设里有两个，用数据 30 分钟就能排除 lab
- 测验：故障排查 quiz