线上故障前 15 分钟：一份能真正执行的 Runbook

先确认影响，不急着解释原因

告警触发后先回答哪些用户、哪些功能、从什么时候开始受到影响。检查用户侧症状和核心 SLI，而不是只盯着单台机器。未经验证的根因猜测应明确标注，避免带偏后续排查。

指定一名事故指挥和一名记录员；建立时间线并记录每个操作；确认影响范围和事故等级；选择最低风险的止损动作；按固定节奏向相关方同步。

恢复优先于完美修复

回滚最近发布、关闭高风险功能、限制流量或切换降级路径，通常比在线修改代码更安全。每次动作只改变一个主要变量，并提前写下预期现象和回退方式。

14:03 告警触发：checkout 5xx > 8%
14:06 确认影响：所有区域的支付提交
14:09 决策：回滚 release-2026.02.21.3
14:12 指标恢复，继续观察 15 分钟
14:15 对外更新：服务已恢复，原因调查中

Runbook 必须在平时维护

文档需要包含仪表盘链接、权限申请方式、安全操作命令和升级联系人。每次事故后修正失效步骤；每季度做一次演练，确认新值班成员也能独立执行。

Runbook 只写密钥获取路径和最小权限要求，凭据应由受审计的密钥系统临时发放。