AI 运维框架 · 只读 / 读写双模式

告警进了群,
不该停在群里

40
步 ReAct 推理上限
20万
token 预算
6/24h
巡检周期
哈希链
全量审计
trace://inc-20261119-042 LIVE
研判耗时 1.8s 9 步 ReAct
证据链 17条 已归档
动作分级 L2可逆 自动执行
payment-api · 容器内存 / limits 实际用量 limits 128Mi
−30m−20m−10m−5m告警
结论:OOMKilled 循环 置信度 94%

payment-api 内存 limits 128Mi 低于峰值 412Mi,Pod 已重启 6 次

alert snapshot OOMKilled runbook
SafetyGate 已放行 L2 · patch-resource-limits 执行中 76%
⚡
L2 动作自动执行 可逆 · 全程留痕
trace 已落盘 幂等哈希链 · 可回放
消费你已有的监控与云资源,不替代它们
AlertmanagerPrometheusRuleKubernetes LokiAWS EKSRDSRedisMSKJenkins
CAPABILITIES

把最后一公里接起来

接警与归一

支持 Alertmanager webhook 与通用 JSON 两种输入,统一成内部任务模型。一个 webhook 里的多条告警逐条展开,各自生成独立 trace。

两条通道 · 逐条展开

查证与研判

执行体带一组只读工具进入 ReAct 循环:先做全景快照,再按需查指标、日志、K8s 对象与 AWS 资源,最后给出带证据的结论。

40 步上限 · 重复调用强制收口

受控处置

参数化 runbook 模板与自由命令降级两条通道,所有动作都经过 SafetyGate 评估,没有第二条执行路径。未知命令按 L4 处理。

L1–L4 分级 · 单一执行路径

审批

审批卡发到项目群,只有白名单内且项目范围匹配的人能点;管理台审批同样有效。任一端操作后状态双向同步,并记录操作人。

白名单 · 项目范围 · 双端同步

问题台账

结论为「需人工」或「无法处理」的任务自动开立问题;同一资源重复出现时累加计数,而不是重复开单。

认领 / 豁免 / 质疑重测

巡检与日报

每 6 小时或 24 小时跑一批检查项,发现问题后构造告警,走同一条处置链路,不绕安全闸。每天 08:00 发日报,重启错过会补发。

主动发现 · 08:00 Asia/Shanghai

审计

所有关键事件写入按天切分的 JSONL,每条带前一条的哈希,改动任何一行都会导致后续校验失败。管理台提供一键校验与按 trace 检索,可完整回放一次事件的全过程。

篡改即失效 · 按 trace 回放

多项目接入

一个项目对应一个执行体 Deployment。项目下可以有子项目,群可以绑定到项目或子项目;告警、审批、日报按绑定关系路由,互不干扰。

项目 / 子项目 · 精细化路由
HOW IT THINKS

先查证,再动手

01

接警

webhook 或通用 JSON 归一为任务;一个 webhook 中的多条告警逐条展开,各自生成 trace。

02

全景快照

只读工具先行:Pod 状态、端点、节点、指标、日志、事件与云资源,一次性建立上下文。

03

按需研判

ReAct 循环里逐步查证,最多 40 步、20 万 token;连续 3 次重复调用同一工具会被强制收口。

04

过闸处置

只读与常规可逆动作自动执行并留痕;数据变更与高危动作挂起审批,审批通过后按方案执行。

Vigil 执行体 · trace inc-20261119-042 9 步 · 1.8s
SYSTEM收到 Alertmanager 告警 KubePodCrashLooping · payment-api
VIGILtrace 已创建,开始全景快照(只读):12 个 Pod、6 项指标、最近 200 行日志
VIGIL发现容器退出码 137,OOMKilled 6 次;requests.memory 128Mi,实际峰值 412Mi
VIGIL排除节点压力与镜像变更:节点内存水位 54%,近 24h 无发布记录
VIGIL结论:内存 limit 低于真实峰值导致 OOMKilled 循环,建议调整至 512Mi
PLANrunbook patch-resource-limits → SafetyGate 评级 L2(可逆)
RESULT自动执行,滚动重启 3/3 副本,30s 内全部 Ready,证据链已归档 ✓
VIGIL已写入哈希链审计,管理台可按 trace 回放
PERMISSION & BOUNDARY

权限分水岭,与不做的事

只读权限 值守型初级 SRE

看得清、说得明、证据齐,但不替你动手

告警接入、问题排查、输出报告。执行体只调用只读工具,给出结论与证据链;所有处置动作只出方案,不落地执行。

  • 告警接入与归一
  • 根因排查与证据归档
  • 巡检、扫描与日报输出
读写权限 运维管家

你只做决策和授权,执行与留痕交出去

在只读能力之上,给出处置方案,经授权后按方案执行修复。每一个动作都过安全闸,执行、留痕、回滚都有据可查。

  • L1–L2 可逆动作自动执行
  • L3–L4 高风险动作挂起审批
  • 执行结果回检与自动回滚

平台不做什么

边界清晰,才敢把生产交出去
不产生监控数据

指标、日志与告警规则仍由 Prometheus、Loki、Alertmanager 和 PrometheusRule 负责。平台消费告警,不替代监控系统。

不托管发布

CI/CD 页面只做仓库文件查看、Jenkins Job 触发和清单更新,不承担镜像构建、灰度发布与流量切换。

不是通用工单系统

问题台账只是轻量跟踪,字段仅有状态、负责人、证据与处置方式;跨团队流转、SLA 计时仍走既有审批或工单。

不是多租户 SaaS

单组织部署,权限围绕「平台角色 + 项目范围」设计;跨集群靠执行体接入,而不是中心化多租户控制面。

不追求全自动修复

安全闸默认拒绝,未知命令按 L4 处理,数据变更必须人批。宁可多问一次,也不让模型在没人看着时改生产数据。

CONSOLE

每个结论,都能回溯

实时 prod-cn-east · 任务与处置视图
最近 6 小时 全部项目 仅待审批
原始告警 1,248条
归一任务 96个
L1–L2 自动执行 71%
待人工审批 3个
告警量与归一任务
原始告警生成任务
06:0007:0008:0009:0010:0011:00
问题台账
按次数排序
  • payment-api · OOMKilled
    ×6 待确认
  • checkout · 连接池饱和
    ×3 已修复
  • search-index · 分片不均
    ×2 待确认
  • api-gateway · 证书到期
    ×1 已豁免
  • user-center · 端点缺失
    ×1 已修复
最近任务
按 trace 可回放
trace来源分级状态耗时
inc-20261119-042 Alertmanager L2 已自动处置 1.8s
inc-20261119-041 巡检 · 存储水位 L3 待审批 —
inc-20261119-039 Alertmanager L1 已自动处置 0.9s
inc-20261119-036 通用 JSON L4 需人工 6.2s
SCENARIOS

三件每天都会发生的事

告警进了群,然后呢

断点通常有三处:告警进了群,没人知道该看哪里;有人去看了,查证过程散落在多个终端和聊天窗口,结论留不下来;处置做完了,做了什么、谁批的、有没有副作用,事后说不清。

  • 执行体自动拉取 Pod、指标、日志、事件与云资源
  • 结论带证据,不需要接手的人重新查一遍
  • 动作过安全闸,全过程写入哈希链审计
3→1 三处断点收敛为一条 trace

不等它变成故障

告警是被动的,巡检是主动的。按周期检查 Pod、端点、节点、存储水位与配置规范,发现问题直接进入同一条处置链路。镜像与依赖里的已知漏洞平时不报错,出事就是大事。

  • 每天 08:00 汇总异常与处置结果,推一张日报卡片到群
  • 镜像仓库推送扫描先行,再补依赖扫描
  • 对接 CVE 情报,按中间件、框架与组件版本比对(0day 除外)
6/24h 巡检周期 · 日报每日 08:00

不再人肉堆模板

网络怎么划、集群怎么建、数据库和缓存放哪、监控日志怎么接、CI/CD 怎么串——每个新项目重来一遍,每次都留下不同的坑。

  • 基础设施按模板生成:VPC 与网段规划、EKS、RDS、Redis、MSK
  • 平台组件一次接齐:监控、告警、日志、CI/CD
  • 三层验收通过后才允许业务服务接入
  • 每个项目独立代码与状态文件,互不影响
3层 验收门槛 · 独立状态文件
GET STARTED

先从只读开始

01

接入告警

配置 Alertmanager webhook 或通用 JSON。CloudWatch 告警先经 SNS 或 Lambda 转成通用 JSON 即可接入。

分钟级 · 无需改造现有监控
02

打开巡检

按 6 小时或 24 小时周期跑检查项,同时开启镜像与依赖扫描,每天 08:00 收到一张日报卡片。

主动发现 · 日报入群
03

按项目授权

从只读值守过渡到读写托管:配置审批白名单与项目范围,L1–L2 自动执行,L3–L4 挂起等人批。

安全闸默认拒绝 · 全程可回滚
REQUEST ACCESS

下一张告警卡,让它带着证据

邮件告诉我们你的集群规模与告警来源,我们用一个真实集群跑一次接入演示:从告警进群到结论、审批与审计回放。

只读模式可先行试用 · 数据留在你自己的集群