接警与归一
支持 Alertmanager webhook 与通用 JSON 两种输入,统一成内部任务模型。一个 webhook 里的多条告警逐条展开,各自生成独立 trace。
payment-api 内存 limits 128Mi 低于峰值 412Mi,Pod 已重启 6 次
支持 Alertmanager webhook 与通用 JSON 两种输入,统一成内部任务模型。一个 webhook 里的多条告警逐条展开,各自生成独立 trace。
执行体带一组只读工具进入 ReAct 循环:先做全景快照,再按需查指标、日志、K8s 对象与 AWS 资源,最后给出带证据的结论。
参数化 runbook 模板与自由命令降级两条通道,所有动作都经过 SafetyGate 评估,没有第二条执行路径。未知命令按 L4 处理。
审批卡发到项目群,只有白名单内且项目范围匹配的人能点;管理台审批同样有效。任一端操作后状态双向同步,并记录操作人。
结论为「需人工」或「无法处理」的任务自动开立问题;同一资源重复出现时累加计数,而不是重复开单。
每 6 小时或 24 小时跑一批检查项,发现问题后构造告警,走同一条处置链路,不绕安全闸。每天 08:00 发日报,重启错过会补发。
所有关键事件写入按天切分的 JSONL,每条带前一条的哈希,改动任何一行都会导致后续校验失败。管理台提供一键校验与按 trace 检索,可完整回放一次事件的全过程。
一个项目对应一个执行体 Deployment。项目下可以有子项目,群可以绑定到项目或子项目;告警、审批、日报按绑定关系路由,互不干扰。
webhook 或通用 JSON 归一为任务;一个 webhook 中的多条告警逐条展开,各自生成 trace。
只读工具先行:Pod 状态、端点、节点、指标、日志、事件与云资源,一次性建立上下文。
ReAct 循环里逐步查证,最多 40 步、20 万 token;连续 3 次重复调用同一工具会被强制收口。
只读与常规可逆动作自动执行并留痕;数据变更与高危动作挂起审批,审批通过后按方案执行。
告警接入、问题排查、输出报告。执行体只调用只读工具,给出结论与证据链;所有处置动作只出方案,不落地执行。
在只读能力之上,给出处置方案,经授权后按方案执行修复。每一个动作都过安全闸,执行、留痕、回滚都有据可查。
指标、日志与告警规则仍由 Prometheus、Loki、Alertmanager 和 PrometheusRule 负责。平台消费告警,不替代监控系统。
CI/CD 页面只做仓库文件查看、Jenkins Job 触发和清单更新,不承担镜像构建、灰度发布与流量切换。
问题台账只是轻量跟踪,字段仅有状态、负责人、证据与处置方式;跨团队流转、SLA 计时仍走既有审批或工单。
单组织部署,权限围绕「平台角色 + 项目范围」设计;跨集群靠执行体接入,而不是中心化多租户控制面。
安全闸默认拒绝,未知命令按 L4 处理,数据变更必须人批。宁可多问一次,也不让模型在没人看着时改生产数据。
断点通常有三处:告警进了群,没人知道该看哪里;有人去看了,查证过程散落在多个终端和聊天窗口,结论留不下来;处置做完了,做了什么、谁批的、有没有副作用,事后说不清。
告警是被动的,巡检是主动的。按周期检查 Pod、端点、节点、存储水位与配置规范,发现问题直接进入同一条处置链路。镜像与依赖里的已知漏洞平时不报错,出事就是大事。
网络怎么划、集群怎么建、数据库和缓存放哪、监控日志怎么接、CI/CD 怎么串——每个新项目重来一遍,每次都留下不同的坑。
配置 Alertmanager webhook 或通用 JSON。CloudWatch 告警先经 SNS 或 Lambda 转成通用 JSON 即可接入。
按 6 小时或 24 小时周期跑检查项,同时开启镜像与依赖扫描,每天 08:00 收到一张日报卡片。
从只读值守过渡到读写托管:配置审批白名单与项目范围,L1–L2 自动执行,L3–L4 挂起等人批。
邮件告诉我们你的集群规模与告警来源,我们用一个真实集群跑一次接入演示:从告警进群到结论、审批与审计回放。