AIOps 的真正瓶頸不在模型:從告警降噪到自主決策之間的三層關卡
AIOps 的真实瓶颈不在模型:从告警降噪到自主决策之间隔着三层
AIOps 的主要瓶頸不在模型,而在告警關聯、根因歸因與自主處置之間的三層工程環節;企業宣稱已應用 AIOps,真正走到 AI 驅動自動處置的比例不足 15%。告警壓縮依賴欄位規範與拓撲資料,根因判斷需要可複核的證據鏈,自動執行則受寫入權限、審批與回滾護欄限制。可用故障回放檢查壓縮比、可複核率及變更關聯率,定位瓶頸層級。
2026-10-29 3
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
简介: 企业宣称已上 AIOps,真正走到自动处置的却不足 15%。本文拆解检测、关联、归因、处置四类失败模式,说明告警压缩依赖字段规范与拓扑而非模型,可复核根因需要证据链,自主决策门槛在写权限与护栏设计,并给出故障回放判断瓶颈层级的三个指标。
千人以上企业的 AIOps 渗透率已过 56%,但公开调研里,宣称已应用的企业中真正走到 AI 驱动自动处置的比例不足 15%。同一个"已上 AIOps",两端的差距通常被归因于模型选得够不够好。把故障处理链路拆开看,衰减发生在中间几层,而不是模型那一层。
一、一个流传很广的推断:模型够强就能直达自愈
常见叙事是一条直线:告警太多 → 用算法降噪 → 用大模型读日志找根因 → 自动执行修复。每一环都有公开案例,看起来只差一个足够强的模型。
这条推断把四件失败模式完全不同的事当成了一件:检测(有没有异常)、关联(哪些信号是同一件事)、归因(哪个组件是源头)、处置(敢不敢自动动手)。前两件的输入是数据,第三件的输入是拓扑与变更记录,第四件的输入是权限模型与回滚设计。任何一环的输入不满足,后面的环节都谈不上。
二、检测这一环早就不是瓶颈所在
固定阈值失效的原因不是阈值设得不准,而是基线本身在动:Pod 上下线、弹性伸缩、灰度发布,都会让"正常值"随时变化。自适应基线、同比环比、分位数回归,这些做法在静态阈值时代就已经能把问题消掉大半。
真正的困难在别处:一次数据库慢查询会在依赖它的十几个服务上各自触发告警。检测环节"正确地"报出了十五条,而值班的人只想要一条。多出来的十四条不是噪声,是同一件事的十四个投影,它们全部指向同一个源头。
三、被忽略的中间层:关联依赖标识体系,不依赖模型
把十五条并成一条,需要回答"这十五条是同一件事"。工程上常用三类做法:
| 关联方式 | 依赖的输入 | 失效条件 |
|---|---|---|
| 时间窗共现 | 统一时钟、统一时间窗口径 | 跨系统时钟漂移会打散聚类 |
| 拓扑相邻 | 服务依赖关系与配置项 | 关系缺失时退化为纯时间聚类 |
| 文本模板相似 | 告警字段规范化、模板抽取 | 同类故障在不同系统里命名不一致 |
三类里没有一类是模型问题,全是数据工程问题。公开案例里 70%–90% 的告警压缩率,前提是字段规范与拓扑关系已经梳理完成;缺这个前提,压缩率会退化成"把不该合的合在一起",反而把故障盖住。
字段规范的最低要求是给每条告警一个稳定的身份,把变化的部分抽成参数:
模板化前(两条文本不同,无法归并):
[crit] svc-order-7d9f connection refused to mysql-prod-3
[crit] svc-order-7d9f connection refused to mysql-prod-4
模板化后(同一 template_id,差异落进参数,可直接聚类):
template_id=DB_CONN_REFUSED svc=order target=mysql-prod-{3,4} ts=...
这一步做扎实之后,压缩比才会稳定;在此之前调聚类算法的超参数,收益远不如补齐字段。
四、归因要的是可复核,不是更高的置信度
根因输出如果只给一句结论,值班的人没有依据去触发后面的动作。可复核意味着输出能被拆成一组证据:命中了哪些指标的异常区间、哪些日志模式、哪些变更事件、在拓扑上从哪个节点向下游传播。
这也是为什么量化验收通常写成一组条件绑定的指标——根因识别率 >92%、异常检测误报率 ≤10%、全链路回溯 ≤1 分钟,前提是关键业务拓扑准确率达到 95% 以上、配置采集覆盖率达到 95% 以上。拓扑不准时,这几个数字无法稳定复现,换一批故障样本就会掉下来。
把变更事件放进同一条时间轴,是投入产出比最高的一步。大量生产故障与近期变更相关,接入变更流之后,候选集通常能缩小一个量级,比换更复杂的归因算法有效得多。常见的变更风险拦截目标是拦截率 >60%,这个指标比事后定位更省时间,因为它把故障挡在进入生产之前。
五、自主决策的门槛在写权限,不在推理能力
2026 年这一代的变化是智能体开始主动拉取遥测、变更记录与历史事件,先形成假设,再给处置建议。值得注意的是,两家头部云厂商把这类能力推向正式可用时,都选了"调查并建议"而不是"调查并执行"。这不是功能取舍,而是对当前可靠性的判断:写操作一旦判断错误,次生故障的代价可能高于原故障。
工程上能落地的护栏有四条:
- 置信度阈值:低于阈值的假设不进入推荐,回到重新取证,而不是猜一个结论出来。
- 动作白名单:只对人工执行过几十次、机制完全清楚的修复动作开放自动执行,例如重启崩溃进程、按预设策略扩容、回滚到已知版本。
- 分批与灰度:大批量操作拆批滚动,每批执行后验证结果,失败即停止后续批次。
- 补偿动作优先:任何自动动作先定义反向操作,且反向操作本身要幂等、可重入。
四条里最容易被跳过的是最后一条。补偿动作无法保证幂等时,回滚本身会引入二次故障,这比不回滚更难收场。
六、用故障回放区分两种理解
判断瓶颈在哪一层,可以用最近三个月的故障单做回放。把三份数据摆在一起——原始告警流、字段规范后的事件流、带拓扑的关联结果——看三个数:
- 关联后事件数 / 原始告警数,即压缩比;
- 能给出完整证据链的故障占比,即可复核率;
- 证据链中包含变更事件的占比,即变更关联率。
压缩比高但可复核率低,说明关联做的是文本合并而不是因果合并,缺的是拓扑数据;可复核率高但自动处置率低,瓶颈在权限与护栏设计,不在模型。两个结论指向完全不同的投入方向:前者该补配置采集与关系发现,后者该补审批链与回滚设计。
回放还有一个常被忽略的用法:把同一批故障单在半年后重跑一次。如果两次的可复核率差异明显,说明证据链依赖的是当时的实时数据而不是留存的快照,这类证据在事故复盘与审计场景下不成立。
行业里 L1 智能监控约 60%、L2 关联分析约 25%、L3 根因定位约 10%、L4 自动处置不足 5% 的分布,正是这三层逐级衰减的结果:每一级都要求前一级的输入达标,衰减因此是乘性的,不是加性的。
七、仍然存在的边界
数据侧,长尾故障样本量小,依赖历史标注的方法在稀有故障上缺少训练素材, unsupervised 的异常检测又难以给出可复核的证据。拓扑侧,Serverless 与短生命周期容器让依赖关系在故障发生时刻可能已经不可用,回溯依赖拓扑快照而非实时拓扑。处置侧,涉及资金、账务与不可逆写操作的场景,自动执行的风险收益比不成立。
下一步值得验证的是:在拓扑能自动发现、且能回溯到故障时刻快照的前提下,L3 的占比能否从 10% 抬上去。这个数字决定了后面所有自动化投入的上限,也决定了"自主决策"在多大范围内是一个工程问题,而不是一个模型问题。
來源:阿里雲開發者社區 AI · developer.aliyun.com