ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

AIOps实战03:两代AIOps,传统机器学习与大模型该怎么配合

AIOps实战03:两代AIOps,传统机器学习与大模型该怎么配合 AIOps实战03两代AIOps传统机器学习与大模型该怎么配合我是老计。前两篇讲了 AIOps 是什么、能力全景和成熟度。这一篇要把一条贯穿全系列的主线讲透AIOps 的两代技术传统机器学习和大模型它们各自擅长什么、不擅长什么、以及最关键的该怎么配合。看懂这两代和它们的融合你就有了理解今天整个 AIOps 技术版图的钥匙。很多人有个误解以为大模型一来传统那套 AIOps 就过时了、要被取代了。这是彻底的误读。真相是这两代技术擅长的事根本不一样谁也替代不了谁未来好的 AIOps 一定是两者的结合。这一篇我就来掰扯清楚。一第一代传统AIOps用机器学习做运维先看第一代。传统 AIOps 的核心是用机器学习和统计方法从海量的运维数据里找规律、发现异常、做预测。这是过去很多年 AIOps 的主线今天依然是根基。它最擅长什么处理大量的、数值型的、有规律可循的数据。运维世界里指标数据是海量的每台机器的 CPU、内存、每个接口的响应时间和错误率每秒钟都在产生成千上万个数字。这些数字里藏着系统的健康状况但人根本盯不过来而机器学习恰恰最擅长从这种海量数字里挖规律。它的典型场景都是这个特点的体现指标异常检测让模型学出某个指标正常时长什么样一旦偏离就报警不用人去定死阈值告警关联与降噪用算法发现哪些告警总是一起出现、有先后因果把它们归并压制容量与趋势预测用历史数据的规律预测磁盘什么时候满、流量什么时候会超载日志的聚类与模式挖掘把海量日志自动归成有限的几类模式发现里面的异常。传统 AIOps 的强是实打实的。但它也有明显的短板这些短板恰恰是大模型的长处。第一它主要处理数值和结构化数据面对大段的自然语言文本(比如一条复杂的报错日志、一份故障文档),它的理解能力很弱。第二它的结果往往不好解释模型报了个异常给你一个异常分数但为什么异常、意味着什么它讲不清楚还得靠人去解读。第三它需要专门的数据科学能力去建模调参门槛不低用起来不够亲切。这三个短板长期是传统 AIOps 落地的痛点直到大模型来了。二第二代LLM for Ops用大模型做运维第二代就是这两年因为大模型爆发而兴起的 LLM for Ops。它的核心是用大模型的语言理解和生成能力来做运维。它擅长的恰好是传统 AIOps 的短板。第一理解自然语言和文本。大模型天生就是处理语言的一大段乱七八糟的报错日志、一份写得随意的故障记录、运维文档它都能读懂、能总结、能提炼要点。运维世界里其实有大量的文本数据以前只能靠人读现在大模型能帮着读了。第二自然语言交互大幅降低门槛。这是最直观的改变。以前查个系统状态、排个故障你得懂命令、懂查询语法、懂各种工具。现在你可以直接用大白话问那个服务为什么变慢了、帮我看看这个 Pod 的日志有什么问题。大模型把运维的操作门槛从会各种工具降到了会说话这个意义非常大。第三知识整合与辅助分析。通过检索增强(也就是 RAG),可以把你团队的运维知识库、历史故障案例、处理手册都喂给大模型让它在回答和排障时能引用这些知识。相当于给团队配了一个读遍了所有内部文档和历史故障、随叫随到的专家助手。我做那个 K8s 运维 AI 工具时核心用的就是这套思路后面第五板块会细讲。但大模型也绝不是万能的它的短板同样明显。第一它不擅长精确的数值计算和大规模数据的实时检测。你不可能把每秒上万个指标数据点实时喂给大模型让它算异常那又慢又贵又不准这活还得传统 ML 干。第二它会一本正经地胡说八道也就是幻觉。它可能给出一个听起来很对、其实错误的分析这在运维这种严肃场景里是危险的。第三成本和延迟。大模型推理要消耗算力、有延迟不适合那些需要极快、极高频响应的场景。把这三条记住你就不会盲目地把什么都塞给大模型。三最关键的两代怎么融合讲清了两代各自的长短现在到最关键的部分它们该怎么配合。我的核心观点是传统 ML 做底层的感知大模型做上层的交互和理解两者分工协作。我用一个贯穿的比方来讲这个融合你会一下记住。传统 ML 像是系统的眼睛和神经大模型像是系统的嘴巴和一部分大脑。眼睛(传统 ML)时刻从海量数据里感知发现哪里不对劲嘴巴和大脑(大模型)负责把感知到的东西用人话讲出来、理解你的提问、调取知识帮你分析。眼睛看得见但说不清嘴巴会表达但看不见细节两者合起来才是一个既能感知又能沟通的完整智能。落到具体的协作流程一个典型的融合场景是这样的第一步传统的异常检测模型(眼睛)从海量指标里发现某个服务的延迟异常升高了报出一个异常。第二步这个异常信号交给大模型(大脑),大模型去检索关联的日志、历史上类似的故障案例、相关的运维文档。第三步大模型把这些信息整合起来用人话告诉你这个延迟异常很可能和某某原因有关历史上类似情况是怎么处理的建议你先查哪里。第四步你还可以继续用自然语言追问让它进一步分析。你看在这个流程里传统 ML 干了它最擅长的精准检测大模型干了它最擅长的理解、整合和表达各展所长、无缝衔接。这就是 1 加 1 大于 2 的融合。单靠传统 ML,你只能得到一个冷冰冰的异常分数还得自己费劲解读单靠大模型它压根没法实时盯着海量指标。只有两者结合才能既看得准、又说得清这才是我心目中成熟 AIOps 该有的样子。再强调一遍那个要破除的误解大模型不是来取代传统 AIOps 的而是来补齐它一直以来的短板的。谁要是听信了大模型一统天下、传统 AIOps 淘汰论把底层的检测和预测也硬塞给大模型去做那是既不懂传统 ML 的价值、也不懂大模型的边界迟早要在成本、性能和准确性上栽跟头。四给你的实践启示把这两代的认知落成几条能指导实践的启示第一别用错工具。数值型、海量、实时的检测和预测交给传统 ML;文本理解、自然语言交互、知识整合交给大模型。先想清楚你的问题是哪一类再选对应的技术别拿大模型去干它不擅长的实时数值检测也别指望传统 ML 去读懂一段自然语言故障描述。第二往融合的方向设计。如果你在规划 AIOps,别只盯着一代。理想的架构是底层用传统 ML 构建感知能力上层用大模型构建交互和分析能力让两者协作。这是当下最有生命力的技术路线。第三对大模型的输出保持警惕。大模型会幻觉它给的分析和建议是辅助你判断的参考不是可以闭眼执行的结论。尤其在涉及操作生产系统时人的审核这一关不能省这也是我下面产品需求板块会反复强调的安全底线。小结这一篇讲透了 AIOps 的两代技术第一代传统 AIOps,用机器学习从海量数值数据里做检测和预测擅长处理大量结构化数据短板是不懂文本、结果难解释、有门槛。第二代 LLM for Ops,用大模型做文本理解、自然语言交互和知识整合恰好补上前者的短板但不擅长精确数值计算、会幻觉、有成本和延迟。最关键的是融合传统 ML 当眼睛做底层感知大模型当大脑做上层交互和理解各展所长、协作互补这才是成熟 AIOps 的样子。核心的实践启示是别用错工具、往融合方向设计、对大模型输出保持警惕。下一篇我们换一个视角从产品的角度看一款完整的 AIOps 平台到底该具备哪些功能。延伸阅读OpenTelemetry 官方文档可观测数据标准opentelemetry.io/docsHugging Face Transformers 官方文档大模型使用基础huggingface.co/docs/transformersLangChain 官方文档大模型应用与 Agent 编排python.langchain.com时序异常检测综述可在 arXiv 检索关键词 time series anomaly detection surveyarxiv.org本文为技术经验分享旨在梳理AIOps两代技术的区别与融合。文中观点结合个人运维经验不构成具体产品或采购建议实际选型与落地请结合自身环境评估。
返回列表