ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

当AI加速错误:美军Maven误击事件深度拆解

当AI加速错误:美军Maven误击事件深度拆解 文章目录前言1. 先搞清楚Maven到底是个啥1.1 一句话版本1.2 大家是怎么用它的2. 一张2018年的照片用到了20262.1 数据到底有多旧2.2 那条没人打开过的备注3. 把刹车拆了CHM部门3.1 这部门是干嘛的3.2 裁掉的不是岗位是叫停的权利4. 24小时1000个目标4.1 这不是打仗这是赶工4.2 自动化偏见系统说啥就是啥4.3 信息孤岛谁也不通知谁5. 锅到底是谁的5.1 三条红线5.2 三条底线P.S. 无意间发现了一个巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看 传送门https://blog.csdn.net/qq_34419312前言先问个问题有个AI系统能把目标筛选从五小时压到五分钟你信不信我信。毕竟我司的周报AI能把三句话水成三千字效率这块我一直很服气。但看完今天这个故事我想说另一句话有些流程慢是有原因的。2026年2月美军误击了伊朗米纳布的一所学校150多个孩子没了。五角大楼内部调查的初步结论里有一条特别扎眼过度依赖一个叫Maven的AI系统是原因之一。今天我不站队就用工程师的视角把这口锅拆开看看锅底到底糊在哪。1. 先搞清楚Maven到底是个啥1.1 一句话版本Maven Smart SystemPalantir给美军做的战场情报平台整合了Claude这类大模型能自动建议打击目标还附带精确坐标。以前目标筛选要几小时现在几分钟。什么概念相当于你做饭从买菜、洗菜、切菜、炒菜直接进化到微波炉叮一下。听起来很爽对吧问题恰恰出在这个爽字上。1.2 大家是怎么用它的调查说部分分析人员对它的期待是自动标记陈旧记录、自动发现矛盾信息。但真被问到系统为什么会这样做没人答得上来。这种状态我熟我司产品验收的时候也这样问就是应该会吧。这就像你指望扫地机器人顺手把碗洗了。它不是不愿意它是压根没装这个模块。模糊的信任比没有信任更危险。至少没信任的时候你还会自己低头看一眼。2. 一张2018年的照片用到了20262.1 数据到底有多旧国防情报局的目标数据库里关于米纳布设施的那份记录停留在了2019年之前。更扎心的是2018年的商用卫星图就已经拍得明明白白彩色围墙、足球场、瞭望塔被拆了、没有任何军事建筑痕迹。2018年的图啊比我手机相册里最后一张自拍还老。谁家军事基地刷成粉蓝色Hello Kitty军事基地吗2.2 那条没人打开过的备注2019年真有分析人员发现了这些变化认认真真记录在案。记哪儿了记在一个没连主库的独立系统里。这条备注的状态跟你年初写的年度计划一模一样写了保存了再也没人打开过。用代码描述大概长这样备注分析员.发现(围墙改成粉蓝色了有足球场瞭望塔拆了)备注.记录()备注.同步到主库()# 报错目标系统未连接# 系统提示请手动关联# 人员状态已裁员接口失联# 最终状态备注进入养老模式发现、记录、失联。这套流程丝滑得像我追剧的弃剧三部曲。整条数据链就是断的2017年学校改造 → 2018年卫星图变化 → 2019年备注进了孤岛 → 2026年打击方案用的还是旧数据。3. 把刹车拆了CHM部门3.1 这部门是干嘛的CHM平民伤害缓解团队。职责评估平民伤亡风险、提替代方案、标记需要额外核实的高风险目标。说人话它是系统的安全气囊是高速路上最后一道减速带。2026年初五角大楼把这部门裁了90%剩不到20人。中央司令部一个团队从十个人裁到一个人。十个变一个这力度比我司HR都狠。裁员通知下发速度估计比打击方案生成还快。更要命的是袭击发生前没有任何一个CHM官员审查过米纳布这个目标。刹车片都拆了你还怪车停不下来3.2 裁掉的不是岗位是叫停的权利CHM存在的意义是在打击方案定稿前说一句等等这不对劲。这道防线一拆就算有人对坐标有疑虑也没有任何制度化通道去记录、上报、执行。裁员裁掉的从来不只是人是流程里最后一个敢说不的嘴。4. 24小时1000个目标4.1 这不是打仗这是赶工2026年2月28日命令下达24小时内打击超过1000个伊朗目标。算笔账24小时是1440分钟平均一分半钟一个目标。这个速度外卖从下单到出餐都未必来得及。这种节奏下深度核查每个目标别闹了。多数操作员的理性选择是快速浏览标记高风险推进。这不是懒这是资源约束下的最优决策——只是代价不由决策者自己承担。4.2 自动化偏见系统说啥就是啥心理学有个词叫自动化偏见人面对AI的输出会倾向于过度信任。Maven这个名字本身就在暗示我比你懂。于是大家默认它会自动标记过期数据、矛盾信息。它真没这能力它只是把给到的数据排个序。就像你问导航前面有没有坑导航说没有。不是因为没坑是因为它压根没装看坑的传感器。你让一个叫聪明的系统帮你做决定就像让一个叫靠谱的朋友帮你搬家——名字是美好的现实是残酷的。系统输出越多人越没精力核实人越依赖系统越显得权威。当一切看起来都很权威的时候质疑的成本被无限抬高。于是没人质疑了。4.3 信息孤岛谁也不通知谁美军的情报体系多个平行系统各自维护各自更新不强制同步。没有任何一个系统会主动跟另一个系统说嘿你数据过时了。这不是孤岛这是孤岛度假村。每个系统都在自己的岛上岁月静好。数据互相矛盾时系统不会自警它只会安静地把旧数据端上来还顺手摆了个盘。5. 锅到底是谁的先说个反常识的结论Maven在技术层面没有明显缺陷。翻译一下算法没毛病有毛病的是喂它的数据和信它的人。它在给定的数据里完成了排序和优先级分配数据烂它真不知道。问题从来不是AI做了什么而是它被放进了一个什么样的环境。一个缺人工复核、缺数据同步、缺系统警示的流程放什么AI进去都会以同样的方式翻车。AI不会帮你发现问题它只会更高效地帮你执行错误。5.1 三条红线正式报告还没出但该做的动作已经摆在那了第一AI系统必须内置数据时效检查数据超过180天强制触发人工复核。第二目标筛选必须保留独立的交叉验证环节不许被效率指标压缩掉。第三平民保护人员的编制跟打击规模挂钩而不是跟预算挂钩。这三条放互联网公司属于上线前基本要求。放在军方属于拿命换来的验收标准。行吧贵有贵的道理。5.2 三条底线如果AI真要进决策链至少得做到数据来源和时间戳必须可见低于阈值必须主动提示不能静默输出所有查询和确认行为都要留日志。翻译成人话别让AI当一个只会点头的哑巴要让它的每个结论都有出处、有存档、能追责。验证那条2019年的备注需要多久不到五分钟。五分钟能干什么泡一碗泡面。而错过它的代价是一百多条命。说到底这事不是AI的锅是人的选择选择效率优先选择裁员保预算选择相信系统。这场悲剧不是一个机器的错是一串人把应该慢的地方全部加速了。速度从来不是原罪盲目才是。下次谁再跟你说AI效率高赶紧全面上建议你把这篇甩给他。顺便问一句你们系统的数据多久没更新了P.S. 无意间发现了一个巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看传送门https://blog.csdn.net/qq_34419312
返回列表