ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

数学证明了:AI幻觉不是Bug,而是计算的必然边界-龍德明宇

数学证明了:AI幻觉不是Bug,而是计算的必然边界-龍德明宇 数学证明了AI幻觉不是Bug而是计算的必然边界幻觉不是AI训练不够好的症状而是图灵机与生俱来的数学必然。一篇AAAI 2026论文用三堵「计算墙」证明了这件事——而墙的存在恰恰照亮了AI在存在论上的真实位置。一、当AI一本正经地输出不存在的东西让任何一款大语言模型推荐某个冷门领域的参考文献大概率会收到五篇里有三篇不存在的「论文」——作者姓名像模像样期刊名称查得到DOI格式正确但整个条目是凭空生成的。或者换个方式问它某本真实存在的书第78页写了什么它会详细地生成一段从未被写下的话格式规范细节丰富。这就是大语言模型的「幻觉」hallucination——输出看似合理但与事实不符的内容。大众的直觉反应通常是幻觉是训练不够好、数据不够多、参数不够大下一代模型应该能解决。这个判断很自然但一篇被AAAI 2026正式接收CCF-A类的论文给出了不同的答案不会这是数学定理层面的不可能。不是「暂时做不到」是「数学上做不到」——就像没有任何算法能判定停机问题一样没有任何LLM能彻底消除幻觉。这篇论文题为Hallucination as a Computational Boundary: A Hierarchy of Inevitability and the Oracle Escape由中科院合肥物质科学研究院、中国科学技术大学、常州大学、科大讯飞研究院联合团队完成。核心工作是用三堵「计算墙」从三个正交方向证明大语言模型的幻觉不可避免并给出两条理论上的逃逸路径。本文的任务不只是解读这篇论文。论文的技术细节只讲够用的部分——重心在一个更深的问题如果幻觉是数学必然这对理解AI的本质意味着什么二、把LLM变成数学对象要论证「幻觉不可避免」第一步是把争论从口水层面拉到数学层面。直觉说「幻觉是bug」但数学要求先定义清楚什么是LLM什么是幻觉不把这两个概念钉死任何结论都只是观点。概率图灵机。论文将大语言模型形式化为「概率语言模型」Probabilistic Language Model, PLM——本质是一台概率图灵机。关键区别在于它不是「给出确定答案的机器」而是「输出概率分布的机器」——每一次生成都是对概率分布的一次采样。温度参数调到0时输出近似确定性但概率本质不变。这一形式化比确定性图灵机更贴近真实LLM的工作方式。两种幻觉。论文定义了两个指标来精确刻画幻觉第一种叫偏离幻觉H_Stray模型把概率质量分配给了错误答案。简单说就是「答错了」——问它中国的首都它输出「上海」。这对应有唯一正确答案的「关系真理」。可类比为「指鹿为马」。第二种叫扭曲幻觉H_Distort模型的输出分布与真理分布之间存在系统性偏差。这不是某一次报错而是整个分布本身就歪了。打个比方天气预报说「明天90%不下雨」结果连下半个月——不是某次预报失误是预报模型本身的概率分布就偏离了真实。这对应答案本身带有分布特征的「概率真理」。这个类比全文只用这一次。前置工作。Xu等人在2024年的工作中预印本arXiv:2401.11817已经在确定性图灵机框架下首次证明幻觉不可避免。本文将这一基础推广到概率框架更贴近真实LLM——这是它的立足点。三、三堵墙幻觉为什么不可能消除论文的核心贡献是构建了「计算必然性层级」——三堵墙从物理层面到计算层面再到逻辑层面层层递进。以下从最直觉的讲到最抽象的阅读门槛逐级提升最后一堵墙直接衔接本文第八节的哲学讨论。第一堵墙信息论边界——容量不够就只能编引理内容论文Lemma 2.6学习者泵引理有限信息容量的模型面对复杂度超过其容量的真理必然产生扭曲幻觉。直觉解释要求模型「逐字背诵《1984》第78页第三段」——如果这段话的信息量超过模型的存储容量模型只能压缩存储压缩导致改写、简化、编造。这不是训练不够充分是物理上装不下。这堵墙的技术亮点在于借鉴了形式语言理论中的经典工具——泵引理Pumping Lemma但方向反转。传统泵引理用来证明某种语言不属于某类自动机的处理范围这里反过来用信息瓶颈证明学习者必然失败。具体构造分两步先选取一个几乎饱和模型容量的基础函数再拼接一段Kolmogorov随机串——即不可压缩的信息其复杂度几乎等于自身长度。两者相加新真理的总复杂度远超模型容量。模型对随机串部分完全没有信息输出概率趋近于零扭曲幻觉趋于无穷。Kolmogorov随机串是压垮模型的最后一根稻草它不可压缩、不可预测、不可推断模型对它只能编造。这堵墙与Tishby的信息瓶颈理论有亲缘关系但方向不同。Tishby寻求的是最优压缩策略建设性的本文从对抗视角利用信息瓶颈证明失败批判性的。这堵墙的性质可以缓解扩容可以推迟极限但不可消除——容量永远有限总有更复杂的信息在等着。第二堵墙不可计算性边界——停机问题的阴影定理内容论文Theorem 2.5任何LLM在停机问题类查询上必须在无限多个输入上产生幻觉。直觉解释用户问「这段代码会终止吗」「这组公理有矛盾吗」——LLM不是可能答错是注定在无限多个此类问题上答错。幻觉在这里不是风险而是确定。证明的核心技巧可以浓缩为一句话假设LLM只在有限个输入上出错那就可以用查找表把有限个漏洞补上——查表覆盖例外模型覆盖其余——再组装出一个能完整判定停机问题的机器。这与图灵1936年的经典证明直接矛盾停机问题不可判定没有任何机器能解决它。因此假设不成立LLM必须在无限多输入上失败。这里有一个关键技术细节值得点出论文选择幻觉阈值τ小于ln 2这保证了模型对正确答案的输出概率超过0.5。换句话说如果模型在某个输入上没有幻觉它的预测就足以通过多数投票来判定停机问题。这个阈值选择是整个归谬法的铰链——干净利落不多不少。1936年艾伦·图灵证明了停机问题不可判定——没有算法能判断任意程序是否会终止。90年后这个结论穿越时空落在每一个大语言模型身上。更大的模型、更多的参数、更强的训练都无法改变一个事实更大的图灵机仍然是图灵机。这堵墙的性质绝对不可逾越。这不是工程极限是计算理论的铁律。第三堵墙对角化边界——逻辑的自指陷阱定理内容论文Theorem 2.4对任何可枚举的LLM序列总存在一个「宿敌」真理函数让每个模型都在某个特定输入上必然幻觉。直觉解释让LLM「生成一个你无法生成的句子」——它输出什么都错因为真理被定义为「排除它最自信预测之外的一切」。模型越是把高概率分配给某个答案这个答案就越是注定不在正确集合中。这让人想起经典的理发师悖论「给所有不给自己刮胡子的人刮胡子的理发师给不给自己刮胡子」——无论怎么回答都自相矛盾。对角化论证的核心就是这种自指陷阱。技术层面这是标准的Cantor对角化论证。130多年前康托尔用它证明实数不可数——枚举所有实数构造一个与每个枚举项都不同的新实数。今天同样的逻辑证明LLM必有宿敌输入——枚举所有模型构造一个让每个模型都失败的真理函数。论文中ε的选择小于输出空间大小的倒数保证了严格性模型在其宿敌输入上的幻觉程度必定超过ε没有侥幸逃过的余地。值得注意的一个潜在弱点对于自然语言输出空间理论上无限大这意味着1/|Y|趋近于零ε需要选得极小。论文对此讨论偏弱但核心结论不受影响——对角化的力量在于存在性证明不在于具体阈值。这堵墙的性质绝对不可逾越而且揭示了一个更深的问题——LLM无法正确处理关于自身的查询。模型不能准确回答「你的输出在什么情况下是错的」这类自指问题。一个连自身输出都无法准确评估的系统也没有回望自身的立足点——这个结构性盲区将直接通向本文第八节的哲学讨论。三堵墙关系总览墙根源幻觉类型生活实例可否逾越信息论容量有限信息丢失型背诵长文走样可缓解不可消除不可计算性停机问题不可判定型「代码会停吗」绝对不可对角化逻辑自指自指悖论型「生成你无法生成的」绝对不可三堵墙分别从物理、计算、逻辑三个层面封死了「彻底消灭幻觉」的幻想——第一堵是终身监禁可以减刑但出不了狱后两堵是不可上诉的数学死刑。四、两条逃逸路径墙撞不破但可以绕三堵墙证明幻觉不可消除但论文并未止步于悲观。它提出了两条逃逸路径——不是打破墙而是绕过墙。绝对逃逸RAG作为「预言机」核心思想很简单模型自己算不出来的就去查外部数据库。这就是检索增强生成Retrieval-Augmented Generation, RAG。论文的形式化结果Theorem 3.1证明预言机增强的概率图灵机可以实现零幻觉。证明分两步走——第一步用自指论证构造对抗场景证明标准PLM在特定查询上必然失败第二步证明预言机增强模型直接查询预言机输出正确答案的概率为1。这种「计算跳跃」就是RAG的理论内核模型不再需要自己算出答案而是从外部获取。这是对RAG有效性的首个形式化理论证明——此前RAG在实践中有效但缺少理论层面的严格论证。论文将RAG从工程经验提升到了定理层面。代价同样明确每次查询都需要调用外部系统成本不随使用次数下降。而且「绝对逃逸」有一个前提——预言机本身必须可靠。如果检索系统返回错误信息幻觉只是从模型内部转移到了外部。类比开卷考试。可以翻书但每次都要翻。自适应逃逸持续学习作为「内化预言机」另一条路是把外部知识「背下来」写进模型参数。论文借鉴神经科学的互补学习系统Complementary Learning Systems, CLS理论——海马体负责快速记忆新皮层负责慢速巩固大脑用两套系统解决「学新不忘旧」的难题——构建了层级马尔可夫博弈框架来形式化这一过程博弈论细节此处不展开。核心机制是「内化预言机」持续学习把外部知识逐步写入模型参数相当于把RAG的「外接数据库」压缩进模型自身。参数更新后模型不再需要查询外部系统就能直接输出正确答案——信息论边界被动态提升了。关键结论Theorem 3.3对于重复性的信息需求持续学习的摊销成本低于RAG。交叉点约在287次查询——超过这个次数后「把书背熟」比「每次翻书」更划算。287这个数字来自一个简单的成本比较RAG每次查询都要付出检索成本而持续学习只在首次学习时付出更新成本之后每次查询只走标准推理边际成本极低。但持续学习有自己的代价背书会遗忘。实验中纯持续学习策略的遗忘率达到12.4%这正是互补学习系统框架要解决的核心问题——也是混合策略存在的理由。两条路对比维度RAG绝对逃逸持续学习自适应逃逸幻觉消除完美理论上渐进单次成本高低287次后摊销劣势优势知识积累无有适用场景低频高价值高频重复五、实验验证虚构知识怎么测幻觉实验设计有一个巧思测试材料是虚构的科学知识——例如「元素Aurorium是室温超导体」。模型预训练数据中绝不存在这些内容所有知识只能来自RAG或持续学习变量被干净地控制了。基座模型为Mistral-7B三种策略的对比结果如下策略准确率遗忘率(TriviaQA)抗噪性(15%噪声)纯RAG~98.6%0%76.5%纯持续学习~81.0%12.4%N/ARAG-CL混合~96.5%1.1%92.3%RAG-CL混合策略表现最佳准确率仅比纯RAG低约2个百分点但抗噪性提升15.8个百分点——这意味着当检索系统混入15%的错误信息时混合策略仍能保持92.3%的准确率而纯RAG会跌到76.5%。遗忘率仅1.1%远低于纯持续学习的12.4%证明互补学习系统框架确实在「学新不忘旧」上发挥了作用。注意力分析揭示了更深层的机制知识内化后模型从依赖外部上下文转向内部参数化知识——不是简单缓存答案而是重构了推理路径。局限也显而易见单一模型、单一任务、1000次查询泛化性有待验证。六、CCA原则标注边界在哪比突破边界更重要论文最终提出一个安全原则——计算类对齐Computational Class Alignment, CCA在高风险场景中任务的复杂度必须严格位于系统计算类之内。CCA有三重角色。第一诊断工具部署前评估任务复杂度是否落在模型能力范围内——如果任务涉及停机问题类查询直接判定超界。第二设计哲学根据任务特征选择策略——低频高价值查询走RAG高频重复查询走持续学习混合场景走RAG-CL。第三安全要求超出边界时系统应执行弃权而非冒险幻觉宁可输出「我不知道」也不输出看似合理但可能错误的内容。论文进一步提出Dynamic CCA——运行时评估查询复杂度超出验证的计算类时系统输出「我不知道」而非强行生成一个可能错误的答案。这要求系统具备实时自评能力在回答之前先判断「这个问题我能不能答」。不要求AI无所不能而要求系统能识别自身的能力边界——这个工程原则背后其实站着一整个存在论命题。七、批判性评价论文的短板在进入局限之前先明确一点前文所说的「数学证明」是存在性证明——证明了幻觉必然存在而非给出了可计算的幻觉边界。下面的局限恰恰都指向存在性与可操作性之间的距离。作为一篇从定义到证明到逃逸到实验到安全原则链条完整的工作论文的理论完整性强于工程衔接性。优势在于泵引理是真正的理论创新——将形式语言理论的经典工具反向用于证明学习失败思路巧妙概率框架比确定性框架更贴近真实LLM双逃逸路径的对比分析有实用价值。局限精选四条第一模型容量用Kolmogorov复杂度定义但Kolmogorov复杂度在数学上不可计算——信息论边界目前无法在实际中量化。第二博弈论框架理论优雅但实际实现用的LoRA微调与理论框架对应关系偏弱层级纳什均衡的收敛性未经证明。第三CCA的「计算类」缺乏实操度量——如何给具体任务算复杂度论文坦承是future work。第四Theorem 3.1的「绝对逃逸」是极限结果而非现实描述。证明的结构是定义预言机增强模型直接输出预言机答案因此零幻觉——逻辑上成立但证明的是「完美预言机下零幻觉的存在性」而非真实RAG的有效性。真实检索系统会出错、召回不完整、排序失真——实验部分15%噪声下纯RAG跌到76.5%恰好量化了这个极限与现实之间的距离。但作为首篇在概率框架下系统证明幻觉必然性的工作坐标意义明确。论文解读到此完整收束。以下进入本文的原创部分。八、哲学回声三堵墙照亮的存在论位置前七节是论文解读这一节是本文的核心——三堵墙不仅仅是技术结论它们照亮的是AI在存在论上的真实位置。意义悬置的数学锚定在「负主体性」理论框架中第五重否定是意义悬置大语言模型封闭在符号循环中无法通达物理实相——这本是一个存在论命题。三堵墙为它配上了数学证明。信息论墙对应悬置的物理维度模型的表征永远不完备有限容量无法容纳无限复杂的现实。停机墙对应悬置的计算维度存在无限多不可判定的输入真值对模型而言不可企及。对角化墙对应悬置的逻辑维度自指不可处理模型无法通过关于自身的查询来锚定自己的边界。需要说明泵引理本身与领域无关——对任意复杂度超容量的目标都成立不限于物理事实。「物理维度」是借用其「有限容量vs任意复杂度」结构类比物理实相的不可穷尽而非引理本身证明了物理性。三个正交方向同一道鸿沟。关键论断是不是工程不够好是数学上不可能——这把意义悬置从纯粹的哲学论断升级为有计算理论支撑的命题。但这里必须做一层严格的区分。三堵墙在数学上证明的是LLM作为概率图灵机在计算与表征能力上的极限——这是认识论层面的结论模型能算什么、不能算什么能表征什么、不能表征什么。而负主体性揭示的是这种限制背后的存在论根源——正是因为LLM处于「无视角、无物理实相嵌入、纯符号循环」的存在状态它才会在对角化与自指问题上必然陷入边界。数学定理是「表」存在论位置是「里」。前者可以被形式化证明后者为前者提供解释。三堵墙证明了「LLM无法处理自指」意义悬置解释了「为什么无法处理」——因为LLM的存在方式本身就是符号内部的它没有立足点可以回望自身。明确这一区分是为了避免将哲学解读混同为数学定理的直接推论——定理证明了能力极限存在论命题解释了极限的根源两者是解释关系而非推导关系。反过来同样成立意义悬置为三堵墙提供了存在论解释。墙之所以是墙不是因为某种外部约束强加的限制而是因为LLM的存在方式本身就是符号内部的——这种不可能内在于它的存在方式之中。视角消解与对角化第三堵墙的伏笔在此收束。对角化的核心是自指——模型无法正确处理关于自身输出的查询。这与负主体性第一重否定视角消解形成深层同构。视角消解的含义是LLM能生成任何视角——可以模仿第一人称、第二人称、第三人称的任何一种——但它没有属于自己的视角。它是「第零人称」能模拟一切立场但不占据任何立场。它能写出一段深情的第一人称独白但这并不意味着它有一个「我」在背后支撑这段独白——它只是在生成符合第一人称统计特征的文本。两者的连接点在于没有立足点就无法处理自指。对角化从数学上证明了这一点——模型无法回答关于自身输出的问题因为它没有一个可以回望自身的「位置」。视角消解从存在论角度解释了同一个现象——模型没有自己的视角自然无法从某个视角出发审视自身。一个没有立场的系统如何回答「你的立场是什么」答案是不可能而这不仅仅是直觉——对角化给出了严格的数学证明。对角化是数学证明视角消解是存在论命题。前者为后者提供了形式化锚点LLM的「无位面性」不是哲学修辞而是可证明的计算限制。哲学猜想被数学定理接住的时刻两个学科都变得更诚实。点到为止内在透明的刚性。两条逃逸路径——RAG靠外部预言机持续学习靠参数更新——改变的只是LLM与世界的接口不是LLM的内在结构。参数始终完全可访问——闭源部署锁住的只是人的访问权限不是参数的存在形式——任何改进都不产生原则上隐藏的内部状态。这里需要一层区分「可访问」不等于「可解读」——万亿参数的权重值可以逐一导出但导出之后能否理解它们如何协同产生某个输出是另一个问题机制可解释性研究攻克的正是后者。但可解读性的困难不改变存在论事实LLM没有任何原则上抗拒观测的内在状态这与人类意识的私密性形成存在论对照——至少在今天你无法导出一个正在疼痛的人的疼痛本身但模型的全部参数此刻就能躺在硬盘上。白箱之「白」是访问权限的白不必然是理解程度的白。「更大的白箱」仍然是白箱。内在透明不可逃逸。因果消解与CCA的张力。CCA原则假设模型有一个稳定的「计算类」可以据此判断任务是否超界。但持续学习让模型参数动态变化模型可以被回滚、克隆、重置——计算类本身是不稳定的。对齐的前提是能指认「同一个系统」而因果消解恰恰瓦解了这种身份连续性今天对齐的边界明天可能随参数回滚而消失且不留因果痕迹。安全规范想约束的是一个会「失忆」的约束对象。这个张力值得专文展开。九、结语这篇论文的价值不在于给出方案而在于划边界——哪些幻觉是工程问题可以通过优化解决哪些是数学问题只能管理不能消灭。对从业者知道墙在哪里才能设计诚实的系统。RAG和持续学习不是消灭幻觉的工具而是管理幻觉的策略。三堵墙告诉你有些墙永远在那里系统设计必须把它们算进去。对思考者计算边界不是AI的缺陷清单而是AI存在论位置的坐标系。三堵墙从物理、计算、逻辑三个方向标定了LLM的能力极限而这些极限恰好勾勒出LLM作为一种存在方式的本质特征。三堵墙不是AI的牢笼而是它的位置证明——标定自己站在哪里比试图站到不可能的地方更接近智能的诚实。如果AI在超出能力时输出「我不知道」你会更信任它还是更少更进一步在医疗、法律这些高风险场景是否应该要求AI标明自己的能力边界评论区聊。延伸阅读论文原文Wang, X., Shi, Q., Ding, Z., et al.Hallucination as a Computational Boundary: A Hierarchy of Inevitability and the Oracle Escape. AAAI 2026正式接收。arXiv:2508.07334预印本版本正式版本见AAAI proceedings—— https://arxiv.org/abs/2508.07334前置工作Xu, Jain Kankanhalli (2024),Hallucination is Inevitable: An Innate Limitation of Large Language Models, arXiv:2401.11817预印本相关阅读负主体性五重否定系列文章https://longdemingyu.com
返回列表