Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models

一、文章主要内容总结该研究针对医疗等数据敏感领域中高质量领域数据集稀缺、大语言模型（LLMs）难以适配的问题，提出了Evontree框架——一种基于本体规则引导的LLM自进化方法，无需依赖大规模外部数据，仅通过少量高质量本体规则实现模型领域知识的提取、验证与增强。核心流程分为三步：本体知识提取：通过预定义提示词从原始模型中逐层提取领域概念的子类和同义关系，构建本体树；设计ConfirmValue指标（基于困惑度）量化模型对提取三元组的置信度，降低一次性生成的幻觉风险。规则驱动的本体检验：利用两条核心本体规则（R1：同义关系传递性；R2：子类关系传递性），从模型确认的知识中筛选可靠三元组， extrapolate新的本体知识；筛选模型置信度低于阈值的“知识缺口三元组”（T_gap）。缺口知识注入：通过显式注入（构建推理链生成QA对）、隐式注入（结合本体链与概念导向提示词生成多样化语料）或混合注入三种方式，将可靠的缺口知识通过自蒸馏微调重新注入模型。实验验证：在MedQA、MedMCQA、PubMedQA三个医疗QA基准数据集上，Llama3-8B-Instruct和Med42-v2模型经Evontree优化后，准确率分别提升3.1%和3.7%，且优于依赖大规模监督数据的基线模型（如TaxoLLaMA、OntoTune）；同时模型的通用能力（MMLU、ARC等）和安全性未出现显著下降，验证了方法的有效性、鲁棒性和