OmniEduBench: A Comprehensive Chinese Benchmark for Evaluating Large Language Models in Education

一、文章主要内容总结该研究针对现有中文教育领域大语言模型（LLM）基准数据集的不足，提出了OmniEduBench——一个全面的中文教育基准数据集，旨在从知识和育人两个核心维度评估LLMs在教育场景中的综合能力。数据集规模与结构：包含24.602K高质量问答对，分为知识维度（18.121K条）和育人维度（6.481K条）。知识维度涵盖41个学科（从基础教育到高等教育及职业考试），含6个细分类别；育人维度涵盖20个教学相关主题，含6个细分类别（如品格与价值观、思维与认知能力等）。支持11种常见考试题型（单选题、多选题、填空题、简答题、案例分析题等），并衍生出高难度子集OmniEduBench HARD（聚焦高等数学、竞赛题等复杂任务）。数据集构建流程：通过“数据收集（公开数据、私有数据、LLM生成数据）→ 数据清洗 → 双模型过滤（QWQ32B、Qwen3-235B）→ 专家验证”四阶段构建，确保数据质量与挑战性，专家评估显示整体质量、答案准确性等指标平均分达4.6以上（满分5分）。实验结果：在11个主流LLM（3个闭源模型如GPT-4o、Gemini-2.5 Pro；8个开源模型如Qwen3、DeepSeek-V3.1）上进行了零样本、少样本实验。知识维度：仅Gemini-2.5 P