大模型智能体

判断计算过程是否正确你请一位朋友帮你解一道复杂的数学题。这位朋友开始一步步推导，但在中间某个环节出错了。如果你只看最终答案并说"错了，重做"，这对朋友的帮助不大。相反，如果你能指出"你在第三步计算除法时算错了"或"你在第四步与问题条件不符"，这样的反馈就能帮助朋友更准确地修正错误。"过程奖励模型"（Process Reward Models，简称PRMs）应运而生，它们能够对解题过程中的每一步进行评分，从而更精细地指导模型生成连贯可靠的解题路径。传统的PRMs会直接给每一步分配一个分数，比如第1步0.85分，第2步0.63分，第3步0.46分，第4步0.35分，但不会明确指出错误的类型。相比之下，PathFinder-PRM会先进行错误分类： - 第1步：数学√，一致性√ → 奖励分数0.95 - 第2步：数学√，一致性√ → 奖励分数0.37（尽管没有错误，但步骤冗余） - 第3步：数学×，一致性√ → 奖励分数0 - 第4步：数学√，一致性× → 奖励分数0为了训练PathFinder-PRM，研究团队构建了一个包含约40万个数学推理轨迹样本的新数据集，每个样本都有三维度的步级标签：(1)数学推理准确性，(2)与先前步骤和数学领域的一致性，以及(3)步骤正确性。这个数据集的构建利用了两个现有数据集： 1. PRM800K：包含人类专家标注的步级正确性标签 2. RLHFlow Mistral数据：通过蒙特卡洛估计生成的步级标签对话、问答混合类智能体最终方