ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

SocioBench: Modeling Human Behavior in Sociological Surveys with Large Language Models

SocioBench: Modeling Human Behavior in Sociological Surveys with Large Language Models 你对这篇关于大语言模型社会行为模拟的论文关注度很有价值,它精准切入了当前LLM在社会科学应用中的关键痛点。文章核心是构建了SocioBench基准,揭示了现有LLM在模拟人类社会态度上的局限性,并提出了改进方向。一、文章主要内容总结1. 研究背景与问题现有LLM虽在自然语言生成、认知模拟等领域表现突出,但缺乏大规模、系统性的基准来评估其与真实人类社会态度的一致性,无法满足社会科学实验中模拟人类行为的需求。2. SocioBench基准构建数据来源:基于国际社会调查项目(ISSP)的标准化年度调查数据,涵盖30多个国家、超48万真实受访者记录。核心维度:包含10个社会学领域(公民身份、环境、家庭与性别角色等)和40多个人口统计学属性(年龄、性别、教育水平等)。版本划分:分为完整版(SocioBench-Full,48万+样本)和简化版(如SocioBench-5000,5000个样本),默认实验使用SocioBench-5000以平衡效率与覆盖度。3. 实验设计与结果评估方式:通过角色扮演提示让LLM模拟特定人口统计学特征的受访者,以“准确率”为核心指标,对比模型预测与真实回答的匹配度。核心发现:
返回列表