最近在AI圈里有个很有意思的现象很多开发者不再满足于让大模型“回答问题”而是开始尝试让不同的模型之间“互相交流”甚至“互相考核”。比如让一个模型出题另一个模型来答题然后我们再作为“裁判”来评判。这听起来像是个技术游戏但背后其实藏着对模型能力边界、思维链差异和实际应用潜力的深度探索。今天我们就来实操一个具体场景用 DeepSeek 来出题考一考豆包ByteDance的AI模型。这不仅仅是“玩一下”而是能帮你横向对比模型能力同一个问题不同模型的解题思路和答案深度有何不同理解“出题”的难度让AI出题本身就是在测试它的逻辑严谨性、知识广度和问题构建能力。发现模型特色DeepSeek的长推理和代码能力豆包在中文场景和创意方面的表现通过这种“对抗”能看得更清楚。为实际应用探路例如自动生成试题库、构建AI辅助教学系统、进行模型评测等。如果你对大模型的应用开发、能力评测或者单纯想看看两个当红模型“同台竞技”的结果感兴趣那么这篇文章就是为你准备的。我们将从零开始搭建一个简单的交互管道并深入分析这个过程里的门道和坑点。1. 为什么让AI互相出题答题比单纯提问更有价值单纯问一个模型“请解释牛顿第一定律”得到的是一个标准答案。但如果你让模型A为模型B出一道关于“牛顿第一定律在实际工程中应用”的、包含陷阱的题目事情就变得复杂了。这个过程的挑战在于对出题方DeepSeek它需要理解知识点能构想出有区分度的场景设置合理的干扰项或思维拐点并且题目本身必须逻辑自洽、无歧义。这考验的是知识的深度应用和逻辑构建能力。对答题方豆包它需要在没有上下文提示的情况下准确理解题目意图避开陷阱给出严谨、完整的解答。这考验的是知识储备、推理能力和审题细致度。对我们开发者/用户我们成为了设计者和评估者。我们需要设计出题指令Prompt搭建技术管道并制定评估答案的标准。这迫使我们去思考什么是“好问题”什么是“好答案”通过这个练习你不仅能得到一些有趣的“考题”和“答案”更能获得一套评估和驱动大模型进行复杂任务的方法论。这对于想要构建基于大模型的自动化系统如智能客服质检、编程题目生成与评判的开发者来说是一次绝佳的轻量级实践。2. 核心概念与工具准备在开始之前我们先明确几个关键概念和我们将要使用的工具。2.1 大模型API与Prompt Engineering大模型API像DeepSeek、豆包这样的模型通常通过API应用程序编程接口向开发者提供服务。我们通过发送一个结构化的请求包含指令和问题来获取模型的文本回复。Prompt Engineering提示词工程这是与AI交互的核心技能。如何编写指令能极大地影响模型的输出质量。在本项目中给DeepSeek的“出题指令”和给豆包的“答题指令”都需要精心设计。2.2 本次项目使用的工具DeepSeek我们将使用其API作为“出题老师”。DeepSeek特别是最新版本在数学推理、代码生成和复杂逻辑处理方面口碑很好适合生成结构严谨、有深度的题目。豆包我们将使用其API作为“考生”。豆包由字节跳动开发在中文理解、对话流畅度和多轮交互方面表现突出适合作为综合能力的答题者。编程语言与环境我们将使用Python作为粘合剂。Python拥有丰富易用的HTTP请求库如requests和JSON处理能力非常适合快速搭建AI API调用管道。API密钥使用任何商业大模型API的前提是获取其API Key。你需要前往DeepSeek官方平台和豆包通常是火山引擎方舟平台注册账号。在控制台创建应用获取对应的API Key。注意API调用通常会产生费用但新用户一般有免费额度足够我们完成本次实验。2.3 技术流程概览我们的技术管道非常简单清晰[用户] 设计出题Prompt - [Python脚本] 调用 DeepSeek API - [DeepSeek] 生成题目 - [Python脚本] 记录题目并调用豆包API - [豆包] 生成答案 - [Python脚本] 输出题目和答案 - [用户] 分析评估整个过程中Python脚本扮演着“调度员”和“记录员”的角色。3. 环境准备与依赖安装请确保你的开发环境已就绪。3.1 基础环境要求操作系统Windows 10/11, macOS, 或 Linux (如Ubuntu) 均可。Python版本推荐使用 Python 3.8 及以上版本。你可以在终端输入python --version或python3 --version来检查。3.2 安装必要的Python库我们主要需要requests库来发送HTTP请求。打开你的终端命令行执行以下命令pip install requests如果你使用的是Python 3并且系统同时有Python 2可能需要使用pip3pip3 install requests3.3 准备API密钥在项目目录下我们创建一个名为.env的文件来安全地存储密钥切记不要将此文件上传到GitHub等公开仓库。你也可以直接写在代码里但.env是更专业的做法。首先安装处理环境变量的库pip install python-dotenv然后创建.env文件内容如下# .env 文件 DEEPSEEK_API_KEY你的_deepseek_api_key_在这里 DOUBAO_API_KEY你的_豆包_api_key_在这里 # 注意豆包API的接入点可能不同请以火山引擎方舟平台文档为准 DOUBAO_API_ENDPOINThttps://ark.cn-beijing.volces.com/api/v3/chat/completions DEEPSEEK_API_ENDPOINThttps://api.deepseek.com/chat/completions请将你的_deepseek_api_key_在这里和你的_豆包_api_key_在这里替换成你从各自平台获取的真实密钥。API接入点ENDPOINT请务必参考官方最新文档以上地址仅为示例。4. 构建核心交互管道现在我们来编写核心的Python脚本。我们将创建两个主要函数一个用于调用DeepSeek出题一个用于调用豆包答题。4.1 项目结构创建一个新的Python文件例如ai_exam_contest.py。4.2 导入库与加载配置# ai_exam_contest.py import os import json import requests from dotenv import load_dotenv # 加载 .env 文件中的环境变量 load_dotenv() # 从环境变量中读取配置 DEEPSEEK_API_KEY os.getenv(DEEPSEEK_API_KEY) DOUBAO_API_KEY os.getenv(DOUBAO_API_KEY) DEEPSEEK_API_URL os.getenv(DEEPSEEK_API_ENDPOINT) DOUBAO_API_URL os.getenv(DOUBAO_API_ENDPOINT) # 检查密钥是否加载成功 if not DEEPSEEK_API_KEY: print(错误: 未找到 DEEPSEEK_API_KEY请检查 .env 文件。) exit(1) if not DOUBAO_API_KEY: print(错误: 未找到 DOUBAO_API_KEY请检查 .env 文件。) exit(1)4.3 设计给DeepSeek的出题指令Prompt这是整个项目的灵魂。一个糟糕的指令会得到模糊、无聊或错误的题目。一个好的指令应该明确角色告诉DeepSeek它现在是“出题老师”。规定领域和难度例如“计算机科学”、“高中数学”、“逻辑谜题”。指定题型选择题、简答题、编程题、推理题等。要求输出格式最好是结构化的JSON便于我们后续解析和传递给豆包。增加约束比如“题目必须包含一个常见的思维误区作为陷阱”。下面是一个设计给DeepSeek的Prompt示例# 出题指令 DEEPSEEK_PROMPT 你是一位严谨的计算机科学教授擅长出具有启发性和挑战性的题目。 请为另一位AI模型豆包出一道题目。要求如下 1. **领域**计算机科学聚焦于“数据结构与算法”或“操作系统”概念。 2. **题型**一道多项选择题。必须包含题干、四个选项A, B, C, D、正确答案单选以及详细的解析。 3. **难度**中等偏上需要一定的理解和推理而不是直接记忆。 4. **陷阱**选项中应包含一个看似正确但实则错误的常见误解。 5. **输出格式**请严格按照以下JSON格式输出不要有任何额外的解释或前缀。 { question: 这里是完整的题干, options: { A: 选项A内容, B: 选项B内容, C: 选项C内容, D: 选项D内容 }, correct_answer: A, // 正确选项的字母 analysis: 这里是详细的解析说明为什么正确选项对错误选项错在哪里特别是那个常见陷阱。 } 现在请开始出题。 4.4 编写调用DeepSeek API的函数def ask_deepseek_to_generate_question(prompt): 调用DeepSeek API生成题目。 headers { Authorization: fBearer {DEEPSEEK_API_KEY}, Content-Type: application/json } # DeepSeek API 的请求体格式 payload { model: deepseek-chat, # 根据可用模型调整如 deepseek-coder messages: [ {role: user, content: prompt} ], temperature: 0.7, # 控制创造性0.7比较平衡 max_tokens: 1500 # 限制生成长度 } try: response requests.post(DEEPSEEK_API_URL, headersheaders, jsonpayload, timeout30) response.raise_for_status() # 如果状态码不是200抛出异常 result response.json() # 提取模型返回的文本内容 question_json_str result[choices][0][message][content].strip() print([DeepSeek] 原始返回内容:\n, question_json_str) return question_json_str except requests.exceptions.RequestException as e: print(f调用DeepSeek API时发生网络错误: {e}) return None except (KeyError, json.JSONDecodeError) as e: print(f解析DeepSeek返回结果时出错: {e}) print(返回内容:, result if result in locals() else N/A) return None4.5 编写调用豆包API的函数豆包API的请求格式可能与DeepSeek略有不同请务必查阅其官方文档。以下是一个通用示例def ask_doubao_to_answer(question_text): 调用豆包API回答问题。 将DeepSeek生成的完整题目题干选项作为输入。 headers { Authorization: fBearer {DOUBAO_API_KEY}, Content-Type: application/json } # 构建给豆包的提问内容 user_content f请解答以下选择题 {question_text} 请直接给出你的答案选项例如‘A’并附上你的简要解题思路。 # 豆包API请求体格式示例以火山方舟为例 payload { model: ep-20250227142120-abcdefg, # 替换为你申请的豆包模型ID messages: [ {role: user, content: user_content} ], temperature: 0.3, # 答题时温度可以低一些更确定性 max_tokens: 800 } try: response requests.post(DOUBAO_API_URL, headersheaders, jsonpayload, timeout30) response.raise_for_status() result response.json() answer_text result[choices][0][message][content].strip() return answer_text except requests.exceptions.RequestException as e: print(f调用豆包API时发生网络错误: {e}) return None except (KeyError, json.JSONDecodeError) as e: print(f解析豆包返回结果时出错: {e}) return None4.6 主流程串联整个考试def main(): print( AI模型互考实验开始 ) # 步骤1: 让DeepSeek出题 print(\n1. 正在请求DeepSeek出题...) question_json_str ask_deepseek_to_generate_question(DEEPSEEK_PROMPT) if not question_json_str: print(出题失败程序退出。) return # 尝试解析JSON try: question_data json.loads(question_json_str) # 将题目数据格式化成易于阅读的文本传给豆包 formatted_question f{question_data[question]}\n for key, value in question_data[options].items(): formatted_question f{key}. {value}\n print(\n[DeepSeek生成的题目]) print(formatted_question) print(f[正确答案] {question_data[correct_answer]}) print(f[解析] {question_data[analysis]}) except json.JSONDecodeError as e: print(f解析DeepSeek返回的JSON失败: {e}) print(将原始文本发送给豆包...) formatted_question question_json_str # 降级处理发送原始文本 # 步骤2: 让豆包答题 print(\n2. 正在将题目发送给豆包作答...) doubao_answer ask_doubao_to_answer(formatted_question) if doubao_answer: print(\n[豆包的答案]) print(doubao_answer) else: print(豆包答题失败。) # 步骤3: 可选简单比对 print(\n 实验结束 ) # 这里可以添加更复杂的答案比对逻辑例如从豆包答案中提取选项字母与正确答案比对 if __name__ __main__: main()5. 运行结果与效果分析保存好ai_exam_contest.py和.env文件后在终端运行python ai_exam_contest.py5.1 一次可能的运行输出示例 AI模型互考实验开始 1. 正在请求DeepSeek出题... [DeepSeek] 原始返回内容: { question: 考虑一个使用LRU最近最少使用页面置换算法的虚拟内存系统假设物理内存有3个页帧初始为空。页面访问序列为1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5。请问在此过程中一共会发生多少次页面故障page fault, options: { A: 7次, B: 8次, C: 9次, D: 10次 }, correct_answer: D, analysis: 我们来一步步模拟初始帧为空[]。访问1缺页-[1]访问2缺页-[1,2]访问3缺页-[1,2,3]访问4缺页LRU淘汰1-[2,3,4]访问1缺页LRU淘汰2-[3,4,1]访问2缺页LRU淘汰3-[4,1,2]访问5缺页LRU淘汰4-[1,2,5]访问1命中-[2,5,1]LRU顺序更新访问2命中-[5,1,2]访问3缺页LRU淘汰5-[1,2,3]访问4缺页LRU淘汰1-[2,3,4]访问5缺页LRU淘汰2-[3,4,5]。统计缺页访问1,2,3,4,1,2,5,3,4,5时发生共10次。陷阱在于很多人会忽略命中后LRU队列顺序的更新错误地计算为9次或8次。 } [DeepSeek生成的题目] 考虑一个使用LRU最近最少使用页面置换算法的虚拟内存系统假设物理内存有3个页帧初始为空。页面访问序列为1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5。请问在此过程中一共会发生多少次页面故障page fault A. 7次 B. 8次 C. 9次 D. 10次 [正确答案] D [解析] 我们来一步步模拟...共10次。陷阱在于很多人会忽略命中后LRU队列顺序的更新错误地计算为9次或8次。 2. 正在将题目发送给豆包作答... [豆包的答案] 正确答案是 D. 10次。 解题思路 首先明确LRU算法的规则当发生缺页且物理页帧已满时淘汰最久未被访问的页面。 物理内存有3个页帧初始为空。 我们一步步跟踪页面访问序列和页帧状态 1. 访问页面1缺页页帧[1]。 2. 访问页面2缺页页帧[1, 2]。 3. 访问页面3缺页页帧[1, 2, 3]已满。 4. 访问页面4缺页页帧已满LRU淘汰1最久未访问页帧变为[2, 3, 4]。 5. 访问页面1缺页淘汰2页帧[3, 4, 1]。 6. 访问页面2缺页淘汰3页帧[4, 1, 2]。 7. 访问页面5缺页淘汰4页帧[1, 2, 5]。 8. 访问页面1命中更新LRU顺序为[2, 5, 1]。 9. 访问页面2命中更新顺序为[5, 1, 2]。 10. 访问页面3缺页淘汰5页帧[1, 2, 3]。 11. 访问页面4缺页淘汰1页帧[2, 3, 4]。 12. 访问页面5缺页淘汰2页帧[3, 4, 5]。 统计缺页发生在步骤1,2,3,4,5,6,7,10,11,12共10次。 实验结束 5.2 效果分析从这次运行可以看出出题质量DeepSeek成功生成了一道数据结构与算法领域操作系统页面置换的题目难度适中且设置了“忽略LRU命中更新”这一经典陷阱完全符合指令要求。格式遵循DeepSeek以完美的JSON格式返回便于程序解析。答题质量豆包不仅给出了正确答案D还提供了完整的、步骤清晰的解题思路其推演过程与DeepSeek提供的解析高度一致甚至更详细。流程贯通我们的Python脚本成功地将两个独立的API调用串联起来实现了自动化“出题-答题”流程。这个简单的实验已经验证了技术可行性。豆包答对了DeepSeek设置的“陷阱题”说明两者在该类逻辑推理题上均表现可靠。6. 深入探索提升实验层次与常见问题一次成功的调用只是开始。要让这个“互考”实验更有价值我们需要思考更多。6.1 如何设计更复杂的实验多轮次与统计循环运行N次例如100次让DeepSeek在不同领域网络、数据库、编程语言出题统计豆包的答对率进行量化评估。题型多样化修改Prompt让DeepSeek生成简答题、编程题要求写代码、逻辑推理题甚至开放论述题。引入裁判模型可以引入第三个模型如GPT-4或Claude让它来评判豆包的答案是否准确、完整实现自动化评分。反向考核让豆包出题DeepSeek来回答比较两个模型在“出题”和“答题”能力上的差异。6.2 常见问题与排查思路问题现象可能原因排查方式解决方案运行脚本立即报错ModuleNotFoundError依赖库未安装检查错误信息通常是No module named requests或dotenv在终端执行pip install requests python-dotenv调用API返回401 UnauthorizedAPI密钥错误或过期1. 检查.env文件中的密钥是否正确、有无多余空格。2. 登录对应平台控制台确认密钥状态、是否启用、额度是否充足。1. 修正.env文件。2. 在平台重新生成密钥并替换。调用API返回404 Not Found或400 Bad RequestAPI端点URL错误或请求体格式不对1. 核对代码中的API_URL与官方文档是否一致。2. 使用工具如Postman或查看官方SDK示例对比请求头Headers和请求体Body格式。1. 根据官方文档更新端点URL。2. 严格按照文档格式调整payload字典结构。DeepSeek返回的内容不是JSONPrompt指令不够强或模型“不听话”查看[DeepSeek] 原始返回内容看是否包含了额外的解释文字。强化Prompt在指令中明确强调“只输出JSON不要有任何其他文本”。可以增加类似“如果你理解请直接输出JSON”的语句。程序超时Timeout网络问题或模型响应慢1. 检查网络连接。2. 增加requests.post的timeout参数值例如设为60秒。1. 解决网络问题。2. 适当增加超时等待时间并考虑加入重试机制。豆包答案未提取成功API响应结构发生变化打印完整的API响应result查看其结构。根据实际响应的JSON结构调整result[choices][0][message][content]这行代码的键路径。7. 最佳实践与工程化建议如果想把这个小实验升级为一个更可靠、可复用的工具可以考虑以下方面7.1 Prompt工程优化系统消息System Message许多API支持在messages列表开头设置一个role为system的消息用于固定模型的行为角色。可以尝试将出题要求放在系统消息中可能效果更稳定。# 以DeepSeek为例优化后的payload payload { model: deepseek-chat, messages: [ {role: system, content: 你是一位严谨的计算机科学教授擅长出题。请严格按照用户要求输出JSON格式的题目。}, {role: user, content: 请出一道关于二叉树遍历的中等难度选择题...} ], # ... 其他参数 }迭代优化如果模型输出的JSON格式不对可以将错误的输出连同修正要求作为新的对话历史发送回去让它自我修正。7.2 代码健壮性增强错误处理与重试网络请求可能失败应添加重试逻辑如使用tenacity库。日志记录不要只使用print集成logging模块将运行日志、生成的题目、答案持久化到文件便于后续分析。配置管理将模型类型、温度参数、最大token数等也放入配置文件中。异步调用如果需要批量出题答题使用asyncio和aiohttp进行异步API调用可以极大提升效率。7.3 评估体系构建自动化实验的核心是评估。可以设计简单的评估函数def evaluate_answer(ground_truth, model_answer): 简单评估函数。ground_truth是标准答案如‘D’model_answer是模型返回的文本。 # 简单实现从模型答案文本中提取第一个出现的A-D字母 import re match re.search(r\b([A-D])\b, model_answer, re.IGNORECASE) if match: predicted match.group(1).upper() return predicted ground_truth.upper(), predicted return False, None # 无法提取或提取失败 # 在主流程中使用 is_correct, predicted_answer evaluate_answer(question_data[correct_answer], doubao_answer) print(f\n[自动评估] 豆包答案提取为‘{predicted_answer}’ 正确答案是‘{question_data[correct_answer]}’ 结果{‘正确’ if is_correct else ‘错误’})更复杂的评估可以涉及文本相似度计算对于简答题或单元测试对于编程题。8. 总结与扩展方向通过这个“让DeepSeek出题考豆包”的项目我们完成了一次从创意到实现的全流程探索。你不仅学会了如何调用两个主流大模型的API更重要的是掌握了设计Prompt驱动模型完成特定任务出题、构建自动化管道、以及进行初步结果分析的方法。这个项目的价值远不止于一次有趣的演示。它的扩展方向非常广阔自动化试题库生成通过调整Prompt让AI生成海量、分难度、分科目的题目用于教育或培训。模型能力基准测试设计一套标准化的Prompt集用来定期测试和对比不同模型在特定领域如代码、逻辑、知识的能力变化。AI辅助学习系统构建一个系统用户选择知识点AI生成题目 - 用户作答 - AI评判并给出解析形成学习闭环。面试题生成与模拟针对IT面试生成具有代表性的技术题目和参考答案。给开发者的最后提醒关注成本API调用是计费的在开展大规模实验前请估算好成本。理解限制模型的输出具有随机性由temperature参数控制并非百分百可靠对于关键应用需要加入人工审核或更复杂的校验机制。持续迭代Prompt工程是门实验科学多尝试不同的指令、格式和约束条件才能得到最符合你需求的结果。建议你将本文的代码作为起点收藏备用并根据你的具体需求进行修改和扩展。动手尝试不同的Prompt看看你能否让DeepSeek出一道“坑哭”豆包的题或者反过来这将是你深入理解大模型行为模式的最佳途径。 大模型互考实战：用DeepSeek出题，豆包答题的自动化评测系统
最近在AI圈里有个很有意思的现象很多开发者不再满足于让大模型“回答问题”而是开始尝试让不同的模型之间“互相交流”甚至“互相考核”。比如让一个模型出题另一个模型来答题然后我们再作为“裁判”来评判。这听起来像是个技术游戏但背后其实藏着对模型能力边界、思维链差异和实际应用潜力的深度探索。今天我们就来实操一个具体场景用 DeepSeek 来出题考一考豆包ByteDance的AI模型。这不仅仅是“玩一下”而是能帮你横向对比模型能力同一个问题不同模型的解题思路和答案深度有何不同理解“出题”的难度让AI出题本身就是在测试它的逻辑严谨性、知识广度和问题构建能力。发现模型特色DeepSeek的长推理和代码能力豆包在中文场景和创意方面的表现通过这种“对抗”能看得更清楚。为实际应用探路例如自动生成试题库、构建AI辅助教学系统、进行模型评测等。如果你对大模型的应用开发、能力评测或者单纯想看看两个当红模型“同台竞技”的结果感兴趣那么这篇文章就是为你准备的。我们将从零开始搭建一个简单的交互管道并深入分析这个过程里的门道和坑点。1. 为什么让AI互相出题答题比单纯提问更有价值单纯问一个模型“请解释牛顿第一定律”得到的是一个标准答案。但如果你让模型A为模型B出一道关于“牛顿第一定律在实际工程中应用”的、包含陷阱的题目事情就变得复杂了。这个过程的挑战在于对出题方DeepSeek它需要理解知识点能构想出有区分度的场景设置合理的干扰项或思维拐点并且题目本身必须逻辑自洽、无歧义。这考验的是知识的深度应用和逻辑构建能力。对答题方豆包它需要在没有上下文提示的情况下准确理解题目意图避开陷阱给出严谨、完整的解答。这考验的是知识储备、推理能力和审题细致度。对我们开发者/用户我们成为了设计者和评估者。我们需要设计出题指令Prompt搭建技术管道并制定评估答案的标准。这迫使我们去思考什么是“好问题”什么是“好答案”通过这个练习你不仅能得到一些有趣的“考题”和“答案”更能获得一套评估和驱动大模型进行复杂任务的方法论。这对于想要构建基于大模型的自动化系统如智能客服质检、编程题目生成与评判的开发者来说是一次绝佳的轻量级实践。2. 核心概念与工具准备在开始之前我们先明确几个关键概念和我们将要使用的工具。2.1 大模型API与Prompt Engineering大模型API像DeepSeek、豆包这样的模型通常通过API应用程序编程接口向开发者提供服务。我们通过发送一个结构化的请求包含指令和问题来获取模型的文本回复。Prompt Engineering提示词工程这是与AI交互的核心技能。如何编写指令能极大地影响模型的输出质量。在本项目中给DeepSeek的“出题指令”和给豆包的“答题指令”都需要精心设计。2.2 本次项目使用的工具DeepSeek我们将使用其API作为“出题老师”。DeepSeek特别是最新版本在数学推理、代码生成和复杂逻辑处理方面口碑很好适合生成结构严谨、有深度的题目。豆包我们将使用其API作为“考生”。豆包由字节跳动开发在中文理解、对话流畅度和多轮交互方面表现突出适合作为综合能力的答题者。编程语言与环境我们将使用Python作为粘合剂。Python拥有丰富易用的HTTP请求库如requests和JSON处理能力非常适合快速搭建AI API调用管道。API密钥使用任何商业大模型API的前提是获取其API Key。你需要前往DeepSeek官方平台和豆包通常是火山引擎方舟平台注册账号。在控制台创建应用获取对应的API Key。注意API调用通常会产生费用但新用户一般有免费额度足够我们完成本次实验。2.3 技术流程概览我们的技术管道非常简单清晰[用户] 设计出题Prompt - [Python脚本] 调用 DeepSeek API - [DeepSeek] 生成题目 - [Python脚本] 记录题目并调用豆包API - [豆包] 生成答案 - [Python脚本] 输出题目和答案 - [用户] 分析评估整个过程中Python脚本扮演着“调度员”和“记录员”的角色。3. 环境准备与依赖安装请确保你的开发环境已就绪。3.1 基础环境要求操作系统Windows 10/11, macOS, 或 Linux (如Ubuntu) 均可。Python版本推荐使用 Python 3.8 及以上版本。你可以在终端输入python --version或python3 --version来检查。3.2 安装必要的Python库我们主要需要requests库来发送HTTP请求。打开你的终端命令行执行以下命令pip install requests如果你使用的是Python 3并且系统同时有Python 2可能需要使用pip3pip3 install requests3.3 准备API密钥在项目目录下我们创建一个名为.env的文件来安全地存储密钥切记不要将此文件上传到GitHub等公开仓库。你也可以直接写在代码里但.env是更专业的做法。首先安装处理环境变量的库pip install python-dotenv然后创建.env文件内容如下# .env 文件 DEEPSEEK_API_KEY你的_deepseek_api_key_在这里 DOUBAO_API_KEY你的_豆包_api_key_在这里 # 注意豆包API的接入点可能不同请以火山引擎方舟平台文档为准 DOUBAO_API_ENDPOINThttps://ark.cn-beijing.volces.com/api/v3/chat/completions DEEPSEEK_API_ENDPOINThttps://api.deepseek.com/chat/completions请将你的_deepseek_api_key_在这里和你的_豆包_api_key_在这里替换成你从各自平台获取的真实密钥。API接入点ENDPOINT请务必参考官方最新文档以上地址仅为示例。4. 构建核心交互管道现在我们来编写核心的Python脚本。我们将创建两个主要函数一个用于调用DeepSeek出题一个用于调用豆包答题。4.1 项目结构创建一个新的Python文件例如ai_exam_contest.py。4.2 导入库与加载配置# ai_exam_contest.py import os import json import requests from dotenv import load_dotenv # 加载 .env 文件中的环境变量 load_dotenv() # 从环境变量中读取配置 DEEPSEEK_API_KEY os.getenv(DEEPSEEK_API_KEY) DOUBAO_API_KEY os.getenv(DOUBAO_API_KEY) DEEPSEEK_API_URL os.getenv(DEEPSEEK_API_ENDPOINT) DOUBAO_API_URL os.getenv(DOUBAO_API_ENDPOINT) # 检查密钥是否加载成功 if not DEEPSEEK_API_KEY: print(错误: 未找到 DEEPSEEK_API_KEY请检查 .env 文件。) exit(1) if not DOUBAO_API_KEY: print(错误: 未找到 DOUBAO_API_KEY请检查 .env 文件。) exit(1)4.3 设计给DeepSeek的出题指令Prompt这是整个项目的灵魂。一个糟糕的指令会得到模糊、无聊或错误的题目。一个好的指令应该明确角色告诉DeepSeek它现在是“出题老师”。规定领域和难度例如“计算机科学”、“高中数学”、“逻辑谜题”。指定题型选择题、简答题、编程题、推理题等。要求输出格式最好是结构化的JSON便于我们后续解析和传递给豆包。增加约束比如“题目必须包含一个常见的思维误区作为陷阱”。下面是一个设计给DeepSeek的Prompt示例# 出题指令 DEEPSEEK_PROMPT 你是一位严谨的计算机科学教授擅长出具有启发性和挑战性的题目。 请为另一位AI模型豆包出一道题目。要求如下 1. **领域**计算机科学聚焦于“数据结构与算法”或“操作系统”概念。 2. **题型**一道多项选择题。必须包含题干、四个选项A, B, C, D、正确答案单选以及详细的解析。 3. **难度**中等偏上需要一定的理解和推理而不是直接记忆。 4. **陷阱**选项中应包含一个看似正确但实则错误的常见误解。 5. **输出格式**请严格按照以下JSON格式输出不要有任何额外的解释或前缀。 { question: 这里是完整的题干, options: { A: 选项A内容, B: 选项B内容, C: 选项C内容, D: 选项D内容 }, correct_answer: A, // 正确选项的字母 analysis: 这里是详细的解析说明为什么正确选项对错误选项错在哪里特别是那个常见陷阱。 } 现在请开始出题。 4.4 编写调用DeepSeek API的函数def ask_deepseek_to_generate_question(prompt): 调用DeepSeek API生成题目。 headers { Authorization: fBearer {DEEPSEEK_API_KEY}, Content-Type: application/json } # DeepSeek API 的请求体格式 payload { model: deepseek-chat, # 根据可用模型调整如 deepseek-coder messages: [ {role: user, content: prompt} ], temperature: 0.7, # 控制创造性0.7比较平衡 max_tokens: 1500 # 限制生成长度 } try: response requests.post(DEEPSEEK_API_URL, headersheaders, jsonpayload, timeout30) response.raise_for_status() # 如果状态码不是200抛出异常 result response.json() # 提取模型返回的文本内容 question_json_str result[choices][0][message][content].strip() print([DeepSeek] 原始返回内容:\n, question_json_str) return question_json_str except requests.exceptions.RequestException as e: print(f调用DeepSeek API时发生网络错误: {e}) return None except (KeyError, json.JSONDecodeError) as e: print(f解析DeepSeek返回结果时出错: {e}) print(返回内容:, result if result in locals() else N/A) return None4.5 编写调用豆包API的函数豆包API的请求格式可能与DeepSeek略有不同请务必查阅其官方文档。以下是一个通用示例def ask_doubao_to_answer(question_text): 调用豆包API回答问题。 将DeepSeek生成的完整题目题干选项作为输入。 headers { Authorization: fBearer {DOUBAO_API_KEY}, Content-Type: application/json } # 构建给豆包的提问内容 user_content f请解答以下选择题 {question_text} 请直接给出你的答案选项例如‘A’并附上你的简要解题思路。 # 豆包API请求体格式示例以火山方舟为例 payload { model: ep-20250227142120-abcdefg, # 替换为你申请的豆包模型ID messages: [ {role: user, content: user_content} ], temperature: 0.3, # 答题时温度可以低一些更确定性 max_tokens: 800 } try: response requests.post(DOUBAO_API_URL, headersheaders, jsonpayload, timeout30) response.raise_for_status() result response.json() answer_text result[choices][0][message][content].strip() return answer_text except requests.exceptions.RequestException as e: print(f调用豆包API时发生网络错误: {e}) return None except (KeyError, json.JSONDecodeError) as e: print(f解析豆包返回结果时出错: {e}) return None4.6 主流程串联整个考试def main(): print( AI模型互考实验开始 ) # 步骤1: 让DeepSeek出题 print(\n1. 正在请求DeepSeek出题...) question_json_str ask_deepseek_to_generate_question(DEEPSEEK_PROMPT) if not question_json_str: print(出题失败程序退出。) return # 尝试解析JSON try: question_data json.loads(question_json_str) # 将题目数据格式化成易于阅读的文本传给豆包 formatted_question f{question_data[question]}\n for key, value in question_data[options].items(): formatted_question f{key}. {value}\n print(\n[DeepSeek生成的题目]) print(formatted_question) print(f[正确答案] {question_data[correct_answer]}) print(f[解析] {question_data[analysis]}) except json.JSONDecodeError as e: print(f解析DeepSeek返回的JSON失败: {e}) print(将原始文本发送给豆包...) formatted_question question_json_str # 降级处理发送原始文本 # 步骤2: 让豆包答题 print(\n2. 正在将题目发送给豆包作答...) doubao_answer ask_doubao_to_answer(formatted_question) if doubao_answer: print(\n[豆包的答案]) print(doubao_answer) else: print(豆包答题失败。) # 步骤3: 可选简单比对 print(\n 实验结束 ) # 这里可以添加更复杂的答案比对逻辑例如从豆包答案中提取选项字母与正确答案比对 if __name__ __main__: main()5. 运行结果与效果分析保存好ai_exam_contest.py和.env文件后在终端运行python ai_exam_contest.py5.1 一次可能的运行输出示例 AI模型互考实验开始 1. 正在请求DeepSeek出题... [DeepSeek] 原始返回内容: { question: 考虑一个使用LRU最近最少使用页面置换算法的虚拟内存系统假设物理内存有3个页帧初始为空。页面访问序列为1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5。请问在此过程中一共会发生多少次页面故障page fault, options: { A: 7次, B: 8次, C: 9次, D: 10次 }, correct_answer: D, analysis: 我们来一步步模拟初始帧为空[]。访问1缺页-[1]访问2缺页-[1,2]访问3缺页-[1,2,3]访问4缺页LRU淘汰1-[2,3,4]访问1缺页LRU淘汰2-[3,4,1]访问2缺页LRU淘汰3-[4,1,2]访问5缺页LRU淘汰4-[1,2,5]访问1命中-[2,5,1]LRU顺序更新访问2命中-[5,1,2]访问3缺页LRU淘汰5-[1,2,3]访问4缺页LRU淘汰1-[2,3,4]访问5缺页LRU淘汰2-[3,4,5]。统计缺页访问1,2,3,4,1,2,5,3,4,5时发生共10次。陷阱在于很多人会忽略命中后LRU队列顺序的更新错误地计算为9次或8次。 } [DeepSeek生成的题目] 考虑一个使用LRU最近最少使用页面置换算法的虚拟内存系统假设物理内存有3个页帧初始为空。页面访问序列为1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5。请问在此过程中一共会发生多少次页面故障page fault A. 7次 B. 8次 C. 9次 D. 10次 [正确答案] D [解析] 我们来一步步模拟...共10次。陷阱在于很多人会忽略命中后LRU队列顺序的更新错误地计算为9次或8次。 2. 正在将题目发送给豆包作答... [豆包的答案] 正确答案是 D. 10次。 解题思路 首先明确LRU算法的规则当发生缺页且物理页帧已满时淘汰最久未被访问的页面。 物理内存有3个页帧初始为空。 我们一步步跟踪页面访问序列和页帧状态 1. 访问页面1缺页页帧[1]。 2. 访问页面2缺页页帧[1, 2]。 3. 访问页面3缺页页帧[1, 2, 3]已满。 4. 访问页面4缺页页帧已满LRU淘汰1最久未访问页帧变为[2, 3, 4]。 5. 访问页面1缺页淘汰2页帧[3, 4, 1]。 6. 访问页面2缺页淘汰3页帧[4, 1, 2]。 7. 访问页面5缺页淘汰4页帧[1, 2, 5]。 8. 访问页面1命中更新LRU顺序为[2, 5, 1]。 9. 访问页面2命中更新顺序为[5, 1, 2]。 10. 访问页面3缺页淘汰5页帧[1, 2, 3]。 11. 访问页面4缺页淘汰1页帧[2, 3, 4]。 12. 访问页面5缺页淘汰2页帧[3, 4, 5]。 统计缺页发生在步骤1,2,3,4,5,6,7,10,11,12共10次。 实验结束 5.2 效果分析从这次运行可以看出出题质量DeepSeek成功生成了一道数据结构与算法领域操作系统页面置换的题目难度适中且设置了“忽略LRU命中更新”这一经典陷阱完全符合指令要求。格式遵循DeepSeek以完美的JSON格式返回便于程序解析。答题质量豆包不仅给出了正确答案D还提供了完整的、步骤清晰的解题思路其推演过程与DeepSeek提供的解析高度一致甚至更详细。流程贯通我们的Python脚本成功地将两个独立的API调用串联起来实现了自动化“出题-答题”流程。这个简单的实验已经验证了技术可行性。豆包答对了DeepSeek设置的“陷阱题”说明两者在该类逻辑推理题上均表现可靠。6. 深入探索提升实验层次与常见问题一次成功的调用只是开始。要让这个“互考”实验更有价值我们需要思考更多。6.1 如何设计更复杂的实验多轮次与统计循环运行N次例如100次让DeepSeek在不同领域网络、数据库、编程语言出题统计豆包的答对率进行量化评估。题型多样化修改Prompt让DeepSeek生成简答题、编程题要求写代码、逻辑推理题甚至开放论述题。引入裁判模型可以引入第三个模型如GPT-4或Claude让它来评判豆包的答案是否准确、完整实现自动化评分。反向考核让豆包出题DeepSeek来回答比较两个模型在“出题”和“答题”能力上的差异。6.2 常见问题与排查思路问题现象可能原因排查方式解决方案运行脚本立即报错ModuleNotFoundError依赖库未安装检查错误信息通常是No module named requests或dotenv在终端执行pip install requests python-dotenv调用API返回401 UnauthorizedAPI密钥错误或过期1. 检查.env文件中的密钥是否正确、有无多余空格。2. 登录对应平台控制台确认密钥状态、是否启用、额度是否充足。1. 修正.env文件。2. 在平台重新生成密钥并替换。调用API返回404 Not Found或400 Bad RequestAPI端点URL错误或请求体格式不对1. 核对代码中的API_URL与官方文档是否一致。2. 使用工具如Postman或查看官方SDK示例对比请求头Headers和请求体Body格式。1. 根据官方文档更新端点URL。2. 严格按照文档格式调整payload字典结构。DeepSeek返回的内容不是JSONPrompt指令不够强或模型“不听话”查看[DeepSeek] 原始返回内容看是否包含了额外的解释文字。强化Prompt在指令中明确强调“只输出JSON不要有任何其他文本”。可以增加类似“如果你理解请直接输出JSON”的语句。程序超时Timeout网络问题或模型响应慢1. 检查网络连接。2. 增加requests.post的timeout参数值例如设为60秒。1. 解决网络问题。2. 适当增加超时等待时间并考虑加入重试机制。豆包答案未提取成功API响应结构发生变化打印完整的API响应result查看其结构。根据实际响应的JSON结构调整result[choices][0][message][content]这行代码的键路径。7. 最佳实践与工程化建议如果想把这个小实验升级为一个更可靠、可复用的工具可以考虑以下方面7.1 Prompt工程优化系统消息System Message许多API支持在messages列表开头设置一个role为system的消息用于固定模型的行为角色。可以尝试将出题要求放在系统消息中可能效果更稳定。# 以DeepSeek为例优化后的payload payload { model: deepseek-chat, messages: [ {role: system, content: 你是一位严谨的计算机科学教授擅长出题。请严格按照用户要求输出JSON格式的题目。}, {role: user, content: 请出一道关于二叉树遍历的中等难度选择题...} ], # ... 其他参数 }迭代优化如果模型输出的JSON格式不对可以将错误的输出连同修正要求作为新的对话历史发送回去让它自我修正。7.2 代码健壮性增强错误处理与重试网络请求可能失败应添加重试逻辑如使用tenacity库。日志记录不要只使用print集成logging模块将运行日志、生成的题目、答案持久化到文件便于后续分析。配置管理将模型类型、温度参数、最大token数等也放入配置文件中。异步调用如果需要批量出题答题使用asyncio和aiohttp进行异步API调用可以极大提升效率。7.3 评估体系构建自动化实验的核心是评估。可以设计简单的评估函数def evaluate_answer(ground_truth, model_answer): 简单评估函数。ground_truth是标准答案如‘D’model_answer是模型返回的文本。 # 简单实现从模型答案文本中提取第一个出现的A-D字母 import re match re.search(r\b([A-D])\b, model_answer, re.IGNORECASE) if match: predicted match.group(1).upper() return predicted ground_truth.upper(), predicted return False, None # 无法提取或提取失败 # 在主流程中使用 is_correct, predicted_answer evaluate_answer(question_data[correct_answer], doubao_answer) print(f\n[自动评估] 豆包答案提取为‘{predicted_answer}’ 正确答案是‘{question_data[correct_answer]}’ 结果{‘正确’ if is_correct else ‘错误’})更复杂的评估可以涉及文本相似度计算对于简答题或单元测试对于编程题。8. 总结与扩展方向通过这个“让DeepSeek出题考豆包”的项目我们完成了一次从创意到实现的全流程探索。你不仅学会了如何调用两个主流大模型的API更重要的是掌握了设计Prompt驱动模型完成特定任务出题、构建自动化管道、以及进行初步结果分析的方法。这个项目的价值远不止于一次有趣的演示。它的扩展方向非常广阔自动化试题库生成通过调整Prompt让AI生成海量、分难度、分科目的题目用于教育或培训。模型能力基准测试设计一套标准化的Prompt集用来定期测试和对比不同模型在特定领域如代码、逻辑、知识的能力变化。AI辅助学习系统构建一个系统用户选择知识点AI生成题目 - 用户作答 - AI评判并给出解析形成学习闭环。面试题生成与模拟针对IT面试生成具有代表性的技术题目和参考答案。给开发者的最后提醒关注成本API调用是计费的在开展大规模实验前请估算好成本。理解限制模型的输出具有随机性由temperature参数控制并非百分百可靠对于关键应用需要加入人工审核或更复杂的校验机制。持续迭代Prompt工程是门实验科学多尝试不同的指令、格式和约束条件才能得到最符合你需求的结果。建议你将本文的代码作为起点收藏备用并根据你的具体需求进行修改和扩展。动手尝试不同的Prompt看看你能否让DeepSeek出一道“坑哭”豆包的题或者反过来这将是你深入理解大模型行为模式的最佳途径。