1. Iris 397B 本地评测为什么先换 TaoTokenSearch Agent 的 Token 消耗点与 Key 获取在复现 Iris 397B 的 Search Agent 评测时最先要处理的不是模型权重而是 API Key。先把供应商切到 TaoToken到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_intro 获取 Key再把 OpenAI 兼容调用的 base_url 设为 https://taotoken.net/api。真正让人卡住的是搜索规划与答案汇总阶段的 401 invalid_api_key 或 429 rate_limit_exceeded。AllSpark 开源的 Iris 系列包含 35B 与 397B 两个规模权重和评测代码已经公开适合本地复现但评测里最烧 Token 的环节是模型反复做搜索规划、查询改写、结果筛选和答案汇总。本文按拿 Key、回填环境变量、跑评测命令、对照日志、控制并发这几步把 Iris 397B 评测里的配置点讲清楚。很多人在本地跑 Search Agent 评测时会把注意力放在模型权重下载、推理框架、显存占用上结果评测脚本一启动日志里最先爆出来的却是401 Unauthorized、invalid_api_key、rate_limit_exceeded或connection timeout。原因并不复杂Search Agent 不是单轮问答它会在一次任务里多次调用模型。搜索前要生成查询计划搜索后要筛选网页摘要最后还要把多个证据片段汇总成答案。每一次调用都消耗 Token也都依赖一个稳定、兼容 OpenAI 协议的 API 入口。TaoToken 在这个流程里的定位很直接提供 OpenAI 兼容调用入口把base_url统一到https://taotoken.net/api用YOUR_API_KEY作为占位符回填到环境变量、评测脚本、Claude Code、Codex 或 CC Switch 中。这样你不需要在每个评测脚本里硬编码不同厂商的地址也不需要为搜索规划器和答案汇总器分别维护一套 Key。对 Iris 397B 这种需要反复跑任务、对比日志、观察 Token 消耗的评测来说统一入口能显著减少配置噪音。需要先明确一点本文讨论的是把评测链路里的 API 调用切到 TaoToken不是修改 Iris 模型结构也不是替换公开评测代码里的任务定义。你要做的是找到评测脚本中所有 OpenAI 兼容调用的位置把api_key和base_url两个参数改成 TaoToken 的值然后通过日志确认搜索规划、结果筛选、答案汇总三个阶段是否都返回 200以及usage字段是否正常记录。2. 评测环境与最小闭环把 OpenAI 兼容 base_url 切到 https://taotoken.net/api开始之前先准备一个最小闭环。不要一上来就跑完整 Iris 397B 评测集那样一旦报错你很难判断是 Key 问题、网络问题、模型名问题还是评测脚本本身的参数问题。正确顺序是先拿 Key再跑一个单轮 chat completions 请求确认https://taotoken.net/api能通再把同样的配置写进 Iris 评测脚本。先到 TaoToken 官网获取 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_key 。如果你还没有创建 Key可以直接进入 API Keys 页面https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_create_key 。创建完成后把 Key 保存到本地环境变量不要写死在 Python 文件里也不要提交到公开仓库。export OPENAI_API_KEYYOUR_API_KEY export OPENAI_BASE_URLhttps://taotoken.net/api export TAOTOKEN_API_KEYYOUR_API_KEY如果你使用 OpenAI Python SDK最小验证代码如下。注意base_url使用https://taotoken.net/api不要自己再拼一层/v1也不要从其他厂商配置里复制https://api.openai.com/v1。模型名先用你在 TaoToken 控制台或模型列表中确认可用的 ID替换YOUR_MODEL_ID。import os from openai import OpenAI client OpenAI( api_keyos.environ[OPENAI_API_KEY], base_urlos.environ.get(OPENAI_BASE_URL, https://taotoken.net/api), ) resp client.chat.completions.create( modelYOUR_MODEL_ID, messages[ {role: system, content: You are a search planning assistant.}, {role: user, content: 为 Iris 397B 本地评测生成一条搜索规划。}, ], temperature0.2, max_tokens256, ) print(resp.choices[0].message.content) print(resp.usage)如果这段代码返回正常说明 Key、Base URL、模型名、网络链路都通了。接下来再改 Iris 评测脚本。常见评测脚本会从环境变量读取 OpenAI 配置或者把api_base/base_url作为命令行参数传入。你要做的是把所有调用点统一到同一个入口而不是只改一处。建议在项目根目录放一个.env或config.local.yaml并在评测入口处打印实际生效的配置但不要打印完整 Key。import os def assert_api_config(): base_url os.environ.get(OPENAI_BASE_URL, ) api_key os.environ.get(OPENAI_API_KEY, ) if not api_key or api_key YOUR_API_KEY: raise RuntimeError(请先设置 OPENAI_API_KEY) if base_url.rstrip(/) ! https://taotoken.net/api: raise RuntimeError(fbase_url 不符合预期: {base_url}) return True这一步看起来简单但能避免大量低级错误。很多 401 不是 Key 失效而是评测脚本仍然读着旧配置文件很多 404 不是模型不存在而是 Base URL 被拼成了https://taotoken.net/api/v1/chat/completions或https://taotoken.net/api/chat/completions/v1。统一入口之后后面排查只需要看日志里的base_url、model、status和usage。3. 在 Iris 397B 评测脚本里回填 KeyPython、curl 与日志字段Iris 评测代码公开后不同人跑法可能不同有人直接跑官方 eval 入口有人把它封装成自己的 harness有人只跑搜索结果评估有人跑完整端到端。无论哪种方式最终都会落到 OpenAI 兼容调用上。你可以先用curl做一次最原始的请求确认端点在协议层没问题。curl -sS https://taotoken.net/api/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d { model: YOUR_MODEL_ID, messages: [ {role: user, content: ping for Iris eval} ], max_tokens: 32 }如果curl返回 JSON 且包含choices说明基本协议没问题。然后回到 Python 评测脚本把搜索规划和答案汇总两个阶段的客户端初始化统一。下面是一个简化示例实际使用时按你的评测仓库入口替换函数名和参数名。import os import json import time from openai import OpenAI client OpenAI( api_keyos.environ[OPENAI_API_KEY], base_urlhttps://taotoken.net/api, timeout60.0, max_retries3, ) def call_planner(question: str) - dict: start time.time() resp client.chat.completions.create( modelYOUR_PLANNER_MODEL, messages[ {role: system, content: 你是搜索规划器只输出 JSON。}, {role: user, content: f为问题生成搜索查询{question}}, ], temperature0.1, max_tokens512, response_format{type: json_object}, ) latency_ms int((time.time() - start) * 1000) return { stage: planner, status: 200, model: YOUR_PLANNER_MODEL, prompt_tokens: resp.usage.prompt_tokens, completion_tokens: resp.usage.completion_tokens, latency_ms: latency_ms, content: resp.choices[0].message.content, } def call_summarizer(question: str, evidence: str) - dict: start time.time() resp client.chat.completions.create( modelYOUR_SUMMARIZER_MODEL, messages[ {role: system, content: 根据证据回答问题不要编造。}, {role: user, content: f问题{question}\n证据{evidence}}, ], temperature0.2, max_tokens1024, ) latency_ms int((time.time() - start) * 1000) return { stage: summarizer, status: 200, model: YOUR_SUMMARIZER_MODEL, prompt_tokens: resp.usage.prompt_tokens, completion_tokens: resp.usage.completion_tokens, latency_ms: latency_ms, content: resp.choices[0].message.content, } if __name__ __main__: log call_planner(Iris 397B 的 Search Agent 评测怎么做) print(json.dumps(log, ensure_asciiFalse))评测命令本身取决于你本地仓库的入口。假设你的入口是eval.py参数名可能是--api-base、--api-key、--model、--tasks、--output。不要照抄不存在的参数先运行python eval.py --help看真实参数。一个通用的运行形态如下python eval.py \ --model Iris-397B \ --planner-model YOUR_PLANNER_MODEL \ --summarizer-model YOUR_SUMMARIZER_MODEL \ --api-base https://taotoken.net/api \ --api-key $OPENAI_API_KEY \ --tasks search_agent \ --output logs/iris397b_eval.jsonl跑完后日志至少要能回答四个问题每次调用属于哪个阶段、用了哪个模型、返回状态是什么、消耗了多少 Token。建议把日志写成 JSONL一行一个调用事件便于后续统计。{stage:planner,status:200,model:YOUR_PLANNER_MODEL,prompt_tokens:1234,completion_tokens:256,latency_ms:1800} {stage:filter,status:200,model:YOUR_FILTER_MODEL,prompt_tokens:3456,completion_tokens:128,latency_ms:900} {stage:summarizer,status:200,model:YOUR_SUMMARIZER_MODEL,prompt_tokens:6789,completion_tokens:512,latency_ms:3200}如果日志里某一行没有usage先检查 SDK 版本和返回体不要直接假设 Token 为 0。如果status不是 200先看错误体里的error.type和error.message。这比反复改模型参数有效得多。4. Claude Code、Codex 与 CC Switch 三件套评测之外的配置也一次写对Iris 评测本身主要走 OpenAI 兼容调用但很多人会在同一台机器上使用 Claude Code、Codex 或 CC Switch 管理不同工具。为了避免配置互相污染建议把 TaoToken 的接入拆成三套Claude Code 用settings.json和ANTHROPIC_*Codex 用config.tomlCC Switch 用三件套字段。不要把这些变量混用尤其不要把ANTHROPIC_*写进 Codex 配置里。Claude Code 的settings.json可以这样写。Base URL 仍然使用https://taotoken.net/apiKey 使用占位符YOUR_API_KEY。模型名按你实际可用的 Claude 模型 ID 替换不要直接复制不明来源的模型名。{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5 } }Claude Code 的完整接入说明可以在文末文档链接里查看。这里要强调的是ANTHROPIC_BASE_URL指向 TaoToken 后Claude Code 的请求会走统一入口如果你同时还在终端里设置了旧的ANTHROPIC_BASE_URL可能覆盖settings.json所以改完后用env | grep ANTHROPIC检查当前 shell。Codex 使用config.toml不要把ANTHROPIC_*变量塞进去。下面是一个供应商配置示例实际字段以你的 Codex 版本为准。model YOUR_CODEX_MODEL model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api chat对应环境变量export TAOTOKEN_API_KEYYOUR_API_KEYCC Switch 可以理解为管理多套工具供应商配置的入口。无论它管理的是 Claude Code、Codex 还是其他兼容客户端核心就是三件套Base URL、API Key、默认模型。不要把三件套写成四五个互相冲突的字段。建议这样填供应商名称TaoToken Base URLhttps://taotoken.net/api API KeyYOUR_API_KEY 默认模型YOUR_MODEL_ID如果你在 CC Switch 里同时保留了旧供应商切换后要重启对应 CLI或者新开一个终端。很多“Key 换了但没生效”的情况都是旧进程还在使用启动时加载的环境变量。评测 Iris 397B 之前先用curl或最小 Python 脚本确认当前终端读取的是新配置再启动长任务。5. Search Agent 的 Token 账单拆解搜索规划、结果筛选、答案汇总Iris 397B 评测里最容易被低估的是 Token 消耗结构。普通聊天机器人一次请求只调用一次模型Search Agent 不是。它至少包含以下阶段搜索规划、查询改写、网页结果筛选、证据压缩、答案汇总。某些实现还会加上一致性检查、引用校验、失败重试。每增加一个阶段就增加一次 API 调用每次调用都可能有较长的 prompt尤其是把多个搜索结果拼进上下文时。搜索规划阶段通常 prompt 不长但调用次数多。一个问题可能生成多个查询每个查询都要模型判断是否需要改写。结果筛选阶段会把搜索结果标题、摘要、URL、时间等信息传给模型prompt 会迅速膨胀。答案汇总阶段最消耗 completion token因为它要输出最终答案还要带引用或解释。如果你的评测集有几百条问题答案汇总的 completion token 可能远超规划阶段。建议在评测脚本里按阶段记录 usage而不是只记录总 Token。下面是一个简单的统计函数。from collections import defaultdict stats defaultdict(lambda: { calls: 0, prompt_tokens: 0, completion_tokens: 0, latency_ms: 0, }) def record_usage(stage, usage, latency_ms): stats[stage][calls] 1 stats[stage][prompt_tokens] usage.prompt_tokens stats[stage][completion_tokens] usage.completion_tokens stats[stage][latency_ms] latency_ms def print_stats(): for stage, item in stats.items(): total item[prompt_tokens] item[completion_tokens] print(f{stage}: calls{item[calls]}, tokens{total}, fprompt{item[prompt_tokens]}, completion{item[completion_tokens]}, flatency_ms{item[latency_ms]})有了阶段统计你就能判断优化方向。如果规划阶段调用次数过多先限制最大查询数合并相似查询。如果筛选阶段 prompt 过长先做本地截断只保留标题、摘要和必要元数据。如果汇总阶段 completion 过长先限制max_tokens并要求模型输出结构化答案。不要为了追求一次性输出完整报告而无限放大max_tokens那会让评测成本失控。并发也需要控制。Search Agent 评测经常需要跑多条问题如果直接开 50 个并发很容易触发 429。可以用asyncio.Semaphore限制并发并加入指数退避。下面是一个简化示例。import asyncio from openai import AsyncOpenAI client AsyncOpenAI( api_keyYOUR_API_KEY, base_urlhttps://taotoken.net/api, timeout60.0, max_retries5, ) sem asyncio.Semaphore(4) async def call_model(prompt: str): async with sem: return await client.chat.completions.create( modelYOUR_MODEL_ID, messages[{role: user, content: prompt}], temperature0.2, max_tokens512, ) async def main(questions): tasks [call_model(q) for q in questions] return await asyncio.gather(*tasks) if __name__ __main__: asyncio.run(main([问题1, 问题2, 问题3]))并发数不是越高越好。对 Search Agent 评测4 到 8 的并发通常更容易稳定跑完。你可以先跑 10 条问题观察 429 比例和平均延迟再决定是否提高。TaoToken 的 API Key 和用量可以在控制台查看建议把评测批次和 Key 分开管理长任务单独用一把 Key方便定位问题。更多入口和用量管理可以从 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_token 进入。6. 常见报错与排查401、404、429、超时、空响应Iris 397B 评测过程中报错通常集中在五类。第一类是 401表现为invalid_api_key、Unauthorized或authentication_error。排查顺序是确认OPENAI_API_KEY不是空值确认没有把YOUR_API_KEY原样传进去确认当前终端读取的是新 Key确认请求头是Authorization: Bearer $OPENAI_API_KEY。如果用的是 Claude Code检查ANTHROPIC_API_KEY或ANTHROPIC_AUTH_TOKEN是否被旧 shell 覆盖。第二类是 404常见原因是 Base URL 拼错。正确入口是https://taotoken.net/api。不要写成https://taotoken.net/api/v1后再让 SDK 自动加/chat/completions也不要手动拼成完整路径后重复追加。先用curl验证一次再用 Python SDK 验证一次。如果curl正常而 SDK 报 404重点看 SDK 的base_url拼接规则。第三类是 429通常不是 Key 无效而是请求太密。Search Agent 评测一次跑很多问题规划、筛选、汇总可能同时发起。解决方法是降低并发、增加重试、给不同阶段设置不同并发池。不要简单地把所有请求塞进asyncio.gather也不要忽略Retry-After。如果响应头里带重试时间按它退避。第四类是超时。长 prompt 的答案汇总阶段更容易超时。可以把客户端timeout调到 60 或 120 秒并把评测任务拆小。如果某个问题证据特别长先本地压缩再调用汇总模型。超时后不要立刻重试五次先看日志里是连接超时还是读取超时前者可能是入口问题后者可能是模型生成太慢。第五类是空响应。表现为choices为空、content为None或只有空白。排查模型名是否正确、max_tokens是否太小、是否被内容过滤、是否传入了不兼容的response_format。如果你在规划阶段要求 JSON 输出但模型返回被截断的 JSONjson.loads会失败。此时应该记录原始返回体不要只记录异常。建议在评测脚本里统一封装错误日志import json import traceback def log_error(stage, model, exc, request_idNone): payload { stage: stage, model: model, request_id: request_id, error_type: type(exc).__name__, error_message: str(exc), traceback: traceback.format_exc(), } with open(logs/iris397b_errors.jsonl, a, encodingutf-8) as f: f.write(json.dumps(payload, ensure_asciiFalse) \n)排查时优先看error_message和request_id再结合调用时间定位是哪一批并发。不要只看终端最后一行很多 Search Agent 评测是并发执行最后一行不一定是最早出错的调用。7. 可复现的评测流程从空 Key 到对照日志把前面的步骤串起来Iris 397B 评测可以按下面流程执行。每一步都留下可检查的输出不要跳步。第一步打开 TaoToken 官网获取 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_flow 。如果需要新建 Key进入 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_flow_keys 。第二步设置环境变量。确认base_url是https://taotoken.net/apiapi_key是YOUR_API_KEY对应的真实值。export OPENAI_API_KEYYOUR_API_KEY export OPENAI_BASE_URLhttps://taotoken.net/api第三步跑最小连通性测试。用curl或 Python 单轮对话确认 200。不要在这一步跑评测集。第四步修改 Iris 评测脚本。搜索所有OpenAI(、AsyncOpenAI(、api_base、base_url、openai_api_base出现的位置统一改为从环境变量读取。不要只改一个文件很多项目会在工具函数、judge、planner、summarizer 里分别初始化客户端。第五步跑小批量任务。先选 5 到 10 条问题输出到logs/iris397b_smoke.jsonl。检查每个阶段的status、usage、latency_ms。如果小批量全部 200再扩大规模。第六步跑完整评测。建议用nohup或终端复用工具挂后台并保留标准输出和错误输出。mkdir -p logs python eval.py \ --model Iris-397B \ --api-base https://taotoken.net/api \ --api-key $OPENAI_API_KEY \ --tasks search_agent \ --output logs/iris397b_full.jsonl \ logs/iris397b_full.stdout.log 2 logs/iris397b_full.stderr.log第七步对照日志。先统计总调用次数、总 Token、各阶段 Token 占比、错误率、P50/P95 延迟。再抽取失败样本看是 Key 问题、并发问题还是 prompt 太长。最后和你的基线评测结果对比。对比时不要只看最终答案分数也要看调用次数和 Token 消耗。Search Agent 评测的可复现性很大程度上取决于 API 调用是否稳定、日志是否完整、配置是否一致。如果你准备把同一套配置接到 Claude Code 或 Codex记得回到第 4 节分别使用settings.json和config.toml。不要把 OpenAI 兼容评测脚本里的OPENAI_*变量直接当成 Claude Code 的配置也不要把ANTHROPIC_*塞进 Codex。三套工具可以共用同一个 TaoToken Key但配置文件要各归各。8. 文末 CTA模型对话 → Coding Plan → 创建 Key → Claude Code 文档如果你已经准备把 Iris 397B 评测链路切到 TaoToken建议按下面顺序完成接入。先体验模型对话确认入口和模型可用再看 Coding Plan 是否适合你的评测和日常开发然后创建独立 API Key最后把 Claude Code 的配置一次写对。模型对话https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_chatCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_plan创建 API Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_keysClaude Code 文档https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_claude_code回到 Iris 397B 评测本身最关键的三个动作就是把 Key 换成 TaoToken把 OpenAI 兼容调用的base_url设为https://taotoken.net/api在日志里确认搜索规划与答案汇总阶段的调用状态和 Token 消耗。做完这三步你就能把评测从“偶尔能跑通”变成“可以反复对照”的基线。 在 Iris 397B 评测里把 API Key 换成 TaoToken
1. Iris 397B 本地评测为什么先换 TaoTokenSearch Agent 的 Token 消耗点与 Key 获取在复现 Iris 397B 的 Search Agent 评测时最先要处理的不是模型权重而是 API Key。先把供应商切到 TaoToken到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_intro 获取 Key再把 OpenAI 兼容调用的 base_url 设为 https://taotoken.net/api。真正让人卡住的是搜索规划与答案汇总阶段的 401 invalid_api_key 或 429 rate_limit_exceeded。AllSpark 开源的 Iris 系列包含 35B 与 397B 两个规模权重和评测代码已经公开适合本地复现但评测里最烧 Token 的环节是模型反复做搜索规划、查询改写、结果筛选和答案汇总。本文按拿 Key、回填环境变量、跑评测命令、对照日志、控制并发这几步把 Iris 397B 评测里的配置点讲清楚。很多人在本地跑 Search Agent 评测时会把注意力放在模型权重下载、推理框架、显存占用上结果评测脚本一启动日志里最先爆出来的却是401 Unauthorized、invalid_api_key、rate_limit_exceeded或connection timeout。原因并不复杂Search Agent 不是单轮问答它会在一次任务里多次调用模型。搜索前要生成查询计划搜索后要筛选网页摘要最后还要把多个证据片段汇总成答案。每一次调用都消耗 Token也都依赖一个稳定、兼容 OpenAI 协议的 API 入口。TaoToken 在这个流程里的定位很直接提供 OpenAI 兼容调用入口把base_url统一到https://taotoken.net/api用YOUR_API_KEY作为占位符回填到环境变量、评测脚本、Claude Code、Codex 或 CC Switch 中。这样你不需要在每个评测脚本里硬编码不同厂商的地址也不需要为搜索规划器和答案汇总器分别维护一套 Key。对 Iris 397B 这种需要反复跑任务、对比日志、观察 Token 消耗的评测来说统一入口能显著减少配置噪音。需要先明确一点本文讨论的是把评测链路里的 API 调用切到 TaoToken不是修改 Iris 模型结构也不是替换公开评测代码里的任务定义。你要做的是找到评测脚本中所有 OpenAI 兼容调用的位置把api_key和base_url两个参数改成 TaoToken 的值然后通过日志确认搜索规划、结果筛选、答案汇总三个阶段是否都返回 200以及usage字段是否正常记录。2. 评测环境与最小闭环把 OpenAI 兼容 base_url 切到 https://taotoken.net/api开始之前先准备一个最小闭环。不要一上来就跑完整 Iris 397B 评测集那样一旦报错你很难判断是 Key 问题、网络问题、模型名问题还是评测脚本本身的参数问题。正确顺序是先拿 Key再跑一个单轮 chat completions 请求确认https://taotoken.net/api能通再把同样的配置写进 Iris 评测脚本。先到 TaoToken 官网获取 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_key 。如果你还没有创建 Key可以直接进入 API Keys 页面https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_create_key 。创建完成后把 Key 保存到本地环境变量不要写死在 Python 文件里也不要提交到公开仓库。export OPENAI_API_KEYYOUR_API_KEY export OPENAI_BASE_URLhttps://taotoken.net/api export TAOTOKEN_API_KEYYOUR_API_KEY如果你使用 OpenAI Python SDK最小验证代码如下。注意base_url使用https://taotoken.net/api不要自己再拼一层/v1也不要从其他厂商配置里复制https://api.openai.com/v1。模型名先用你在 TaoToken 控制台或模型列表中确认可用的 ID替换YOUR_MODEL_ID。import os from openai import OpenAI client OpenAI( api_keyos.environ[OPENAI_API_KEY], base_urlos.environ.get(OPENAI_BASE_URL, https://taotoken.net/api), ) resp client.chat.completions.create( modelYOUR_MODEL_ID, messages[ {role: system, content: You are a search planning assistant.}, {role: user, content: 为 Iris 397B 本地评测生成一条搜索规划。}, ], temperature0.2, max_tokens256, ) print(resp.choices[0].message.content) print(resp.usage)如果这段代码返回正常说明 Key、Base URL、模型名、网络链路都通了。接下来再改 Iris 评测脚本。常见评测脚本会从环境变量读取 OpenAI 配置或者把api_base/base_url作为命令行参数传入。你要做的是把所有调用点统一到同一个入口而不是只改一处。建议在项目根目录放一个.env或config.local.yaml并在评测入口处打印实际生效的配置但不要打印完整 Key。import os def assert_api_config(): base_url os.environ.get(OPENAI_BASE_URL, ) api_key os.environ.get(OPENAI_API_KEY, ) if not api_key or api_key YOUR_API_KEY: raise RuntimeError(请先设置 OPENAI_API_KEY) if base_url.rstrip(/) ! https://taotoken.net/api: raise RuntimeError(fbase_url 不符合预期: {base_url}) return True这一步看起来简单但能避免大量低级错误。很多 401 不是 Key 失效而是评测脚本仍然读着旧配置文件很多 404 不是模型不存在而是 Base URL 被拼成了https://taotoken.net/api/v1/chat/completions或https://taotoken.net/api/chat/completions/v1。统一入口之后后面排查只需要看日志里的base_url、model、status和usage。3. 在 Iris 397B 评测脚本里回填 KeyPython、curl 与日志字段Iris 评测代码公开后不同人跑法可能不同有人直接跑官方 eval 入口有人把它封装成自己的 harness有人只跑搜索结果评估有人跑完整端到端。无论哪种方式最终都会落到 OpenAI 兼容调用上。你可以先用curl做一次最原始的请求确认端点在协议层没问题。curl -sS https://taotoken.net/api/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d { model: YOUR_MODEL_ID, messages: [ {role: user, content: ping for Iris eval} ], max_tokens: 32 }如果curl返回 JSON 且包含choices说明基本协议没问题。然后回到 Python 评测脚本把搜索规划和答案汇总两个阶段的客户端初始化统一。下面是一个简化示例实际使用时按你的评测仓库入口替换函数名和参数名。import os import json import time from openai import OpenAI client OpenAI( api_keyos.environ[OPENAI_API_KEY], base_urlhttps://taotoken.net/api, timeout60.0, max_retries3, ) def call_planner(question: str) - dict: start time.time() resp client.chat.completions.create( modelYOUR_PLANNER_MODEL, messages[ {role: system, content: 你是搜索规划器只输出 JSON。}, {role: user, content: f为问题生成搜索查询{question}}, ], temperature0.1, max_tokens512, response_format{type: json_object}, ) latency_ms int((time.time() - start) * 1000) return { stage: planner, status: 200, model: YOUR_PLANNER_MODEL, prompt_tokens: resp.usage.prompt_tokens, completion_tokens: resp.usage.completion_tokens, latency_ms: latency_ms, content: resp.choices[0].message.content, } def call_summarizer(question: str, evidence: str) - dict: start time.time() resp client.chat.completions.create( modelYOUR_SUMMARIZER_MODEL, messages[ {role: system, content: 根据证据回答问题不要编造。}, {role: user, content: f问题{question}\n证据{evidence}}, ], temperature0.2, max_tokens1024, ) latency_ms int((time.time() - start) * 1000) return { stage: summarizer, status: 200, model: YOUR_SUMMARIZER_MODEL, prompt_tokens: resp.usage.prompt_tokens, completion_tokens: resp.usage.completion_tokens, latency_ms: latency_ms, content: resp.choices[0].message.content, } if __name__ __main__: log call_planner(Iris 397B 的 Search Agent 评测怎么做) print(json.dumps(log, ensure_asciiFalse))评测命令本身取决于你本地仓库的入口。假设你的入口是eval.py参数名可能是--api-base、--api-key、--model、--tasks、--output。不要照抄不存在的参数先运行python eval.py --help看真实参数。一个通用的运行形态如下python eval.py \ --model Iris-397B \ --planner-model YOUR_PLANNER_MODEL \ --summarizer-model YOUR_SUMMARIZER_MODEL \ --api-base https://taotoken.net/api \ --api-key $OPENAI_API_KEY \ --tasks search_agent \ --output logs/iris397b_eval.jsonl跑完后日志至少要能回答四个问题每次调用属于哪个阶段、用了哪个模型、返回状态是什么、消耗了多少 Token。建议把日志写成 JSONL一行一个调用事件便于后续统计。{stage:planner,status:200,model:YOUR_PLANNER_MODEL,prompt_tokens:1234,completion_tokens:256,latency_ms:1800} {stage:filter,status:200,model:YOUR_FILTER_MODEL,prompt_tokens:3456,completion_tokens:128,latency_ms:900} {stage:summarizer,status:200,model:YOUR_SUMMARIZER_MODEL,prompt_tokens:6789,completion_tokens:512,latency_ms:3200}如果日志里某一行没有usage先检查 SDK 版本和返回体不要直接假设 Token 为 0。如果status不是 200先看错误体里的error.type和error.message。这比反复改模型参数有效得多。4. Claude Code、Codex 与 CC Switch 三件套评测之外的配置也一次写对Iris 评测本身主要走 OpenAI 兼容调用但很多人会在同一台机器上使用 Claude Code、Codex 或 CC Switch 管理不同工具。为了避免配置互相污染建议把 TaoToken 的接入拆成三套Claude Code 用settings.json和ANTHROPIC_*Codex 用config.tomlCC Switch 用三件套字段。不要把这些变量混用尤其不要把ANTHROPIC_*写进 Codex 配置里。Claude Code 的settings.json可以这样写。Base URL 仍然使用https://taotoken.net/apiKey 使用占位符YOUR_API_KEY。模型名按你实际可用的 Claude 模型 ID 替换不要直接复制不明来源的模型名。{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5 } }Claude Code 的完整接入说明可以在文末文档链接里查看。这里要强调的是ANTHROPIC_BASE_URL指向 TaoToken 后Claude Code 的请求会走统一入口如果你同时还在终端里设置了旧的ANTHROPIC_BASE_URL可能覆盖settings.json所以改完后用env | grep ANTHROPIC检查当前 shell。Codex 使用config.toml不要把ANTHROPIC_*变量塞进去。下面是一个供应商配置示例实际字段以你的 Codex 版本为准。model YOUR_CODEX_MODEL model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api chat对应环境变量export TAOTOKEN_API_KEYYOUR_API_KEYCC Switch 可以理解为管理多套工具供应商配置的入口。无论它管理的是 Claude Code、Codex 还是其他兼容客户端核心就是三件套Base URL、API Key、默认模型。不要把三件套写成四五个互相冲突的字段。建议这样填供应商名称TaoToken Base URLhttps://taotoken.net/api API KeyYOUR_API_KEY 默认模型YOUR_MODEL_ID如果你在 CC Switch 里同时保留了旧供应商切换后要重启对应 CLI或者新开一个终端。很多“Key 换了但没生效”的情况都是旧进程还在使用启动时加载的环境变量。评测 Iris 397B 之前先用curl或最小 Python 脚本确认当前终端读取的是新配置再启动长任务。5. Search Agent 的 Token 账单拆解搜索规划、结果筛选、答案汇总Iris 397B 评测里最容易被低估的是 Token 消耗结构。普通聊天机器人一次请求只调用一次模型Search Agent 不是。它至少包含以下阶段搜索规划、查询改写、网页结果筛选、证据压缩、答案汇总。某些实现还会加上一致性检查、引用校验、失败重试。每增加一个阶段就增加一次 API 调用每次调用都可能有较长的 prompt尤其是把多个搜索结果拼进上下文时。搜索规划阶段通常 prompt 不长但调用次数多。一个问题可能生成多个查询每个查询都要模型判断是否需要改写。结果筛选阶段会把搜索结果标题、摘要、URL、时间等信息传给模型prompt 会迅速膨胀。答案汇总阶段最消耗 completion token因为它要输出最终答案还要带引用或解释。如果你的评测集有几百条问题答案汇总的 completion token 可能远超规划阶段。建议在评测脚本里按阶段记录 usage而不是只记录总 Token。下面是一个简单的统计函数。from collections import defaultdict stats defaultdict(lambda: { calls: 0, prompt_tokens: 0, completion_tokens: 0, latency_ms: 0, }) def record_usage(stage, usage, latency_ms): stats[stage][calls] 1 stats[stage][prompt_tokens] usage.prompt_tokens stats[stage][completion_tokens] usage.completion_tokens stats[stage][latency_ms] latency_ms def print_stats(): for stage, item in stats.items(): total item[prompt_tokens] item[completion_tokens] print(f{stage}: calls{item[calls]}, tokens{total}, fprompt{item[prompt_tokens]}, completion{item[completion_tokens]}, flatency_ms{item[latency_ms]})有了阶段统计你就能判断优化方向。如果规划阶段调用次数过多先限制最大查询数合并相似查询。如果筛选阶段 prompt 过长先做本地截断只保留标题、摘要和必要元数据。如果汇总阶段 completion 过长先限制max_tokens并要求模型输出结构化答案。不要为了追求一次性输出完整报告而无限放大max_tokens那会让评测成本失控。并发也需要控制。Search Agent 评测经常需要跑多条问题如果直接开 50 个并发很容易触发 429。可以用asyncio.Semaphore限制并发并加入指数退避。下面是一个简化示例。import asyncio from openai import AsyncOpenAI client AsyncOpenAI( api_keyYOUR_API_KEY, base_urlhttps://taotoken.net/api, timeout60.0, max_retries5, ) sem asyncio.Semaphore(4) async def call_model(prompt: str): async with sem: return await client.chat.completions.create( modelYOUR_MODEL_ID, messages[{role: user, content: prompt}], temperature0.2, max_tokens512, ) async def main(questions): tasks [call_model(q) for q in questions] return await asyncio.gather(*tasks) if __name__ __main__: asyncio.run(main([问题1, 问题2, 问题3]))并发数不是越高越好。对 Search Agent 评测4 到 8 的并发通常更容易稳定跑完。你可以先跑 10 条问题观察 429 比例和平均延迟再决定是否提高。TaoToken 的 API Key 和用量可以在控制台查看建议把评测批次和 Key 分开管理长任务单独用一把 Key方便定位问题。更多入口和用量管理可以从 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_token 进入。6. 常见报错与排查401、404、429、超时、空响应Iris 397B 评测过程中报错通常集中在五类。第一类是 401表现为invalid_api_key、Unauthorized或authentication_error。排查顺序是确认OPENAI_API_KEY不是空值确认没有把YOUR_API_KEY原样传进去确认当前终端读取的是新 Key确认请求头是Authorization: Bearer $OPENAI_API_KEY。如果用的是 Claude Code检查ANTHROPIC_API_KEY或ANTHROPIC_AUTH_TOKEN是否被旧 shell 覆盖。第二类是 404常见原因是 Base URL 拼错。正确入口是https://taotoken.net/api。不要写成https://taotoken.net/api/v1后再让 SDK 自动加/chat/completions也不要手动拼成完整路径后重复追加。先用curl验证一次再用 Python SDK 验证一次。如果curl正常而 SDK 报 404重点看 SDK 的base_url拼接规则。第三类是 429通常不是 Key 无效而是请求太密。Search Agent 评测一次跑很多问题规划、筛选、汇总可能同时发起。解决方法是降低并发、增加重试、给不同阶段设置不同并发池。不要简单地把所有请求塞进asyncio.gather也不要忽略Retry-After。如果响应头里带重试时间按它退避。第四类是超时。长 prompt 的答案汇总阶段更容易超时。可以把客户端timeout调到 60 或 120 秒并把评测任务拆小。如果某个问题证据特别长先本地压缩再调用汇总模型。超时后不要立刻重试五次先看日志里是连接超时还是读取超时前者可能是入口问题后者可能是模型生成太慢。第五类是空响应。表现为choices为空、content为None或只有空白。排查模型名是否正确、max_tokens是否太小、是否被内容过滤、是否传入了不兼容的response_format。如果你在规划阶段要求 JSON 输出但模型返回被截断的 JSONjson.loads会失败。此时应该记录原始返回体不要只记录异常。建议在评测脚本里统一封装错误日志import json import traceback def log_error(stage, model, exc, request_idNone): payload { stage: stage, model: model, request_id: request_id, error_type: type(exc).__name__, error_message: str(exc), traceback: traceback.format_exc(), } with open(logs/iris397b_errors.jsonl, a, encodingutf-8) as f: f.write(json.dumps(payload, ensure_asciiFalse) \n)排查时优先看error_message和request_id再结合调用时间定位是哪一批并发。不要只看终端最后一行很多 Search Agent 评测是并发执行最后一行不一定是最早出错的调用。7. 可复现的评测流程从空 Key 到对照日志把前面的步骤串起来Iris 397B 评测可以按下面流程执行。每一步都留下可检查的输出不要跳步。第一步打开 TaoToken 官网获取 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_flow 。如果需要新建 Key进入 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_flow_keys 。第二步设置环境变量。确认base_url是https://taotoken.net/apiapi_key是YOUR_API_KEY对应的真实值。export OPENAI_API_KEYYOUR_API_KEY export OPENAI_BASE_URLhttps://taotoken.net/api第三步跑最小连通性测试。用curl或 Python 单轮对话确认 200。不要在这一步跑评测集。第四步修改 Iris 评测脚本。搜索所有OpenAI(、AsyncOpenAI(、api_base、base_url、openai_api_base出现的位置统一改为从环境变量读取。不要只改一个文件很多项目会在工具函数、judge、planner、summarizer 里分别初始化客户端。第五步跑小批量任务。先选 5 到 10 条问题输出到logs/iris397b_smoke.jsonl。检查每个阶段的status、usage、latency_ms。如果小批量全部 200再扩大规模。第六步跑完整评测。建议用nohup或终端复用工具挂后台并保留标准输出和错误输出。mkdir -p logs python eval.py \ --model Iris-397B \ --api-base https://taotoken.net/api \ --api-key $OPENAI_API_KEY \ --tasks search_agent \ --output logs/iris397b_full.jsonl \ logs/iris397b_full.stdout.log 2 logs/iris397b_full.stderr.log第七步对照日志。先统计总调用次数、总 Token、各阶段 Token 占比、错误率、P50/P95 延迟。再抽取失败样本看是 Key 问题、并发问题还是 prompt 太长。最后和你的基线评测结果对比。对比时不要只看最终答案分数也要看调用次数和 Token 消耗。Search Agent 评测的可复现性很大程度上取决于 API 调用是否稳定、日志是否完整、配置是否一致。如果你准备把同一套配置接到 Claude Code 或 Codex记得回到第 4 节分别使用settings.json和config.toml。不要把 OpenAI 兼容评测脚本里的OPENAI_*变量直接当成 Claude Code 的配置也不要把ANTHROPIC_*塞进 Codex。三套工具可以共用同一个 TaoToken Key但配置文件要各归各。8. 文末 CTA模型对话 → Coding Plan → 创建 Key → Claude Code 文档如果你已经准备把 Iris 397B 评测链路切到 TaoToken建议按下面顺序完成接入。先体验模型对话确认入口和模型可用再看 Coding Plan 是否适合你的评测和日常开发然后创建独立 API Key最后把 Claude Code 的配置一次写对。模型对话https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_chatCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_plan创建 API Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_keysClaude Code 文档https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentiris397b_claude_code回到 Iris 397B 评测本身最关键的三个动作就是把 Key 换成 TaoToken把 OpenAI 兼容调用的base_url设为https://taotoken.net/api在日志里确认搜索规划与答案汇总阶段的调用状态和 Token 消耗。做完这三步你就能把评测从“偶尔能跑通”变成“可以反复对照”的基线。