Source Registry 实战指南为自主研究 Agent 构建可审计的外部证据准入体系【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering本篇指南以本仓库researcher/source-registry.md为骨架讲解如何为 autonomous researcher自主研究 Agent设计一套来源注册表在花费任何评估 token 之前先明确该监控什么、什么证据可采纳、什么必须拒绝。读完本文你将掌握三档来源优先级分级、五条硬性排除规则、监控查询族的组织方法、候选来源的强制元数据 schema、刷新节奏与接受偏差清单并看到这套策略在本仓库 Researcher Operating Systemresearcher/README.md中是如何被脚本强制执行的。一、Source Registry 在 Researcher OS 中的定位本仓库的researcher/目录定义了一套把外部研究转化为技能变更的原生工作流其生命周期为discover - triage - evaluate - extract - map - draft - validate - prepare-pr - human-merge其中triage分诊阶段的核心输入就是source-registry.md。在 researcher/README.md 的阶段说明中Triage 阶段被明确描述为 Source class and exclusion check fromsource-registry.md即用来源分类source class和排除检查exclusion check来决定一个候选来源是否值得继续消耗评估成本。在自主研究循环 runbook 的 Setup 步骤中规则更加直白用research_loop.py init创建 run ID读取source-registry.md并为本任务选择来源分类读取机制注册表researcher/mechanisms/registry.jsonl在声称新颖之前先了解已接受的机制在评估任何内容之前先阅读相关评分卡声明锁定表面rubrics、清单、机制注册表、合并策略在评分期间不可编辑声明可编辑表面评估、提案、草稿、run 局部机制提案、追加式日志。可以看到来源注册表是整个研究流水线的准入闸门它服务于一个朴素但关键的目标——在花掉评估 token 之前就决定值不值得花。二、优先级来源分层三档来源、六类渠道注册表将候选来源划分为三个优先级档位每一档都给出了典型渠道与用途TierSource ClassExamplesUse1Peer-reviewed papers and major preprintsarXiv, OpenReview, conference proceedingsNew mechanisms, benchmark results, ablations1AI lab engineering and research postsOpenAI, Anthropic, DeepMind, Google Research, Meta, Microsoft, Cohere, Mistral, xAIProduction patterns, model behavior, agent architecture1Reproducible public code and benchmarksGitHub repos, benchmark harnesses, leaderboards with logsHarness design, validation methodology, implementation patterns2Infrastructure and agent product teamsCursor, Vercel, LangChain, Cognition, Ramp, Prime Intellect, Modal, BrowserbaseOperational lessons and system design patterns2Recognized practitioner deep divesMaintainers, researchers, benchmark authors with public track recordField reports and failure modes3Newsletters, summaries, podcasts, videosTechnical summaries with source linksDiscovery leads only; evaluate primary sources before accepting实际使用中的几个关键判读Tier 1 同时容纳论文与AI 实验室工程博客因为这两类渠道分别供应新机制/基准结果/消融实验与生产模式/模型行为/代理架构用途互补而非互斥Tier 2 的价值在于运维教训与系统设计模式它们未必产出论文但往往暴露真实生产环境中的失败模式Tier 3 被明确定位为发现线索摘要、播客、视频只能帮你找到线索在接受之前必须回头去评估原始来源primary sources。这一分级在本仓库的种子数据中可以直接得到印证。researcher/discovery/manual-seed.jsonl 共记录 12 条手工种子候选其source_type分布为engineering_blog8 条覆盖 OpenAI、Anthropic、Google Research、Cursor、Vercel、Prime Intellect、Cohere 等 Tier 1/2 机构、paper3 条机制洞察、治理实践、自主实验系统、code1 条Karpathy autoresearch 程序。每条记录都带有candidate_reason字段说明为什么这条值得进入管线——这正是注册表思想在数据层的落地。三、排除规则五条硬性拒绝模式注册表要求对命中以下任何模式的来源执行拒绝或延后reject or defer匿名或无法核实的作者且没有一手证据Anonymous or unverifiable author with no primary evidence缺乏机制、产物、指标或可复现声明的厂商营销Vendor marketing with no mechanism, artifact, metric, or reproducible claim仅复述提示工程或 RAG 基础知识的入门教程Basic tutorials that restate prompt engineering or RAG fundamentals仅凭截图、演示或私人轶事、且细节不足以实现的主张Claims based only on screenshots, demos, or private anecdotes without enough detail to implement核心洞见已被本仓库覆盖、且未带来新证据、新失败模式或新实现细节的内容Content whose main insight is already covered in the repo without new evidence, failure modes, or implementation detail。这五条规则与内容策展评分卡中的四个 Gatekeeper 门槛一一呼应排除规则 1、2 → G4 Source Verifiability作者或组织可识别且技术上可信否则 REJECT排除规则 3 → G3 Beyond Basics只覆盖入门内容视为不过排除规则 4 → G2 Implementable Artifacts纯评论、无产物或不可复现流程视为不过排除规则 5 → 与仓库机制注册表researcher/mechanisms/registry.jsonl形成闭环重复的洞见在 novelty 阶段就会被novelty_check.py拦下。评分卡还明确了任何门槛失败即拒绝的语义any failed gate rejects the source unless a human explicitly overrides it且 researcher/scripts/validate_repo.py 的validate_researcher()会检查评分卡中是否写明了这种门禁语义要求文本包含 any failed gate rejects 或 any gate fails否则给出警告。四、监控查询族把发现阶段变成可复用的关键词资产注册表建议在运行 web 或论文发现时使用以下查询族context engineering agent systems tool design evaluation memory compressionharness engineering AI agents eval harness agent loop scratchpadautonomous research agent self improving agents experiment loopLLM agent evaluation rubric source quality citation accuracyagent memory durable scratchpad file system stateAlphaEvolve FunSearch autoresearch autonomous experimentationOpenAI Anthropic Cohere DeepMind agent engineering blog使用建议结合仓库实践查询族按主题簇而非单个关键词组织便于定期轮换、避免同一批候选反复出现前五组对应仓库技能栈的五大主题context engineering、harness engineering、autonomous research、evaluation、memory后两组分别覆盖自主实验系统AlphaEvolve、FunSearch、autoresearch 等与实验室工程博客渠道——前者正是harness-engineering技能与claim-harness-locked-evaluator等主张的来源地发现到的候选应当写入 run 的sources/queue.jsonl由research_loop.py init自动创建 S001 记录而不是散落在聊天记录里。五、来源元数据每个候选来源的强制记录格式注册表规定每一个候选来源都必须记录以下字段url: title: author_or_org: published_at: source_type: paper | engineering_blog | documentation | benchmark | code | talk | other retrieval_status: retrieved | partial | failed primary_or_secondary: primary | secondary candidate_reason: 字段语义与使用要点source_type的七种枚举值paper、engineering_blog、documentation、benchmark、code、talk、other与research_loop.py init --source-type的可选值完全一致也与 Tier 表中的来源类别对应retrieval_status三态retrieved/partial/failed是评估的前置条件runbook 明确要求评估前先记录检索状态并且治理规则第 2 条写明只引用已检索到的来源若来源加载失败记录失败并不得将其作为证据引用primary_or_secondary区分一手与二手来源直接服务于接受偏差第 5 条见第七节candidate_reason要求记录为什么这条值得是后续 novelty 检查和人工复核的第一手上下文。这套 YAML schema 在仓库中有对应的机器可读形态researcher/templates/source-evaluation.json。它把source字段原样承载url、title、author_or_org、published_at、source_type、retrieval_status、primary_or_secondary并追加gatekeeperG1–G4 逐项 pass/evidence、scoringD1–D4 各 0–2 分与加权总分、decisionverdict、override、confidence、justification、extraction机制摘要、可实现产物、失败模式、候选技能目标等结构化区块。该模板由research_loop.py的create_source_evaluation()在init时自动实例化为sources/evaluations/source-evaluation-draft.json初始决策固定为HUMAN_REVIEW、置信度low——即骨架必须先经过真实检索与评分不允许空转通过。仓库现存的实际 run researcher/runs/20260515-035228-executable-autonomous-research-frameworks/sources/evaluations/source-evaluation-draft.json 正是这种草稿脚手架的实证。六、刷新节奏周、月、PR 前三级 cadence每周实验室博客、arXiv/OpenReview、公开基准仓库、活跃的工程博客每月对旧来源做再验证revalidation尤其针对波动性高的主张——模型相关的阈值与基准数字例如claims/index.jsonl中标记为volatility: high的 claimPR 之前重新抓取每一个被引用的来源确认证据仍然支持拟议的技能变更。这三条节奏在仓库中同样有落点claims/index.jsonl为每个 volatile 主张记录retrieved_at、last_reviewed、volatility、evidence_strength字段例如claim-latent-briefing-public-results被标记为volatility: high、evidence_strength: secondary属于月度再验证的重点对象治理规则第 2 条cite only retrieved sources与 PR 前重抓取相互配合防止证据已过期但仍被引用researcher/rubrics/skill-change.md 与 researcher/rubrics/harness-change.md 作为技能/框架变更门禁与注册表的 PR 前检查一起构成发布闸门。七、接受偏差清单五条评估纪律注册表列出的五条必须避免的接受偏差本质上是给评估者无论是人还是 LLM judge的行为约束不因机构有名就接受薄弱产物Do not accept a weak artifact because the organization is famous不拒绝失败的实验——只要它揭示了可操作的失败模式Do not reject negative or failed experiments if they reveal a practical failure mode不迷信长报告——目标是可实现的机制密度implementable mechanism density而不是篇幅不轻信基准主张——必须核查评估设置、基线与局限evaluation setup, baselines, and limitations有二手摘要时不得把二手来源当作真相Do not treat secondary summaries as sources of truth when primary sources are available。这五条在评分卡中对应着量化的惩罚与强制项偏差 1、3 → D4 Novelty and Insight0–2 分与 D1 Technical Depth35% 权重共同约束华而不实的来源偏差 4 → D3 Evidence and Rigor20% 权重只有定量证据、基线、消融、公开日志或可复现方法才能得满分 2 分貌似合理的经验报告最多 1 分偏差 5 → 由primary_or_secondary字段承载并在 O3 覆盖规则中体现当 D3 只得 1 分而总分达标时强制降级为HUMAN_REVIEW。八、源码级佐证注册表如何被脚本强制与保护来源注册表不是一份建议文档它被本仓库的校验与治理机制直接引用1. 注册表是 Researcher OS 的必需文件。researcher/scripts/validate_repo.py 第 21–33 行的REQUIRED_RESEARCHER_FILES列表将source-registry.md与mechanisms/registry.jsonl、claims/index.jsonl、corpus/index.json等并列validate_researcher()第 319 行起逐项检查文件存在性并额外校验templates/source-evaluation.json可被 JSON 解析、内容评分卡必须显式声明门禁失败语义。2. 注册表属于锁定表面。researcher/scripts/research_loop.py 顶部定义LOCKED_SURFACES [ researcher/rubrics/content-curation.md, researcher/rubrics/skill-change.md, researcher/rubrics/harness-change.md, researcher/mechanisms/registry.jsonl, ... ]这与机制注册表中locked-editable-surfaces机制在循环开始前把表面划分为 locked / editable / append-only / human-controlled防止 Agent 用被自己改过的评估器来批准自己的工作以及claim-harness-locked-evaluator主张自主循环需要锁定的评估器与狭窄的可编辑表面完全一致——准入规则比产物更难修改这是治理规则第 1 条的硬性要求。3. 评分卡阈值被确定性校验。validate_rubrics()要求content-curation.md必须包含 G1–G4、O1–O4 以及阈值1.4与0.9skill-change.md必须包含 S1–S5 与1.4harness-change.md必须包含 H1–H5 与1.5。这意味着评估标准本身是受版本控制的、可审计的资产而不是评估者随手可改的软约束。4. 机制注册表与主张台账形成证据闭环。只有当research_loop.py promote-mechanisms在 run 通过就绪校验且记录人工复核--reviewed-by必填后机制提案才能写入mechanisms/registry.jsonl并追加到mechanisms/ledgers/accepted.jsonl被拒机制则追加到rejected.jsonl确保未来的 Agent 不会重复探索同一条死路。这与注册表拒绝或延后的策略遥相呼应。九、从注册表到可执行管线一个最小 run 的完整闭环将上述所有要素串起来一次符合注册表纪律的研究 run 大致是# 1. 初始化 run自动生成 THREAD.md、来源队列、评估草稿、提案草稿、锁定/可编辑表面声明 python researcher/scripts/research_loop.py init --title Source title --url https://example.com/source --source-type paper # 2. 记录原始证据复制到 run 的 sources/evidence/raw/并把队列状态更新为 retrieved python researcher/scripts/research_loop.py retrieve --run-dir researcher/runs/run-id --file ./source.pdf # 3. 填写 source-evaluation-draft.jsonG1–G4、D1–D4、决策然后登记评估完成 python researcher/scripts/research_loop.py evaluate --run-dir researcher/runs/run-id # 4. 修改已发布技能前先做机制重叠检查注册表重叠是首要重复信号 python researcher/scripts/novelty_check.py --file researcher/runs/run-id/proposals/skill-proposal.md # 5. 确定性校验仓库级与 run 级 python researcher/scripts/validate_repo.py --strict python researcher/scripts/validate_run.py --run-dir researcher/runs/run-id # 6. 记录 PR 就绪说明并关闭 runaccepted / rejected / reference-only / abandoned python researcher/scripts/research_loop.py pr-ready --run-dir researcher/runs/run-id --summary ... --test-plan ... --risks ... python researcher/scripts/research_loop.py close --run-dir researcher/runs/run-id --status reference-only --reason ...需要特别说明的限制与边界这些命令不会调用任何 LLMresearch_loop.py的职责只是创建持久化产物run-state.json、THREAD.md、评估与提案文件然后运行确定性校验在 run 启动前注册表source-registry.md、评分卡与机制注册表均为锁定表面评估过程中不可修改管线允许 Agent 准备分支与 PR 内容但合并必须由人完成——README 明确写明 No workflow in this directory authorizes auto-merge若某个提案同时存在多个竞争草稿先运行python researcher/scripts/compare_skill_revisions.py skills/evaluation/SKILL.md skills/advanced-evaluation/SKILL.md做确定性预检再套用成对技能修订评分卡。十、在本仓库中继续阅读与验证想深入验证本文所述机制可以按以下路径只读浏览仓库策略层researcher/source-registry.md本文主体→ researcher/README.md生命周期与目录地图→ researcher/runbooks/autonomous-research-loop.mdrun 级执行细则评分层researcher/rubrics/content-curation.mdG1–G4 门禁与 D1–D4 加权评分→ researcher/rubrics/harness-change.md证据层researcher/templates/source-evaluation.json机器可读评估形态→ researcher/mechanisms/registry.jsonl已接受机制→ researcher/claims/index.jsonlvolatile 主张台账→ researcher/discovery/manual-seed.jsonl种子候选示例执行层researcher/scripts/research_loop.py锁定/可编辑表面、状态机、机制晋升→ researcher/scripts/validate_repo.py必需文件与评分卡阈值校验→ researcher/scripts/novelty_check.py实跑样例researcher/runs/20260515-035228-executable-autonomous-research-frameworks/含 THREAD.md、评估草稿、验证报告、机制提案与 researcher/fixtures/skill-proposals/harness-engineering-proposal.md一份含 novelty 判定与风险说明的完整提案样板。如果只想做一次快速自检可以直接运行仓库自带的确定性校验器python researcher/scripts/validate_repo.py。该命令会检查 Researcher OS 必需文件含source-registry.md、评分卡阈值、机制注册表结构、主张台账与 corpus 索引的一致性输出错误与警告统计——这也是本仓库确定性优先于 LLM 判断机制deterministic-first-validation在注册表层面的最终兜底。【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Source Registry 实战指南：为自主研究 Agent 构建可审计的外部证据准入体系
Source Registry 实战指南为自主研究 Agent 构建可审计的外部证据准入体系【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering本篇指南以本仓库researcher/source-registry.md为骨架讲解如何为 autonomous researcher自主研究 Agent设计一套来源注册表在花费任何评估 token 之前先明确该监控什么、什么证据可采纳、什么必须拒绝。读完本文你将掌握三档来源优先级分级、五条硬性排除规则、监控查询族的组织方法、候选来源的强制元数据 schema、刷新节奏与接受偏差清单并看到这套策略在本仓库 Researcher Operating Systemresearcher/README.md中是如何被脚本强制执行的。一、Source Registry 在 Researcher OS 中的定位本仓库的researcher/目录定义了一套把外部研究转化为技能变更的原生工作流其生命周期为discover - triage - evaluate - extract - map - draft - validate - prepare-pr - human-merge其中triage分诊阶段的核心输入就是source-registry.md。在 researcher/README.md 的阶段说明中Triage 阶段被明确描述为 Source class and exclusion check fromsource-registry.md即用来源分类source class和排除检查exclusion check来决定一个候选来源是否值得继续消耗评估成本。在自主研究循环 runbook 的 Setup 步骤中规则更加直白用research_loop.py init创建 run ID读取source-registry.md并为本任务选择来源分类读取机制注册表researcher/mechanisms/registry.jsonl在声称新颖之前先了解已接受的机制在评估任何内容之前先阅读相关评分卡声明锁定表面rubrics、清单、机制注册表、合并策略在评分期间不可编辑声明可编辑表面评估、提案、草稿、run 局部机制提案、追加式日志。可以看到来源注册表是整个研究流水线的准入闸门它服务于一个朴素但关键的目标——在花掉评估 token 之前就决定值不值得花。二、优先级来源分层三档来源、六类渠道注册表将候选来源划分为三个优先级档位每一档都给出了典型渠道与用途TierSource ClassExamplesUse1Peer-reviewed papers and major preprintsarXiv, OpenReview, conference proceedingsNew mechanisms, benchmark results, ablations1AI lab engineering and research postsOpenAI, Anthropic, DeepMind, Google Research, Meta, Microsoft, Cohere, Mistral, xAIProduction patterns, model behavior, agent architecture1Reproducible public code and benchmarksGitHub repos, benchmark harnesses, leaderboards with logsHarness design, validation methodology, implementation patterns2Infrastructure and agent product teamsCursor, Vercel, LangChain, Cognition, Ramp, Prime Intellect, Modal, BrowserbaseOperational lessons and system design patterns2Recognized practitioner deep divesMaintainers, researchers, benchmark authors with public track recordField reports and failure modes3Newsletters, summaries, podcasts, videosTechnical summaries with source linksDiscovery leads only; evaluate primary sources before accepting实际使用中的几个关键判读Tier 1 同时容纳论文与AI 实验室工程博客因为这两类渠道分别供应新机制/基准结果/消融实验与生产模式/模型行为/代理架构用途互补而非互斥Tier 2 的价值在于运维教训与系统设计模式它们未必产出论文但往往暴露真实生产环境中的失败模式Tier 3 被明确定位为发现线索摘要、播客、视频只能帮你找到线索在接受之前必须回头去评估原始来源primary sources。这一分级在本仓库的种子数据中可以直接得到印证。researcher/discovery/manual-seed.jsonl 共记录 12 条手工种子候选其source_type分布为engineering_blog8 条覆盖 OpenAI、Anthropic、Google Research、Cursor、Vercel、Prime Intellect、Cohere 等 Tier 1/2 机构、paper3 条机制洞察、治理实践、自主实验系统、code1 条Karpathy autoresearch 程序。每条记录都带有candidate_reason字段说明为什么这条值得进入管线——这正是注册表思想在数据层的落地。三、排除规则五条硬性拒绝模式注册表要求对命中以下任何模式的来源执行拒绝或延后reject or defer匿名或无法核实的作者且没有一手证据Anonymous or unverifiable author with no primary evidence缺乏机制、产物、指标或可复现声明的厂商营销Vendor marketing with no mechanism, artifact, metric, or reproducible claim仅复述提示工程或 RAG 基础知识的入门教程Basic tutorials that restate prompt engineering or RAG fundamentals仅凭截图、演示或私人轶事、且细节不足以实现的主张Claims based only on screenshots, demos, or private anecdotes without enough detail to implement核心洞见已被本仓库覆盖、且未带来新证据、新失败模式或新实现细节的内容Content whose main insight is already covered in the repo without new evidence, failure modes, or implementation detail。这五条规则与内容策展评分卡中的四个 Gatekeeper 门槛一一呼应排除规则 1、2 → G4 Source Verifiability作者或组织可识别且技术上可信否则 REJECT排除规则 3 → G3 Beyond Basics只覆盖入门内容视为不过排除规则 4 → G2 Implementable Artifacts纯评论、无产物或不可复现流程视为不过排除规则 5 → 与仓库机制注册表researcher/mechanisms/registry.jsonl形成闭环重复的洞见在 novelty 阶段就会被novelty_check.py拦下。评分卡还明确了任何门槛失败即拒绝的语义any failed gate rejects the source unless a human explicitly overrides it且 researcher/scripts/validate_repo.py 的validate_researcher()会检查评分卡中是否写明了这种门禁语义要求文本包含 any failed gate rejects 或 any gate fails否则给出警告。四、监控查询族把发现阶段变成可复用的关键词资产注册表建议在运行 web 或论文发现时使用以下查询族context engineering agent systems tool design evaluation memory compressionharness engineering AI agents eval harness agent loop scratchpadautonomous research agent self improving agents experiment loopLLM agent evaluation rubric source quality citation accuracyagent memory durable scratchpad file system stateAlphaEvolve FunSearch autoresearch autonomous experimentationOpenAI Anthropic Cohere DeepMind agent engineering blog使用建议结合仓库实践查询族按主题簇而非单个关键词组织便于定期轮换、避免同一批候选反复出现前五组对应仓库技能栈的五大主题context engineering、harness engineering、autonomous research、evaluation、memory后两组分别覆盖自主实验系统AlphaEvolve、FunSearch、autoresearch 等与实验室工程博客渠道——前者正是harness-engineering技能与claim-harness-locked-evaluator等主张的来源地发现到的候选应当写入 run 的sources/queue.jsonl由research_loop.py init自动创建 S001 记录而不是散落在聊天记录里。五、来源元数据每个候选来源的强制记录格式注册表规定每一个候选来源都必须记录以下字段url: title: author_or_org: published_at: source_type: paper | engineering_blog | documentation | benchmark | code | talk | other retrieval_status: retrieved | partial | failed primary_or_secondary: primary | secondary candidate_reason: 字段语义与使用要点source_type的七种枚举值paper、engineering_blog、documentation、benchmark、code、talk、other与research_loop.py init --source-type的可选值完全一致也与 Tier 表中的来源类别对应retrieval_status三态retrieved/partial/failed是评估的前置条件runbook 明确要求评估前先记录检索状态并且治理规则第 2 条写明只引用已检索到的来源若来源加载失败记录失败并不得将其作为证据引用primary_or_secondary区分一手与二手来源直接服务于接受偏差第 5 条见第七节candidate_reason要求记录为什么这条值得是后续 novelty 检查和人工复核的第一手上下文。这套 YAML schema 在仓库中有对应的机器可读形态researcher/templates/source-evaluation.json。它把source字段原样承载url、title、author_or_org、published_at、source_type、retrieval_status、primary_or_secondary并追加gatekeeperG1–G4 逐项 pass/evidence、scoringD1–D4 各 0–2 分与加权总分、decisionverdict、override、confidence、justification、extraction机制摘要、可实现产物、失败模式、候选技能目标等结构化区块。该模板由research_loop.py的create_source_evaluation()在init时自动实例化为sources/evaluations/source-evaluation-draft.json初始决策固定为HUMAN_REVIEW、置信度low——即骨架必须先经过真实检索与评分不允许空转通过。仓库现存的实际 run researcher/runs/20260515-035228-executable-autonomous-research-frameworks/sources/evaluations/source-evaluation-draft.json 正是这种草稿脚手架的实证。六、刷新节奏周、月、PR 前三级 cadence每周实验室博客、arXiv/OpenReview、公开基准仓库、活跃的工程博客每月对旧来源做再验证revalidation尤其针对波动性高的主张——模型相关的阈值与基准数字例如claims/index.jsonl中标记为volatility: high的 claimPR 之前重新抓取每一个被引用的来源确认证据仍然支持拟议的技能变更。这三条节奏在仓库中同样有落点claims/index.jsonl为每个 volatile 主张记录retrieved_at、last_reviewed、volatility、evidence_strength字段例如claim-latent-briefing-public-results被标记为volatility: high、evidence_strength: secondary属于月度再验证的重点对象治理规则第 2 条cite only retrieved sources与 PR 前重抓取相互配合防止证据已过期但仍被引用researcher/rubrics/skill-change.md 与 researcher/rubrics/harness-change.md 作为技能/框架变更门禁与注册表的 PR 前检查一起构成发布闸门。七、接受偏差清单五条评估纪律注册表列出的五条必须避免的接受偏差本质上是给评估者无论是人还是 LLM judge的行为约束不因机构有名就接受薄弱产物Do not accept a weak artifact because the organization is famous不拒绝失败的实验——只要它揭示了可操作的失败模式Do not reject negative or failed experiments if they reveal a practical failure mode不迷信长报告——目标是可实现的机制密度implementable mechanism density而不是篇幅不轻信基准主张——必须核查评估设置、基线与局限evaluation setup, baselines, and limitations有二手摘要时不得把二手来源当作真相Do not treat secondary summaries as sources of truth when primary sources are available。这五条在评分卡中对应着量化的惩罚与强制项偏差 1、3 → D4 Novelty and Insight0–2 分与 D1 Technical Depth35% 权重共同约束华而不实的来源偏差 4 → D3 Evidence and Rigor20% 权重只有定量证据、基线、消融、公开日志或可复现方法才能得满分 2 分貌似合理的经验报告最多 1 分偏差 5 → 由primary_or_secondary字段承载并在 O3 覆盖规则中体现当 D3 只得 1 分而总分达标时强制降级为HUMAN_REVIEW。八、源码级佐证注册表如何被脚本强制与保护来源注册表不是一份建议文档它被本仓库的校验与治理机制直接引用1. 注册表是 Researcher OS 的必需文件。researcher/scripts/validate_repo.py 第 21–33 行的REQUIRED_RESEARCHER_FILES列表将source-registry.md与mechanisms/registry.jsonl、claims/index.jsonl、corpus/index.json等并列validate_researcher()第 319 行起逐项检查文件存在性并额外校验templates/source-evaluation.json可被 JSON 解析、内容评分卡必须显式声明门禁失败语义。2. 注册表属于锁定表面。researcher/scripts/research_loop.py 顶部定义LOCKED_SURFACES [ researcher/rubrics/content-curation.md, researcher/rubrics/skill-change.md, researcher/rubrics/harness-change.md, researcher/mechanisms/registry.jsonl, ... ]这与机制注册表中locked-editable-surfaces机制在循环开始前把表面划分为 locked / editable / append-only / human-controlled防止 Agent 用被自己改过的评估器来批准自己的工作以及claim-harness-locked-evaluator主张自主循环需要锁定的评估器与狭窄的可编辑表面完全一致——准入规则比产物更难修改这是治理规则第 1 条的硬性要求。3. 评分卡阈值被确定性校验。validate_rubrics()要求content-curation.md必须包含 G1–G4、O1–O4 以及阈值1.4与0.9skill-change.md必须包含 S1–S5 与1.4harness-change.md必须包含 H1–H5 与1.5。这意味着评估标准本身是受版本控制的、可审计的资产而不是评估者随手可改的软约束。4. 机制注册表与主张台账形成证据闭环。只有当research_loop.py promote-mechanisms在 run 通过就绪校验且记录人工复核--reviewed-by必填后机制提案才能写入mechanisms/registry.jsonl并追加到mechanisms/ledgers/accepted.jsonl被拒机制则追加到rejected.jsonl确保未来的 Agent 不会重复探索同一条死路。这与注册表拒绝或延后的策略遥相呼应。九、从注册表到可执行管线一个最小 run 的完整闭环将上述所有要素串起来一次符合注册表纪律的研究 run 大致是# 1. 初始化 run自动生成 THREAD.md、来源队列、评估草稿、提案草稿、锁定/可编辑表面声明 python researcher/scripts/research_loop.py init --title Source title --url https://example.com/source --source-type paper # 2. 记录原始证据复制到 run 的 sources/evidence/raw/并把队列状态更新为 retrieved python researcher/scripts/research_loop.py retrieve --run-dir researcher/runs/run-id --file ./source.pdf # 3. 填写 source-evaluation-draft.jsonG1–G4、D1–D4、决策然后登记评估完成 python researcher/scripts/research_loop.py evaluate --run-dir researcher/runs/run-id # 4. 修改已发布技能前先做机制重叠检查注册表重叠是首要重复信号 python researcher/scripts/novelty_check.py --file researcher/runs/run-id/proposals/skill-proposal.md # 5. 确定性校验仓库级与 run 级 python researcher/scripts/validate_repo.py --strict python researcher/scripts/validate_run.py --run-dir researcher/runs/run-id # 6. 记录 PR 就绪说明并关闭 runaccepted / rejected / reference-only / abandoned python researcher/scripts/research_loop.py pr-ready --run-dir researcher/runs/run-id --summary ... --test-plan ... --risks ... python researcher/scripts/research_loop.py close --run-dir researcher/runs/run-id --status reference-only --reason ...需要特别说明的限制与边界这些命令不会调用任何 LLMresearch_loop.py的职责只是创建持久化产物run-state.json、THREAD.md、评估与提案文件然后运行确定性校验在 run 启动前注册表source-registry.md、评分卡与机制注册表均为锁定表面评估过程中不可修改管线允许 Agent 准备分支与 PR 内容但合并必须由人完成——README 明确写明 No workflow in this directory authorizes auto-merge若某个提案同时存在多个竞争草稿先运行python researcher/scripts/compare_skill_revisions.py skills/evaluation/SKILL.md skills/advanced-evaluation/SKILL.md做确定性预检再套用成对技能修订评分卡。十、在本仓库中继续阅读与验证想深入验证本文所述机制可以按以下路径只读浏览仓库策略层researcher/source-registry.md本文主体→ researcher/README.md生命周期与目录地图→ researcher/runbooks/autonomous-research-loop.mdrun 级执行细则评分层researcher/rubrics/content-curation.mdG1–G4 门禁与 D1–D4 加权评分→ researcher/rubrics/harness-change.md证据层researcher/templates/source-evaluation.json机器可读评估形态→ researcher/mechanisms/registry.jsonl已接受机制→ researcher/claims/index.jsonlvolatile 主张台账→ researcher/discovery/manual-seed.jsonl种子候选示例执行层researcher/scripts/research_loop.py锁定/可编辑表面、状态机、机制晋升→ researcher/scripts/validate_repo.py必需文件与评分卡阈值校验→ researcher/scripts/novelty_check.py实跑样例researcher/runs/20260515-035228-executable-autonomous-research-frameworks/含 THREAD.md、评估草稿、验证报告、机制提案与 researcher/fixtures/skill-proposals/harness-engineering-proposal.md一份含 novelty 判定与风险说明的完整提案样板。如果只想做一次快速自检可以直接运行仓库自带的确定性校验器python researcher/scripts/validate_repo.py。该命令会检查 Researcher OS 必需文件含source-registry.md、评分卡阈值、机制注册表结构、主张台账与 corpus 索引的一致性输出错误与警告统计——这也是本仓库确定性优先于 LLM 判断机制deterministic-first-validation在注册表层面的最终兜底。【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考