VoiceStudio 的 probe 测试框架Actor 与 Judge 分离的规格驱动测试实践【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio导读probe是 VoiceStudio 仓库中一套独立可移植的测试框架位于 tests/probe它用一份 YAML 规格*.probe.yaml声明被测特性用确定性的代码对 TTS/ASR 引擎、配音导出、桌面打包、Web UI 等模块输出做客观判定。本篇文章将带你理解 probe 的核心设计原则——把行动者Actor与裁判Judge分离掌握规格文件的结构与 Judge 引擎的底层实现并学会如何离线运行整套测试、解读自包含的 HTML 报告以及理解其诚实的天花板——哪些结论可以被自动化信任哪些必须留给人工判断。一、核心设计哲学Action 与 Judge 必须分离probe 自述为一套规格驱动的测试工具spec-driven test harness它适用于 VoiceStudio也按设计适用于其他项目或 API。它的关键立场是probe 是大部分确定性 三个窄范围 Agent 角色的系统而不是AI 包办一切的系统——这一区分正是整套设计的意义所在。其唯一原则可以用下面这张流程图画出来ACTOR (AI agent / HTTP call / browser) ──drives──▶ app under test │ produces artifacts ▼ JUDGE (deterministic code metrics) ◀──renders the verdictActor 可以是灵活的、自愈的、非确定性的。它负责做事发起 HTTP 调用、驱动浏览器、执行 TTS 合成等并捕获产物音频文件、JSON 响应、页面状态进入运行上下文。Judge 只能是确定性代码与客观指标。LLM 永远不能坐在判定路径verdict path上——除了一条明确标注、不阻塞的advisory建议通道。让同一个 Agent 既行动又裁决会在坏软件上产出绿测通过的假阳性这比没有测试更糟。在 spec.py 的模块文档中这一原则被固化为三条注释steps定义 Actor 做什么、judge是确定性的阻塞裁决、advisory是非阻塞指标自然度预测器等它们编码了学习到的意见并在域外失效因此只报告、绝不 gate。从代码结构看这是全仓库测试体系中唯一允许 Agent 在运行时出现的位置在 web.py 中LLM 只被允许扮演 Actor 角色定位元素、选择器漂移时自愈而裁决权始终掌握在judges/web.py的确定性 Judge 手中。二、功能覆盖每份*.probe.yaml规格对应一个特性probe 不只包含骨架它还针对以下特性各提供一份*.probe.yaml规格存放于 tests/probe/specs在可能的情况下针对真实应用运行——所有触达后端的规格共享同一次子进程启动single subprocess boot规格文件层Layer验证内容first_run.probe.yamlenv全新数据目录启动健康检查 DB 初始化 端点可达migration.probe.yamlenv在既有omnivoice_datafixture 上执行 alembic UPGRADE向后兼容engines.probe.yamlengineTTS/ASR 注册表活动引擎可用每个不可用引擎都能说明原因11 个 TTS / 7 个 ASR 后端security.probe.yamlsecurity系统路由拒绝非回环源403tts_smoke.probe.yaml/voice_clone.probe.yaml/voice_design.probe.yamlmedia音频正确性阶梯解码/时长/非静音/削波/WER 说话人相似度克隆dub_export.probe.yamldubbing片段时长比、SRT/VTT 格式合法、导出归档内容、输出语言 IDadvisoryi18n_parity.probe.yamli18n语言文件合法 JSONgate孤儿键 覆盖率advisorydesktop_smoke.probe.yamldesktopTauri 配置完整性版本一致、dev/build 接线、内置二进制、CSPlaunchpad.probe.yamlweb通过 Playwright Driver 渲染 UIFakePage 离线模式coverage_critic.probe.yamlmeta每个声明的层仍有规格漂移门禁 API 表面盘点advisory值得一提的是i18n 孤儿键检查发现了一个真实 bug全部 20 个非en语言环境都携带了en参考中不存在的gallery.cat_*键以及部分bootstrap.lines键。它被报告在 advisory 通道非阻塞而不是作为门禁因为修复它属于产品层面的变更。三、层次体系从 API 模糊测试到桌面打包共五层加一个 Triagerprobe 把验证对象划分为五个层外加一个故障分类器层模块状态作用L1 API fuzzapi_fuzz.py/test_api_fuzz.py✅ 已接线按需启用Schemathesis 对 FastAPI 应用做进程内 ASGI 属性模糊测试500 秒 / 模式违例L2 Web UIweb.py·judges/web.py·test_probe_web.py✅ 已构建live 按需启用Playwright Driver 确定性自愈 Judge。自愈逻辑与 Judge 离线对 FakePage 做单测无 Playwright/前端时跳过 live 浏览器L3 Desktopdesktop.py·judges/desktop.py·test_probe_desktop.py✅ 已构建并测试对真实tauri.conf.json含平台 override 合并做配置完整性校验版本与 pyproject 一致、dev/build 接线、内置uv/ffmpeg二进制、CSP 允许本地后端一种桌面独有失败模式。另有受保护的 live bundle 启动无构建产物/显示环境时跳过。Tauri macOS 没有官方 WebDriver——按架构决策用 L5后端走 HTTP L2浏览器替代 E2EL4 Mediajudges/✅ 已构建并测试音频正确性验证存在/可解码/时长/非静音/非削波/无 NaN、往返 ASR WER、说话人相似度L5 Env / first-runenv.py·_boot_runner.py·test_probe_env.py✅ 已构建并测试在子进程中冷启动全新数据目录后端无会话污染断言健康、DB 初始化、端点可达。Docker 启动受守护进程检查门禁Triagertriage.py·test_triage.py✅ 已构建并测试对阻塞失败做聚类/去重脱敏主目录路径 令牌并起草预填好的 GitHub issue URL不自动提交、不持凭证。HTML 报告在运行失败时显示一键Draft GitHub issue按钮3.1 为什么用子进程冷启动L5L5 的关键细节是在子进程中启动后端见_boot_runner.py这是为了避免会话污染如果测试进程自身已经初始化了某个全局状态就无法真实模拟全新数据目录的首次启动。子进程启动让first_run规格可以断言健康检查 200、status: ok、device字段存在、数据目录与db_path落地等首次运行副作用见 first_run.probe.yaml。四、混合规格格式YAML 声明为主pytest 为逃生舱简单测试用声明式 YAMLspecs/*.probe.yaml凡是 schema 表达不了的内容就降级为调用同一批 Judge 函数的普通 pytest 函数——这就是逃生舱escape hatch。参考 tts_smoke.probe.yaml 即可理解完整结构。一份规格将三件事刻意分离steps—— Actor 做什么逐层执行将产物以$.name形式捕获进运行上下文。judge—— 确定性的阻塞裁决。失败即测试失败。advisory——非阻塞指标自然度预测器、趋势。永不 gate只报告。以下是一份最小可运行的规格示例节选自tts_smoke.probe.yaml的结构feature: tts-synthesis layer: media setup: fixture: ephemeral-backend deterministic: { seed: 1234, temperature: 0 } steps: - actor: api call: POST /generate body: text: The quick brown fox jumps over the lazy dog. language: en capture: { audio: $.output_path } judge: subject: $.audio checks: - artifact_exists - decodes - no_nan - not_clipping: { peak_ceiling: 0.999 } - duration_between: [1.0, 6.0] - not_silent: { rms_floor_db: -45 } - asr_wer_below: expected: The quick brown fox jumps over the lazy dog. max: 0.15 advisory: []4.1 Judge 引擎的底层实现spec.py 是整套引擎的核心值得逐层拆解Judge 注册表JUDGE_REGISTRY把 YAML 里的 judge 键名映射到judges/下的可调用对象例如artifact_exists → audio.artifact_exists、asr_wer_below → transcription.asr_wer_below、csp_allows → desktop.csp_allows、ws_endpoint_registered → dictation.ws_endpoint_registered。注册表共收录约 30 个 judge见 spec.py覆盖媒体、HTTP、Web、桌面、配音、i18n、引擎矩阵、覆盖率与听写WebSocket。$.name引用解析_resolve递归地把$.audio、$.ref这类字符串替换为运行上下文里的实际产物路径——这是 Actor 与 Judge 之间的数据通道。_bind_kwargs智能绑定按被调用 judge 的函数签名注入参数把规格subject塞进首位path参数并把transcriber/embedder这类可插拔后端仅在 judge 接受时注入。这就是为什么 harness 自己的测试可以注入FakeTranscriber而真实验证则注入FasterWhisperTranscriber/ Resemblyzer embedder两份代码路径共用同一引擎。blocking_failures(results)唯一裁决规则——只保留not advisory and passed is False的结果。advisory 与 SKIPpassed is None永不阻塞。引擎内的JudgeResult数据类spec.py是原子裁决passed为 True/False 或 NoneNone 表示跳过例如可选后端未安装并携带detail、measured实测值与advisory标记。4.2 编程式调用不经过 YAML、直接在 pytest 里调用同一引擎from tests.probe import load_spec, run_judges, blocking_failures # probe 包内相对导入 spec load_spec(specs/tts_smoke.probe.yaml) results run_judges(spec, context{audio: out_path}, backends{transcriber: FasterWhisperTranscriber()}) assert not blocking_failures(results)五、运行方式离线零依赖起步重层按需启用uv run pytest tests/probe -q # judges 规格引擎离线无需模型harness 自己的测试使用合成音频 FakeTranscriber因此毫秒级跑完无需 GPU、无需下载模型。真实验证时才注入 live 后端FasterWhisperTranscriber、Resemblyzer/ECAPA embedder。5.1 启用更重的层uv add schemathesis # L1 API 模糊测试此前跳过 uv add resemblyzer # L4 说话人相似度此前跳过 uv add playwright uv run playwright install chromium # L2 live 浏览器 uv add anthropic # L2 Agent 自愈LLMHealer设置 ANTHROPIC_API_KEY # faster-whisper whisperx 已在基础 venv 中往返 ASR 现在就能用 # L5 Docker 启动在可达 Docker 守护进程时自动激活。5.2 离线运行 vs 按需启用一览现在就能跑基础 venv无模型/GPU装好依赖才启用L4 judges 规格引擎 报告L1 模糊测试需要schemathesisL5 首次启动子进程模型短路L4 说话人相似度需要resemblyzerL2 自愈逻辑 judgesFakePageL2 live 浏览器需要 Playwright bun run devL5 Docker 启动需要守护进程5.3 L2 的 Agent 自愈如何分级L2 的 Agent 自愈采用三级递进主选择器 → 确定性候选id → test-id → 文本、宽松 CSS→ 可插拔Healer。默认是NoopHealer确定性真正的 Agent 自愈需要显式传入launch(healeranthropic_healer())——LLMHealer让模型基于 live 页面 HTML 提议一个选择器。它是 provider 无关的LLMHealer(complete_fn)并用注入的 completion 做离线单测。裁决永远来自确定性 judges而不是 Driver 或模型。web.py 中selfheal_candidates()展示了确定性的降级逻辑#foo会依次生成[data-testidfoo]、[idfoo]、textfoo.a.b.c会宽松为最后一个 class因为漂移通常发生在开头的工具类而非语义尾部类tag.cls会退化为裸 tag。全部是纯字符串逻辑——无浏览器、无 LLM。六、HTML 报告自包含、可归档、诚实每次 probe 会话都会把一份自包含 HTML 报告内联 CSSJS无外部资源写入tests/probe/reports/并自动在浏览器打开tests/probe/reports/report-YYYYMMDD-HHMMSS.html # 本次运行 tests/probe/reports/report-latest.html # 指向最新报告的稳定指针报告展示裁决只看阻塞失败、汇总卡片passed / failed / skipped / advisory、每个规格的状态徽章表格与实测值、筛选按钮以及诚实天花板说明。advisory 通道和SKIP在视觉上分离绝不参与裁决——绿色运行永远不会过度自信。自动打开在 CI、无头 Linux无DISPLAY或设置了PROBE_NO_OPEN1时被抑制用PROBE_REPORT_DIR覆盖输出位置。测试通过 session 级probe_reportfixture 喂给报告def test_something(probe_report): results run_judges(spec, context{...}, backends{...}) probe_report.record(spec, results) # → 报告中的一行组不经过 pytest、纯程序化渲染from tests.probe.report import Report, SpecOutcome, save_and_open save_and_open(Report(outcomes[SpecOutcome.from_spec(spec, results)]))report.py 的实现要点Report.ok只取决于failed 0阻塞失败数passed/failed/skipped/advisory四个计数属性严格区分通道渲染层仅依赖 stdlib因此这份报告可以附在 GitHub issue 上、在任何机器打开、不需要构建步骤。6.1 Triager把失败变成可提交的 issue 草稿失败时Triagertriage.py会把阻塞失败按layer:feature:judge签名聚类去重然后脱敏——把/home/...或/Users/...折叠为~把hf_*、sk-*、ghp_*一类令牌替换为[REDACTED]符合本地优先的隐私规则——最终生成一个预填 URL的 issue 草稿。它绝不自动提交、绝不持有凭证只产出用户审阅后自行提交的 URL。没有 GitHub remote 时 harness 照常工作只是报告里不出现链接。七、诚实的天花板信任绿色面板之前必读probe 验证的是输出正确且没有坏掉correct and not broken而不是输出很好good。✅可自主信任约占功能的 70–80%崩溃、500、schema 破坏、静音/乱码/错误语言的音频、截断、时长漂移、安装损坏、定位器漂移。❌仅靠人工判断约占 10–15%自然度、韵律、情感适配度、口音真实性、听起来像可信的我、UI 感觉对。声称能给这些打分的指标UTMOS/NISQA/SQUIM 等 MOS 预测器在域外会失效而 646 种语言里大部分就是域外——所以它们住在advisory通道里永不 gate。固化在代码里的设计规则无 golden-WAV 固定音频 fixture。PyTorch 即使在固定随机种子下也无法在 CPU/GPU 间复现逐字节比较会制造平台专属回归违反跨平台一致性这一 P0 规则。要 gate 的是指标不是波形。WER 门限约 0.10–0.15永远不是 0——它度量的是你的 TTS ASR 自身的误差。固定句子上上升的 WER胜过任何绝对值。说话人相似度是相对门限——按引擎标定、对下降告警默认的英语偏向编码器对其他语言不可靠。NISQA 的权重是 CC-BY-NC-SA非商业——不要把它打包进发布构建优先用 UTMOS / TorchAudio-SQUIM / TTSDS2。正如 README 收尾所言一个隐藏自己无法验证之物的 harness 比没有更糟。probe 明确报告 skip 与 advisory让绿色运行永远不会高估其置信度。这正是 README 传达的整套测试哲学的落点——可验证的正确性交给代码不可验证的好明确留给人类。延伸阅读规格文件目录tests/probe/specs13 份*.probe.yaml媒体层 Judge 实现judges/audio.py、judges/transcription.py、judges/speaker.py桌面层 Judgejudges/desktop.py版本一致性、bundle.externalBin、csp_allows引擎矩阵 Judgejudges/engine.pyactive_engine_available、unavailable_engines_explained报告与 Triagerreport.py、triage.py全部层测试入口tests/probe/test_probe_*.py【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 VoiceStudio 的 probe 测试框架：Actor 与 Judge 分离的规格驱动测试实践
VoiceStudio 的 probe 测试框架Actor 与 Judge 分离的规格驱动测试实践【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio导读probe是 VoiceStudio 仓库中一套独立可移植的测试框架位于 tests/probe它用一份 YAML 规格*.probe.yaml声明被测特性用确定性的代码对 TTS/ASR 引擎、配音导出、桌面打包、Web UI 等模块输出做客观判定。本篇文章将带你理解 probe 的核心设计原则——把行动者Actor与裁判Judge分离掌握规格文件的结构与 Judge 引擎的底层实现并学会如何离线运行整套测试、解读自包含的 HTML 报告以及理解其诚实的天花板——哪些结论可以被自动化信任哪些必须留给人工判断。一、核心设计哲学Action 与 Judge 必须分离probe 自述为一套规格驱动的测试工具spec-driven test harness它适用于 VoiceStudio也按设计适用于其他项目或 API。它的关键立场是probe 是大部分确定性 三个窄范围 Agent 角色的系统而不是AI 包办一切的系统——这一区分正是整套设计的意义所在。其唯一原则可以用下面这张流程图画出来ACTOR (AI agent / HTTP call / browser) ──drives──▶ app under test │ produces artifacts ▼ JUDGE (deterministic code metrics) ◀──renders the verdictActor 可以是灵活的、自愈的、非确定性的。它负责做事发起 HTTP 调用、驱动浏览器、执行 TTS 合成等并捕获产物音频文件、JSON 响应、页面状态进入运行上下文。Judge 只能是确定性代码与客观指标。LLM 永远不能坐在判定路径verdict path上——除了一条明确标注、不阻塞的advisory建议通道。让同一个 Agent 既行动又裁决会在坏软件上产出绿测通过的假阳性这比没有测试更糟。在 spec.py 的模块文档中这一原则被固化为三条注释steps定义 Actor 做什么、judge是确定性的阻塞裁决、advisory是非阻塞指标自然度预测器等它们编码了学习到的意见并在域外失效因此只报告、绝不 gate。从代码结构看这是全仓库测试体系中唯一允许 Agent 在运行时出现的位置在 web.py 中LLM 只被允许扮演 Actor 角色定位元素、选择器漂移时自愈而裁决权始终掌握在judges/web.py的确定性 Judge 手中。二、功能覆盖每份*.probe.yaml规格对应一个特性probe 不只包含骨架它还针对以下特性各提供一份*.probe.yaml规格存放于 tests/probe/specs在可能的情况下针对真实应用运行——所有触达后端的规格共享同一次子进程启动single subprocess boot规格文件层Layer验证内容first_run.probe.yamlenv全新数据目录启动健康检查 DB 初始化 端点可达migration.probe.yamlenv在既有omnivoice_datafixture 上执行 alembic UPGRADE向后兼容engines.probe.yamlengineTTS/ASR 注册表活动引擎可用每个不可用引擎都能说明原因11 个 TTS / 7 个 ASR 后端security.probe.yamlsecurity系统路由拒绝非回环源403tts_smoke.probe.yaml/voice_clone.probe.yaml/voice_design.probe.yamlmedia音频正确性阶梯解码/时长/非静音/削波/WER 说话人相似度克隆dub_export.probe.yamldubbing片段时长比、SRT/VTT 格式合法、导出归档内容、输出语言 IDadvisoryi18n_parity.probe.yamli18n语言文件合法 JSONgate孤儿键 覆盖率advisorydesktop_smoke.probe.yamldesktopTauri 配置完整性版本一致、dev/build 接线、内置二进制、CSPlaunchpad.probe.yamlweb通过 Playwright Driver 渲染 UIFakePage 离线模式coverage_critic.probe.yamlmeta每个声明的层仍有规格漂移门禁 API 表面盘点advisory值得一提的是i18n 孤儿键检查发现了一个真实 bug全部 20 个非en语言环境都携带了en参考中不存在的gallery.cat_*键以及部分bootstrap.lines键。它被报告在 advisory 通道非阻塞而不是作为门禁因为修复它属于产品层面的变更。三、层次体系从 API 模糊测试到桌面打包共五层加一个 Triagerprobe 把验证对象划分为五个层外加一个故障分类器层模块状态作用L1 API fuzzapi_fuzz.py/test_api_fuzz.py✅ 已接线按需启用Schemathesis 对 FastAPI 应用做进程内 ASGI 属性模糊测试500 秒 / 模式违例L2 Web UIweb.py·judges/web.py·test_probe_web.py✅ 已构建live 按需启用Playwright Driver 确定性自愈 Judge。自愈逻辑与 Judge 离线对 FakePage 做单测无 Playwright/前端时跳过 live 浏览器L3 Desktopdesktop.py·judges/desktop.py·test_probe_desktop.py✅ 已构建并测试对真实tauri.conf.json含平台 override 合并做配置完整性校验版本与 pyproject 一致、dev/build 接线、内置uv/ffmpeg二进制、CSP 允许本地后端一种桌面独有失败模式。另有受保护的 live bundle 启动无构建产物/显示环境时跳过。Tauri macOS 没有官方 WebDriver——按架构决策用 L5后端走 HTTP L2浏览器替代 E2EL4 Mediajudges/✅ 已构建并测试音频正确性验证存在/可解码/时长/非静音/非削波/无 NaN、往返 ASR WER、说话人相似度L5 Env / first-runenv.py·_boot_runner.py·test_probe_env.py✅ 已构建并测试在子进程中冷启动全新数据目录后端无会话污染断言健康、DB 初始化、端点可达。Docker 启动受守护进程检查门禁Triagertriage.py·test_triage.py✅ 已构建并测试对阻塞失败做聚类/去重脱敏主目录路径 令牌并起草预填好的 GitHub issue URL不自动提交、不持凭证。HTML 报告在运行失败时显示一键Draft GitHub issue按钮3.1 为什么用子进程冷启动L5L5 的关键细节是在子进程中启动后端见_boot_runner.py这是为了避免会话污染如果测试进程自身已经初始化了某个全局状态就无法真实模拟全新数据目录的首次启动。子进程启动让first_run规格可以断言健康检查 200、status: ok、device字段存在、数据目录与db_path落地等首次运行副作用见 first_run.probe.yaml。四、混合规格格式YAML 声明为主pytest 为逃生舱简单测试用声明式 YAMLspecs/*.probe.yaml凡是 schema 表达不了的内容就降级为调用同一批 Judge 函数的普通 pytest 函数——这就是逃生舱escape hatch。参考 tts_smoke.probe.yaml 即可理解完整结构。一份规格将三件事刻意分离steps—— Actor 做什么逐层执行将产物以$.name形式捕获进运行上下文。judge—— 确定性的阻塞裁决。失败即测试失败。advisory——非阻塞指标自然度预测器、趋势。永不 gate只报告。以下是一份最小可运行的规格示例节选自tts_smoke.probe.yaml的结构feature: tts-synthesis layer: media setup: fixture: ephemeral-backend deterministic: { seed: 1234, temperature: 0 } steps: - actor: api call: POST /generate body: text: The quick brown fox jumps over the lazy dog. language: en capture: { audio: $.output_path } judge: subject: $.audio checks: - artifact_exists - decodes - no_nan - not_clipping: { peak_ceiling: 0.999 } - duration_between: [1.0, 6.0] - not_silent: { rms_floor_db: -45 } - asr_wer_below: expected: The quick brown fox jumps over the lazy dog. max: 0.15 advisory: []4.1 Judge 引擎的底层实现spec.py 是整套引擎的核心值得逐层拆解Judge 注册表JUDGE_REGISTRY把 YAML 里的 judge 键名映射到judges/下的可调用对象例如artifact_exists → audio.artifact_exists、asr_wer_below → transcription.asr_wer_below、csp_allows → desktop.csp_allows、ws_endpoint_registered → dictation.ws_endpoint_registered。注册表共收录约 30 个 judge见 spec.py覆盖媒体、HTTP、Web、桌面、配音、i18n、引擎矩阵、覆盖率与听写WebSocket。$.name引用解析_resolve递归地把$.audio、$.ref这类字符串替换为运行上下文里的实际产物路径——这是 Actor 与 Judge 之间的数据通道。_bind_kwargs智能绑定按被调用 judge 的函数签名注入参数把规格subject塞进首位path参数并把transcriber/embedder这类可插拔后端仅在 judge 接受时注入。这就是为什么 harness 自己的测试可以注入FakeTranscriber而真实验证则注入FasterWhisperTranscriber/ Resemblyzer embedder两份代码路径共用同一引擎。blocking_failures(results)唯一裁决规则——只保留not advisory and passed is False的结果。advisory 与 SKIPpassed is None永不阻塞。引擎内的JudgeResult数据类spec.py是原子裁决passed为 True/False 或 NoneNone 表示跳过例如可选后端未安装并携带detail、measured实测值与advisory标记。4.2 编程式调用不经过 YAML、直接在 pytest 里调用同一引擎from tests.probe import load_spec, run_judges, blocking_failures # probe 包内相对导入 spec load_spec(specs/tts_smoke.probe.yaml) results run_judges(spec, context{audio: out_path}, backends{transcriber: FasterWhisperTranscriber()}) assert not blocking_failures(results)五、运行方式离线零依赖起步重层按需启用uv run pytest tests/probe -q # judges 规格引擎离线无需模型harness 自己的测试使用合成音频 FakeTranscriber因此毫秒级跑完无需 GPU、无需下载模型。真实验证时才注入 live 后端FasterWhisperTranscriber、Resemblyzer/ECAPA embedder。5.1 启用更重的层uv add schemathesis # L1 API 模糊测试此前跳过 uv add resemblyzer # L4 说话人相似度此前跳过 uv add playwright uv run playwright install chromium # L2 live 浏览器 uv add anthropic # L2 Agent 自愈LLMHealer设置 ANTHROPIC_API_KEY # faster-whisper whisperx 已在基础 venv 中往返 ASR 现在就能用 # L5 Docker 启动在可达 Docker 守护进程时自动激活。5.2 离线运行 vs 按需启用一览现在就能跑基础 venv无模型/GPU装好依赖才启用L4 judges 规格引擎 报告L1 模糊测试需要schemathesisL5 首次启动子进程模型短路L4 说话人相似度需要resemblyzerL2 自愈逻辑 judgesFakePageL2 live 浏览器需要 Playwright bun run devL5 Docker 启动需要守护进程5.3 L2 的 Agent 自愈如何分级L2 的 Agent 自愈采用三级递进主选择器 → 确定性候选id → test-id → 文本、宽松 CSS→ 可插拔Healer。默认是NoopHealer确定性真正的 Agent 自愈需要显式传入launch(healeranthropic_healer())——LLMHealer让模型基于 live 页面 HTML 提议一个选择器。它是 provider 无关的LLMHealer(complete_fn)并用注入的 completion 做离线单测。裁决永远来自确定性 judges而不是 Driver 或模型。web.py 中selfheal_candidates()展示了确定性的降级逻辑#foo会依次生成[data-testidfoo]、[idfoo]、textfoo.a.b.c会宽松为最后一个 class因为漂移通常发生在开头的工具类而非语义尾部类tag.cls会退化为裸 tag。全部是纯字符串逻辑——无浏览器、无 LLM。六、HTML 报告自包含、可归档、诚实每次 probe 会话都会把一份自包含 HTML 报告内联 CSSJS无外部资源写入tests/probe/reports/并自动在浏览器打开tests/probe/reports/report-YYYYMMDD-HHMMSS.html # 本次运行 tests/probe/reports/report-latest.html # 指向最新报告的稳定指针报告展示裁决只看阻塞失败、汇总卡片passed / failed / skipped / advisory、每个规格的状态徽章表格与实测值、筛选按钮以及诚实天花板说明。advisory 通道和SKIP在视觉上分离绝不参与裁决——绿色运行永远不会过度自信。自动打开在 CI、无头 Linux无DISPLAY或设置了PROBE_NO_OPEN1时被抑制用PROBE_REPORT_DIR覆盖输出位置。测试通过 session 级probe_reportfixture 喂给报告def test_something(probe_report): results run_judges(spec, context{...}, backends{...}) probe_report.record(spec, results) # → 报告中的一行组不经过 pytest、纯程序化渲染from tests.probe.report import Report, SpecOutcome, save_and_open save_and_open(Report(outcomes[SpecOutcome.from_spec(spec, results)]))report.py 的实现要点Report.ok只取决于failed 0阻塞失败数passed/failed/skipped/advisory四个计数属性严格区分通道渲染层仅依赖 stdlib因此这份报告可以附在 GitHub issue 上、在任何机器打开、不需要构建步骤。6.1 Triager把失败变成可提交的 issue 草稿失败时Triagertriage.py会把阻塞失败按layer:feature:judge签名聚类去重然后脱敏——把/home/...或/Users/...折叠为~把hf_*、sk-*、ghp_*一类令牌替换为[REDACTED]符合本地优先的隐私规则——最终生成一个预填 URL的 issue 草稿。它绝不自动提交、绝不持有凭证只产出用户审阅后自行提交的 URL。没有 GitHub remote 时 harness 照常工作只是报告里不出现链接。七、诚实的天花板信任绿色面板之前必读probe 验证的是输出正确且没有坏掉correct and not broken而不是输出很好good。✅可自主信任约占功能的 70–80%崩溃、500、schema 破坏、静音/乱码/错误语言的音频、截断、时长漂移、安装损坏、定位器漂移。❌仅靠人工判断约占 10–15%自然度、韵律、情感适配度、口音真实性、听起来像可信的我、UI 感觉对。声称能给这些打分的指标UTMOS/NISQA/SQUIM 等 MOS 预测器在域外会失效而 646 种语言里大部分就是域外——所以它们住在advisory通道里永不 gate。固化在代码里的设计规则无 golden-WAV 固定音频 fixture。PyTorch 即使在固定随机种子下也无法在 CPU/GPU 间复现逐字节比较会制造平台专属回归违反跨平台一致性这一 P0 规则。要 gate 的是指标不是波形。WER 门限约 0.10–0.15永远不是 0——它度量的是你的 TTS ASR 自身的误差。固定句子上上升的 WER胜过任何绝对值。说话人相似度是相对门限——按引擎标定、对下降告警默认的英语偏向编码器对其他语言不可靠。NISQA 的权重是 CC-BY-NC-SA非商业——不要把它打包进发布构建优先用 UTMOS / TorchAudio-SQUIM / TTSDS2。正如 README 收尾所言一个隐藏自己无法验证之物的 harness 比没有更糟。probe 明确报告 skip 与 advisory让绿色运行永远不会高估其置信度。这正是 README 传达的整套测试哲学的落点——可验证的正确性交给代码不可验证的好明确留给人类。延伸阅读规格文件目录tests/probe/specs13 份*.probe.yaml媒体层 Judge 实现judges/audio.py、judges/transcription.py、judges/speaker.py桌面层 Judgejudges/desktop.py版本一致性、bundle.externalBin、csp_allows引擎矩阵 Judgejudges/engine.pyactive_engine_available、unavailable_engines_explained报告与 Triagerreport.py、triage.py全部层测试入口tests/probe/test_probe_*.py【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考