两种推理模式深度对比

WASM 模块最有趣的设计是提供了两套推理路径开发者可根据场景选择。模式一ONNX Runtime Web混合架构ONNX Runtime WebRust WASM (G2P)JSONNX Runtime WebRust WASM (G2P)JSphonemize(text)Bopomofo 音素tokenize 构造 TensorInferenceSession.run(feeds)PCM Float32Array编码为 WAVG2P 部分由 Rust WASM 完成高效、小巧模型推理使用微软官方的 onnxruntime-web 库从 CDN 加载 ort.min.js 及其 WASM 后端发音人嵌入由 JavaScript 通过 fetch 加载后传入适合场景对推理稳定性和算子覆盖度要求较高的生产应用。模式二纯 Rust WASM oxionnx全栈 RustRust WASM (G2P oxionnx)JSRust WASM (G2P oxionnx)JSloadModel(modelBytes)synthesize(text, style, speed)G2P → Tokenize → oxionnx 推理PCM Float32Array 音素信息编码为 WAV全部逻辑G2P、推理、WAV 编码都在 Rust WASM 内部完成推理使用 oxionnx——一个纯 Rust 实现的 ONNX 推理库无需加载任何外部 JavaScript 推理库零 CDN 依赖适合场景离线应用、对隐私要求极高、希望最小化外部依赖的场景。对比维度 ONNX Runtime Web oxionnx纯 Rust推理库来源 微软官方 CDN 编译进 WASMWASM 体积 ~3MB仅 G2P ~3MB含推理额外 JS 加载 ort.min.js (~200KB) 无算子覆盖度 广泛 核心算子持续完善中优化选项 丰富图优化、量化等 基础硬件加速 WebGL / WASM SIMD WASM SIMD离线使用 需缓存 CDN 资源 完全离线可用五、构建与 Demo从源码到浏览器构建 WASM 模块安装 WASM 目标rustup target add wasm32-unknown-unknown安装 wasm-packcargo install wasm-pack一键构建推荐./scripts/build_wasm.sh或手动构建wasm-pack build crates/kokoros-core–target web–out-dir …/…/static/wasm-pkg––features wasm–no-default-features构建产物位于 static/wasm-pkg/ 目录下static/wasm-pkg/├── kokoros_bg.wasm # WASM 二进制 (~3MB)├── kokoros.js # 胶水代码 (~28KB)├── kokoros.d.ts # TypeScript 类型声明└── package.jsonDemo 页面项目提供了三个可直接运行的演示页面位于 static/ 目录wasm_demo.html — 使用 ONNX Runtime Web 后端展示完整的 G2P 推理流程。browser_demo.html — 流式合成体验更接近实时对话场景。rust_wasm_demo.html — 纯 Rust WASMoxionnx后端展示零外部依赖的全离线方案。运行方式cd staticpython3 -m http.server 8080或npx serve .打开浏览器访问 http://localhost:8080/wasm_demo.html 即可体验。六、隐私与安全数据不出设备这是 WASM 版本最吸引人的特性之一。对比云 TTS 方案传统云 TTS用户文本 ──(网络)──→ 云服务器 ──(网络)──→ 返回音频文本离开用户设备存在隐私泄露风险kokoroi-rs WASM用户文本 ──(本地)──→ WASM 模块 ──(本地)──→ 播放音频文本始终在浏览器沙箱内永不离开用户设备对于一些敏感场景如医疗咨询、金融信息、个人日记等本地 TTS 有着天然的优势。同时由于无需网络请求弱网环境下也能稳定工作。七、性能与局限性能表现维度 数据G2P 处理速度 1ms / 字符模型加载80MB 首次约 1-3 秒取决于网络推理实时率 约 1-2 倍实时受 WASM 引擎限制内存占用 约 100-200MBWASM 体积 ~3MB含 G2P oxionnx当前局限单线程推理WASM 不支持 std::thread无法利用多核并行处理长文本分片。对于超长文本目前的方案是整体推理可能会造成 UI 卡顿可通过 Web Worker 缓解。模型下载体积ONNX 模型约 80MB发音人嵌入约 150MB首次加载需要一定时间。后续可以利用浏览器缓存或 OPFS 减少重复下载。仅 WAV 输出受限于 WASM 下的音频编码库支持目前只支持 WAV 格式PCM 16-bit。MP3/Opus 等压缩格式暂不支持。浏览器兼容性需要支持 WebAssembly 和 SharedArrayBuffer部分旧浏览器不支持。八、未来方向WASM 模块的潜力远不止于此团队已经在规划几个有意思的方向Web Worker 并行利用多个 Web Worker 各加载一个 WASM 实例实现分片并行推理弥补单线程的不足。OPFS 模型缓存利用 Origin Private File System 将下载的模型持久化在本地第二次访问时几乎秒开。流式合成将 Native 版本的 SSE 流式机制移植到 WASM实现“边合成边播放”的低延迟体验。混合模式G2P 在本地 WASM 执行推理通过 WebSocket 连接私有推理服务器——兼顾隐私和性能。结语kokoroi-rs 的 WASM 模块展示了如何将 AI 模型“搬进浏览器”——通过 Rust WebAssembly我们可以在不牺牲质量的前提下让 TTS 服务脱离云端真正属于用户自己。对于前端开发者、隐私敏感应用以及边缘计算场景这套方案提供了一条全新的技术路径。如果你也关注 Rust WASM AI 这个方向不妨去 GitHub 仓库看一看跑一跑 Demo甚至参与进来一起完善。