 查询已注册分词后端)
后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载在 Xberg 的按 token 预算分块token-budgeted chunking中分词器是决定分块边界与token_count元数据的核心。当你的 embedder 使用 Xberg 无法自行加载的词表如 llama.cpp/GGUF、SentencePiece 或自研自定义词表时可以通过TokenizerBackend插件机制在进程内注册一个自定义计数器。本文围绕 Java 绑定提供的Xberg.listTokenizerBackends()方法讲解如何查询当前进程中已注册的全部分词后端名称并结合仓库源码说明其底层注册表、解析优先级与生命周期契约帮助你在 Java 应用中正确完成分词插件的注册、查询与清理。一、为什么需要查询 Tokenizer 后端Xberg 的分块器在配置ChunkSizing::Tokenizer { model }后需要为一个文本片段计算 token 数量以决定是否放入当前块。默认路径是从 HuggingFace 加载 tokenizer 模型对应chunking-tokenizersfeature但许多生产系统的 embedder 使用的是 HuggingFace 之外的词表此时 Xberg 无法自行加载。为此crates/xberg/src/plugins/tokenizer.rs 定义了进程内插件 traitTokenizerBackend其唯一方法为fn count_tokens(self, text: str) - usize;该 trait 是同步的分块器的边界搜索会对同一文本反复调用count_tokens因此计数必须是一次直接调用、不能走异步分发详见 tokenizer.rs 的模块文档。调用方无论是 Rust 还是 Java 等宿主语言绑定只需注册一次插件之后在配置中按名字引用即可。listTokenizerBackends()的价值正在于此注册表以插件名Plugin::name()为键查询接口返回全部已注册名称供你在运行前确认某个自定义分词器是否已成功注册避免分块时悄悄回退到 HuggingFace 路径在unregisterTokenizerBackend、clearTokenizerBackends等清理操作前后核对注册表状态在多插件场景下盘点当前进程内的分词能力。二、核心用法Java 代码示例关联文档 tokenizer_backends_list.md 给出的用法非常简洁完整代码如下import io.xberg.*; public final class Example { public static void main(String[] args) throws Exception { var result Xberg.listTokenizerBackends(); System.out.println(result); } }对应的方法签名与返回类型记录在 Java API 参考文档 api-java.md 中public static ListString listTokenizerBackends() throws XbergRsException返回类型ListString即当前注册表内所有分词后端的名字集合。初始状态下没有任何默认后端见下文因此首次调用通常返回空列表。异常方法声明抛出XbergRsException。在 XbergRs.java 的 FFI 层中异常被统一包装为XbergRsException(FFI call failed, e)。该方法无参数、无副作用对应 fixture tokenizer_backends_list.json 中side_effects: safe与assertions: [not_error]的约定。三、底层原理从 Java 到 Rust 注册表的调用链Java 侧只是薄封装真正的工作在 Rust 核心完成。调用链如下Java 绑定层XbergRs.java 中的listTokenizerBackends()通过 JNI/FFI 调用原生符号XBERG_LIST_TOKENIZER_BACKENDS将结果反序列化为ListString返回。Rust API 层crates/xberg/src/lib.rs中导出list_tokenizer_backends其实现位于 crates/xberg/src/plugins/tokenizer.rspub fn list_tokenizer_backends() - ResultVecString { let registry get_tokenizer_backend_registry(); let registry registry.read(); Ok(registry.list()) }注册表层全局注册表TOKENIZER_BACKEND_REGISTRY定义于 crates/xberg/src/plugins/registry/mod.rs类型为ArcRwLockTokenizerBackendRegistry。list()方法crates/xberg/src/plugins/registry/tokenizer.rs实现为pub fn list(self) - VecString { self.backends.keys().cloned().collect() }其中backends: AHashMapString, Arcdyn TokenizerBackend。注意注册表对读操作加的是read()锁因此并发查询是安全的且不会阻塞正在进行的计数调用。一个值得注意的细节与 OCR、Embedding 等注册表不同Tokenizer 注册表默认没有任何后端——分词后端总是由调用方在运行时提供见 registry/tokenizer.rs 模块文档。因此空列表是正常状态不代表功能异常。四、配套生命周期注册、注销与清空listTokenizerBackends属于tokenizer_backend_management类别与它配套的还有三个操作对应的 Rust 实现均在 crates/xberg/src/plugins/tokenizer.rs操作Java 绑定Rust 实现行为注册Xberg.registerTokenizerBackend(...)register_tokenizer_backend以Plugin::name()为键存入注册表重名报Plugin错误注销Xberg.unregisterTokenizerBackend(name)unregister_tokenizer_backend按名移除并调用该后端的shutdown()未注册则无操作清空Xberg.clearTokenizerBackends()clear_tokenizer_backends对所有后端依次调用shutdown()后清空注册表清空操作的 Java 示例见配套文档 tokenizer_backends_clear.mdimport io.xberg.*; public final class Example { public static void main(String[] args) throws Exception { Xberg.clearTokenizerBackends(); } }仓库中的单元测试 crates/xberg/src/plugins/tokenizer.rs 用register_list_unregister_roundtrip、register_clear_roundtrip两个用例验证了「注册后list包含该名字、注销/清空后恢复为空」的完整闭环E2E 测试 TokenizerBackendManagementTest.java 则在真实绑定层断言listTokenizerBackends()返回非空结果。五、注册契约决定 list 结果是否可信listTokenizerBackends()返回的名字是否真的能用于分块取决于注册时的两道校验见 registry/tokenizer.rs 的register实现名字校验名字为空或包含空白字符直接返回XbergError::Validation注册失败不会在注册表中留下任何痕迹有测试empty_name_rejected_via_global_api专门验证这一点。计数探针注册时会先调用后端的initialize()懒加载实现可在此加载词表随后用count_tokens(a)探针验证——若对非空文本返回 0 则拒绝注册。原因很直接零计数会让任何文本片段看起来都「装得下」从而彻底破坏按 token 预算的分块。运行时若仍出现 0 计数分块器会以字符数替代并记录日志见 tokenizer.rs 的契约说明。因此listTokenizerBackends()返回的每个名字都是已经通过初始化与探针校验、可安全用于ChunkSizing::Tokenizer { model }的后端。六、解析优先级注册表优先于 HuggingFace查询后端的目的最终是用于分块。从 crates/xberg/src/chunking/builder.rs 的resolve_tokenizer_counter可以看到完整的解析顺序先用配置的model名字查注册表get_tokenizer_backend_registry().read().lookup(model)——已注册的名字优先未命中则回退到 HuggingFace tokenizer 加载路径tokenizer_cache::get_or_init_tokenizer若解析失败未知模型、无网络等仅记录警告并让该次分块的token_count保持None不会中止整个分块运行——这是ChunkMetadata其余可选字段一贯的 best-effort 语义。这也解释了为何在 Java 侧查询列表如此重要如果你的自定义分词器注册失败却未察觉分块会静默走 HuggingFace 回退路径token_count可能按错误的 tokenizer 统计。注册后先调用listTokenizerBackends()确认名字在列是避免这类静默偏差的可靠手段。七、Java 集成注意事项E2E 环境变量仓库的 Java E2E 测试在initEnv()中设置了两个环境变量本地复现相关场景时可参考TokenizerBackendManagementTest.javaCRAWLBERG_ALLOW_PRIVATE_NETWORKtrueRUST_MIN_STACK16777216Rust 侧最小线程栈涉及 FFI 调用时建议保留并发与线程安全TokenizerBackend实例以Arcdyn TokenizerBackend存储并被分块管线并发调用因此实现必须是Send Sync static若底层 tokenizer 本身非线程安全必须在后端内部自行串行化访问。生命周期重叠shutdown()可能在某个已解析到该后端的进行中分块运行期间被调用实现需容忍这种重叠例如通过Arc保持count_tokens所需资源存活。八、小结Xberg.listTokenizerBackends()是 Java 侧管理自定义分词后端的关键查询入口它直接透传 Rust 全局注册表内容返回经过校验的后端名字列表。配合注册、注销、清空三个操作你可以为ChunkSizing::Tokenizer精确装配与 embedder 一致的分词器并通过「注册后查询确认」避免静默回退到 HuggingFace 路径。理解其背后的同步计数契约、零计数探针与注册表优先的解析顺序是让 token 预算分块在生产环境中稳定可信的前提。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐Xberg C 绑定实战用 ListTokenizerBackends 查询已注册的 Tokenizer 后端Xberg C 绑定实战用 ListTokenizerBackends 查询已注册的 Tokenizer 后端 导读 本文围绕 Xberg 开源仓库中 C后端AI 应用NLPxberg Dart 绑定列出已注册 Tokenizer 后端listTokenizerBackends 实战指南xberg Dart 绑定列出已注册 Tokenizer 后端listTokenizerBackends 实战指南 本指南以 xberg 仓库中的 Dar后端AI 应用NLPxberg Dart 绑定使用 listEmbeddingBackends 查询已注册的 Embedding 插件后端xberg Dart 绑定使用 listEmbeddingBackends 查询已注册的 Embedding 插件后端 本文围绕 xberg 项目 Dart/后端AI 应用NLP上一篇Dism系统优化神器多语言支持的终极系统维护解决方案下一篇Marko客户端重新排序高性能DOM操作的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Xberg Java 绑定中的 Tokenizer 后端插件管理：用 listTokenizerBackends() 查询已注册分词后端
后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载在 Xberg 的按 token 预算分块token-budgeted chunking中分词器是决定分块边界与token_count元数据的核心。当你的 embedder 使用 Xberg 无法自行加载的词表如 llama.cpp/GGUF、SentencePiece 或自研自定义词表时可以通过TokenizerBackend插件机制在进程内注册一个自定义计数器。本文围绕 Java 绑定提供的Xberg.listTokenizerBackends()方法讲解如何查询当前进程中已注册的全部分词后端名称并结合仓库源码说明其底层注册表、解析优先级与生命周期契约帮助你在 Java 应用中正确完成分词插件的注册、查询与清理。一、为什么需要查询 Tokenizer 后端Xberg 的分块器在配置ChunkSizing::Tokenizer { model }后需要为一个文本片段计算 token 数量以决定是否放入当前块。默认路径是从 HuggingFace 加载 tokenizer 模型对应chunking-tokenizersfeature但许多生产系统的 embedder 使用的是 HuggingFace 之外的词表此时 Xberg 无法自行加载。为此crates/xberg/src/plugins/tokenizer.rs 定义了进程内插件 traitTokenizerBackend其唯一方法为fn count_tokens(self, text: str) - usize;该 trait 是同步的分块器的边界搜索会对同一文本反复调用count_tokens因此计数必须是一次直接调用、不能走异步分发详见 tokenizer.rs 的模块文档。调用方无论是 Rust 还是 Java 等宿主语言绑定只需注册一次插件之后在配置中按名字引用即可。listTokenizerBackends()的价值正在于此注册表以插件名Plugin::name()为键查询接口返回全部已注册名称供你在运行前确认某个自定义分词器是否已成功注册避免分块时悄悄回退到 HuggingFace 路径在unregisterTokenizerBackend、clearTokenizerBackends等清理操作前后核对注册表状态在多插件场景下盘点当前进程内的分词能力。二、核心用法Java 代码示例关联文档 tokenizer_backends_list.md 给出的用法非常简洁完整代码如下import io.xberg.*; public final class Example { public static void main(String[] args) throws Exception { var result Xberg.listTokenizerBackends(); System.out.println(result); } }对应的方法签名与返回类型记录在 Java API 参考文档 api-java.md 中public static ListString listTokenizerBackends() throws XbergRsException返回类型ListString即当前注册表内所有分词后端的名字集合。初始状态下没有任何默认后端见下文因此首次调用通常返回空列表。异常方法声明抛出XbergRsException。在 XbergRs.java 的 FFI 层中异常被统一包装为XbergRsException(FFI call failed, e)。该方法无参数、无副作用对应 fixture tokenizer_backends_list.json 中side_effects: safe与assertions: [not_error]的约定。三、底层原理从 Java 到 Rust 注册表的调用链Java 侧只是薄封装真正的工作在 Rust 核心完成。调用链如下Java 绑定层XbergRs.java 中的listTokenizerBackends()通过 JNI/FFI 调用原生符号XBERG_LIST_TOKENIZER_BACKENDS将结果反序列化为ListString返回。Rust API 层crates/xberg/src/lib.rs中导出list_tokenizer_backends其实现位于 crates/xberg/src/plugins/tokenizer.rspub fn list_tokenizer_backends() - ResultVecString { let registry get_tokenizer_backend_registry(); let registry registry.read(); Ok(registry.list()) }注册表层全局注册表TOKENIZER_BACKEND_REGISTRY定义于 crates/xberg/src/plugins/registry/mod.rs类型为ArcRwLockTokenizerBackendRegistry。list()方法crates/xberg/src/plugins/registry/tokenizer.rs实现为pub fn list(self) - VecString { self.backends.keys().cloned().collect() }其中backends: AHashMapString, Arcdyn TokenizerBackend。注意注册表对读操作加的是read()锁因此并发查询是安全的且不会阻塞正在进行的计数调用。一个值得注意的细节与 OCR、Embedding 等注册表不同Tokenizer 注册表默认没有任何后端——分词后端总是由调用方在运行时提供见 registry/tokenizer.rs 模块文档。因此空列表是正常状态不代表功能异常。四、配套生命周期注册、注销与清空listTokenizerBackends属于tokenizer_backend_management类别与它配套的还有三个操作对应的 Rust 实现均在 crates/xberg/src/plugins/tokenizer.rs操作Java 绑定Rust 实现行为注册Xberg.registerTokenizerBackend(...)register_tokenizer_backend以Plugin::name()为键存入注册表重名报Plugin错误注销Xberg.unregisterTokenizerBackend(name)unregister_tokenizer_backend按名移除并调用该后端的shutdown()未注册则无操作清空Xberg.clearTokenizerBackends()clear_tokenizer_backends对所有后端依次调用shutdown()后清空注册表清空操作的 Java 示例见配套文档 tokenizer_backends_clear.mdimport io.xberg.*; public final class Example { public static void main(String[] args) throws Exception { Xberg.clearTokenizerBackends(); } }仓库中的单元测试 crates/xberg/src/plugins/tokenizer.rs 用register_list_unregister_roundtrip、register_clear_roundtrip两个用例验证了「注册后list包含该名字、注销/清空后恢复为空」的完整闭环E2E 测试 TokenizerBackendManagementTest.java 则在真实绑定层断言listTokenizerBackends()返回非空结果。五、注册契约决定 list 结果是否可信listTokenizerBackends()返回的名字是否真的能用于分块取决于注册时的两道校验见 registry/tokenizer.rs 的register实现名字校验名字为空或包含空白字符直接返回XbergError::Validation注册失败不会在注册表中留下任何痕迹有测试empty_name_rejected_via_global_api专门验证这一点。计数探针注册时会先调用后端的initialize()懒加载实现可在此加载词表随后用count_tokens(a)探针验证——若对非空文本返回 0 则拒绝注册。原因很直接零计数会让任何文本片段看起来都「装得下」从而彻底破坏按 token 预算的分块。运行时若仍出现 0 计数分块器会以字符数替代并记录日志见 tokenizer.rs 的契约说明。因此listTokenizerBackends()返回的每个名字都是已经通过初始化与探针校验、可安全用于ChunkSizing::Tokenizer { model }的后端。六、解析优先级注册表优先于 HuggingFace查询后端的目的最终是用于分块。从 crates/xberg/src/chunking/builder.rs 的resolve_tokenizer_counter可以看到完整的解析顺序先用配置的model名字查注册表get_tokenizer_backend_registry().read().lookup(model)——已注册的名字优先未命中则回退到 HuggingFace tokenizer 加载路径tokenizer_cache::get_or_init_tokenizer若解析失败未知模型、无网络等仅记录警告并让该次分块的token_count保持None不会中止整个分块运行——这是ChunkMetadata其余可选字段一贯的 best-effort 语义。这也解释了为何在 Java 侧查询列表如此重要如果你的自定义分词器注册失败却未察觉分块会静默走 HuggingFace 回退路径token_count可能按错误的 tokenizer 统计。注册后先调用listTokenizerBackends()确认名字在列是避免这类静默偏差的可靠手段。七、Java 集成注意事项E2E 环境变量仓库的 Java E2E 测试在initEnv()中设置了两个环境变量本地复现相关场景时可参考TokenizerBackendManagementTest.javaCRAWLBERG_ALLOW_PRIVATE_NETWORKtrueRUST_MIN_STACK16777216Rust 侧最小线程栈涉及 FFI 调用时建议保留并发与线程安全TokenizerBackend实例以Arcdyn TokenizerBackend存储并被分块管线并发调用因此实现必须是Send Sync static若底层 tokenizer 本身非线程安全必须在后端内部自行串行化访问。生命周期重叠shutdown()可能在某个已解析到该后端的进行中分块运行期间被调用实现需容忍这种重叠例如通过Arc保持count_tokens所需资源存活。八、小结Xberg.listTokenizerBackends()是 Java 侧管理自定义分词后端的关键查询入口它直接透传 Rust 全局注册表内容返回经过校验的后端名字列表。配合注册、注销、清空三个操作你可以为ChunkSizing::Tokenizer精确装配与 embedder 一致的分词器并通过「注册后查询确认」避免静默回退到 HuggingFace 路径。理解其背后的同步计数契约、零计数探针与注册表优先的解析顺序是让 token 预算分块在生产环境中稳定可信的前提。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐Xberg C 绑定实战用 ListTokenizerBackends 查询已注册的 Tokenizer 后端Xberg C 绑定实战用 ListTokenizerBackends 查询已注册的 Tokenizer 后端 导读 本文围绕 Xberg 开源仓库中 C后端AI 应用NLPxberg Dart 绑定列出已注册 Tokenizer 后端listTokenizerBackends 实战指南xberg Dart 绑定列出已注册 Tokenizer 后端listTokenizerBackends 实战指南 本指南以 xberg 仓库中的 Dar后端AI 应用NLPxberg Dart 绑定使用 listEmbeddingBackends 查询已注册的 Embedding 插件后端xberg Dart 绑定使用 listEmbeddingBackends 查询已注册的 Embedding 插件后端 本文围绕 xberg 项目 Dart/后端AI 应用NLP上一篇Dism系统优化神器多语言支持的终极系统维护解决方案下一篇Marko客户端重新排序高性能DOM操作的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考