后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本文聚焦 Xberg 的语言检测Language Detection能力如何在 Elixir 绑定中通过ExtractionConfig开启该功能用detect_multiple、min_confidence、enabled三个参数控制检测行为并从结果中读取 ISO 639-3 语言代码及结构化置信度信息。读完本文你将掌握语言检测的完整配置方式、返回字段语义以及底层基于 whatlang 的实现原理与多语言检测的分块策略。一、语言检测是什么从一次 extract 说起Xberg 在文档抽取流程中内置了一个语言检测后处理器PostProcessor。它对抽取出的纯文本内容自动判定语种并把结果写回提取结果文档。典型的调用形态如下出自 language_detection_config 契约文档 对应的 Elixir 示例input_value %Xberg.ExtractInput{kind: uri, mime_type: text/plain, uri: https://example.com/text/report.txt} result Xberg.extract_async(input_value, {\language_detection\:{\detect_multiple\:false,\enabled\:true,\min_confidence\:0.5}}) IO.inspect(Enum.at(result.results, 0).detected_languages)这段代码做了三件事构造Xberg.ExtractInput结构体声明输入来源为 URI、MIME 类型为text/plain以 JSON 字符串形式传入提取配置启用语言检测并把最小置信度阈值设为0.5调用Xberg.extract_async/2异步抽取最后从首个结果的detected_languages字段中读取语言代码列表。对于英文文本预期输出为[eng]——这正是 fixtures/contract/language_detection_config.json 中断言所验证的结果results[0].detected_languages[0]等于eng即英语的 ISO 639-3 代码。二、配置参数详解enabled / min_confidence / detect_multiple语言检测的全部配置集中在LanguageDetectionConfig结构体中定义于 crates/xberg/src/core/config/extraction/types.rspub struct LanguageDetectionConfig { pub enabled: bool, // 是否启用语言检测 pub min_confidence: f64, // 最小置信度阈值范围 0.0-1.0 pub detect_multiple: bool, // 是否检测文档中的多种语言 }三个字段的默认值types.rs 的 Default 实现分别为参数类型默认值含义enabledbooltrue是否运行语言检测后处理器。注意该配置项整体为None即配置 JSON 中完全没有language_detection键时后处理器直接跳过见下文第三节min_confidencef640.8置信度门槛检测器给出的置信度低于该值时不输出该语言detect_multipleboolfalse是否对全文按 200 字符分块、检测可能存在的多种语言由于配置结构体标注了#[serde(deny_unknown_fields)]传入未知字段会导致反序列化错误因此配置 JSON 应严格限定在这三个键上。契约示例中min_confidence: 0.5低于默认值0.8说明在只关心主语言是否可靠命中的场景下可以适当放宽阈值以容忍短文本的置信度偏低而在 processor.rs 的单元测试 与 language_detection/tests.rs 中则多使用0.8甚至0.99test_confidence_threshold_filters_low_confidence用0.99验证过短文本ok yes no会被阈值过滤掉返回None。这组测试从侧面说明阈值越高短文本越容易判不出语种实际调优时应在准确与召回之间权衡。三、工作原理插件化后处理器与 whatlang语言检测不是硬编码在抽取主流程里的而是以插件形式注册的插件名language-detection见 crates/xberg/src/language_detection/processor.rs处理阶段ProcessingStage::Early属于早期后处理阶段processor.rs触发条件仅当config.language_detection存在should_process返回config.language_detection.is_some()优先级40耗时估算按文本长度估算(text_length / 1024).max(1)毫秒量级processor.rs。核心检测逻辑在 crates/xberg/src/language_detection/mod.rs 中基于 Rust 的 whatlang 库。整个流程可概括为process() 读取 config.language_detection └─ detect_language_details(content, config) ├─ enabledfalse / 空文本 → None ├─ detect_multiplefalse → 单语言检测 └─ detect_multipletrue → 多语言分块检测单语言模式对全文直接调用 whatlang 的detect若置信度 min_confidence则输出一个结果proportion恒为1.0reliable采用 whatlang 自身的Info::is_reliable()即置信度高于 whatlang 内部 0.9 阈值。多语言模式把文本按CHUNK_SIZE 200字符切块对每一块分别检测mod.rs每个满足阈值的块归入对应语言的累计器最后按被归类块数降序排列并列时按 ISO 639-3 代码排序返回每种语言的confidence该语言各块的 whatlang 置信度平均值proportion被归类为该语言的块数占全部块数的比例未通过任何语言阈值的块不计入分子、但仍计入分母reliable块平均置信度大于0.9常量AGGREGATE_RELIABLE_THRESHOLDmod.rs。值得一提的是模块内还导出了chunk_reliability工具函数被 PDF OCR 的可信度检测extractors 的 pdf/ocr/plausibility复用用于判断某一页 OCR 文本是否被错误映射到其他页面——语言检测的分块信号在文档理解管线里不止服务于元数据输出这一点从 mod.rs 的注释中可以确认。四、返回字段detected_languages 与 detected_language_confidences语言检测会向ExtractedDocument写入两个字段定义于 crates/xberg/src/types/extraction.rsdetected_languages: OptionVecString—— ISO 639-3 语言代码列表如[eng]、[eng, spa]。这是本文开头示例读取的字段。detected_language_confidences: OptionVecLanguageConfidence—— 结构化结果与代码列表一一对应、顺序一致每个元素包含 LanguageConfidence 结构体 的全部信息pub struct LanguageConfidence { pub language: String, // ISO 639-3 代码与 detected_languages 对应项一致 pub confidence: f64, // 置信度 [0.0, 1.0]多语言模式下为该语言各块的均值 pub proportion: f64, // 该语言占分析内容的比例 [0.0, 1.0]单语言模式恒为 1.0 pub script: String, // 检测到的书写系统如 Latin、Cyrillic pub reliable: bool, // 是否可靠置信度是否超过 0.9 }在 Elixir 侧这两个字段直接落在返回的result.results元素上可通过Enum.at(result.results, 0)配合结构体字段访问例如first Enum.at(result.results, 0) IO.inspect(first.detected_languages) IO.inspect(first.detected_language_confidences)返回None在 Elixir 中表现为nil的情形在 mod.rs 的 detect_language_details 中有明确界定检测被禁用、输入文本为空text.trim().is_empty()、或没有任何语言达到min_confidence阈值。五、多语言检测契约示例与 Elixir 端到端测试仓库同时提供了多语言检测的契约定义 language_detection_multilingual.json对一份混有多种书写系统的 markdown 文档启用detect_multiple: true、min_confidence: 0.3断言detected_languages至少包含 1 个元素。对应 Elixir 调用e2e/elixir/test/contract_test.exsinput_value %Xberg.ExtractInput{ kind: uri, mime_type: text/markdown, uri: String.replace($mock_url/markdown/comprehensive.md, $mock_url, input_mock_base_url) } {:ok, result} Xberg.extract( input: input_value, config: {\language_detection\:{\detect_multiple\:true,\enabled\:true,\min_confidence\:0.3}} ) assert length(Enum.at(result.results, 0).detected_languages) 1这里有两个值得注意的 Elixir 侧细节Xberg.extract/1与Xberg.extract_async/2是同一功能的两种入口。extract/1以关键字列表接收input与config返回{:ok, result}extract_async/2直接接收ExtractInput结构与配置 JSON 字符串。两者最终都落入 packages/elixir/lib/xberg/native.ex 中的同名 NIF 声明extract_async/2、extract_batch_async/2由 Rust 内核执行。Xberg.ExtractInput的完整字段packages/elixir/lib/xberg/extract_input.exkind:uri或:bytes、bytes、uri、mime_type、filename、config。按 URI 抽取时只需kind: uri、mime_type与uri按字节抽取时则使用kind: bytes与bytes字段。同一文件中的 单语言契约测试 则完整复现了开头的示例以detect_multiple: false, enabled: true, min_confidence: 0.5抽取text/plain文档断言detected_languages[0] eng。这份 e2e 测试与本篇核心示例互为印证也是你本地验证语言检测配置是否生效的最直接参考。六、踩坑与调优建议结合源码与测试归纳几条实战要点不传language_detection键 不检测。should_process只在配置存在时放行processor.rstest_language_detector_no_config也验证了默认配置下detected_languages为None。需要结果时务必显式传入完整 JSON。JSON 键名不能写错。配置字段经 serde 严格解析detect_multiple、min_confidence、enabled之外的多余字段会被拒绝。短文本与高阈值不兼容。min_confidence越高越短的文本越可能检测失败返回None契约示例对普通文本使用0.5多语言示例使用0.3属于贴近实际的取值。多语言模式下的语言顺序按块占比降序排列占比相同的按 ISO 639-3 码序因此detected_languages[0]代表全文最主流语言的稳定第一选择。语言代码统一为 ISO 639-3。源码中lang_to_iso639_3显式维护了 whatlang 内部枚举到三字母代码的映射mod.rs覆盖英eng、俄rus、汉cmn、西spa、葡por、意ita、法fra、德deu等 80 余种语言因此读取结果时请以三字母代码为准不要按 ISO 639-1 两字母猜测。至此从传一段配置 JSON 打开开关到理解三个参数各自的语义与默认值再到看清 whatlang 分块检测的底层逻辑与两个结果字段的结构语言检测在 Xberg 中的完整链路已经打通。如果你需要进一步验证可以在仓库中直接阅读 crates/xberg/src/language_detection/tests.rs 的 835 行测试集或运行 e2e/elixir/test/contract_test.exs 中的语言检测用例。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639-3 结果xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639 3 结果 在 xberg 的多格式文档智能管线中后端AI 应用NLP使用 xberg Dart 绑定开启多语言检测读取 ISO 639-3 语言码与置信度细节使用 xberg Dart 绑定开启多语言检测读取 ISO 639 3 语言码与置信度细节 xberg 是一款以 Rust 为核心的 Polyglot 文档智后端AI 应用NLP在 C 中使用 xberg 语言检测配置LanguageDetectionConfig识别文档语言的 ISO 639-3 编码在 C 中使用 xberg 语言检测配置LanguageDetectionConfig识别文档语言的 ISO 639 3 编码 语言检测是 xberg 文后端AI 应用NLP上一篇Home Assistant 中 Monoprice 6-Zone 功放快照恢复monoprice.restore操作完整指南下一篇DataHub 数据集使用情况与查询历史Dataset Usage Query History实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Xberg 语言检测配置实战：在 Elixir 中启用语言检测并读取 ISO 639-3 代码
后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本文聚焦 Xberg 的语言检测Language Detection能力如何在 Elixir 绑定中通过ExtractionConfig开启该功能用detect_multiple、min_confidence、enabled三个参数控制检测行为并从结果中读取 ISO 639-3 语言代码及结构化置信度信息。读完本文你将掌握语言检测的完整配置方式、返回字段语义以及底层基于 whatlang 的实现原理与多语言检测的分块策略。一、语言检测是什么从一次 extract 说起Xberg 在文档抽取流程中内置了一个语言检测后处理器PostProcessor。它对抽取出的纯文本内容自动判定语种并把结果写回提取结果文档。典型的调用形态如下出自 language_detection_config 契约文档 对应的 Elixir 示例input_value %Xberg.ExtractInput{kind: uri, mime_type: text/plain, uri: https://example.com/text/report.txt} result Xberg.extract_async(input_value, {\language_detection\:{\detect_multiple\:false,\enabled\:true,\min_confidence\:0.5}}) IO.inspect(Enum.at(result.results, 0).detected_languages)这段代码做了三件事构造Xberg.ExtractInput结构体声明输入来源为 URI、MIME 类型为text/plain以 JSON 字符串形式传入提取配置启用语言检测并把最小置信度阈值设为0.5调用Xberg.extract_async/2异步抽取最后从首个结果的detected_languages字段中读取语言代码列表。对于英文文本预期输出为[eng]——这正是 fixtures/contract/language_detection_config.json 中断言所验证的结果results[0].detected_languages[0]等于eng即英语的 ISO 639-3 代码。二、配置参数详解enabled / min_confidence / detect_multiple语言检测的全部配置集中在LanguageDetectionConfig结构体中定义于 crates/xberg/src/core/config/extraction/types.rspub struct LanguageDetectionConfig { pub enabled: bool, // 是否启用语言检测 pub min_confidence: f64, // 最小置信度阈值范围 0.0-1.0 pub detect_multiple: bool, // 是否检测文档中的多种语言 }三个字段的默认值types.rs 的 Default 实现分别为参数类型默认值含义enabledbooltrue是否运行语言检测后处理器。注意该配置项整体为None即配置 JSON 中完全没有language_detection键时后处理器直接跳过见下文第三节min_confidencef640.8置信度门槛检测器给出的置信度低于该值时不输出该语言detect_multipleboolfalse是否对全文按 200 字符分块、检测可能存在的多种语言由于配置结构体标注了#[serde(deny_unknown_fields)]传入未知字段会导致反序列化错误因此配置 JSON 应严格限定在这三个键上。契约示例中min_confidence: 0.5低于默认值0.8说明在只关心主语言是否可靠命中的场景下可以适当放宽阈值以容忍短文本的置信度偏低而在 processor.rs 的单元测试 与 language_detection/tests.rs 中则多使用0.8甚至0.99test_confidence_threshold_filters_low_confidence用0.99验证过短文本ok yes no会被阈值过滤掉返回None。这组测试从侧面说明阈值越高短文本越容易判不出语种实际调优时应在准确与召回之间权衡。三、工作原理插件化后处理器与 whatlang语言检测不是硬编码在抽取主流程里的而是以插件形式注册的插件名language-detection见 crates/xberg/src/language_detection/processor.rs处理阶段ProcessingStage::Early属于早期后处理阶段processor.rs触发条件仅当config.language_detection存在should_process返回config.language_detection.is_some()优先级40耗时估算按文本长度估算(text_length / 1024).max(1)毫秒量级processor.rs。核心检测逻辑在 crates/xberg/src/language_detection/mod.rs 中基于 Rust 的 whatlang 库。整个流程可概括为process() 读取 config.language_detection └─ detect_language_details(content, config) ├─ enabledfalse / 空文本 → None ├─ detect_multiplefalse → 单语言检测 └─ detect_multipletrue → 多语言分块检测单语言模式对全文直接调用 whatlang 的detect若置信度 min_confidence则输出一个结果proportion恒为1.0reliable采用 whatlang 自身的Info::is_reliable()即置信度高于 whatlang 内部 0.9 阈值。多语言模式把文本按CHUNK_SIZE 200字符切块对每一块分别检测mod.rs每个满足阈值的块归入对应语言的累计器最后按被归类块数降序排列并列时按 ISO 639-3 代码排序返回每种语言的confidence该语言各块的 whatlang 置信度平均值proportion被归类为该语言的块数占全部块数的比例未通过任何语言阈值的块不计入分子、但仍计入分母reliable块平均置信度大于0.9常量AGGREGATE_RELIABLE_THRESHOLDmod.rs。值得一提的是模块内还导出了chunk_reliability工具函数被 PDF OCR 的可信度检测extractors 的 pdf/ocr/plausibility复用用于判断某一页 OCR 文本是否被错误映射到其他页面——语言检测的分块信号在文档理解管线里不止服务于元数据输出这一点从 mod.rs 的注释中可以确认。四、返回字段detected_languages 与 detected_language_confidences语言检测会向ExtractedDocument写入两个字段定义于 crates/xberg/src/types/extraction.rsdetected_languages: OptionVecString—— ISO 639-3 语言代码列表如[eng]、[eng, spa]。这是本文开头示例读取的字段。detected_language_confidences: OptionVecLanguageConfidence—— 结构化结果与代码列表一一对应、顺序一致每个元素包含 LanguageConfidence 结构体 的全部信息pub struct LanguageConfidence { pub language: String, // ISO 639-3 代码与 detected_languages 对应项一致 pub confidence: f64, // 置信度 [0.0, 1.0]多语言模式下为该语言各块的均值 pub proportion: f64, // 该语言占分析内容的比例 [0.0, 1.0]单语言模式恒为 1.0 pub script: String, // 检测到的书写系统如 Latin、Cyrillic pub reliable: bool, // 是否可靠置信度是否超过 0.9 }在 Elixir 侧这两个字段直接落在返回的result.results元素上可通过Enum.at(result.results, 0)配合结构体字段访问例如first Enum.at(result.results, 0) IO.inspect(first.detected_languages) IO.inspect(first.detected_language_confidences)返回None在 Elixir 中表现为nil的情形在 mod.rs 的 detect_language_details 中有明确界定检测被禁用、输入文本为空text.trim().is_empty()、或没有任何语言达到min_confidence阈值。五、多语言检测契约示例与 Elixir 端到端测试仓库同时提供了多语言检测的契约定义 language_detection_multilingual.json对一份混有多种书写系统的 markdown 文档启用detect_multiple: true、min_confidence: 0.3断言detected_languages至少包含 1 个元素。对应 Elixir 调用e2e/elixir/test/contract_test.exsinput_value %Xberg.ExtractInput{ kind: uri, mime_type: text/markdown, uri: String.replace($mock_url/markdown/comprehensive.md, $mock_url, input_mock_base_url) } {:ok, result} Xberg.extract( input: input_value, config: {\language_detection\:{\detect_multiple\:true,\enabled\:true,\min_confidence\:0.3}} ) assert length(Enum.at(result.results, 0).detected_languages) 1这里有两个值得注意的 Elixir 侧细节Xberg.extract/1与Xberg.extract_async/2是同一功能的两种入口。extract/1以关键字列表接收input与config返回{:ok, result}extract_async/2直接接收ExtractInput结构与配置 JSON 字符串。两者最终都落入 packages/elixir/lib/xberg/native.ex 中的同名 NIF 声明extract_async/2、extract_batch_async/2由 Rust 内核执行。Xberg.ExtractInput的完整字段packages/elixir/lib/xberg/extract_input.exkind:uri或:bytes、bytes、uri、mime_type、filename、config。按 URI 抽取时只需kind: uri、mime_type与uri按字节抽取时则使用kind: bytes与bytes字段。同一文件中的 单语言契约测试 则完整复现了开头的示例以detect_multiple: false, enabled: true, min_confidence: 0.5抽取text/plain文档断言detected_languages[0] eng。这份 e2e 测试与本篇核心示例互为印证也是你本地验证语言检测配置是否生效的最直接参考。六、踩坑与调优建议结合源码与测试归纳几条实战要点不传language_detection键 不检测。should_process只在配置存在时放行processor.rstest_language_detector_no_config也验证了默认配置下detected_languages为None。需要结果时务必显式传入完整 JSON。JSON 键名不能写错。配置字段经 serde 严格解析detect_multiple、min_confidence、enabled之外的多余字段会被拒绝。短文本与高阈值不兼容。min_confidence越高越短的文本越可能检测失败返回None契约示例对普通文本使用0.5多语言示例使用0.3属于贴近实际的取值。多语言模式下的语言顺序按块占比降序排列占比相同的按 ISO 639-3 码序因此detected_languages[0]代表全文最主流语言的稳定第一选择。语言代码统一为 ISO 639-3。源码中lang_to_iso639_3显式维护了 whatlang 内部枚举到三字母代码的映射mod.rs覆盖英eng、俄rus、汉cmn、西spa、葡por、意ita、法fra、德deu等 80 余种语言因此读取结果时请以三字母代码为准不要按 ISO 639-1 两字母猜测。至此从传一段配置 JSON 打开开关到理解三个参数各自的语义与默认值再到看清 whatlang 分块检测的底层逻辑与两个结果字段的结构语言检测在 Xberg 中的完整链路已经打通。如果你需要进一步验证可以在仓库中直接阅读 crates/xberg/src/language_detection/tests.rs 的 835 行测试集或运行 e2e/elixir/test/contract_test.exs 中的语言检测用例。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639-3 结果xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639 3 结果 在 xberg 的多格式文档智能管线中后端AI 应用NLP使用 xberg Dart 绑定开启多语言检测读取 ISO 639-3 语言码与置信度细节使用 xberg Dart 绑定开启多语言检测读取 ISO 639 3 语言码与置信度细节 xberg 是一款以 Rust 为核心的 Polyglot 文档智后端AI 应用NLP在 C 中使用 xberg 语言检测配置LanguageDetectionConfig识别文档语言的 ISO 639-3 编码在 C 中使用 xberg 语言检测配置LanguageDetectionConfig识别文档语言的 ISO 639 3 编码 语言检测是 xberg 文后端AI 应用NLP上一篇Home Assistant 中 Monoprice 6-Zone 功放快照恢复monoprice.restore操作完整指南下一篇DataHub 数据集使用情况与查询历史Dataset Usage Query History实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考