开发工具【免费下载链接】ripgrep-allrga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc.项目地址https://gitcode.com/gh_mirrors/ri/ripgrep-all点击查看免费下载本文以 ripgrep-allrga仓库的 CHANGELOG.md 为骨架梳理 0.10.x 与 0.9.x 各版本的关键演进并深入对应源码剖析 rga 的配置文件体系config.jsonc JSON Schema、可自定义的子进程适配器机制、基于 SQLite 与 ZSTD 的预处理缓存以及--rga-*系列命令行参数的真实语义。读完本文你将理解 rga 如何把 PDF、Office 文档、压缩包等不可 grep的文件变成可搜索文本并掌握通过配置文件扩展新文件类型的方法。一、版本脉络概览0.10.x 标志着 rga 的架构分水岭CHANGELOG.md 的时间线清晰地揭示了 rga 的演进阶段0.8.x 是早期修复期0.9.x 完善了压缩与格式适配能力而0.10.3 是一次彻底的重构——开发者明确写道这本来应该叫 1.0.0但我对稳定性还不够自信原文This was originally supposed to be version 1.0.0, but I dont feel confident enough in the stability to call it that.。0.10.3 的四大结构性变更对应 CHANGELOG.md引入配置文件系统首次使用时自动生成~/.config/ripgrep-all/config.jsonc及其 JSON Schema自定义子进程适配器可在配置文件中定义spawning adapter调用外部命令转换文件全代码库异步化适配器接口从(Read, Write) - ()改为AsyncRead - AsyncRead从而支持适配器链式串联配套工程化mbox 适配器、--debug调试日志与性能计时、基于 anyhow 的错误信息、跨平台 rga-fzf 二进制、README 自动生成。后续的 0.10.4新增--rga-no-prefix-filenames与 0.10.5与 rg 保持一致的退出码则是在该架构上的修补。下文逐一深入。二、配置文件系统首次运行自动生成含 JSON Schema2.1 配置文件的生成机制根据 src/config.rs 的read_config_file实现当 rga 首次运行且找不到配置文件时会自动完成两件事创建配置目录Linux 为${XDG_CONFIG_HOME:-~/.config}/ripgrep-all并写入config.jsonc内容即仓库中的 doc/config.default.jsonc用schemars根据RgaConfig结构自动生成config.v1.schema.json供支持 JSON Schema 的编辑器如 VS Code提供补全与校验。因此首次使用前无需手动创建任何文件直接运行rga PATTERN即可。若希望手动预置配置也可以自行创建该路径下的config.jsonc。2.2 配置项与命令行参数的映射规则doc/config.default.jsonc 中给出了关键约定配置项与命令行选项相同只是去掉--rga-前缀并把-和.替换为_。例如命令行参数配置文件键--rga-no-cacheno_cache: true--rga-cache-max-blob-lencache_max_blob_len--rga-max-archive-recursionmax_archive_recursion--rga-accurateaccurate: true唯一例外是custom_adapters它只能在配置文件中设置源码中对应#[structopt(skip)] // config file only见 src/config.rs。RgaConfig结构体在源码注释中被描述为一个多语言polyglot结构体src/config.rs同时承担三种职责声明命令行参数structopt clap、为 manpage/README 生成提供信息、描述配置文件格式经 schemars 输出为 JSON Schema。2.3 三层配置合并顺序从 src/config.rs 的parse_args可以看出配置的优先级合并逻辑config 文件 → RGA_CONFIG 环境变量 → 命令行参数后者的值覆盖前者通过json_merge逐层合并。合并后的完整配置还会通过环境变量RGA_CONFIG传给子进程如 rga-preproc确保所有进程使用同一份生效配置。默认生成的 doc/config.default.jsonc 内容极简只有$schema引用与一个空的custom_adapters数组并提示可用rga --rga-list-adapters验证自定义适配器是否被正确加载。值得注意的是配置文件是 JSONC 格式——支持注释src/config.rs 使用json_comments库剥离注释后再解析。三、自定义适配器在配置文件中定义子进程转换器3.1 为什么需要spawning adapterrga 的核心抽象是FileAdapter见 src/adapters.rs接收文件流输出可搜索的文本流。对于需要外部工具转换的格式pandoc 转文档、pdftotext 提 PDF 文本rga 提供了一条免编译的自定义路径——在配置文件的custom_adapters数组中声明即可无需修改 Rust 代码。3.2 配置字段详解CustomAdapterConfig的字段定义在 src/adapters/custom.rs对照如下字段类型说明namestring唯一标识只能含a-z、0-9、_descriptionstring帮助信息中展示的描述disabled_by_defaultbool?为true时默认禁用需通过--rga-adapters显式启用versioni32缓存键版本号配置或输出格式变化时必须递增extensionsstring[]支持的扩展名如[epub, mobi]mimetypesstring[]?在--rga-accurate开启时按 MIME 类型匹配match_only_by_mimebool?开启精确匹配时完全忽略扩展名binarystring要执行的外部程序名或路径argsstring[]程序参数支持占位符见下output_path_hintstring?输出路径提示默认${input_virtual_path}.txt3.3 参数占位符args与output_path_hint支持三个占位符src/adapters/custom.rs$input_file_extension文件扩展名不含点如foo.tar.gz→gz$input_file_stem去掉最后一个扩展名的文件名如foo.tar.gz→foo.tar$input_virtual_path完整输入路径——注意该路径可能并不真实存在于磁盘因为它是另一个适配器的输出结果。占位符的实际替换逻辑在arg_replacersrc/adapters/custom.rs中实现。程序的 stdin 连接输入文件流stdout 视为转换后的文件src/adapters/custom.rs。output_path_hint的意义在于当输出不是纯文本.txt而是需要交给下一个适配器处理的中间格式时通过它改变后续匹配该能力正源于 0.10.3 的异步流式接口改造见第四节。3.4 内置的spawning adapter示例内置的 pandoc 与 poppler 适配器本身就是CustomAdapterConfig的实例src/adapters/custom.rs是最佳参考模板// pandoc把 epub/odt/docx/fb2/ipynb/html 转成纯文本 { name: pandoc, extensions: [epub, odt, docx, fb2, ipynb, html, htm], binary: pandoc, args: [--from$input_file_extension, --toplain, --wrapnone, --markdown-headingsatx] } // poppler用 pdftotext 提取 PDF 文本输出带分页标记的中间格式 { name: poppler, extensions: [pdf], mimetypes: [application/pdf], binary: pdftotext, args: [-, -], output_path_hint: ${input_virtual_path}.txt.asciipagebreaks }其中 poppler 的output_path_hint指向.asciipagebreaks后缀从而触发内部的postprocpagebreaks适配器src/adapters/postproc.rs为每行追加页码——这正是 0.9.1 修复PDF 读取器输出空尾页问题所涉及的链路。在仓库的 测试用例 中可以看到short.pdf经 poppler 适配后输出形如Page 1: hello world的带页码文本。3.5 自定义适配器如何被加载配置中的自定义适配器会被get_all_adapterssrc/adapters.rs置于适配器列表最前面最高优先级随后接内置的 spawning 适配器与内部适配器postproc、ffmpeg、zip、decompress、mbox、tar、sqlite。disabled_by_default的适配器会被分到默认禁用组只有通过--rga-adaptersmail这类语法显式启用详见第六节。四、异步化与适配器链式串联0.10.3 最底层的改动是接口重写适配器签名从同步的(Read, Write) - ()改为async fn adapt(AdaptInfo) - AdaptedFilesIterBoxsrc/adapters.rs其中输入输出均为PinBoxdyn AsyncRead Send流src/adapters.rs。这一改动的价值在 CHANGELOG 中说得直白to allow chaining of adapters。在此之前每个适配器消费整个输入并写出结果无法串联改造后每个适配器输入一个流、产出一个流因此可以形成管道——例如tar 适配器 → 解出内部 pdf → poppler 适配器 → 追加页码 → rg 搜索。poppler 的output_path_hint指向.asciipagebreaks、随后由 postprocpagebreaks 处理正是链式思想的体现AdaptInfo中的archive_recursion_depth字段src/adapters.rs则配合--rga-max-archive-recursion控制档案嵌套递归深度默认 5见 src/config.rs。五、预处理缓存SQLite ZSTD 的性能底座5.1 缓存什么、存在哪里rga 默认会把适配器提取出的文本缓存到 SQLite 数据库避免重复搜索同一批文件时反复调用 pandoc/pdftotext 等重型工具。缓存位置按平台不同src/config.rsLinux${XDG_CACHE_DIR:-~/.cache}/ripgrep-allmacOS~/Library/Caches/ripgrep-allWindowsC:\Users\username\AppData\Local\ripgrep-all缓存库文件为cache.sqlite3src/preproc_cache.rs并带SCHEMA_VERSION 3的版本标记版本不匹配时自动清空重建src/preproc_cache.rs。5.2 缓存键的构成CacheKeysrc/preproc_cache.rs决定了命中的精确性包含config_hash、adapter、adapter_version、active_adapters、file_path、file_mtime_unix_ms文件修改时间毫秒级时间戳。其中active_adapters仅在适配器recurses可递归下钻时纳入键——这正是 0.9.1为档案缓存键加入启用的适配器列表的延续若适配器会递归那么启用的适配器集合变化会影响输出必须体现在缓存键中。每次读取或写入都通过file_mtime_unix_ms校验文件是否变更mtime 改变即视为缓存失效src/preproc_cache.rs。5.3 压缩与大小上限缓存内容以ZSTD 压缩后的二进制 blob 存储表结构中的text_content_zstd列src/preproc_cache.rs。与之对应的命令行参数--rga-cache-compression-levelZSTD 压缩级别范围 1–22默认 12src/config.rs--rga-cache-max-blob-len允许缓存的压缩后最大字节数默认2000000约 2 MB超出则每次重新计算、不落缓存命令行支持k/M/G后缀src/config.rs--rga-cache-path自定义缓存库路径--rga-no-cache完全禁用缓存调试适配器时建议使用。数据库连接还设置了 WAL 日志模式、synchronousoff、temp_storememory、2 GB mmap 等性能相关 PRAGMAsrc/preproc_cache.rs。六、--rga-*命令行参数全解6.1 匹配方式扩展名 vs MIME 类型默认情况下 rga只按文件扩展名匹配适配器FastFileMatcher::FileExtension正则形如(?i)\.ext$见 src/matching.rs。但有些程序不在乎扩展名——例如 sqlite3 数据库经常不带.sqlite3后缀。此时可用rga --rga-accurate PATTERN PATH开启后rga 会像file命令一样读取文件前 8 KiB 的 magic bytes做 MIME 类型检测再据此选适配器src/config.rs。8 KiB 限制是因为档案内的输入流未必支持 seeksrc/adapters.rs 的get_matchers展示了两种匹配模式的切换逻辑。AdapterMeta.keep_fast_matchers_if_accurate字段src/adapters.rs则控制精确模式下是否仍保留扩展名匹配——例如 tar 的 MIME 检测可能误判因此保留而 sqlite 的 MIME 检测非常可靠则关闭扩展名匹配以免混淆。6.2 适配器选择--rga-adapters语法src/config.rs 与 src/adapters.rs写法含义foo,bar仅使用 foo、bar 两个适配器-bar,baz使用全部默认适配器排除 bar、bazbar,baz使用全部默认适配器并把 bar、baz插入到列表最前更高优先级其中加法形式是启用默认禁用适配器如 mail的唯一途径。示例rga --rga-adaptersmail PATTERN启用邮件适配器rga --rga-adapters-ffmpeg PATTERN跳过视频元数据提取。6.3 其余关键参数--rga-list-adapters列出全部已知适配器含描述、扩展名、MIME 类型--rga-print-config-schema打印配置文件对应的 JSON Schema--rga-max-archive-recursion档案嵌套递归最大深度默认 5src/config.rs--rga-no-prefix-filenames0.10.4 新增对应 issue #154默认情况下档案内部文件的内容会以档案内路径作为前缀输出这便于定位但也意味着内层路径本身会被正则搜索命中此标志关闭该行为src/config.rs--rg-help/--rg-version查看内嵌 ripgrep 的帮助与版本-h显示精简帮助--help显示含高级选项的完整帮助。除--rga-*与--rg-*前缀参数外其余参数原样透传给 rgsrc/config.rs 的split_args通过参数分区实现因此PATTERN、PATH、-i、-l、--no-messages等 rg 能力全部可用。七、0.10.4 / 0.10.5退出码与输出行为的对齐0.10.4新增--rga-no-prefix-filenames见 6.3。0.10.5rga 现在返回与 rg 完全一致的退出码。这在脚本化场景中至关重要——rg 用退出码 0/1/2 区分有匹配/无匹配/出错此前 rga 直接沿用自身返回值会破坏脚本逻辑对齐后rga PATTERN ...这类惯用法可安全使用。八、内置适配器全景用rga --rga-list-adapters可查看完整清单README.md当前仓库内置部分在 src/adapters/custom.rs其余见 src/adapters/ 各模块适配器用途扩展名 / MIME源码pandoc二进制文档转纯文本.epub .odt .docx .fb2 .ipynb .html .htmsrc/adapters/custom.rspoppler提取 PDF 文本pdftotext.pdf / application/pdfsrc/adapters/custom.rspostprocpagebreaks为分页输入追加页码.asciipagebreakssrc/adapters/postproc.rsffmpeg提取视频元数据/章节/字幕.mkv .mp4 .avi .mp3 .ogg .flac .webmsrc/adapters/ffmpeg.rszip流式读取 zip 并递归下钻.zip .jar / application/zipsrc/adapters/zip.rsdecompress解压流并交给其他提取器.als .bz2 .gz .tbz .tbz2 .tgz .xz .zstsrc/adapters/decompress.rstar流式读取 tar 并递归下钻.tarsrc/adapters/tar.rssqlite数据库转简单纯文本格式.db .db3 .sqlite .sqlite3src/adapters/sqlite.rsmail默认禁用读取邮件与附件.mbox .mbx .eml / application/mbox、message/rfc822src/adapters/mbox.rs其中 mail 适配器是 0.10.3 引入的PR #104由 FliegendeWurst 贡献需--rga-adaptersmail启用。0.9.0 将 decompress 与 tar 拆分为两个独立适配器使 rga 能直接读取纯.bz2等单文件压缩格式同版本引入的 MIME 检测让无扩展名的压缩文件如/boot/initramfs.img实际是 bz2也能被识别——这两个能力后来都被吸收进--rga-accurate与 decompress 适配器的 MIME 匹配中。九、历史版本要点速览0.8.x–0.9.x0.9.6修复 Windows 构建扩展名匹配改为大小写不敏感迁移到 GitHub Actions修复 PDF 中断词搜索连字符分词问题#44rga-preproc 始终从 rga 所在目录加载0.9.5支持搜索无扩展名的 PDF#39优先使用随附二进制而非系统安装版本#320.9.3升级 rusqlite 以适配新版 Rust 编译#250.9.2修复文件结尾正则#13与 UTF-16 BOM 解码#5失败输出压缩为两行#7可用--no-messages完全屏蔽错误信息发布含全部依赖的 Windows 二进制0.9.1档案缓存键纳入启用的适配器列表修复 PDF 读取器的空尾页输出0.8.x帮助文本换行、无参数时展示自身帮助、修正 Linux 二进制打包等小修复。十、调试与开发建议调试适配器行为时仓库 README 与 CHANGELOG 给出两条路径# 1. 开启调试日志与性能计时0.10.3 起 --debug 会输出大量调试日志与性能耗时 export RUST_LOGdebug export RUST_BACKTRACE1 # 2. 务必禁用缓存或清空缓存否则会命中旧结果、掩盖问题 rga --rga-no-cache PATTERN PATH缓存目录在 Linux 为~/.cache/ripgrep-all、macOS 为~/Library/Caches/ripgrep-all、Windows 为C:\Users\用户名\AppData\Local\ripgrep-all。源码结构上配置解析在 src/config.rs、缓存实现在 src/preproc_cache.rs、适配器匹配在 src/matching.rs、各适配器位于 src/adapters/仓库 exampledir/ 下提供了覆盖 zip、tar、PDF、sqlite、epub、mkv、邮件等多种格式的测试样例可据此快速验证。结语从 0.10.3 的异步化重构到 0.10.5 的退出码对齐rga 的演进脉络展示了一个工具在稳定性与可扩展性之间的务实取舍配置文件 JSON Schema 让无编译扩展成为可能流式适配器接口让格式转换可以像管道一样串联而 SQLite ZSTD 缓存则保障了重复搜索的性能底线。理解这些设计后无论是排查缓存问题、新增自定义适配器还是向 rga 提交新格式支持你都能从 CHANGELOG.md 出发在源码中找到对应的落点。赞分享开发工具【免费下载链接】ripgrep-allrga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc.项目地址https://gitcode.com/gh_mirrors/ri/ripgrep-all点击查看免费下载相关推荐Astro Netlify 适配器astrojs/netlify深度解析会话、CDN 缓存、图片服务与配置演进Astro Netlify 适配器astrojs/netlify深度解析会话、CDN 缓存、图片服务与配置演进 本篇文章以当前仓库 packages/i前端Web框架SSR前端构建gh-dash配置文件深度解析与自定义gh dash配置文件深度解析与自定义 本文深入解析gh dash工具的配置文件架构与自定义能力。gh dash采用YAML格式配置文件提供完整的JSON S开发工具CLI研发协作Envoy HTTP Cache Filter 深度解析缓存语义、插件架构与自定义存储实现Envoy HTTP Cache Filter 深度解析缓存语义、插件架构与自定义存储实现 HTTP 缓存是提升边缘代理与浏览器流量吞吐、降低端到端延迟、减轻云原生服务网格网络微服务上一篇免费解锁WeMod Pro全部功能Wand-Enhancer零基础完整指南下一篇免费增强Wand游戏修改器Wand-Enhancer补丁工具完整上手指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ripgrep-all（rga）0.10 演进深度解析：配置文件、自定义适配器与缓存架构
开发工具【免费下载链接】ripgrep-allrga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc.项目地址https://gitcode.com/gh_mirrors/ri/ripgrep-all点击查看免费下载本文以 ripgrep-allrga仓库的 CHANGELOG.md 为骨架梳理 0.10.x 与 0.9.x 各版本的关键演进并深入对应源码剖析 rga 的配置文件体系config.jsonc JSON Schema、可自定义的子进程适配器机制、基于 SQLite 与 ZSTD 的预处理缓存以及--rga-*系列命令行参数的真实语义。读完本文你将理解 rga 如何把 PDF、Office 文档、压缩包等不可 grep的文件变成可搜索文本并掌握通过配置文件扩展新文件类型的方法。一、版本脉络概览0.10.x 标志着 rga 的架构分水岭CHANGELOG.md 的时间线清晰地揭示了 rga 的演进阶段0.8.x 是早期修复期0.9.x 完善了压缩与格式适配能力而0.10.3 是一次彻底的重构——开发者明确写道这本来应该叫 1.0.0但我对稳定性还不够自信原文This was originally supposed to be version 1.0.0, but I dont feel confident enough in the stability to call it that.。0.10.3 的四大结构性变更对应 CHANGELOG.md引入配置文件系统首次使用时自动生成~/.config/ripgrep-all/config.jsonc及其 JSON Schema自定义子进程适配器可在配置文件中定义spawning adapter调用外部命令转换文件全代码库异步化适配器接口从(Read, Write) - ()改为AsyncRead - AsyncRead从而支持适配器链式串联配套工程化mbox 适配器、--debug调试日志与性能计时、基于 anyhow 的错误信息、跨平台 rga-fzf 二进制、README 自动生成。后续的 0.10.4新增--rga-no-prefix-filenames与 0.10.5与 rg 保持一致的退出码则是在该架构上的修补。下文逐一深入。二、配置文件系统首次运行自动生成含 JSON Schema2.1 配置文件的生成机制根据 src/config.rs 的read_config_file实现当 rga 首次运行且找不到配置文件时会自动完成两件事创建配置目录Linux 为${XDG_CONFIG_HOME:-~/.config}/ripgrep-all并写入config.jsonc内容即仓库中的 doc/config.default.jsonc用schemars根据RgaConfig结构自动生成config.v1.schema.json供支持 JSON Schema 的编辑器如 VS Code提供补全与校验。因此首次使用前无需手动创建任何文件直接运行rga PATTERN即可。若希望手动预置配置也可以自行创建该路径下的config.jsonc。2.2 配置项与命令行参数的映射规则doc/config.default.jsonc 中给出了关键约定配置项与命令行选项相同只是去掉--rga-前缀并把-和.替换为_。例如命令行参数配置文件键--rga-no-cacheno_cache: true--rga-cache-max-blob-lencache_max_blob_len--rga-max-archive-recursionmax_archive_recursion--rga-accurateaccurate: true唯一例外是custom_adapters它只能在配置文件中设置源码中对应#[structopt(skip)] // config file only见 src/config.rs。RgaConfig结构体在源码注释中被描述为一个多语言polyglot结构体src/config.rs同时承担三种职责声明命令行参数structopt clap、为 manpage/README 生成提供信息、描述配置文件格式经 schemars 输出为 JSON Schema。2.3 三层配置合并顺序从 src/config.rs 的parse_args可以看出配置的优先级合并逻辑config 文件 → RGA_CONFIG 环境变量 → 命令行参数后者的值覆盖前者通过json_merge逐层合并。合并后的完整配置还会通过环境变量RGA_CONFIG传给子进程如 rga-preproc确保所有进程使用同一份生效配置。默认生成的 doc/config.default.jsonc 内容极简只有$schema引用与一个空的custom_adapters数组并提示可用rga --rga-list-adapters验证自定义适配器是否被正确加载。值得注意的是配置文件是 JSONC 格式——支持注释src/config.rs 使用json_comments库剥离注释后再解析。三、自定义适配器在配置文件中定义子进程转换器3.1 为什么需要spawning adapterrga 的核心抽象是FileAdapter见 src/adapters.rs接收文件流输出可搜索的文本流。对于需要外部工具转换的格式pandoc 转文档、pdftotext 提 PDF 文本rga 提供了一条免编译的自定义路径——在配置文件的custom_adapters数组中声明即可无需修改 Rust 代码。3.2 配置字段详解CustomAdapterConfig的字段定义在 src/adapters/custom.rs对照如下字段类型说明namestring唯一标识只能含a-z、0-9、_descriptionstring帮助信息中展示的描述disabled_by_defaultbool?为true时默认禁用需通过--rga-adapters显式启用versioni32缓存键版本号配置或输出格式变化时必须递增extensionsstring[]支持的扩展名如[epub, mobi]mimetypesstring[]?在--rga-accurate开启时按 MIME 类型匹配match_only_by_mimebool?开启精确匹配时完全忽略扩展名binarystring要执行的外部程序名或路径argsstring[]程序参数支持占位符见下output_path_hintstring?输出路径提示默认${input_virtual_path}.txt3.3 参数占位符args与output_path_hint支持三个占位符src/adapters/custom.rs$input_file_extension文件扩展名不含点如foo.tar.gz→gz$input_file_stem去掉最后一个扩展名的文件名如foo.tar.gz→foo.tar$input_virtual_path完整输入路径——注意该路径可能并不真实存在于磁盘因为它是另一个适配器的输出结果。占位符的实际替换逻辑在arg_replacersrc/adapters/custom.rs中实现。程序的 stdin 连接输入文件流stdout 视为转换后的文件src/adapters/custom.rs。output_path_hint的意义在于当输出不是纯文本.txt而是需要交给下一个适配器处理的中间格式时通过它改变后续匹配该能力正源于 0.10.3 的异步流式接口改造见第四节。3.4 内置的spawning adapter示例内置的 pandoc 与 poppler 适配器本身就是CustomAdapterConfig的实例src/adapters/custom.rs是最佳参考模板// pandoc把 epub/odt/docx/fb2/ipynb/html 转成纯文本 { name: pandoc, extensions: [epub, odt, docx, fb2, ipynb, html, htm], binary: pandoc, args: [--from$input_file_extension, --toplain, --wrapnone, --markdown-headingsatx] } // poppler用 pdftotext 提取 PDF 文本输出带分页标记的中间格式 { name: poppler, extensions: [pdf], mimetypes: [application/pdf], binary: pdftotext, args: [-, -], output_path_hint: ${input_virtual_path}.txt.asciipagebreaks }其中 poppler 的output_path_hint指向.asciipagebreaks后缀从而触发内部的postprocpagebreaks适配器src/adapters/postproc.rs为每行追加页码——这正是 0.9.1 修复PDF 读取器输出空尾页问题所涉及的链路。在仓库的 测试用例 中可以看到short.pdf经 poppler 适配后输出形如Page 1: hello world的带页码文本。3.5 自定义适配器如何被加载配置中的自定义适配器会被get_all_adapterssrc/adapters.rs置于适配器列表最前面最高优先级随后接内置的 spawning 适配器与内部适配器postproc、ffmpeg、zip、decompress、mbox、tar、sqlite。disabled_by_default的适配器会被分到默认禁用组只有通过--rga-adaptersmail这类语法显式启用详见第六节。四、异步化与适配器链式串联0.10.3 最底层的改动是接口重写适配器签名从同步的(Read, Write) - ()改为async fn adapt(AdaptInfo) - AdaptedFilesIterBoxsrc/adapters.rs其中输入输出均为PinBoxdyn AsyncRead Send流src/adapters.rs。这一改动的价值在 CHANGELOG 中说得直白to allow chaining of adapters。在此之前每个适配器消费整个输入并写出结果无法串联改造后每个适配器输入一个流、产出一个流因此可以形成管道——例如tar 适配器 → 解出内部 pdf → poppler 适配器 → 追加页码 → rg 搜索。poppler 的output_path_hint指向.asciipagebreaks、随后由 postprocpagebreaks 处理正是链式思想的体现AdaptInfo中的archive_recursion_depth字段src/adapters.rs则配合--rga-max-archive-recursion控制档案嵌套递归深度默认 5见 src/config.rs。五、预处理缓存SQLite ZSTD 的性能底座5.1 缓存什么、存在哪里rga 默认会把适配器提取出的文本缓存到 SQLite 数据库避免重复搜索同一批文件时反复调用 pandoc/pdftotext 等重型工具。缓存位置按平台不同src/config.rsLinux${XDG_CACHE_DIR:-~/.cache}/ripgrep-allmacOS~/Library/Caches/ripgrep-allWindowsC:\Users\username\AppData\Local\ripgrep-all缓存库文件为cache.sqlite3src/preproc_cache.rs并带SCHEMA_VERSION 3的版本标记版本不匹配时自动清空重建src/preproc_cache.rs。5.2 缓存键的构成CacheKeysrc/preproc_cache.rs决定了命中的精确性包含config_hash、adapter、adapter_version、active_adapters、file_path、file_mtime_unix_ms文件修改时间毫秒级时间戳。其中active_adapters仅在适配器recurses可递归下钻时纳入键——这正是 0.9.1为档案缓存键加入启用的适配器列表的延续若适配器会递归那么启用的适配器集合变化会影响输出必须体现在缓存键中。每次读取或写入都通过file_mtime_unix_ms校验文件是否变更mtime 改变即视为缓存失效src/preproc_cache.rs。5.3 压缩与大小上限缓存内容以ZSTD 压缩后的二进制 blob 存储表结构中的text_content_zstd列src/preproc_cache.rs。与之对应的命令行参数--rga-cache-compression-levelZSTD 压缩级别范围 1–22默认 12src/config.rs--rga-cache-max-blob-len允许缓存的压缩后最大字节数默认2000000约 2 MB超出则每次重新计算、不落缓存命令行支持k/M/G后缀src/config.rs--rga-cache-path自定义缓存库路径--rga-no-cache完全禁用缓存调试适配器时建议使用。数据库连接还设置了 WAL 日志模式、synchronousoff、temp_storememory、2 GB mmap 等性能相关 PRAGMAsrc/preproc_cache.rs。六、--rga-*命令行参数全解6.1 匹配方式扩展名 vs MIME 类型默认情况下 rga只按文件扩展名匹配适配器FastFileMatcher::FileExtension正则形如(?i)\.ext$见 src/matching.rs。但有些程序不在乎扩展名——例如 sqlite3 数据库经常不带.sqlite3后缀。此时可用rga --rga-accurate PATTERN PATH开启后rga 会像file命令一样读取文件前 8 KiB 的 magic bytes做 MIME 类型检测再据此选适配器src/config.rs。8 KiB 限制是因为档案内的输入流未必支持 seeksrc/adapters.rs 的get_matchers展示了两种匹配模式的切换逻辑。AdapterMeta.keep_fast_matchers_if_accurate字段src/adapters.rs则控制精确模式下是否仍保留扩展名匹配——例如 tar 的 MIME 检测可能误判因此保留而 sqlite 的 MIME 检测非常可靠则关闭扩展名匹配以免混淆。6.2 适配器选择--rga-adapters语法src/config.rs 与 src/adapters.rs写法含义foo,bar仅使用 foo、bar 两个适配器-bar,baz使用全部默认适配器排除 bar、bazbar,baz使用全部默认适配器并把 bar、baz插入到列表最前更高优先级其中加法形式是启用默认禁用适配器如 mail的唯一途径。示例rga --rga-adaptersmail PATTERN启用邮件适配器rga --rga-adapters-ffmpeg PATTERN跳过视频元数据提取。6.3 其余关键参数--rga-list-adapters列出全部已知适配器含描述、扩展名、MIME 类型--rga-print-config-schema打印配置文件对应的 JSON Schema--rga-max-archive-recursion档案嵌套递归最大深度默认 5src/config.rs--rga-no-prefix-filenames0.10.4 新增对应 issue #154默认情况下档案内部文件的内容会以档案内路径作为前缀输出这便于定位但也意味着内层路径本身会被正则搜索命中此标志关闭该行为src/config.rs--rg-help/--rg-version查看内嵌 ripgrep 的帮助与版本-h显示精简帮助--help显示含高级选项的完整帮助。除--rga-*与--rg-*前缀参数外其余参数原样透传给 rgsrc/config.rs 的split_args通过参数分区实现因此PATTERN、PATH、-i、-l、--no-messages等 rg 能力全部可用。七、0.10.4 / 0.10.5退出码与输出行为的对齐0.10.4新增--rga-no-prefix-filenames见 6.3。0.10.5rga 现在返回与 rg 完全一致的退出码。这在脚本化场景中至关重要——rg 用退出码 0/1/2 区分有匹配/无匹配/出错此前 rga 直接沿用自身返回值会破坏脚本逻辑对齐后rga PATTERN ...这类惯用法可安全使用。八、内置适配器全景用rga --rga-list-adapters可查看完整清单README.md当前仓库内置部分在 src/adapters/custom.rs其余见 src/adapters/ 各模块适配器用途扩展名 / MIME源码pandoc二进制文档转纯文本.epub .odt .docx .fb2 .ipynb .html .htmsrc/adapters/custom.rspoppler提取 PDF 文本pdftotext.pdf / application/pdfsrc/adapters/custom.rspostprocpagebreaks为分页输入追加页码.asciipagebreakssrc/adapters/postproc.rsffmpeg提取视频元数据/章节/字幕.mkv .mp4 .avi .mp3 .ogg .flac .webmsrc/adapters/ffmpeg.rszip流式读取 zip 并递归下钻.zip .jar / application/zipsrc/adapters/zip.rsdecompress解压流并交给其他提取器.als .bz2 .gz .tbz .tbz2 .tgz .xz .zstsrc/adapters/decompress.rstar流式读取 tar 并递归下钻.tarsrc/adapters/tar.rssqlite数据库转简单纯文本格式.db .db3 .sqlite .sqlite3src/adapters/sqlite.rsmail默认禁用读取邮件与附件.mbox .mbx .eml / application/mbox、message/rfc822src/adapters/mbox.rs其中 mail 适配器是 0.10.3 引入的PR #104由 FliegendeWurst 贡献需--rga-adaptersmail启用。0.9.0 将 decompress 与 tar 拆分为两个独立适配器使 rga 能直接读取纯.bz2等单文件压缩格式同版本引入的 MIME 检测让无扩展名的压缩文件如/boot/initramfs.img实际是 bz2也能被识别——这两个能力后来都被吸收进--rga-accurate与 decompress 适配器的 MIME 匹配中。九、历史版本要点速览0.8.x–0.9.x0.9.6修复 Windows 构建扩展名匹配改为大小写不敏感迁移到 GitHub Actions修复 PDF 中断词搜索连字符分词问题#44rga-preproc 始终从 rga 所在目录加载0.9.5支持搜索无扩展名的 PDF#39优先使用随附二进制而非系统安装版本#320.9.3升级 rusqlite 以适配新版 Rust 编译#250.9.2修复文件结尾正则#13与 UTF-16 BOM 解码#5失败输出压缩为两行#7可用--no-messages完全屏蔽错误信息发布含全部依赖的 Windows 二进制0.9.1档案缓存键纳入启用的适配器列表修复 PDF 读取器的空尾页输出0.8.x帮助文本换行、无参数时展示自身帮助、修正 Linux 二进制打包等小修复。十、调试与开发建议调试适配器行为时仓库 README 与 CHANGELOG 给出两条路径# 1. 开启调试日志与性能计时0.10.3 起 --debug 会输出大量调试日志与性能耗时 export RUST_LOGdebug export RUST_BACKTRACE1 # 2. 务必禁用缓存或清空缓存否则会命中旧结果、掩盖问题 rga --rga-no-cache PATTERN PATH缓存目录在 Linux 为~/.cache/ripgrep-all、macOS 为~/Library/Caches/ripgrep-all、Windows 为C:\Users\用户名\AppData\Local\ripgrep-all。源码结构上配置解析在 src/config.rs、缓存实现在 src/preproc_cache.rs、适配器匹配在 src/matching.rs、各适配器位于 src/adapters/仓库 exampledir/ 下提供了覆盖 zip、tar、PDF、sqlite、epub、mkv、邮件等多种格式的测试样例可据此快速验证。结语从 0.10.3 的异步化重构到 0.10.5 的退出码对齐rga 的演进脉络展示了一个工具在稳定性与可扩展性之间的务实取舍配置文件 JSON Schema 让无编译扩展成为可能流式适配器接口让格式转换可以像管道一样串联而 SQLite ZSTD 缓存则保障了重复搜索的性能底线。理解这些设计后无论是排查缓存问题、新增自定义适配器还是向 rga 提交新格式支持你都能从 CHANGELOG.md 出发在源码中找到对应的落点。赞分享开发工具【免费下载链接】ripgrep-allrga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc.项目地址https://gitcode.com/gh_mirrors/ri/ripgrep-all点击查看免费下载相关推荐Astro Netlify 适配器astrojs/netlify深度解析会话、CDN 缓存、图片服务与配置演进Astro Netlify 适配器astrojs/netlify深度解析会话、CDN 缓存、图片服务与配置演进 本篇文章以当前仓库 packages/i前端Web框架SSR前端构建gh-dash配置文件深度解析与自定义gh dash配置文件深度解析与自定义 本文深入解析gh dash工具的配置文件架构与自定义能力。gh dash采用YAML格式配置文件提供完整的JSON S开发工具CLI研发协作Envoy HTTP Cache Filter 深度解析缓存语义、插件架构与自定义存储实现Envoy HTTP Cache Filter 深度解析缓存语义、插件架构与自定义存储实现 HTTP 缓存是提升边缘代理与浏览器流量吞吐、降低端到端延迟、减轻云原生服务网格网络微服务上一篇免费解锁WeMod Pro全部功能Wand-Enhancer零基础完整指南下一篇免费增强Wand游戏修改器Wand-Enhancer补丁工具完整上手指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考