ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

MinerU 插件系统手把手指南:从一条命令选包到 GPU 加速部署

MinerU 插件系统手把手指南:从一条命令选包到 GPU 加速部署 MinerU 插件系统手把手指南从一条命令选包到 GPU 加速部署【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU本文面向需要把 PDF、Office 文档解析成 Markdown并按自身硬件条件部署 MinerU 的工程师。内容覆盖扩展模块安装命令、后端选择与环境变量配置照着做即可按硬件配置和使用场景选对组合。 选型速览按场景选安装包与后端MinerU 的功能按扩展模块拆分安装默认后端为 hybrid-engine会自动选择解析方法。先对照下表再按后文场景执行适用场景安装命令后端/运行方式说明基础解析本地uv pip install mineru[core]默认 hybrid-engine包含 vlm、pipeline、gradio 等核心组件不含 vllm本地 GPU 加速uv pip install mineru[all]-b vlm-vllm-engine等价于mineru[core,vllm]含全部扩展远程服务接入uv pip install mineru-b vlm-http-client -u url基础包非常轻量只需 CPU 与网络边缘轻量hybriduv pip install mineru[pipeline]-b hybrid-http-client -u url小模型处理留在本地比纯基础包更快各扩展模块的定位与注意事项见 扩展模块安装指南完整参数说明见 命令行工具文档。️ 本地 GPU 加速一条命令装好 vllm 模块适用场景NVIDIA Turing 架构及以上显卡显存 8G 及以上在本地机器上解析并希望提升 VLM 推理速度vllm 与 lmdeploy 加速效果和使用方式几乎相同二选一安装不建议同时装执行命令export MINERU_DEVICE_MODEcuda export MINERU_VIRTUAL_VRAM_SIZE16 uv pip install mineru[all]MINERU_VIRTUAL_VRAM_SIZE按显卡实际显存调整。vllm 引擎用 PagedAttention 管理 KV 缓存能显著提升推理速度模型实现可参考 mineru/model/。验证生效mineru -p demo.pdf -o output -b vlm-vllm-engine日志中出现 vllm 引擎初始化信息且同一份 PDF 的完成时间明显短于默认运行即说明加速链路生效。远程推理服务接入GPU 放在服务端适用场景服务端有 GPU多台客户端需要共享解析能力本地环境存在依赖兼容问题希望用预构建镜像统一环境执行命令docker compose -f compose.yaml --profile openai-server up -dcompose.yaml位于仓库 docker/ 目录。该命令拉起一个兼容 OpenAI 接口的服务客户端默认通过 30000 端口经 HTTP 接入api、router、gradio 等其余服务的启动方式见 Docker 部署指南。注意 vllm 会预分配显存同机其他占显存的服务需先停止。验证生效在另一台终端用轻量客户端连接mineru -p input_path -o output_path -b vlm-http-client -u http://server_ip:30000输出目录生成 Markdown 且无连接超时即代表服务接入正常。 轻量客户端CPU 设备的基础包用法适用场景只有 CPU 和网络的边缘设备或办公机推理全部交给远端服务器本地只负责输入输出与结果编排执行命令uv pip install mineru基础包非常轻量适合仅有 CPU 的设备。若希望 hybrid 模式下让部分小模型处理仍在本地运行可改装 pipeline 扩展包uv pip install mineru[pipeline]验证生效mineru -p input_path -o output_path -b hybrid-http-client -u http://127.0.0.1:30000解析完成并生成 Markdown 与 content list即代表轻量客户端可用。⚙️ 高频环境变量配置日常调参集中在下表环境变量的优先级高于命令行参数变量名作用示例值MINERU_DEVICE_MODE推理设备模式cudaMINERU_VIRTUAL_VRAM_SIZE虚拟显存大小按实际显存调整16MINERU_MODEL_SOURCE模型下载来源modelscopeMINERU_FORMULA_ENABLE公式解析开关默认开启falseMINERU_TABLE_ENABLE表格识别开关默认开启trueMINERU_LANG文档语言影响 OCR 准确率ch组合建议解析中文学术论文时MINERU_MODEL_SOURCEmodelscope加MINERU_LANGch模型国内下载且中文 OCR 更稳批量处理不含公式的商务报表时再追加MINERU_FORMULA_ENABLEfalse省掉公式推理的开销。️ 常见问题排查1. vllm 安装异常现象安装含 vllm 的扩展包时中断或启动时报 CUDA 相关错误原因显卡驱动与所装 vllm 版本要求的 CUDA 运行时不匹配解法改用 Docker 部署指南 中的预构建镜像或按 vllm 官方安装方式选择 CUDA 12.9 兼容镜像2. 中文文本乱码现象中文文档解析结果出现乱码或错字原因未指定文档语言OCR 用错了字符集解法设置环境变量MINERU_LANGch后重新解析3. 显存溢出OOM现象长文档解析中途崩溃日志出现 OOM原因MINERU_VIRTUAL_VRAM_SIZE相对实际显存设得过高解法调小该值例如从 16 改到 8仍不足就改用远程服务接入方式更多情况可查 官方 FAQ。本地 GPU 加速、服务端共享、CPU 轻量客户端三种形态覆盖了 MinerU 扩展模块的大部分部署场景需要完整源码时直接获取仓库即可git clone https://gitcode.com/GitHub_Trending/mi/MinerU。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表