PDF转Markdown总抓狂1.2B参数的开源解析引擎了解一下【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerUMinerU 是 OpenDataLab 出品的开源文档解析引擎能把 PDF、图片以及 DOCX、PPTX、XLSX 一键转成 LLM 可以直接消费的 Markdown 和 JSON支持 109 种语言识别pipeline 后端最低 4GB 显存即可运行。它诞生于书生·浦语大模型的预训练过程最初只为解决科技文献中的符号转化问题如今却成了众多 RAG、Agent 工程里喂数据的标准环节。如果你经历过从论文 PDF 里复制一段文字粘贴后乱成一锅粥的场面这篇文章就是为你写的。PDF 解析的三大死结你中招了几个先问一个扎心的问题你现在手里的 PDF 转 Markdown 工具是不是遇到下面三种文档就露馅第一表格散了。多栏排版、跨页表格、表头合并单元格普通工具要么把表格拆成碎片文字要么干脆丢行。你拿到手的表格实际上是一堆序号错乱的字符。第二公式废了。数学论文里的行间公式、行内符号复制出来变成乱码或图片占位。想喂给大模型做知识问答它根本读不懂。第三页眉页脚混进来。期刊名、页码、脚注、装订线旁注全被当成正文语义连贯性被彻底打断检索出来的内容也带着杂质。通用大模型能理解语义但跑一次要租 72B 参数的显卡成本感人轻量 OCR 工具便宜却完全没有版面理解能力。两难之下MinerU 给出的答案是把一个大难题拆成几个小问题用多个小模型接力完成。模块化流水线1.2B 参数如何干出大模型的活MinerU 的核心思路并不神秘——它不指望一个模型搞定所有事而是让布局检测、文字识别、公式识别、表格恢复各司其职像工厂流水线一样逐级处理。项目架构从预处理、模型层、管线层到输出层、质检层分工一目了然具体到一次解析大致走这样的流程这套小模型大能力的打法在官方评测 OmniDocBench v1.6 上拿到了实打实的分数解析后端综合精度显存要求是否支持纯 CPUpipeline86.474GB✅hybrid-engine95.39high/ 95.26medium8GB❌vlm-engine95.308GB❌vlm-http-client95.302GB仅客户端✅顺带一提MinerU 的 VLM 主模型只有1.2B 参数MinerU2.5-Pro却拿下了 95 的综合精度。这或许就是小而美工程哲学的体现与其堆参数不如把每一环做精。15 分钟跑通你的第一次解析接下来是动手环节。整个过程三条命令加一条执行命令我们一步步来。第一步安装。建议用 uv 包管理器快且省心。国内网络环境下配合阿里云镜像pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple pip install uv -i https://mirrors.aliyun.com/pypi/simple uv pip install -U mineru[all] -i https://mirrors.aliyun.com/pypi/simplemineru[all]包含全部核心功能Windows、Linux、macOS 通用。想从源码安装的话克隆仓库 https://gitcode.com/GitHub_Trending/mi/MinerU 后执行uv pip install -e .[all]即可。第二步切换模型源国内用户强烈建议。MinerU 默认从 HuggingFace 拉模型首次使用会自动下载。访问不了的话一条环境变量切到 ModelScopeexport MINERU_MODEL_SOURCEmodelscope第三步解析一份真实 PDF。仓库自带示例文档直接拿它开刀mineru -p ./demo/pdfs/demo1.pdf -o ./output首次运行会下载模型约需几分钟之后走本地缓存。命令结束后./output目录下会生成demo1.md带格式的 Markdown 文档公式是 LaTeX、表格是 HTMLdemo1_content_list.json按阅读顺序平铺的结构化内容方便程序直接读取demo1_layout.pdf布局分析可视化文件每个色块对应一种内容类型images/抽取出的图片资源想确认解析质量打开layout.pdf看看色块是否合理、阅读顺序编号是否正确这比肉眼对比原文高效得多。下面就是官方文档中的布局分析示例每个检测框的色块和序号代表不同的内容区块三个让解析更准的参数新手也能立刻用上跑通只是起点。MinerU 的命令行暴露了不少可调参数以下三个对结果影响最直接完整清单见 命令行工具说明。1. 换后端-b参数。默认是hybrid-engine高精度但你的电脑只有 CPU 时加-b pipeline就能纯 CPU 运行只是精度会降到 86.47 档。机器配置决定后端别硬顶。mineru -p ./demo/pdfs/demo1.pdf -o ./output -b pipeline2. 指定语言-l参数。对 pipeline 后端声明文档语言能明显提升 OCR 准确率。比如中文文档mineru -p ./demo/pdfs/demo1.pdf -o ./output -l ch3. 控制公式和表格开关-f/-t参数。两者默认开启。如果你的文档没有公式或希望解析更快可以显式关闭反过来论文场景务必保持开启。解析方式-m可设auto自动在文字提取和 OCR 间切换、txt强制文字提取或ocr强制 OCR扫描版 PDF 会自动检测并启用 OCR。还有一处容易被忽略的调优解析指定页码范围。用-s和-e只处理某几页调试参数时能省下大把时间。常见坑与避坑指南自己踩过的坑帮你提前排掉。坑一模型下载失败。症状是卡在下载阶段或报网络错误。解法就是上面说的export MINERU_MODEL_SOURCEmodelscope。另外 3.4 版本起首次安装时会根据网络环境自动选择模型源命中本地缓存也能直接复用这块已经越来越省心了。坑二显存不够。默认后端hybrid-engine需要 8GB 显存。如果你的显卡只有 4~6GB两个选择一是退回-b pipeline4GB 起步二是给 hybrid 客户端设置 batch 倍率——官方文档给出了建议值显存 ≤6GB 用MINERU_HYBRID_BATCH_RATIO8≤4GB 用 4≤3GB 用 2以此类推。坑三Windows 装了 CUDA 却用不上。官方 FAQ 里专门有这条安装后建议第一时间查 FAQ 文档 里的 Windows CUDA 加速说明多数是驱动或 torch 版本问题。坑四内存爆掉。解析超长文档上万页时3.0 之后用滑动窗口优化过内存峰值不再需要手动拆分。实在紧张可调整MINERU_PROCESSING_WINDOW_SIZE环境变量默认 64控制单次处理窗口。和同类方案相比它到底赢在哪把 MinerU 放进坐标轴里看它的位置很有意思方案精度单页成本上手难度典型问题复制粘贴低免费零格式全丢、公式变乱码商业 OCR 工具中高低版面理解弱、表格/公式难还原72B 大模型直推高极高中显存门槛高、有幻觉风险MinerU pipeline86.47极低低复杂版面需换 hybridMinerU hybrid/vlm95低中需 8GB 显存最值得注意的两点一是开源免费且可私有化部署完全离线也能跑这对有数据合规要求的场景是刚需二是无幻觉——pipeline 后端走的是规则OCR 的确定性链路不像大模型会脑补内容。这也是为什么很多 RAG 项目宁可要 95 分但真实的结构化输出也不要 100 分但可能编造数据的结果。进阶玩法从命令行到你的 Agent 工作流如果命令行已经满足不了你MinerU 还留了三层进阶空间图形界面。一条命令启动 Gradio WebUI拖拽上传即可解析适合不想碰终端的同事mineru-gradio --server-port 7860原生 Office 解析。除了 PDF3.x 版本已原生支持 DOCX、PPTX、XLSX 解析。官方说明里有个很有说服力的对比DOCX 直接解析比先转 PDF 再解析的传统流程端到端快数十倍。服务化部署。mineru-api提供 FastAPI 接口mineru-router支持多 GPU 负载均衡还有 MCP Server 可以把解析能力接入 Cursor、Claude Desktop 等 AI 编程工具。详细方案见 快速入门 和 输出文件说明。总结回到开头的问题PDF 解析为什么难因为它是版面理解 文字识别 公式还原 表格恢复的组合题单一方案必然顾此失彼。MinerU 用模块化流水线 三种可选后端把这道题拆成了每个都能答好的小题——1.2B 参数的 VLM 拿下 95 精度pipeline 后端 4GB 显存即可纯 CPU 运行109 种语言开箱即用。如果你正在做 RAG、知识库或 Agent 应用正愁 PDF 数据进不来或者只是想找个免费工具把手头的论文整理成 Markdown现在就可以动手安装、切模型源、跑一遍 demo十分钟内见分晓。觉得好用记得给项目点个 Star遇到问题也可以带上示例文档去 FAQ 或 issue 区反馈。资源清单快速入门与安装docs/zh/quick_start/index.md命令行工具与参数docs/zh/usage/cli_tools.md模型源切换说明docs/zh/usage/model_source.md输出文件格式详解docs/zh/reference/output_files.md常见问题解答docs/zh/faq/index.md【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PDF转Markdown总抓狂？1.2B参数的开源解析引擎了解一下
PDF转Markdown总抓狂1.2B参数的开源解析引擎了解一下【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerUMinerU 是 OpenDataLab 出品的开源文档解析引擎能把 PDF、图片以及 DOCX、PPTX、XLSX 一键转成 LLM 可以直接消费的 Markdown 和 JSON支持 109 种语言识别pipeline 后端最低 4GB 显存即可运行。它诞生于书生·浦语大模型的预训练过程最初只为解决科技文献中的符号转化问题如今却成了众多 RAG、Agent 工程里喂数据的标准环节。如果你经历过从论文 PDF 里复制一段文字粘贴后乱成一锅粥的场面这篇文章就是为你写的。PDF 解析的三大死结你中招了几个先问一个扎心的问题你现在手里的 PDF 转 Markdown 工具是不是遇到下面三种文档就露馅第一表格散了。多栏排版、跨页表格、表头合并单元格普通工具要么把表格拆成碎片文字要么干脆丢行。你拿到手的表格实际上是一堆序号错乱的字符。第二公式废了。数学论文里的行间公式、行内符号复制出来变成乱码或图片占位。想喂给大模型做知识问答它根本读不懂。第三页眉页脚混进来。期刊名、页码、脚注、装订线旁注全被当成正文语义连贯性被彻底打断检索出来的内容也带着杂质。通用大模型能理解语义但跑一次要租 72B 参数的显卡成本感人轻量 OCR 工具便宜却完全没有版面理解能力。两难之下MinerU 给出的答案是把一个大难题拆成几个小问题用多个小模型接力完成。模块化流水线1.2B 参数如何干出大模型的活MinerU 的核心思路并不神秘——它不指望一个模型搞定所有事而是让布局检测、文字识别、公式识别、表格恢复各司其职像工厂流水线一样逐级处理。项目架构从预处理、模型层、管线层到输出层、质检层分工一目了然具体到一次解析大致走这样的流程这套小模型大能力的打法在官方评测 OmniDocBench v1.6 上拿到了实打实的分数解析后端综合精度显存要求是否支持纯 CPUpipeline86.474GB✅hybrid-engine95.39high/ 95.26medium8GB❌vlm-engine95.308GB❌vlm-http-client95.302GB仅客户端✅顺带一提MinerU 的 VLM 主模型只有1.2B 参数MinerU2.5-Pro却拿下了 95 的综合精度。这或许就是小而美工程哲学的体现与其堆参数不如把每一环做精。15 分钟跑通你的第一次解析接下来是动手环节。整个过程三条命令加一条执行命令我们一步步来。第一步安装。建议用 uv 包管理器快且省心。国内网络环境下配合阿里云镜像pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple pip install uv -i https://mirrors.aliyun.com/pypi/simple uv pip install -U mineru[all] -i https://mirrors.aliyun.com/pypi/simplemineru[all]包含全部核心功能Windows、Linux、macOS 通用。想从源码安装的话克隆仓库 https://gitcode.com/GitHub_Trending/mi/MinerU 后执行uv pip install -e .[all]即可。第二步切换模型源国内用户强烈建议。MinerU 默认从 HuggingFace 拉模型首次使用会自动下载。访问不了的话一条环境变量切到 ModelScopeexport MINERU_MODEL_SOURCEmodelscope第三步解析一份真实 PDF。仓库自带示例文档直接拿它开刀mineru -p ./demo/pdfs/demo1.pdf -o ./output首次运行会下载模型约需几分钟之后走本地缓存。命令结束后./output目录下会生成demo1.md带格式的 Markdown 文档公式是 LaTeX、表格是 HTMLdemo1_content_list.json按阅读顺序平铺的结构化内容方便程序直接读取demo1_layout.pdf布局分析可视化文件每个色块对应一种内容类型images/抽取出的图片资源想确认解析质量打开layout.pdf看看色块是否合理、阅读顺序编号是否正确这比肉眼对比原文高效得多。下面就是官方文档中的布局分析示例每个检测框的色块和序号代表不同的内容区块三个让解析更准的参数新手也能立刻用上跑通只是起点。MinerU 的命令行暴露了不少可调参数以下三个对结果影响最直接完整清单见 命令行工具说明。1. 换后端-b参数。默认是hybrid-engine高精度但你的电脑只有 CPU 时加-b pipeline就能纯 CPU 运行只是精度会降到 86.47 档。机器配置决定后端别硬顶。mineru -p ./demo/pdfs/demo1.pdf -o ./output -b pipeline2. 指定语言-l参数。对 pipeline 后端声明文档语言能明显提升 OCR 准确率。比如中文文档mineru -p ./demo/pdfs/demo1.pdf -o ./output -l ch3. 控制公式和表格开关-f/-t参数。两者默认开启。如果你的文档没有公式或希望解析更快可以显式关闭反过来论文场景务必保持开启。解析方式-m可设auto自动在文字提取和 OCR 间切换、txt强制文字提取或ocr强制 OCR扫描版 PDF 会自动检测并启用 OCR。还有一处容易被忽略的调优解析指定页码范围。用-s和-e只处理某几页调试参数时能省下大把时间。常见坑与避坑指南自己踩过的坑帮你提前排掉。坑一模型下载失败。症状是卡在下载阶段或报网络错误。解法就是上面说的export MINERU_MODEL_SOURCEmodelscope。另外 3.4 版本起首次安装时会根据网络环境自动选择模型源命中本地缓存也能直接复用这块已经越来越省心了。坑二显存不够。默认后端hybrid-engine需要 8GB 显存。如果你的显卡只有 4~6GB两个选择一是退回-b pipeline4GB 起步二是给 hybrid 客户端设置 batch 倍率——官方文档给出了建议值显存 ≤6GB 用MINERU_HYBRID_BATCH_RATIO8≤4GB 用 4≤3GB 用 2以此类推。坑三Windows 装了 CUDA 却用不上。官方 FAQ 里专门有这条安装后建议第一时间查 FAQ 文档 里的 Windows CUDA 加速说明多数是驱动或 torch 版本问题。坑四内存爆掉。解析超长文档上万页时3.0 之后用滑动窗口优化过内存峰值不再需要手动拆分。实在紧张可调整MINERU_PROCESSING_WINDOW_SIZE环境变量默认 64控制单次处理窗口。和同类方案相比它到底赢在哪把 MinerU 放进坐标轴里看它的位置很有意思方案精度单页成本上手难度典型问题复制粘贴低免费零格式全丢、公式变乱码商业 OCR 工具中高低版面理解弱、表格/公式难还原72B 大模型直推高极高中显存门槛高、有幻觉风险MinerU pipeline86.47极低低复杂版面需换 hybridMinerU hybrid/vlm95低中需 8GB 显存最值得注意的两点一是开源免费且可私有化部署完全离线也能跑这对有数据合规要求的场景是刚需二是无幻觉——pipeline 后端走的是规则OCR 的确定性链路不像大模型会脑补内容。这也是为什么很多 RAG 项目宁可要 95 分但真实的结构化输出也不要 100 分但可能编造数据的结果。进阶玩法从命令行到你的 Agent 工作流如果命令行已经满足不了你MinerU 还留了三层进阶空间图形界面。一条命令启动 Gradio WebUI拖拽上传即可解析适合不想碰终端的同事mineru-gradio --server-port 7860原生 Office 解析。除了 PDF3.x 版本已原生支持 DOCX、PPTX、XLSX 解析。官方说明里有个很有说服力的对比DOCX 直接解析比先转 PDF 再解析的传统流程端到端快数十倍。服务化部署。mineru-api提供 FastAPI 接口mineru-router支持多 GPU 负载均衡还有 MCP Server 可以把解析能力接入 Cursor、Claude Desktop 等 AI 编程工具。详细方案见 快速入门 和 输出文件说明。总结回到开头的问题PDF 解析为什么难因为它是版面理解 文字识别 公式还原 表格恢复的组合题单一方案必然顾此失彼。MinerU 用模块化流水线 三种可选后端把这道题拆成了每个都能答好的小题——1.2B 参数的 VLM 拿下 95 精度pipeline 后端 4GB 显存即可纯 CPU 运行109 种语言开箱即用。如果你正在做 RAG、知识库或 Agent 应用正愁 PDF 数据进不来或者只是想找个免费工具把手头的论文整理成 Markdown现在就可以动手安装、切模型源、跑一遍 demo十分钟内见分晓。觉得好用记得给项目点个 Star遇到问题也可以带上示例文档去 FAQ 或 issue 区反馈。资源清单快速入门与安装docs/zh/quick_start/index.md命令行工具与参数docs/zh/usage/cli_tools.md模型源切换说明docs/zh/usage/model_source.md输出文件格式详解docs/zh/reference/output_files.md常见问题解答docs/zh/faq/index.md【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考