OvisOCR2 API参考大全：从基础调用到高级配置的完整文档

OvisOCR2 API参考大全从基础调用到高级配置的完整文档【免费下载链接】OvisOCR2项目地址: https://ai.gitcode.com/hf_mirrors/ATH-MaaS/OvisOCR2OvisOCR2是一款强大的端到端文档解析模型能够将文档页面图像转换为Markdown格式的自然阅读顺序输出。这款仅0.8B参数的小型模型在文档解析性能上表现出色支持文本、公式、表格和视觉区域的识别与转换。本指南将为您提供完整的API参考从基础安装到高级配置帮助您充分利用OvisOCR2的强大功能。 快速开始安装与基础使用要开始使用OvisOCR2首先需要安装必要的依赖包pip install vllm0.22.1 pillow基础调用非常简单只需几行代码即可完成文档解析from PIL import Image from vllm import LLM, SamplingParams class OvisOCR2Parser: def __init__(self, model_name_or_path: str): self.model LLM( modelmodel_name_or_path, tensor_parallel_size1, gpu_memory_utilization0.8, gdn_prefill_backendtriton ) # 初始化提示词和采样参数 self.sampling_params SamplingParams(max_tokens16384, temperature0.0) def parse(self, images: list[Image.Image]) - list[str]: # 解析文档图像 outputs self.model.generate(vllm_inputs, self.sampling_params) return [output.outputs[0].text.strip() for output in outputs] # 使用示例 parser OvisOCR2Parser(ATH-MaaS/OvisOCR2) images [Image.open(document.jpg)] markdowns parser.parse(images) print(markdowns[0]) 核心API详解OvisOCR2Parser类OvisOCR2Parser是整个库的核心类负责初始化模型和处理文档解析任务。构造函数参数def __init__(self, model_name_or_path: str): 初始化OvisOCR2解析器 参数 - model_name_or_path: 模型名称或本地路径如ATH-MaaS/OvisOCR2 构造函数会自动配置vLLM引擎使用以下优化设置tensor_parallel_size1: 单GPU并行gpu_memory_utilization0.8: 80% GPU内存利用率gdn_prefill_backendtriton: 使用Triton后端加速parse方法def parse(self, images: list[Image.Image], filter_imgtags: bool True) - list[str]: 解析文档图像为Markdown格式 参数 - images: PIL.Image.Image对象列表 - filter_imgtags: 是否过滤HTML图像标签默认为True 返回 - 解析后的Markdown字符串列表 parse方法支持批量处理多个文档图像每个图像都会生成独立的Markdown输出。当filter_imgtagsTrue时系统会自动移除视觉区域的HTML标签只保留文本内容。 高级配置选项模型配置详解OvisOCR2基于Qwen3.5-0.8B架构配置文件位于config.json中包含以下关键配置{ architectures: [Qwen3_5ForConditionalGeneration], model_type: qwen3_5, text_config: { hidden_size: 1024, num_hidden_layers: 24, num_attention_heads: 8, max_position_embeddings: 262144, vocab_size: 248320 }, vision_config: { hidden_size: 768, num_heads: 12, patch_size: 16, num_position_embeddings: 2304 } }采样参数优化通过调整SamplingParams可以优化输出质量sampling_params SamplingParams( max_tokens16384, # 最大输出token数 temperature0.0, # 温度参数0为确定性输出 top_p0.9, # 核采样参数 top_k50, # Top-K采样 repetition_penalty1.1 # 重复惩罚 ) 视觉区域处理OvisOCR2能够识别文档中的视觉区域如图表、图像并以HTML标签形式标注def save_renderable_markdown_with_visual_regions( markdown: str, page_image: Image.Image, output_dir: str, ) - None: 保存包含视觉区域的Markdown文档 参数 - markdown: 解析后的Markdown文本 - page_image: 原始页面图像 - output_dir: 输出目录路径 该方法会解析Markdown中的图像标签img srcimages/bbox_{left}_{top}_{right}_{bottom}.jpg /根据坐标裁剪原始图像保存裁剪后的图像到指定目录生成完整的Markdown文件⚡ 性能调优技巧内存优化对于大文档或批量处理可以调整GPU内存使用self.model LLM( modelmodel_name_or_path, tensor_parallel_size2, # 多GPU并行 gpu_memory_utilization0.7, # 降低内存使用率 max_model_len32768, # 增加最大模型长度 enable_prefix_cachingTrue # 启用前缀缓存 )批处理优化# 批量处理提高效率 batch_size 4 images_batches [images[i:ibatch_size] for i in range(0, len(images), batch_size)] for batch in images_batches: markdowns parser.parse(batch) # 处理结果... 错误处理与调试常见问题解决内存不足错误降低gpu_memory_utilization或减少批处理大小输出截断增加max_tokens参数值重复内容使用内置的_clean_truncated_repeats方法清理调试模式# 启用详细日志 import logging logging.basicConfig(levellogging.DEBUG) # 检查输入图像尺寸 for img in images: print(f图像尺寸: {img.size}, 模式: {img.mode}) 性能基准OvisOCR2在多个基准测试中表现优异OmniDocBench v1.6: 总分96.58超越所有端到端模型PureDocBench: Avg3得分75.06保持领先地位支持格式: 文本、公式、表格、视觉区域输出格式: Markdown保持自然阅读顺序️ 高级用法示例自定义提示词custom_prompt 请从图像中提取所有可读内容按照自然阅读顺序输出为Markdown文档。 对于图表或图像使用HTML图像标签表示img srcimages/bbox_{left}_{top}_{right}_{bottom}.jpg / 公式使用LaTeX格式表格使用HTML格式。 保留原始文本不进行翻译或改写。 # 在初始化时替换默认提示词 self.prompt self.model.get_tokenizer().apply_chat_template( [{role: user, content: [{type: image}, {type: text, text: custom_prompt}]}], tokenizeFalse, add_generation_promptTrue )多语言支持虽然OvisOCR2主要针对中文文档优化但也能处理多语言内容# 设置语言特定的提示词 multilingual_prompt Extract all readable content from the image in natural reading order. For charts or images, use HTML image tags. Format formulas as LaTeX and tables as HTML. Preserve the original text without translation. 最佳实践建议预处理建议图像质量: 确保输入图像分辨率适中推荐448×448到2880×2880像素格式支持: 支持JPEG、PNG等常见格式方向校正: 确保文档方向正确后处理建议内容验证: 对关键应用手动验证输出结果格式检查: 验证表格和公式的格式正确性性能监控: 记录处理时间和资源使用情况 相关资源模型文件:model.safetensors- 主模型权重配置文件:config.json- 模型配置分词器:tokenizer.json,tokenizer_config.json- 文本处理预处理配置:preprocessor_config.json- 图像预处理聊天模板:chat_template.jinja- 对话格式模板 结语OvisOCR2提供了一个强大而高效的文档解析解决方案通过简洁的API接口即可实现复杂的文档处理任务。无论是简单的文本提取还是复杂的多格式文档解析OvisOCR2都能提供高质量的Markdown输出。记住虽然OvisOCR2在大多数情况下表现优异但在关键应用中建议进行人工验证以确保结果的准确性。随着模型的不断优化和社区的发展OvisOCR2将继续为文档处理领域带来更多创新和便利。开始您的文档解析之旅吧【免费下载链接】OvisOCR2项目地址: https://ai.gitcode.com/hf_mirrors/ATH-MaaS/OvisOCR2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考