lift-oQ5架构探秘Qwen3.5视觉语言模型看懂文档的底层原理【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5视觉语言模型正在彻底改变文档处理的方式而lift-oQ5就是其中的代表作一个基于Qwen3.5架构的 9B 参数视觉语言模型专为看懂文档而生。给它一张发票图片或一份 PDF它就能直接输出符合 JSON Schema 的结构化数据把非结构化文档变成可计算的 JSON。更难得的是经过 oQ5 量化后模型体积仅 6.7GB一台 Apple Silicon Mac 就能本地运行。这篇架构探秘我们从模型配置出发拆解它看懂文档的底层原理。 一句话速览lift-oQ5 Qwen3.5 视觉语言模型 MLX 量化≈5bit实现 PDF/图片 → Schema 约束 JSON 的本地结构化提取。什么是lift-oQ5让AI看懂文档的视觉语言模型lift-oQ5 是社区对 Datalab 开源模型lift的 MLX 转换版本。原始 lift 是一个 9B 参数的 Qwen3.5 视觉语言模型定位非常垂直结构化提取Structured Extraction。它不同于通用聊天模型而是把读文档变成一件高精度、可编程的事。变体量化方式平均位宽模型大小峰值内存生成速度lift-bf16全 bf1616 bit18 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ5本文主角oQ≈56.7 GB8.4 GB83 t/slift-oQ3oQ≈3.54.6 GB6.2 GB119 t/s数据来自项目 README.md为 M5 Max 上单图发票提取的实测结果仅供参考。看懂文档和传统 OCR 有什么区别OCR 只输出文字和坐标而 lift 输出的是结构——它会根据你定义的 Schema自动把发票号码总金额明细列表等字段填好甚至能通过特殊 token 标注内容在版面中的位置。Qwen3.5混合注意力架构长文档处理的效率秘诀打开模型核心配置文件 config.json最显眼的是layer_types字段模型共32 层其中24 层是线性注意力linear_attention只有8 层是全注意力full_attention从第 3 层开始每 4 层出现一次第 3、7、11、15、19、23、27、31 层。为什么这样设计核心是效率线性注意力层类 Mamba 状态空间机制从权重名可以看到A_log、dt_bias、conv1d等参数它用固定大小的隐状态滚动处理序列计算量与序列长度呈线性关系非常适合超长文档。全注意力层标准的 QKV 自注意力16 头、4 KV 头负责全局信息交互弥补线性注意力对长距离依赖的不足。这种线性注意力为主、全注意力为辅的混合设计配合高达262,144 token的最大位置编码max_position_embeddings让模型能低成本处理整份 PDF 的上下文。隐藏层 4096、MLP 中间层 12288、词表 248320都是典型的大而深配置只是用混合注意力换来了更高的吞吐。视觉编码器图片如何变成模型能读懂的语言视觉语言模型的第一步是让眼睛和大脑接上。lift 的视觉塔vision tower配置同样写在 config.json 的vision_config中27 层 ViT 编码器隐藏维度 1152输出对齐到文本模型的 4096 维图片按16×16 像素的 patch切块再用spatial_merge_size: 2做空间合并减少 token 数量temporal_patch_size: 2意味着它连视频也能处理处理器支持最多 768 帧。预处理由 preprocessor_config.json 定义resize、归一化、RGB 转换一应俱全。处理完成后图片会通过特殊 token 嵌入对话chat_template.jinja 中可以看到模板把图片替换为|vision_start||image_pad||vision_end|这样的标记让语言模型知道这里插入了一段视觉信息。值得注意的还有M-RoPE多模态旋转位置编码mrope_section: [11, 11, 10]它把位置信息拆成文本、图像、视频三个维度分别编码——这正是模型能同时理解第几行文字和图片哪个区域的关键。oQ5量化9B模型从18GB瘦身到6.7GB的底层逻辑很多人好奇模型为什么叫oQ5答案藏在量化方案里。oQoMLX 量化一种数据驱动的逐层混合精度量化。它不是粗暴地把所有权重压到同一低位而是先分析每层权重对输出的敏感度再决定每层用多少 bit。从 config.json 的quantization字段可以看到默认5 bit、group_size 64、affine 模式同时有大量逐层覆盖部分linear_attn.in_proj_a/b保留8 bit部分mlp.down_proj和全注意力层的v_proj用6 bit其余才落到 5 bit。效果模型从 bf16 的 18GB 压缩到6.7GB约 2.7 倍压缩生成速度从 31 t/s 提升到83 t/s而 Datalab 官方基准上原版模型依然保持着 90.2% 的字段提取准确率。简单说oQ5 把精度预算花在了刀刃上对结果影响大的投影层给足位数影响小的层省下空间——这正是量化模型保持高可用性的关键。从文档到JSON结构化输出的完整链路理解架构后我们来看一条完整的数据流输入图片/PDF 经 processor_config.json 定义的 Qwen 处理器预处理切 patch、合并、归一化视觉编码ViT 把图像 patch 编码成视觉 token注入文本序列混合注意力解码Qwen3.5 主干逐 token 生成线性注意力层提供低成本的长上下文记忆Schema 约束生成这是 lift 的灵魂——解码时通过 llguidance 强制遵循用户提供的 JSON Schema保证输出 100% 合法、类型正确不会出现AI 编造字段的情况。此外词表里还有|box_start|、|quad_start|、|object_ref_start|等特殊 token见 tokenizer_config.json让模型可以输出内容在文档版面中的坐标框/四边形实现哪个字段对应图中哪个位置的细粒度定位。快速上手在Apple Silicon上运行lift-oQ5想亲身体验看懂文档一行命令即可uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ5 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800如果需要批量或程序化调用可以启动 OpenAI 兼容的服务端mlx_vlm.server配合response_format{type: json_schema, ...}传入自己的 Schema业务代码就能稳定拿到结构化 JSON。一个小提醒generation_config.json 里把eos_token_id设为了[248044, 248046]——原版只设置了248044而聊天回合以|im_end|即 248046收尾。这个补丁让服务端能正确停止生成避免刷屏。结语从混合注意力主干、多模态位置编码到逐层混合精度的 oQ5 量化再到 Schema 约束解码lift-oQ5 展示了专业文档提取模型的完整架构思路。它证明视觉语言模型看懂文档不只是看图说话而是一整套从像素到结构、从结构到 JSON 的精妙工程。对于想在本地、低成本处理票据、合同、报表的朋友lift-oQ5 是一个值得收藏的开箱即用选择。【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 lift-oQ5架构探秘：Qwen3.5视觉语言模型看懂文档的底层原理
lift-oQ5架构探秘Qwen3.5视觉语言模型看懂文档的底层原理【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5视觉语言模型正在彻底改变文档处理的方式而lift-oQ5就是其中的代表作一个基于Qwen3.5架构的 9B 参数视觉语言模型专为看懂文档而生。给它一张发票图片或一份 PDF它就能直接输出符合 JSON Schema 的结构化数据把非结构化文档变成可计算的 JSON。更难得的是经过 oQ5 量化后模型体积仅 6.7GB一台 Apple Silicon Mac 就能本地运行。这篇架构探秘我们从模型配置出发拆解它看懂文档的底层原理。 一句话速览lift-oQ5 Qwen3.5 视觉语言模型 MLX 量化≈5bit实现 PDF/图片 → Schema 约束 JSON 的本地结构化提取。什么是lift-oQ5让AI看懂文档的视觉语言模型lift-oQ5 是社区对 Datalab 开源模型lift的 MLX 转换版本。原始 lift 是一个 9B 参数的 Qwen3.5 视觉语言模型定位非常垂直结构化提取Structured Extraction。它不同于通用聊天模型而是把读文档变成一件高精度、可编程的事。变体量化方式平均位宽模型大小峰值内存生成速度lift-bf16全 bf1616 bit18 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ5本文主角oQ≈56.7 GB8.4 GB83 t/slift-oQ3oQ≈3.54.6 GB6.2 GB119 t/s数据来自项目 README.md为 M5 Max 上单图发票提取的实测结果仅供参考。看懂文档和传统 OCR 有什么区别OCR 只输出文字和坐标而 lift 输出的是结构——它会根据你定义的 Schema自动把发票号码总金额明细列表等字段填好甚至能通过特殊 token 标注内容在版面中的位置。Qwen3.5混合注意力架构长文档处理的效率秘诀打开模型核心配置文件 config.json最显眼的是layer_types字段模型共32 层其中24 层是线性注意力linear_attention只有8 层是全注意力full_attention从第 3 层开始每 4 层出现一次第 3、7、11、15、19、23、27、31 层。为什么这样设计核心是效率线性注意力层类 Mamba 状态空间机制从权重名可以看到A_log、dt_bias、conv1d等参数它用固定大小的隐状态滚动处理序列计算量与序列长度呈线性关系非常适合超长文档。全注意力层标准的 QKV 自注意力16 头、4 KV 头负责全局信息交互弥补线性注意力对长距离依赖的不足。这种线性注意力为主、全注意力为辅的混合设计配合高达262,144 token的最大位置编码max_position_embeddings让模型能低成本处理整份 PDF 的上下文。隐藏层 4096、MLP 中间层 12288、词表 248320都是典型的大而深配置只是用混合注意力换来了更高的吞吐。视觉编码器图片如何变成模型能读懂的语言视觉语言模型的第一步是让眼睛和大脑接上。lift 的视觉塔vision tower配置同样写在 config.json 的vision_config中27 层 ViT 编码器隐藏维度 1152输出对齐到文本模型的 4096 维图片按16×16 像素的 patch切块再用spatial_merge_size: 2做空间合并减少 token 数量temporal_patch_size: 2意味着它连视频也能处理处理器支持最多 768 帧。预处理由 preprocessor_config.json 定义resize、归一化、RGB 转换一应俱全。处理完成后图片会通过特殊 token 嵌入对话chat_template.jinja 中可以看到模板把图片替换为|vision_start||image_pad||vision_end|这样的标记让语言模型知道这里插入了一段视觉信息。值得注意的还有M-RoPE多模态旋转位置编码mrope_section: [11, 11, 10]它把位置信息拆成文本、图像、视频三个维度分别编码——这正是模型能同时理解第几行文字和图片哪个区域的关键。oQ5量化9B模型从18GB瘦身到6.7GB的底层逻辑很多人好奇模型为什么叫oQ5答案藏在量化方案里。oQoMLX 量化一种数据驱动的逐层混合精度量化。它不是粗暴地把所有权重压到同一低位而是先分析每层权重对输出的敏感度再决定每层用多少 bit。从 config.json 的quantization字段可以看到默认5 bit、group_size 64、affine 模式同时有大量逐层覆盖部分linear_attn.in_proj_a/b保留8 bit部分mlp.down_proj和全注意力层的v_proj用6 bit其余才落到 5 bit。效果模型从 bf16 的 18GB 压缩到6.7GB约 2.7 倍压缩生成速度从 31 t/s 提升到83 t/s而 Datalab 官方基准上原版模型依然保持着 90.2% 的字段提取准确率。简单说oQ5 把精度预算花在了刀刃上对结果影响大的投影层给足位数影响小的层省下空间——这正是量化模型保持高可用性的关键。从文档到JSON结构化输出的完整链路理解架构后我们来看一条完整的数据流输入图片/PDF 经 processor_config.json 定义的 Qwen 处理器预处理切 patch、合并、归一化视觉编码ViT 把图像 patch 编码成视觉 token注入文本序列混合注意力解码Qwen3.5 主干逐 token 生成线性注意力层提供低成本的长上下文记忆Schema 约束生成这是 lift 的灵魂——解码时通过 llguidance 强制遵循用户提供的 JSON Schema保证输出 100% 合法、类型正确不会出现AI 编造字段的情况。此外词表里还有|box_start|、|quad_start|、|object_ref_start|等特殊 token见 tokenizer_config.json让模型可以输出内容在文档版面中的坐标框/四边形实现哪个字段对应图中哪个位置的细粒度定位。快速上手在Apple Silicon上运行lift-oQ5想亲身体验看懂文档一行命令即可uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ5 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800如果需要批量或程序化调用可以启动 OpenAI 兼容的服务端mlx_vlm.server配合response_format{type: json_schema, ...}传入自己的 Schema业务代码就能稳定拿到结构化 JSON。一个小提醒generation_config.json 里把eos_token_id设为了[248044, 248046]——原版只设置了248044而聊天回合以|im_end|即 248046收尾。这个补丁让服务端能正确停止生成避免刷屏。结语从混合注意力主干、多模态位置编码到逐层混合精度的 oQ5 量化再到 Schema 约束解码lift-oQ5 展示了专业文档提取模型的完整架构思路。它证明视觉语言模型看懂文档不只是看图说话而是一整套从像素到结构、从结构到 JSON 的精妙工程。对于想在本地、低成本处理票据、合同、报表的朋友lift-oQ5 是一个值得收藏的开箱即用选择。【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考