在 Xinference 中部署 MiniCPM-V-4.6-Thinking多模态深度推理模型的启动与配置实战【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference导读MiniCPM-V-4.6-Thinking 是 MiniCPM-V 4.6 的推理增强版本在继承 MiniCPM-V 家族单图、多图与视频理解能力的同时引入了面向复杂问题的深度推理能力。本文以 Xinference 内置模型注册表对该模型的完整支持为骨架逐一拆解其五种模型格式pytorch / bnb / awq / gptq / ggufv2的量化选择、可用引擎与启动命令并结合仓库源码说明其推理标记处理、视觉输入归一化、连续批处理等底层实现帮助你在本机、云服务器或集群中快速、正确地启动并调用该多模态推理模型。模型概览能力与基础规格依据 内置模型规格文档 以及 模型注册表 llm_family.json 中的登记信息Xinference 内置的 MiniCPM-V-4.6-Thinking 基础规格如下Context Length上下文长度262144约 256K tokenModel Name模型名称MiniCPM-V-4.6-ThinkingLanguages支持语言en英语、zh中文Abilities模型能力chat、vision、reasoningArchitectures架构MiniCPMV4_6ForConditionalGenerationModel Type模型类型minicpmv4_6官方描述指出MiniCPM-V 4.6 Thinking 是 MiniCPM-V 4.6 的推理调优版本reasoning-tuned version支持更深度的推理以解决更复杂的问题同时完整继承了 MiniCPM-V 家族的单图、多图与视频理解能力。这一点在模型注册表中体现为model_ability同时包含vision与reasoning两项能力——vision意味着该模型走多模态管线reasoning意味着它是一类会输出思考过程的推理模型。需要特别说明的是该模型的默认采样参数与推理标记已内置在注册表中reasoning_start_tagthinkreasoning_end_tag/thinkstop token ids248044、248046stop 字符串|im_end|、|endoftext|也就是说模型在作答前会输出一段包裹在think.../think中的思考内容Xinference 的推理解析器reasoning_parser.py会在流式输出中自动识别这对标记并将思考过程单独抽取为reasoning_content字段返回最终答案则作为常规content返回与 OpenAI 兼容协议中的 reasoning 输出规范对齐。五种模型格式与量化选项Xinference 为 MiniCPM-V-4.6-Thinking 内置了 5 个 Model Spec分别对应不同的模型格式format与量化quantization组合。下面逐一列出每个 Spec 均附带完整的启动命令模板以${engine}指代引擎名、${quantization}指代量化方法。Spec 1pytorch全精度Model FormatpytorchModel Size十亿参数1Quantizationsnone无量化EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format pytorch --quantization ${quantization}该格式下${quantization}只能取none。pytorch 全精度版本保留完整视觉编码能力是体验深度推理与多模态能力的最佳起点。Spec 2bnbBitsandBytes 4-bit 量化Model FormatbnbModel Size十亿参数1Quantizations4-bitEnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-BNB启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format bnb --quantization ${quantization}该格式下${quantization}只能取4-bit。bnb 量化通过 bitsandbytes 在加载时对权重做 4-bit 量化显著降低显存占用适合单卡显存有限的环境。Spec 3awqInt4 量化Model FormatawqModel Size十亿参数1QuantizationsInt4EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-AWQ启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format awq --quantization ${quantization}该格式下${quantization}只能取Int4。AWQActivation-aware Weight Quantization是面向权重量化的激活感知方法量化后模型精度损失较小推理速度优于动态量化。Spec 4gptqInt4 量化Model FormatgptqModel Size十亿参数1QuantizationsInt4EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-GPTQ启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format gptq --quantization ${quantization}该格式下${quantization}只能取Int4。GPTQ 为逐层量化方法vLLM 对 GPTQ 格式有原生算子级支持是追求高吞吐推理时的常见选择。Spec 5ggufv2llama.cpp 生态Model Formatggufv2Model Size十亿参数1QuantizationsQ4_K_M、Q4_K_S、Q5_K_M、Q5_K_S、Q6_K、Q8_0、F16Enginesllama.cppModel IDopenbmb/MiniCPM-V-4.6-Thinking-gguf启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format ggufv2 --quantization ${quantization}该格式下${quantization}可从Q4_K_M、Q4_K_S、Q5_K_M、Q5_K_S、Q6_K、Q8_0、F16中任选其一。GGUF 是 llama.cpp 生态的模型格式适合 CPU 或混合设备部署量化等级越高如Q8_0、F16精度越好但显存/内存占用越大Q4_K_M是精度与资源消耗之间的常用平衡点。值得注意的是ggufv2 是多模态模型注册表中为它单独声明了视觉投影文件multimodal_projectorsmmproj-model-f16.gguf与文件名模板MiniCPM-V-4_6-Thinking-{quantization}.gguf。从 llama.cpp 引擎实现 可以看出启动时引擎会依据multimodal_projectors自动定位 mmproj 投影文件并注入params.mmproj.path从而在 llama.cpp 侧挂载视觉塔实现图文输入。启动命令参数详解以上 5 条命令共享同一套 Xinference CLI 参数其定义位于 部署命令行入口参数简写说明本文场景取值--model-engine-en指定推理引擎vLLM/Transformers/SGLang/llama.cpp取决于 Spec--model-name—指定内置模型名称固定为MiniCPM-V-4.6-Thinking--size-in-billions-s模型参数量十亿固定为1--model-format-f模型格式pytorch/bnb/awq/gptq/ggufv2--quantization-q量化方式按 Spec 从对应选项中选择--model-uid-u模型自定义 UID默认 None可选便于多实例区分--replica-r模型副本数默认 1可选--n-worker—使用的 worker 数默认 1可选--n-gpu—使用的 GPU 数默认 auto可选命令执行后Xinference 会根据model-name在 内置 LLM 家族注册表 中查找到MiniCPM-V-4.6-Thinking条目再按model-format与quantization匹配到对应的model_src模型下载源与引擎注册信息自动完成模型下载从 Hugging Face 或 ModelScope 拉取两个源使用不同的模型 ID 与 revision详见下文、虚拟环境依赖安装与启动。引擎支持与版本约束MiniCPM-V-4.6-Thinking 在不同格式下可用的引擎由注册表与引擎注册测试共同约束vLLM支持pytorch、bnb、awq、gptq四种格式要求 vLLM 版本不低于0.22.0见 引擎注册测试 与 虚拟环境依赖 中的vllm0.22.0。SGLang支持pytorch、bnb、awq、gptq四种格式要求 SGLang 版本不低于0.5.12sglang0.5.12。Transformers支持pytorch、bnb、awq、gptq四种格式依赖transformers原生支持MiniCPMV4_6ForConditionalGeneration架构无需 remote code、accelerate0.28.0、torchvision、av。llama.cpp仅支持ggufv2格式通过#llama_cpp_dependencies#注入依赖。注册表为每种格式的每个源Hugging Face / ModelScope都配置了独立的model_id与model_revision例如 pytorch 格式在 Hugging Face 上为openbmb/MiniCPM-V-4.6-Thinkingrevisionmain在 ModelScope 上为OpenBMB/MiniCPM-V-4.6-Thinkingrevisionmasterggufv2 格式对应的模型仓库则是...-Thinking-gguf。Xinference 会根据用户环境自动选择合适的下载源无需手工指定。测试 test_recent_sglang_engine_registration 与 test_recent_vllm_engine_registration 分别验证了该模型家族在 SGLang / vLLM 引擎下的格式-量化注册集合确保generate_engine_config_by_model_family生成的引擎配置与预期完全一致。Transformers 引擎多模态适配器源码剖析若选择 Transformers 引擎启动pytorch/bnb/awq/gptq格式实际加载与推理逻辑由 minicpmv46.py 中的MiniCPMV46Model类承担。该类通过register_batching_multimodal_models(MiniCPM-V-4.6, MiniCPM-V-4.6-Thinking)同时注册了 v4.6 与 v4.6-Thinking 两个家族并作为原生架构MiniCPMV4_6ForConditionalGenerationtransformers5.7.0 内置使用标准AutoProcessor/AutoModelForImageTextToTextAPI无需像 v4.5 那样做自定义消息到提示词转换。视觉处理参数downsample_mode 与 max_slice_nums适配器在_sanitize_model_config中为视觉处理设置了两个关键默认值downsample_mode视觉 token 压缩率默认16x即按模型卡的默认设置对视觉 token 做 16 倍压缩模型卡说明中4x可获得更精细的视觉细节但会消耗更多 token。max_slice_nums图像切片预算默认36对应模型卡为单图场景设置的 36 切片上限视频场景模型卡通常使用 1 并配合use_image_idFalse。这两个参数均可在启动时通过模型配置覆盖。适配器在构建输入时有一个值得注意的细节只有当请求中确实包含视觉内容图片/视频时才会把downsample_mode/max_slice_nums传入图像处理器纯文本轮次不传这两个参数避免触发视觉塔路径导致报错见 build_inputs_from_messages。消息格式归一化OpenAI 风格到模型卡风格Xinference 客户端按 OpenAI 兼容协议发送消息内容项使用image_url/video_url类型而 MiniCPM-V 4.6 官方模型卡期望的是{type: image, url: ...}/{type: video, url: ...}结构。适配器通过_normalize_messages在调用apply_chat_template前完成原地转换使得两类格式均可直接使用源码。生成参数默认值build_generate_kwargs给出了该模型在 Transformers 引擎下的默认采样参数未显式传入时按以下默认值执行参数默认值max_tokensmax_new_tokens512temperature0.7top_p0.8top_k100repetition_penalty1.05连续批处理Continuous Batching支持该类同时注册为 batching 多模态模型。在build_prefill_kwargs中批内的每个请求会独立判断是否含视觉内容并分别注入视觉参数随后对input_ids做左侧 padding 对齐并对pixel_values、image_grid_thw、image_sizes、tgt_sizes等多模态张量沿首个维度拼接保证视觉塔能看到批内每个请求的视觉 token。若不同请求的视觉张量形状不兼容导致无法拼接适配器会抛出明确异常并提示关闭连续批处理或拆分请求见 源码注释与实现。推理输出的解析thinking 内容与最终答案分离由于该模型带有reasoning能力输出中会包含think.../think包裹的思考过程。Xinference 的 推理解析器 会基于注册表中的reasoning_start_tagthink与reasoning_end_tag/think对输出流进行增量解析当检测到 start tag 出现后后续 token 归入reasoning_content字段当 end tag 出现时其后的 token 归入content字段整个解析过程在流式场景下逐 delta 完成兼容不生成思考标记的模型输出。因此在调用 API 时你可以在流式响应中同时拿到delta[reasoning_content]模型思考过程与delta[content]最终答案用于构建思考 回答的完整展示或仅向终端用户呈现最终答案。调用验证兼容 OpenAI 的推理接口模型启动成功后即可通过 Xinference 的 OpenAI 兼容 REST API 进行调用。以 Transformers 引擎的 pytorch 格式为例一条图文混合的 chat 请求大致如下示意curl -X POST http://localhost:9997/v1/chat/completions \ -H Content-Type: application/json \ -d { model: MiniCPM-V-4.6-Thinking, stream: true, messages: [ { role: user, content: [ {type: image_url, image_url: {url: https://example.com/chart.png}}, {type: text, text: 请分析这张图并给出结论请先思考再回答。} ] } ] }如上所述image_url内容项会被适配器自动归一化后交给模型流式响应中的reasoning_content字段承载思考过程content字段承载最终答案。你同样可以使用 Xinference 的 Python 客户端xinference.client发起相同请求。小结MiniCPM-V-4.6-Thinking 在 Xinference 中是一条开箱即用的多模态推理模型256K 长上下文、chat/vision/reasoning三项能力、5 种模型格式pytorch 全精度、bnb 4-bit、awq Int4、gptq Int4、ggufv2 多档量化覆盖从云端 GPU 到本地 CPU 的部署场景vLLM / SGLang / Transformers / llama.cpp 四种引擎可依据吞吐、精度与硬件条件自由选择。仓库源码进一步印证了其背后的工程化细节视觉参数默认值、OpenAI 消息归一化、think推理标记解析与连续批处理的多模态张量拼接均已内置你只需执行一条xinference launch命令即可完成从下载到服务的全部流程。进一步阅读模型规格文档见 minicpm-v-4.6-thinking.rst模型注册数据见 llm_family.jsonTransformers 适配器实现见 minicpmv46.py引擎注册与版本约束测试见 test_llm_family.py推理解析器见 reasoning_parser.py。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 在 Xinference 中部署 MiniCPM-V-4.6-Thinking：多模态深度推理模型的启动与配置实战
在 Xinference 中部署 MiniCPM-V-4.6-Thinking多模态深度推理模型的启动与配置实战【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference导读MiniCPM-V-4.6-Thinking 是 MiniCPM-V 4.6 的推理增强版本在继承 MiniCPM-V 家族单图、多图与视频理解能力的同时引入了面向复杂问题的深度推理能力。本文以 Xinference 内置模型注册表对该模型的完整支持为骨架逐一拆解其五种模型格式pytorch / bnb / awq / gptq / ggufv2的量化选择、可用引擎与启动命令并结合仓库源码说明其推理标记处理、视觉输入归一化、连续批处理等底层实现帮助你在本机、云服务器或集群中快速、正确地启动并调用该多模态推理模型。模型概览能力与基础规格依据 内置模型规格文档 以及 模型注册表 llm_family.json 中的登记信息Xinference 内置的 MiniCPM-V-4.6-Thinking 基础规格如下Context Length上下文长度262144约 256K tokenModel Name模型名称MiniCPM-V-4.6-ThinkingLanguages支持语言en英语、zh中文Abilities模型能力chat、vision、reasoningArchitectures架构MiniCPMV4_6ForConditionalGenerationModel Type模型类型minicpmv4_6官方描述指出MiniCPM-V 4.6 Thinking 是 MiniCPM-V 4.6 的推理调优版本reasoning-tuned version支持更深度的推理以解决更复杂的问题同时完整继承了 MiniCPM-V 家族的单图、多图与视频理解能力。这一点在模型注册表中体现为model_ability同时包含vision与reasoning两项能力——vision意味着该模型走多模态管线reasoning意味着它是一类会输出思考过程的推理模型。需要特别说明的是该模型的默认采样参数与推理标记已内置在注册表中reasoning_start_tagthinkreasoning_end_tag/thinkstop token ids248044、248046stop 字符串|im_end|、|endoftext|也就是说模型在作答前会输出一段包裹在think.../think中的思考内容Xinference 的推理解析器reasoning_parser.py会在流式输出中自动识别这对标记并将思考过程单独抽取为reasoning_content字段返回最终答案则作为常规content返回与 OpenAI 兼容协议中的 reasoning 输出规范对齐。五种模型格式与量化选项Xinference 为 MiniCPM-V-4.6-Thinking 内置了 5 个 Model Spec分别对应不同的模型格式format与量化quantization组合。下面逐一列出每个 Spec 均附带完整的启动命令模板以${engine}指代引擎名、${quantization}指代量化方法。Spec 1pytorch全精度Model FormatpytorchModel Size十亿参数1Quantizationsnone无量化EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format pytorch --quantization ${quantization}该格式下${quantization}只能取none。pytorch 全精度版本保留完整视觉编码能力是体验深度推理与多模态能力的最佳起点。Spec 2bnbBitsandBytes 4-bit 量化Model FormatbnbModel Size十亿参数1Quantizations4-bitEnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-BNB启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format bnb --quantization ${quantization}该格式下${quantization}只能取4-bit。bnb 量化通过 bitsandbytes 在加载时对权重做 4-bit 量化显著降低显存占用适合单卡显存有限的环境。Spec 3awqInt4 量化Model FormatawqModel Size十亿参数1QuantizationsInt4EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-AWQ启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format awq --quantization ${quantization}该格式下${quantization}只能取Int4。AWQActivation-aware Weight Quantization是面向权重量化的激活感知方法量化后模型精度损失较小推理速度优于动态量化。Spec 4gptqInt4 量化Model FormatgptqModel Size十亿参数1QuantizationsInt4EnginesvLLM、Transformers、SGLangModel IDopenbmb/MiniCPM-V-4.6-Thinking-GPTQ启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format gptq --quantization ${quantization}该格式下${quantization}只能取Int4。GPTQ 为逐层量化方法vLLM 对 GPTQ 格式有原生算子级支持是追求高吞吐推理时的常见选择。Spec 5ggufv2llama.cpp 生态Model Formatggufv2Model Size十亿参数1QuantizationsQ4_K_M、Q4_K_S、Q5_K_M、Q5_K_S、Q6_K、Q8_0、F16Enginesllama.cppModel IDopenbmb/MiniCPM-V-4.6-Thinking-gguf启动命令xinference launch --model-engine ${engine} --model-name MiniCPM-V-4.6-Thinking --size-in-billions 1 --model-format ggufv2 --quantization ${quantization}该格式下${quantization}可从Q4_K_M、Q4_K_S、Q5_K_M、Q5_K_S、Q6_K、Q8_0、F16中任选其一。GGUF 是 llama.cpp 生态的模型格式适合 CPU 或混合设备部署量化等级越高如Q8_0、F16精度越好但显存/内存占用越大Q4_K_M是精度与资源消耗之间的常用平衡点。值得注意的是ggufv2 是多模态模型注册表中为它单独声明了视觉投影文件multimodal_projectorsmmproj-model-f16.gguf与文件名模板MiniCPM-V-4_6-Thinking-{quantization}.gguf。从 llama.cpp 引擎实现 可以看出启动时引擎会依据multimodal_projectors自动定位 mmproj 投影文件并注入params.mmproj.path从而在 llama.cpp 侧挂载视觉塔实现图文输入。启动命令参数详解以上 5 条命令共享同一套 Xinference CLI 参数其定义位于 部署命令行入口参数简写说明本文场景取值--model-engine-en指定推理引擎vLLM/Transformers/SGLang/llama.cpp取决于 Spec--model-name—指定内置模型名称固定为MiniCPM-V-4.6-Thinking--size-in-billions-s模型参数量十亿固定为1--model-format-f模型格式pytorch/bnb/awq/gptq/ggufv2--quantization-q量化方式按 Spec 从对应选项中选择--model-uid-u模型自定义 UID默认 None可选便于多实例区分--replica-r模型副本数默认 1可选--n-worker—使用的 worker 数默认 1可选--n-gpu—使用的 GPU 数默认 auto可选命令执行后Xinference 会根据model-name在 内置 LLM 家族注册表 中查找到MiniCPM-V-4.6-Thinking条目再按model-format与quantization匹配到对应的model_src模型下载源与引擎注册信息自动完成模型下载从 Hugging Face 或 ModelScope 拉取两个源使用不同的模型 ID 与 revision详见下文、虚拟环境依赖安装与启动。引擎支持与版本约束MiniCPM-V-4.6-Thinking 在不同格式下可用的引擎由注册表与引擎注册测试共同约束vLLM支持pytorch、bnb、awq、gptq四种格式要求 vLLM 版本不低于0.22.0见 引擎注册测试 与 虚拟环境依赖 中的vllm0.22.0。SGLang支持pytorch、bnb、awq、gptq四种格式要求 SGLang 版本不低于0.5.12sglang0.5.12。Transformers支持pytorch、bnb、awq、gptq四种格式依赖transformers原生支持MiniCPMV4_6ForConditionalGeneration架构无需 remote code、accelerate0.28.0、torchvision、av。llama.cpp仅支持ggufv2格式通过#llama_cpp_dependencies#注入依赖。注册表为每种格式的每个源Hugging Face / ModelScope都配置了独立的model_id与model_revision例如 pytorch 格式在 Hugging Face 上为openbmb/MiniCPM-V-4.6-Thinkingrevisionmain在 ModelScope 上为OpenBMB/MiniCPM-V-4.6-Thinkingrevisionmasterggufv2 格式对应的模型仓库则是...-Thinking-gguf。Xinference 会根据用户环境自动选择合适的下载源无需手工指定。测试 test_recent_sglang_engine_registration 与 test_recent_vllm_engine_registration 分别验证了该模型家族在 SGLang / vLLM 引擎下的格式-量化注册集合确保generate_engine_config_by_model_family生成的引擎配置与预期完全一致。Transformers 引擎多模态适配器源码剖析若选择 Transformers 引擎启动pytorch/bnb/awq/gptq格式实际加载与推理逻辑由 minicpmv46.py 中的MiniCPMV46Model类承担。该类通过register_batching_multimodal_models(MiniCPM-V-4.6, MiniCPM-V-4.6-Thinking)同时注册了 v4.6 与 v4.6-Thinking 两个家族并作为原生架构MiniCPMV4_6ForConditionalGenerationtransformers5.7.0 内置使用标准AutoProcessor/AutoModelForImageTextToTextAPI无需像 v4.5 那样做自定义消息到提示词转换。视觉处理参数downsample_mode 与 max_slice_nums适配器在_sanitize_model_config中为视觉处理设置了两个关键默认值downsample_mode视觉 token 压缩率默认16x即按模型卡的默认设置对视觉 token 做 16 倍压缩模型卡说明中4x可获得更精细的视觉细节但会消耗更多 token。max_slice_nums图像切片预算默认36对应模型卡为单图场景设置的 36 切片上限视频场景模型卡通常使用 1 并配合use_image_idFalse。这两个参数均可在启动时通过模型配置覆盖。适配器在构建输入时有一个值得注意的细节只有当请求中确实包含视觉内容图片/视频时才会把downsample_mode/max_slice_nums传入图像处理器纯文本轮次不传这两个参数避免触发视觉塔路径导致报错见 build_inputs_from_messages。消息格式归一化OpenAI 风格到模型卡风格Xinference 客户端按 OpenAI 兼容协议发送消息内容项使用image_url/video_url类型而 MiniCPM-V 4.6 官方模型卡期望的是{type: image, url: ...}/{type: video, url: ...}结构。适配器通过_normalize_messages在调用apply_chat_template前完成原地转换使得两类格式均可直接使用源码。生成参数默认值build_generate_kwargs给出了该模型在 Transformers 引擎下的默认采样参数未显式传入时按以下默认值执行参数默认值max_tokensmax_new_tokens512temperature0.7top_p0.8top_k100repetition_penalty1.05连续批处理Continuous Batching支持该类同时注册为 batching 多模态模型。在build_prefill_kwargs中批内的每个请求会独立判断是否含视觉内容并分别注入视觉参数随后对input_ids做左侧 padding 对齐并对pixel_values、image_grid_thw、image_sizes、tgt_sizes等多模态张量沿首个维度拼接保证视觉塔能看到批内每个请求的视觉 token。若不同请求的视觉张量形状不兼容导致无法拼接适配器会抛出明确异常并提示关闭连续批处理或拆分请求见 源码注释与实现。推理输出的解析thinking 内容与最终答案分离由于该模型带有reasoning能力输出中会包含think.../think包裹的思考过程。Xinference 的 推理解析器 会基于注册表中的reasoning_start_tagthink与reasoning_end_tag/think对输出流进行增量解析当检测到 start tag 出现后后续 token 归入reasoning_content字段当 end tag 出现时其后的 token 归入content字段整个解析过程在流式场景下逐 delta 完成兼容不生成思考标记的模型输出。因此在调用 API 时你可以在流式响应中同时拿到delta[reasoning_content]模型思考过程与delta[content]最终答案用于构建思考 回答的完整展示或仅向终端用户呈现最终答案。调用验证兼容 OpenAI 的推理接口模型启动成功后即可通过 Xinference 的 OpenAI 兼容 REST API 进行调用。以 Transformers 引擎的 pytorch 格式为例一条图文混合的 chat 请求大致如下示意curl -X POST http://localhost:9997/v1/chat/completions \ -H Content-Type: application/json \ -d { model: MiniCPM-V-4.6-Thinking, stream: true, messages: [ { role: user, content: [ {type: image_url, image_url: {url: https://example.com/chart.png}}, {type: text, text: 请分析这张图并给出结论请先思考再回答。} ] } ] }如上所述image_url内容项会被适配器自动归一化后交给模型流式响应中的reasoning_content字段承载思考过程content字段承载最终答案。你同样可以使用 Xinference 的 Python 客户端xinference.client发起相同请求。小结MiniCPM-V-4.6-Thinking 在 Xinference 中是一条开箱即用的多模态推理模型256K 长上下文、chat/vision/reasoning三项能力、5 种模型格式pytorch 全精度、bnb 4-bit、awq Int4、gptq Int4、ggufv2 多档量化覆盖从云端 GPU 到本地 CPU 的部署场景vLLM / SGLang / Transformers / llama.cpp 四种引擎可依据吞吐、精度与硬件条件自由选择。仓库源码进一步印证了其背后的工程化细节视觉参数默认值、OpenAI 消息归一化、think推理标记解析与连续批处理的多模态张量拼接均已内置你只需执行一条xinference launch命令即可完成从下载到服务的全部流程。进一步阅读模型规格文档见 minicpm-v-4.6-thinking.rst模型注册数据见 llm_family.jsonTransformers 适配器实现见 minicpmv46.py引擎注册与版本约束测试见 test_llm_family.py推理解析器见 reasoning_parser.py。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考