MiniCPM5-1B SGLang 部署调用实战Llama 架构 1B 模型的 OpenAI 兼容推理服务搭建指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm本文基于《开源大模型食用指南》仓库中 MiniCPM5-1B SGLang 部署教程 展开完整讲解使用 SGLang 推理框架在单张 24G 显卡上部署MiniCPM5-1B的端到端流程从环境安装、模型下载、服务启动到 OpenAI 兼容接口的聊天调用与工具调用。读完本文你将掌握sglang.launch_server的核心启动参数、enable_thinking思考/非思考双模式切换以及基于minicpm5解析器的原生 Tool Calling 接入方法。SGLang为 LLM/MLLM 设计的高性能推理与服务框架SGLang是一款专为大语言模型LLM与多模态大模型MLLM设计的高性能推理与服务框架其在 MiniCPM5-1B 部署场景下的核心优势可归纳为三点后端一键启动一条命令即可完成环境适配与服务发布无需手工搭建推理管线前端无缝对接直接沿用OpenAI SDK或标准HTTP调用客户端迁移成本极低高性能内置RadixAttention前缀复用可缓存共享前缀的 KV 状态、连续批处理continuous batching、CUDA Graph 等加速技术。架构兼容性是 SGLang 能「开箱即用」的关键前提MiniCPM5-1B采用标准LlamaForCausalLM架构SGLang 可直接加载无需自定义算子。本教程使用SGLang部署文中启动日志与接口返回均为实测真实输出。此外官方提示在**工具调用Tool Calling**场景下SGLang 是推荐后端MiniCPM5-1B 输出 XML 风格的工具调用SGLang 内置的minicpm5解析器可将其原生转换为 OpenAI 兼容的tool_calls这一能力将在后文专节演示。MiniCPM5-1B 模型速览MiniCPM5-1B是面壁智能ModelBest/ OpenBMB 发布的 1B 稠密 Transformer定位端侧与本地部署具备以下关键特性标准 Llama 架构LlamaForCausalLM24 层GQA 注意力原生支持最长128K上下文双模式推理Hybrid Reasoning内置think模板支持「思考 / 非思考」双模式通过enable_thinking切换同一份权重既是快速助手也是深度推理器原生工具调用输出 XML 风格function ... /function结构配合 SGLang 解析器即可接入 Agent 工作流。仓库配套的 vLLM 部署教程 进一步给出了该模型的架构细节hidden_size 1536GQA16 注意力头 / 2 KV 头rope_theta5000000。这些参数与标准 Llama 系列一脉相承也正是 vLLM、SGLang 等主流推理引擎无需 fork 模型代码即可直接加载的原因。环境准备实测运行环境本文实测基础环境如下可作为复现的参照基准---------------- ubuntu 22.04 python 3.12 NVIDIA 驱动 580.105.08 GPU: RTX 4090 D (24G, sm89) torch 2.11.0cu128 sglang 0.5.13.post1 ----------------本文默认学习者已配置好Pytorch (cuda)环境如未配置请先自行安装。安装依赖python -m pip install --upgrade pip pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install modelscope pip install transformers5.6 pip install openai # 安装 sglang官方建议 sglang[srt]0.5.12 pip install sglang[srt]0.5.12依赖清单拆解modelscope用于从 ModelScope 下载模型权重transformers5.6MiniCPM5 系列对 transformers 版本有明确要求低于 5.6 可能无法正确加载 chat templateopenai作为客户端调用 OpenAI 兼容接口sglang[srt]SGLang 运行时完整包srt即 SGLang Runtime需0.5.12。常见坑RTX 4090sm89与 sglang-kernel 不兼容若在 RTX 4090sm89上启动报错Could not load any common_ops library! Expected variant: SM89说明默认安装的sglang-kernel是 CUDA 13 / sm90 构建版本与 4090 的算力架构sm89不匹配需要替换为 sm89 兼容版本pip install sglang-kernel --index-url https://docs.sglang.ai/whl/cu129/模型下载使用 ModelScope 的snapshot_download接口下载模型权重。新建model_download.py# model_download.py from modelscope import snapshot_download model_dir snapshot_download(OpenBMB/MiniCPM5-1B, cache_dir/root/autodl-tmp) print(f模型下载完成保存路径为{model_dir})执行python model_download.py即可。下载完成后model_dir即本地权重路径。注意记得修改cache_dir为你的模型下载路径哦~启动 SGLang 服务MiniCPM5-1B为 1B 模型单张 24G 显卡绰绰有余无需张量并行直接单卡部署即可。命令行直接启动python3 -m sglang.launch_server \ --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B \ --served-model-name MiniCPM5-1B \ --host 0.0.0.0 \ --port 8000 \ --mem-fraction-static 0.6 \ --context-length 4096 \ --trust-remote-code新版 SGLang 推荐使用sglang serve ...入口与python -m sglang.launch_server等价。 若需工具调用加上--tool-call-parser minicpm5或--tool-call-parser auto。核心启动参数详解参数作用本场景建议--model-path模型路径本地权重目录/root/autodl-tmp/OpenBMB/MiniCPM5-1B--served-model-name服务对外的模型名称客户端请求时model字段需与此一致MiniCPM5-1B--host/--port监听地址与端口0.0.0.0:8000--mem-fraction-static静态显存占用比例预留用于模型权重与 KV Cache 的显存比例1B 模型很小0.6 即可0.6--context-length最大上下文长度4096模型原生支持 128K可按显存放宽--tp-size张量并行数单卡无需设置省略--trust-remote-code信任远程代码加载自定义 modeling 代码所需显式开启--tool-call-parser工具调用解析器可选minicpm5或auto工具调用场景必加实测启动日志解读实测启动日志如下SGLang 识别为LlamaForCausalLM权重加载 0.95s[22:24:31] Load weight end. elapsed0.95 s, typeLlamaForCausalLM, avail mem11.06 GB, mem usage2.16 GB. [22:24:31] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 251788, K size: 2.88 GB, V size: 2.88 GB [22:24:31] Memory pool end. avail mem5.18 GB [22:24:31] Capture cuda graph begin. This can take up to several minutes. avail mem4.73 GB [22:25:18] Capture cuda graph end. Time elapsed: 47.12 s. mem usage3.97 GB. avail mem0.76 GB. [22:25:36] INFO: Application startup complete. [22:25:37] The server is fired up and ready to roll!日志要点解读模型识别typeLlamaForCausalLM印证了标准 Llama 架构的兼容性1B 权重加载仅0.95s、显存占用2.16 GBKV Cache 分配以torch.bfloat16分配约 25 万 token 的 KV 缓存K、V 各 2.88 GB这是--mem-fraction-static 0.6预留显存的结果CUDA Graph 捕获首次启动会进行 CUDA graph 捕获实测约47.12s捕获完成并出现The server is fired up and ready to roll!即说明服务成功启动可开始接收请求。首次启动会进行 CUDA graph 捕获约 47s完成后出现The server is fired up and ready to roll!即说明服务成功启动。用 Python 脚本启动除命令行外SGLang 官方也提供了sglang.utils编程式启动接口便于在 Notebook 或自动化脚本中拉起服务# start_server.py from sglang.utils import launch_server_cmd, wait_for_server cmd ( python3 -m sglang.launch_server --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B --served-model-name MiniCPM5-1B --host 0.0.0.0 --port 8000 --mem-fraction-static 0.6 --context-length 4096 --trust-remote-code ) server_process, port launch_server_cmd(cmd, port8000) wait_for_server(fhttp://127.0.0.1:{port}) print(fSGLang Server started: http://127.0.0.1:{port})launch_server_cmd负责拉起子进程wait_for_server会轮询健康检查直到服务就绪随后即可发起请求。OpenAI 兼容接口调用服务启动后即暴露 OpenAI 兼容的/v1接口可选用curl或 PythonopenaiSDK 调用。查看模型列表curl http://localhost:8000/v1/models实测返回值owned_by为sglang{ object: list, data: [ { id: MiniCPM5-1B, object: model, owned_by: sglang, root: MiniCPM5-1B, max_model_len: 4096 } ] }注意max_model_len: 4096与启动时的--context-length 4096保持一致即服务实际支持的最大上下文长度。认识 MiniCPM5-1B 的思考机制MiniCPM5-1B内置think模板通过请求体中的chat_template_kwargs.enable_thinking按请求级别控制思考模式模式推荐参数enable_thinkingThinktemperature0.9, top_p0.95TrueNo Thinktemperature0.7, top_p0.95False仓库配套的 LoRA 微调教程 从 tokenizer 层面印证了这一机制MiniCPM5 采用|im_start|role\n...|im_end|\n的 chat template 格式在「带 generation prompt」且enable_thinkingFalse时会追加think\n\n/think\n\n占位而思考模式True下模型会真正生成推理过程。这正是 SGLang 推理时通过extra_body透传chat_template_kwargs的底层依据。聊天对话思考模式# test_chat.py from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://localhost:8000/v1) # 思考模式先输出 think ... /think再给答案 response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 5的阶乘是多少}], temperature0.9, top_p0.95, max_tokens768, extra_body{chat_template_kwargs: {enable_thinking: True}}, ) print(response.choices[0].message.content)实测输出包含完整推理与最终答案finish_reason: stopthink 5 的阶乘记作 5!等于 5 × 4 × 3 × 2 × 1 120 ... /think 5 的阶乘5!等于 5 × 4 × 3 × 2 × 1 120。非思考模式response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 你是谁用一句话介绍自己。}], temperature0.7, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: False}}, ) print(response.choices[0].message.content)实测发现MiniCPM5-1B即便在非思考模式下也常在content开头先输出一段简短的think ... /think再给出回答这是该模型后训练形成的习惯。运行时日志请求处理时SGLang 后端会持续打印解码批次的统计信息便于观测吞吐与延迟。实测运行时日志如下[22:25:36] INFO: Application startup complete. [22:25:37] The server is fired up and ready to roll! [22:25:37] INFO: 127.0.0.1:xxxxx - POST /v1/chat/completions HTTP/1.1 200 OK从日志可见每次POST /v1/chat/completions均返回200 OKSGLang 同时会打印该批次解码 token 数与生成吞吐量实测中 cuda graph 启用后吞吐显著提升可据此判断服务健康度与性能表现。工具调用Tool CallingSGLang 是 MiniCPM5-1B 工具调用的推荐后端。启动时加--tool-call-parser minicpm5即可把模型输出的 XML 风格function ... /function原生转换为 OpenAI 兼容的tool_callspython3 -m sglang.launch_server --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B \ --served-model-name MiniCPM5-1B --port 8000 --tool-call-parser minicpm5客户端侧按 OpenAI 标准方式声明tools并调用tools [{ type: function, function: { name: get_weather, description: 获取指定城市的天气, parameters: { type: object, properties: {city: {type: string, description: 城市名}}, required: [city], }, }, }] response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 北京今天天气怎么样}], toolstools, ) print(response.choices[0].message.tool_calls)response.choices[0].message.tool_calls即解析后的结构化函数调用可直接驱动下游的 Agent 工具执行循环function calling → 工具执行 → 结果回填 → 模型总结实现完整的 Agent 链路。与 vLLM 部署的横向参考仓库同目录下的 vLLM 部署教程 提供了同一模型的另一主流推理引擎部署方案二者可以互为对照命令形态vLLM 使用vllm serve model-path --served-model-name ... --gpu-memory-utilization 0.6SGLang 使用sglang.launch_server --model-path ... --mem-fraction-static 0.6参数语义一一对应--gpu-memory-utilization↔--mem-fraction-static--max-model-len↔--context-length双模式支持一致两个引擎都通过chat_template_kwargs.enable_thinking按请求控制思考/非思考模式推荐采样参数一致Thinktemperature0.9, top_p0.95No Thinktemperature0.7, top_p0.95工具调用差异vLLM 较新版本同样支持minicpm5解析器但官方明确推荐在工具调用场景优先使用 SGLang 后端其minicpm5解析器对 XML 风格function输出的转换更为原生可靠。由于二者都直接依赖标准LlamaForCausalLM架构加载模型已部署 vLLM 的用户可平滑切换到 SGLang服务端与客户端协议完全一致。小结MiniCPM5-1B作为标准LlamaForCausalLM架构的 1B 模型在vLLM与SGLang中均可一键部署无需任何特殊算子。结合其「思考/非思考」双模式与原生工具调用能力非常适合端侧助手、coding agent 与工具调用场景。本仓库对 MiniCPM5-1B 的完整支持清单可参见 support_model.md除本文的 SGLang 部署外还包括 vLLM 部署 与 LoRA 微调及 SwanLab 可视化从「部署 → 微调 → 可视化」构成了该模型的完整实践闭环。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MiniCPM5-1B SGLang 部署调用实战：Llama 架构 1B 模型的 OpenAI 兼容推理服务搭建指南
MiniCPM5-1B SGLang 部署调用实战Llama 架构 1B 模型的 OpenAI 兼容推理服务搭建指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm本文基于《开源大模型食用指南》仓库中 MiniCPM5-1B SGLang 部署教程 展开完整讲解使用 SGLang 推理框架在单张 24G 显卡上部署MiniCPM5-1B的端到端流程从环境安装、模型下载、服务启动到 OpenAI 兼容接口的聊天调用与工具调用。读完本文你将掌握sglang.launch_server的核心启动参数、enable_thinking思考/非思考双模式切换以及基于minicpm5解析器的原生 Tool Calling 接入方法。SGLang为 LLM/MLLM 设计的高性能推理与服务框架SGLang是一款专为大语言模型LLM与多模态大模型MLLM设计的高性能推理与服务框架其在 MiniCPM5-1B 部署场景下的核心优势可归纳为三点后端一键启动一条命令即可完成环境适配与服务发布无需手工搭建推理管线前端无缝对接直接沿用OpenAI SDK或标准HTTP调用客户端迁移成本极低高性能内置RadixAttention前缀复用可缓存共享前缀的 KV 状态、连续批处理continuous batching、CUDA Graph 等加速技术。架构兼容性是 SGLang 能「开箱即用」的关键前提MiniCPM5-1B采用标准LlamaForCausalLM架构SGLang 可直接加载无需自定义算子。本教程使用SGLang部署文中启动日志与接口返回均为实测真实输出。此外官方提示在**工具调用Tool Calling**场景下SGLang 是推荐后端MiniCPM5-1B 输出 XML 风格的工具调用SGLang 内置的minicpm5解析器可将其原生转换为 OpenAI 兼容的tool_calls这一能力将在后文专节演示。MiniCPM5-1B 模型速览MiniCPM5-1B是面壁智能ModelBest/ OpenBMB 发布的 1B 稠密 Transformer定位端侧与本地部署具备以下关键特性标准 Llama 架构LlamaForCausalLM24 层GQA 注意力原生支持最长128K上下文双模式推理Hybrid Reasoning内置think模板支持「思考 / 非思考」双模式通过enable_thinking切换同一份权重既是快速助手也是深度推理器原生工具调用输出 XML 风格function ... /function结构配合 SGLang 解析器即可接入 Agent 工作流。仓库配套的 vLLM 部署教程 进一步给出了该模型的架构细节hidden_size 1536GQA16 注意力头 / 2 KV 头rope_theta5000000。这些参数与标准 Llama 系列一脉相承也正是 vLLM、SGLang 等主流推理引擎无需 fork 模型代码即可直接加载的原因。环境准备实测运行环境本文实测基础环境如下可作为复现的参照基准---------------- ubuntu 22.04 python 3.12 NVIDIA 驱动 580.105.08 GPU: RTX 4090 D (24G, sm89) torch 2.11.0cu128 sglang 0.5.13.post1 ----------------本文默认学习者已配置好Pytorch (cuda)环境如未配置请先自行安装。安装依赖python -m pip install --upgrade pip pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install modelscope pip install transformers5.6 pip install openai # 安装 sglang官方建议 sglang[srt]0.5.12 pip install sglang[srt]0.5.12依赖清单拆解modelscope用于从 ModelScope 下载模型权重transformers5.6MiniCPM5 系列对 transformers 版本有明确要求低于 5.6 可能无法正确加载 chat templateopenai作为客户端调用 OpenAI 兼容接口sglang[srt]SGLang 运行时完整包srt即 SGLang Runtime需0.5.12。常见坑RTX 4090sm89与 sglang-kernel 不兼容若在 RTX 4090sm89上启动报错Could not load any common_ops library! Expected variant: SM89说明默认安装的sglang-kernel是 CUDA 13 / sm90 构建版本与 4090 的算力架构sm89不匹配需要替换为 sm89 兼容版本pip install sglang-kernel --index-url https://docs.sglang.ai/whl/cu129/模型下载使用 ModelScope 的snapshot_download接口下载模型权重。新建model_download.py# model_download.py from modelscope import snapshot_download model_dir snapshot_download(OpenBMB/MiniCPM5-1B, cache_dir/root/autodl-tmp) print(f模型下载完成保存路径为{model_dir})执行python model_download.py即可。下载完成后model_dir即本地权重路径。注意记得修改cache_dir为你的模型下载路径哦~启动 SGLang 服务MiniCPM5-1B为 1B 模型单张 24G 显卡绰绰有余无需张量并行直接单卡部署即可。命令行直接启动python3 -m sglang.launch_server \ --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B \ --served-model-name MiniCPM5-1B \ --host 0.0.0.0 \ --port 8000 \ --mem-fraction-static 0.6 \ --context-length 4096 \ --trust-remote-code新版 SGLang 推荐使用sglang serve ...入口与python -m sglang.launch_server等价。 若需工具调用加上--tool-call-parser minicpm5或--tool-call-parser auto。核心启动参数详解参数作用本场景建议--model-path模型路径本地权重目录/root/autodl-tmp/OpenBMB/MiniCPM5-1B--served-model-name服务对外的模型名称客户端请求时model字段需与此一致MiniCPM5-1B--host/--port监听地址与端口0.0.0.0:8000--mem-fraction-static静态显存占用比例预留用于模型权重与 KV Cache 的显存比例1B 模型很小0.6 即可0.6--context-length最大上下文长度4096模型原生支持 128K可按显存放宽--tp-size张量并行数单卡无需设置省略--trust-remote-code信任远程代码加载自定义 modeling 代码所需显式开启--tool-call-parser工具调用解析器可选minicpm5或auto工具调用场景必加实测启动日志解读实测启动日志如下SGLang 识别为LlamaForCausalLM权重加载 0.95s[22:24:31] Load weight end. elapsed0.95 s, typeLlamaForCausalLM, avail mem11.06 GB, mem usage2.16 GB. [22:24:31] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 251788, K size: 2.88 GB, V size: 2.88 GB [22:24:31] Memory pool end. avail mem5.18 GB [22:24:31] Capture cuda graph begin. This can take up to several minutes. avail mem4.73 GB [22:25:18] Capture cuda graph end. Time elapsed: 47.12 s. mem usage3.97 GB. avail mem0.76 GB. [22:25:36] INFO: Application startup complete. [22:25:37] The server is fired up and ready to roll!日志要点解读模型识别typeLlamaForCausalLM印证了标准 Llama 架构的兼容性1B 权重加载仅0.95s、显存占用2.16 GBKV Cache 分配以torch.bfloat16分配约 25 万 token 的 KV 缓存K、V 各 2.88 GB这是--mem-fraction-static 0.6预留显存的结果CUDA Graph 捕获首次启动会进行 CUDA graph 捕获实测约47.12s捕获完成并出现The server is fired up and ready to roll!即说明服务成功启动可开始接收请求。首次启动会进行 CUDA graph 捕获约 47s完成后出现The server is fired up and ready to roll!即说明服务成功启动。用 Python 脚本启动除命令行外SGLang 官方也提供了sglang.utils编程式启动接口便于在 Notebook 或自动化脚本中拉起服务# start_server.py from sglang.utils import launch_server_cmd, wait_for_server cmd ( python3 -m sglang.launch_server --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B --served-model-name MiniCPM5-1B --host 0.0.0.0 --port 8000 --mem-fraction-static 0.6 --context-length 4096 --trust-remote-code ) server_process, port launch_server_cmd(cmd, port8000) wait_for_server(fhttp://127.0.0.1:{port}) print(fSGLang Server started: http://127.0.0.1:{port})launch_server_cmd负责拉起子进程wait_for_server会轮询健康检查直到服务就绪随后即可发起请求。OpenAI 兼容接口调用服务启动后即暴露 OpenAI 兼容的/v1接口可选用curl或 PythonopenaiSDK 调用。查看模型列表curl http://localhost:8000/v1/models实测返回值owned_by为sglang{ object: list, data: [ { id: MiniCPM5-1B, object: model, owned_by: sglang, root: MiniCPM5-1B, max_model_len: 4096 } ] }注意max_model_len: 4096与启动时的--context-length 4096保持一致即服务实际支持的最大上下文长度。认识 MiniCPM5-1B 的思考机制MiniCPM5-1B内置think模板通过请求体中的chat_template_kwargs.enable_thinking按请求级别控制思考模式模式推荐参数enable_thinkingThinktemperature0.9, top_p0.95TrueNo Thinktemperature0.7, top_p0.95False仓库配套的 LoRA 微调教程 从 tokenizer 层面印证了这一机制MiniCPM5 采用|im_start|role\n...|im_end|\n的 chat template 格式在「带 generation prompt」且enable_thinkingFalse时会追加think\n\n/think\n\n占位而思考模式True下模型会真正生成推理过程。这正是 SGLang 推理时通过extra_body透传chat_template_kwargs的底层依据。聊天对话思考模式# test_chat.py from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://localhost:8000/v1) # 思考模式先输出 think ... /think再给答案 response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 5的阶乘是多少}], temperature0.9, top_p0.95, max_tokens768, extra_body{chat_template_kwargs: {enable_thinking: True}}, ) print(response.choices[0].message.content)实测输出包含完整推理与最终答案finish_reason: stopthink 5 的阶乘记作 5!等于 5 × 4 × 3 × 2 × 1 120 ... /think 5 的阶乘5!等于 5 × 4 × 3 × 2 × 1 120。非思考模式response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 你是谁用一句话介绍自己。}], temperature0.7, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: False}}, ) print(response.choices[0].message.content)实测发现MiniCPM5-1B即便在非思考模式下也常在content开头先输出一段简短的think ... /think再给出回答这是该模型后训练形成的习惯。运行时日志请求处理时SGLang 后端会持续打印解码批次的统计信息便于观测吞吐与延迟。实测运行时日志如下[22:25:36] INFO: Application startup complete. [22:25:37] The server is fired up and ready to roll! [22:25:37] INFO: 127.0.0.1:xxxxx - POST /v1/chat/completions HTTP/1.1 200 OK从日志可见每次POST /v1/chat/completions均返回200 OKSGLang 同时会打印该批次解码 token 数与生成吞吐量实测中 cuda graph 启用后吞吐显著提升可据此判断服务健康度与性能表现。工具调用Tool CallingSGLang 是 MiniCPM5-1B 工具调用的推荐后端。启动时加--tool-call-parser minicpm5即可把模型输出的 XML 风格function ... /function原生转换为 OpenAI 兼容的tool_callspython3 -m sglang.launch_server --model-path /root/autodl-tmp/OpenBMB/MiniCPM5-1B \ --served-model-name MiniCPM5-1B --port 8000 --tool-call-parser minicpm5客户端侧按 OpenAI 标准方式声明tools并调用tools [{ type: function, function: { name: get_weather, description: 获取指定城市的天气, parameters: { type: object, properties: {city: {type: string, description: 城市名}}, required: [city], }, }, }] response client.chat.completions.create( modelMiniCPM5-1B, messages[{role: user, content: 北京今天天气怎么样}], toolstools, ) print(response.choices[0].message.tool_calls)response.choices[0].message.tool_calls即解析后的结构化函数调用可直接驱动下游的 Agent 工具执行循环function calling → 工具执行 → 结果回填 → 模型总结实现完整的 Agent 链路。与 vLLM 部署的横向参考仓库同目录下的 vLLM 部署教程 提供了同一模型的另一主流推理引擎部署方案二者可以互为对照命令形态vLLM 使用vllm serve model-path --served-model-name ... --gpu-memory-utilization 0.6SGLang 使用sglang.launch_server --model-path ... --mem-fraction-static 0.6参数语义一一对应--gpu-memory-utilization↔--mem-fraction-static--max-model-len↔--context-length双模式支持一致两个引擎都通过chat_template_kwargs.enable_thinking按请求控制思考/非思考模式推荐采样参数一致Thinktemperature0.9, top_p0.95No Thinktemperature0.7, top_p0.95工具调用差异vLLM 较新版本同样支持minicpm5解析器但官方明确推荐在工具调用场景优先使用 SGLang 后端其minicpm5解析器对 XML 风格function输出的转换更为原生可靠。由于二者都直接依赖标准LlamaForCausalLM架构加载模型已部署 vLLM 的用户可平滑切换到 SGLang服务端与客户端协议完全一致。小结MiniCPM5-1B作为标准LlamaForCausalLM架构的 1B 模型在vLLM与SGLang中均可一键部署无需任何特殊算子。结合其「思考/非思考」双模式与原生工具调用能力非常适合端侧助手、coding agent 与工具调用场景。本仓库对 MiniCPM5-1B 的完整支持清单可参见 support_model.md除本文的 SGLang 部署外还包括 vLLM 部署 与 LoRA 微调及 SwanLab 可视化从「部署 → 微调 → 可视化」构成了该模型的完整实践闭环。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考