1. 为什么本地跑 GLM-4-9B 还要折腾统一 KeyGLM-4-9B 是智谱AI 开源的一系列预训练模型包含基座模型 GLM-4-9B、对话模型 GLM-4-9B-Chat、支持 1M 上下文的 GLM-4-9B-Chat-1M以及多模态的 GLM-4V-9B。它适合谁适合想在自己机器或内网环境里做推理验证、又不想被单一厂商 SDK 绑死的开发者。9B 这个量级比较讨巧单卡 24G 显存做 4bit 量化就能跑CPU 加内存也能勉强推理拿来验证链路、跑通业务闭环足够。但真正上手时问题往往不在模型本身而在“接入层”。你本地可能同时挂着 GLM、Qwen、DeepSeek 好几个模型每个厂商一套 Key、一套 base_url、一套鉴权头配置文件越写越乱。我试过把 Key 散落在.env、settings.json、config.toml三个地方结果换机器时漏了一个排查了半小时。所以这篇的思路是本地推理服务照常跑 GLM-4-9B但对外调用统一走 TaoToken 的 Key 和 API 通道把“模型从哪来”和“怎么鉴权”解耦。这样你换模型只改一个 model 字段Key 不用动。下面交付两套可直接复制的配置骨架config.toml和settings.json说明 TaoToken 统一 Key 填在哪最后用一次最小推理请求确认 GLM-4-9B 是否在本地链路里正常响应。2. TaoToken 前置统一 Key 与通道准备TaoToken 在这里扮演的是“统一入口”的角色你拿一个 Key就能通过同一套 OpenAI 兼容协议去调用不同模型包括本地已经部署好的 GLM-4-9B 推理服务。它不替代你的推理引擎vLLM、llama.cpp、Ollama 该跑还得跑只负责把鉴权和路由这层收拢。需要提前准备三样东西第一一个可用的 API Key。到控制台创建路径是 API Keys 页面创建后立刻复制页面刷新就不再完整显示。地址https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite第二确认 API 基址。TaoToken 的 API 入口是https://taotoken.net/api注意这个地址不带任何查询参数配置里直接写它即可。文档参考https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite第三本地 GLM-4-9B 服务已经在监听。假设你用 vLLM 起服务命令大致如下端口 8000模型名注册为glm-4-9b-chatpython -m vllm.entrypoints.openai.api_server \ --model THUDM/glm-4-9b-chat \ --served-model-name glm-4-9b-chat \ --host 0.0.0.0 \ --port 8000 \ --dtype auto \ --max-model-len 8192启动后本地会暴露一个 OpenAI 兼容接口http://127.0.0.1:8000/v1。这一步是本地推理的底座TaoToken 的 Key 负责上层调用鉴权两者配合使用。注意本地服务默认无鉴权只建议监听 127.0.0.1 或内网地址不要直接暴露公网。3. 可复制配置config.toml 与 settings.json配置的核心就一句话把 base_url 指向 TaoToken 的 API 入口把 api_key 填成你创建的那串 Keymodel 字段写你要调用的模型标识。下面两套骨架按你项目用的语言选一套。3.1 config.toml 骨架Python / Rust 项目常用# config.toml [llm] # TaoToken 统一入口不要带结尾斜杠 base_url https://taotoken.net/api # 统一 Key 填这里建议从环境变量注入不要硬编码进仓库 api_key ${TAOTOKEN_API_KEY} # 调用哪个模型就写哪个本地 GLM-4-9B 注册名 model glm-4-9b-chat # 推理参数 temperature 0.7 top_p 0.9 max_tokens 1024 timeout 60 [llm.local_fallback] # 本地直连兜底TaoToken 不可达时切这里 base_url http://127.0.0.1:8000/v1 api_key EMPTY model glm-4-9b-chatKey 的填写位置就是[llm].api_key。生产环境别把明文写进文件用${TAOTOKEN_API_KEY}这种占位运行时从环境变量读export TAOTOKEN_API_KEYsk-你的Key3.2 settings.json 骨架Node / 前端工具链常用{ llm: { provider: openai-compatible, baseURL: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, model: glm-4-9b-chat, params: { temperature: 0.7, top_p: 0.9, max_tokens: 1024 }, localFallback: { baseURL: http://127.0.0.1:8000/v1, apiKey: EMPTY, model: glm-4-9b-chat } } }两个文件里baseURL/base_url都指向https://taotoken.net/apiapiKey/api_key都填同一个统一 Key。这样你切换模型时只改model字段鉴权层完全不动。3.3 参数对照表字段config.tomlsettings.json说明入口地址base_urlbaseURL固定https://taotoken.net/api鉴权api_keyapiKey填 TaoToken 统一 Key模型名modelmodel本地注册名如glm-4-9b-chat温度temperatureparams.temperature0 到 1越高越发散最大输出max_tokensparams.max_tokens按显存和场景调超时timeout无秒本地推理建议 ≥604. 验证请求确认 GLM-4-9B 正常响应配置写完别急着接业务先用一条最小请求打通链路。用 curl 最直接注意请求头里的 Authorization 就是你的统一 Keycurl -s https://taotoken.net/api/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer ${TAOTOKEN_API_KEY} \ -d { model: glm-4-9b-chat, messages: [ {role: user, content: 用一句话说明你是什么模型} ], max_tokens: 128, temperature: 0.7 }成功时你会拿到类似这样的返回重点看choices[0].message.content有内容、model字段回显正确{ id: chatcmpl-xxxx, object: chat.completion, model: glm-4-9b-chat, choices: [ { index: 0, message: { role: assistant, content: 我是基于 GLM-4-9B 的对话模型…… }, finish_reason: stop } ], usage: { prompt_tokens: 15, completion_tokens: 32, total_tokens: 47 } }如果你更习惯用 Python等价写法import os from openai import OpenAI client OpenAI( base_urlhttps://taotoken.net/api/v1, api_keyos.environ[TAOTOKEN_API_KEY], ) resp client.chat.completions.create( modelglm-4-9b-chat, messages[{role: user, content: 用一句话说明你是什么模型}], max_tokens128, ) print(resp.choices[0].message.content) print(resp.usage)跑通后你可以顺手在模型对话页面手动发一条消息做交叉验证确认 Key 和模型映射都对https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite判断“链路正常”的三个信号HTTP 200、model回显是你配置的名字、usage里有 token 计数。三者齐了说明 GLM-4-9B 已经在本地链路里正常响应。5. 本篇常见错排查报 401 Unauthorized。九成是 Key 没读到。先确认环境变量真的导出了echo $TAOTOKEN_API_KEY有输出才行。如果配置文件里写的是${TAOTOKEN_API_KEY}要确保你的加载库支持变量替换不支持就直接读环境变量传进去。报 404 或 model not found。检查 base_url 是不是多写了或漏了/v1。TaoToken 入口是https://taotoken.net/apiOpenAI SDK 通常会自动补/v1curl 手写时要写全https://taotoken.net/api/v1/chat/completions。另外确认model字段和本地--served-model-name完全一致大小写都算。连接超时但本地服务是活的。先curl http://127.0.0.1:8000/v1/models看本地是否响应。如果本地正常、走 TaoToken 超时多半是网络出口或超时设太短把timeout提到 60 秒以上再试。返回内容为空但 finish_reason 是 length。这是max_tokens给小了模型还没开始输出就被截断。调到 256 以上再测。多模型切换后行为不对。大概率是缓存了旧配置。重启进程或者确认你的配置加载逻辑没有把上一次的model值留在内存里。提示排障时优先用 curl 而不是 SDK少一层封装少一个变量定位更快。6. 长期编码与 Agent 场景的接入建议如果你不只是跑一次验证而是要把 GLM-4-9B 接进日常编码流程或 Agent 工作流建议把统一 Key 的调用封装成一个薄客户端所有模型调用都走它切换模型只改配置。这样本地推理和远端模型可以共存日常轻量任务走本地 GLM-4-9B 省成本复杂任务切到更强的模型。需要长期跑编码类任务、多轮 Agent 调用的可以看下 Coding Plan 的额度方案比按次调用更适合高频场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite配置骨架和验证请求这两步做完你手上就有了一条可复用的本地推理链路。后面换模型、加模型动的只是model字段Key 和入口地址保持不动维护成本就压下来了。 GLM-4-9B 开源预训练模型：用 TaoToken 统一 Key 跑通本地推理配置
1. 为什么本地跑 GLM-4-9B 还要折腾统一 KeyGLM-4-9B 是智谱AI 开源的一系列预训练模型包含基座模型 GLM-4-9B、对话模型 GLM-4-9B-Chat、支持 1M 上下文的 GLM-4-9B-Chat-1M以及多模态的 GLM-4V-9B。它适合谁适合想在自己机器或内网环境里做推理验证、又不想被单一厂商 SDK 绑死的开发者。9B 这个量级比较讨巧单卡 24G 显存做 4bit 量化就能跑CPU 加内存也能勉强推理拿来验证链路、跑通业务闭环足够。但真正上手时问题往往不在模型本身而在“接入层”。你本地可能同时挂着 GLM、Qwen、DeepSeek 好几个模型每个厂商一套 Key、一套 base_url、一套鉴权头配置文件越写越乱。我试过把 Key 散落在.env、settings.json、config.toml三个地方结果换机器时漏了一个排查了半小时。所以这篇的思路是本地推理服务照常跑 GLM-4-9B但对外调用统一走 TaoToken 的 Key 和 API 通道把“模型从哪来”和“怎么鉴权”解耦。这样你换模型只改一个 model 字段Key 不用动。下面交付两套可直接复制的配置骨架config.toml和settings.json说明 TaoToken 统一 Key 填在哪最后用一次最小推理请求确认 GLM-4-9B 是否在本地链路里正常响应。2. TaoToken 前置统一 Key 与通道准备TaoToken 在这里扮演的是“统一入口”的角色你拿一个 Key就能通过同一套 OpenAI 兼容协议去调用不同模型包括本地已经部署好的 GLM-4-9B 推理服务。它不替代你的推理引擎vLLM、llama.cpp、Ollama 该跑还得跑只负责把鉴权和路由这层收拢。需要提前准备三样东西第一一个可用的 API Key。到控制台创建路径是 API Keys 页面创建后立刻复制页面刷新就不再完整显示。地址https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite第二确认 API 基址。TaoToken 的 API 入口是https://taotoken.net/api注意这个地址不带任何查询参数配置里直接写它即可。文档参考https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite第三本地 GLM-4-9B 服务已经在监听。假设你用 vLLM 起服务命令大致如下端口 8000模型名注册为glm-4-9b-chatpython -m vllm.entrypoints.openai.api_server \ --model THUDM/glm-4-9b-chat \ --served-model-name glm-4-9b-chat \ --host 0.0.0.0 \ --port 8000 \ --dtype auto \ --max-model-len 8192启动后本地会暴露一个 OpenAI 兼容接口http://127.0.0.1:8000/v1。这一步是本地推理的底座TaoToken 的 Key 负责上层调用鉴权两者配合使用。注意本地服务默认无鉴权只建议监听 127.0.0.1 或内网地址不要直接暴露公网。3. 可复制配置config.toml 与 settings.json配置的核心就一句话把 base_url 指向 TaoToken 的 API 入口把 api_key 填成你创建的那串 Keymodel 字段写你要调用的模型标识。下面两套骨架按你项目用的语言选一套。3.1 config.toml 骨架Python / Rust 项目常用# config.toml [llm] # TaoToken 统一入口不要带结尾斜杠 base_url https://taotoken.net/api # 统一 Key 填这里建议从环境变量注入不要硬编码进仓库 api_key ${TAOTOKEN_API_KEY} # 调用哪个模型就写哪个本地 GLM-4-9B 注册名 model glm-4-9b-chat # 推理参数 temperature 0.7 top_p 0.9 max_tokens 1024 timeout 60 [llm.local_fallback] # 本地直连兜底TaoToken 不可达时切这里 base_url http://127.0.0.1:8000/v1 api_key EMPTY model glm-4-9b-chatKey 的填写位置就是[llm].api_key。生产环境别把明文写进文件用${TAOTOKEN_API_KEY}这种占位运行时从环境变量读export TAOTOKEN_API_KEYsk-你的Key3.2 settings.json 骨架Node / 前端工具链常用{ llm: { provider: openai-compatible, baseURL: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, model: glm-4-9b-chat, params: { temperature: 0.7, top_p: 0.9, max_tokens: 1024 }, localFallback: { baseURL: http://127.0.0.1:8000/v1, apiKey: EMPTY, model: glm-4-9b-chat } } }两个文件里baseURL/base_url都指向https://taotoken.net/apiapiKey/api_key都填同一个统一 Key。这样你切换模型时只改model字段鉴权层完全不动。3.3 参数对照表字段config.tomlsettings.json说明入口地址base_urlbaseURL固定https://taotoken.net/api鉴权api_keyapiKey填 TaoToken 统一 Key模型名modelmodel本地注册名如glm-4-9b-chat温度temperatureparams.temperature0 到 1越高越发散最大输出max_tokensparams.max_tokens按显存和场景调超时timeout无秒本地推理建议 ≥604. 验证请求确认 GLM-4-9B 正常响应配置写完别急着接业务先用一条最小请求打通链路。用 curl 最直接注意请求头里的 Authorization 就是你的统一 Keycurl -s https://taotoken.net/api/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer ${TAOTOKEN_API_KEY} \ -d { model: glm-4-9b-chat, messages: [ {role: user, content: 用一句话说明你是什么模型} ], max_tokens: 128, temperature: 0.7 }成功时你会拿到类似这样的返回重点看choices[0].message.content有内容、model字段回显正确{ id: chatcmpl-xxxx, object: chat.completion, model: glm-4-9b-chat, choices: [ { index: 0, message: { role: assistant, content: 我是基于 GLM-4-9B 的对话模型…… }, finish_reason: stop } ], usage: { prompt_tokens: 15, completion_tokens: 32, total_tokens: 47 } }如果你更习惯用 Python等价写法import os from openai import OpenAI client OpenAI( base_urlhttps://taotoken.net/api/v1, api_keyos.environ[TAOTOKEN_API_KEY], ) resp client.chat.completions.create( modelglm-4-9b-chat, messages[{role: user, content: 用一句话说明你是什么模型}], max_tokens128, ) print(resp.choices[0].message.content) print(resp.usage)跑通后你可以顺手在模型对话页面手动发一条消息做交叉验证确认 Key 和模型映射都对https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite判断“链路正常”的三个信号HTTP 200、model回显是你配置的名字、usage里有 token 计数。三者齐了说明 GLM-4-9B 已经在本地链路里正常响应。5. 本篇常见错排查报 401 Unauthorized。九成是 Key 没读到。先确认环境变量真的导出了echo $TAOTOKEN_API_KEY有输出才行。如果配置文件里写的是${TAOTOKEN_API_KEY}要确保你的加载库支持变量替换不支持就直接读环境变量传进去。报 404 或 model not found。检查 base_url 是不是多写了或漏了/v1。TaoToken 入口是https://taotoken.net/apiOpenAI SDK 通常会自动补/v1curl 手写时要写全https://taotoken.net/api/v1/chat/completions。另外确认model字段和本地--served-model-name完全一致大小写都算。连接超时但本地服务是活的。先curl http://127.0.0.1:8000/v1/models看本地是否响应。如果本地正常、走 TaoToken 超时多半是网络出口或超时设太短把timeout提到 60 秒以上再试。返回内容为空但 finish_reason 是 length。这是max_tokens给小了模型还没开始输出就被截断。调到 256 以上再测。多模型切换后行为不对。大概率是缓存了旧配置。重启进程或者确认你的配置加载逻辑没有把上一次的model值留在内存里。提示排障时优先用 curl 而不是 SDK少一层封装少一个变量定位更快。6. 长期编码与 Agent 场景的接入建议如果你不只是跑一次验证而是要把 GLM-4-9B 接进日常编码流程或 Agent 工作流建议把统一 Key 的调用封装成一个薄客户端所有模型调用都走它切换模型只改配置。这样本地推理和远端模型可以共存日常轻量任务走本地 GLM-4-9B 省成本复杂任务切到更强的模型。需要长期跑编码类任务、多轮 Agent 调用的可以看下 Coding Plan 的额度方案比按次调用更适合高频场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite配置骨架和验证请求这两步做完你手上就有了一条可复用的本地推理链路。后面换模型、加模型动的只是model字段Key 和入口地址保持不动维护成本就压下来了。