ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

page-agent 接入 LM Studio 本地模型:baseURL、model 与 disableNamedToolChoice 怎么配

page-agent 接入 LM Studio 本地模型:baseURL、model 与 disableNamedToolChoice 怎么配 page-agent 接入 LM Studio 本地模型baseURL、model 与 disableNamedToolChoice 怎么配【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agentpage-agent 支持通过本地 OpenAI-compatible 运行时Ollama、LM Studio 等接入本地模型实现离线或局域网部署。把 LM Studio 作为 LLM 服务时配置上只需要抓住三个点baseURL指向本地服务的/v1路径、model填 LM Studio 中的模型名以及在 agent 配置中启用disableNamedToolChoice。前提是你在 LM Studio 里加载的模型支持 tool_call且本地服务已开启 CORS——这两条不满足浏览器侧的请求根本到不了 LM Studio。接入前本地模型与服务的硬性要求文档在 本地 LLMs 章节 列出了接入本地运行时的通用要求LM Studio 同样适用务必开启 CORS否则浏览器无法直接请求本地 LLM 服务context length 或 content length 至少设置为 8000。普通页面常常需要 15k token 左右默认 4k 很容易被截断模型必须支持 tool_call小于 10B 参数的模型通常效果不佳——文档明确说“通常”不是硬性拦截但选型时按此参考。LM Studio 的本地服务默认在127.0.0.1:1234端口API 路径为/v1本地运行时不需要 apiKey。配置 baseURL 与 model程序化集成时baseURL和model都是必填项本地运行时省略apiKey即可// 连接 LM Studio本地运行时不需要 apiKey const lmStudioAgent new PageAgent({ baseURL: http://127.0.0.1:1234/v1, model: qwen/qwen3.5-27b });其中model必须与你在 LM Studio 中加载的模型标识一致baseURL指向 LM Studio 服务的 OpenAI-compatible 入口配置方式说明baseURL为 LLM API 的基础 URLmodel为模型名称两者均为 required。如果你是在仓库内跑开发演示来验证文档给出的另一条路径是环境变量。在仓库根目录创建.env写入LLM_BASE_URLhttp://127.0.0.1:1234/v1 LLM_MODEL_NAMEqwen/qwen3.5-27b然后重启 dev server才能加载新的环境变量。注意两点demo 在未提供这些变量时会静默回退到项目自带的免费测试代理所以接入本地模型后务必确认.env已生效demo 初始化时会在控制台打印实际使用的配置见 demo 入口源码以控制台输出为准判断当前指向的是不是127.0.0.1:1234。为什么必须启用 disableNamedToolChoicedisableNamedToolChoice是 agent 的 LLM 配置项类型为 boolean默认 false。PageAgentCore 配置文档 对其的描述是禁用命名 tool_choice始终使用 required 字符串。适用于不支持 tool_choice 对象格式的 LLM 服务。而 LM Studio 章节的注意事项更直接Agent 必须启用disableNamedToolChoice否则 tool_choice 参数会报错。也就是说这是接 LM Studio 的必做项不是可选项。合并后的完整配置如下const lmStudioAgent new PageAgent({ baseURL: http://127.0.0.1:1234/v1, model: qwen/qwen3.5-27b, disableNamedToolChoice: true });这个开关在 LLM 客户端源码 中的行为是关闭时请求体里的tool_choice会携带命名工具的对象格式{ type: function, function: { name } }启用后退化为字符串required。类型定义注释 也写明该选项用于修复部分 LLM 服务在遇到对象格式时报的Invalid tool_choice type: object错误。验证接入是否成功文档没有给出 LM Studio 专用的成功日志可用的判断依据如下执行结果execute(task)返回ExecutionResult包含success、data、history三个字段success为 true 即任务正常完成运行状态agent 的statuschange事件按idle → running → completed/error/stopped流转activity事件会给出thinking / executing / executed / retrying / error等实时活动两者都可以用来观察一次任务是否真的在走本地模型请求指向本地运行时要求开启 CORS 本身就说明请求是浏览器直连本地端点的若浏览器侧请求失败文档的排查建议是优先检查本地运行时是否已按上面的要求开启 CORS。常见问题与边界现象文档给出的对应处理浏览器侧请求失败优先检查 LM Studio 是否已开启 CORStool_choice参数报错在 agent 配置中启用disableNamedToolChoice请求被截断、回答不完整将 context length 提升到至少 8000普通页面常需 15k 左右返回格式错误ToolCall 能力较弱的模型可能返回错误格式文档说明常见错误能够自动恢复ToolCall 能力强的轻量级模型是文档推荐的选型方向两条边界提醒小于 10B 的模型通常效果不佳选型时避开另外文档强调永远不要把真实的 LLM API Key 提交到前端代码中——本地接入虽然不需要 key走.env集成外部服务时仍要遵守这条规则见 开发者指南 中“Test With Your Own LLM API”一节的警告。如果走浏览器扩展而不是代码集成扩展的配置面板里同样提供了disableNamedToolChoice开关见 ConfigPanel 源码保存后与baseURL、model一起写入 agent 配置配置路径与上面的程序化方式一致。【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表