MagicExplorer 工具接口全解9个精简工具如何驱动AI完成任意浏览任务【免费下载链接】MagicExplorer基于CangjieMagic(Cangjie Agent DSL)开发的自然语言浏览器Agent系统项目地址: https://gitcode.com/Cangjie-TPC/MagicExplorerMagicExplorer 是一个基于 CangjieMagic仓颉 Agent DSL开发的自然语言浏览器 Agent 系统你只需说帮我在电商网站购买最便宜的 LG 显示器AI 就能自己打开浏览器、点击、填表、上传简历、甚至绕过验证码一步步把任务做完。它背后的秘诀不是给 AI 一堆复杂 API而是精心设计的一套精简浏览器工具接口——全文带你逐个拆解这 9 个工具。为什么是9个工具少即是多多数浏览器自动化方案倾向于给 AI 提供几十上百个接口每个按钮一个选择器、每种操作一个方法。MagicExplorer 反其道而行只暴露 9 个通用工具让 AI 通过观察页面 → 索引定位 → 动作执行的循环来覆盖一切场景。这种设计的三大好处降低幻觉AI 无法调用不存在的接口每个动作都可追溯减少决策负担工具越少模型选错工具的概率越低全程可解释关键工具调用自动写入记忆每一步都有据可查工具清单与参数定义集中声明在 toolsSpecification.json 中这是 AI 与浏览器之间唯一的合同。9大核心工具逐一解析1️⃣ navigate(url)直达目标网址告诉 AI 打开哪个网址它是每个任务的起点。调用后 URL 会被自动记录到执行记忆loggedAI 知道自己现在在哪。2️⃣ scrape()先扫描再动手这是最重要的感知工具。它抓取当前页面所有可交互元素并返回一份带索引编号的清单按钮、输入框、下拉框……。核心规则写在 executor-prompt.md 中任何点击之前必须先 scrape绝不猜测索引。这让 AI 的行为像人一样——先看菜单再点菜。3️⃣ click(index, inputText, itemDescription)点与填一次搞定这是出镜率最高的工具一个调用完成两件事点击 scrape 清单中指定index的元素若目标是输入框同时填入inputText文本参数itemDescription要求 AI 明确描述我点的是谁比如加入购物车按钮随后自动记入记忆。点击是否成功比如误把输入框当按钮也会被记录AI 下一轮就能避免重复犯错。4️⃣ back()走错了一键退回模拟浏览器后退按钮。当 AI 发现进了死胡同或点错了页面用它回到上一 URL 重新规划配合记忆里的操作历史避免在错误的路上打转。5️⃣ screenshot()视觉兜底大招当结构化抓取信息不足以判断下一步时AI 会截图并交给辅助 AgentSCREENSHOTTER分析截图中的每个可点击元素都会标注索引边界框Screenshotter 返回明确指令如click 3、scroll、captcha主 Agent 收到索引后无条件执行点击不再犹豫该 Agent 的逻辑定义在 screenshotter_agent.cj其行为规范见 screenshotter-prompt.md。这是语义理解 视觉理解双保险的关键一环。6️⃣ scroll()向下滚动半个视口找继续按钮找提交翻不到时滚动一次最多两次再找。它也是重复操作失败时的补救手段——目标元素很可能就在屏幕外。7️⃣ uploadFile(fileName)文件上传交给它需要上传简历、发票等文件时AI 直接指定文件文件名含扩展名工具完成上传。示例简历就放在 files/data-about-user/cv.pdf配合用我的简历投递软件工程师岗位这类任务使用。8️⃣ extraAgent(subGoal)分身术多标签并行这是最有想象力的工具它派出一个全新的自己在新标签页里独立执行子目标subGoal完成后把结果带回来而当前页面状态保持不变。典型场景注册到一半需要去邮箱取验证码——但注册页一关就前功尽弃。这时 AI 派分身开新标签读邮件主进程守在注册页等结果互不干扰。9️⃣ passCaptcha()验证码克星遇到请输入图片中的文字类人机验证时该工具读取验证码图片并返回识别结果AI 再把结果填入对应输入框即可。配合 Chrome 调试模式CDP保留的 cookiesAI 甚至可以跳过登录页——大多数反爬机制恰恰卡在登录环节。工具如何协作四步执行循环9 个工具不是随意调用的每个推理周期都严格遵循四步流程定义于 executor_agent.cj步骤动作用到的工具1️⃣ 分析记忆检查已完成步骤拒绝盲目重复记忆系统2️⃣ 抓取页面获取最新元素索引清单scrape()3️⃣ 决策判断下一个最合理的动作—4️⃣ 执行执行动作并自动记录结果click()/navigate()…记忆系统由 memory_manager.cj 实现它把每次点击、导航、上传、截图分析都格式化成自然语言条目如Clicked: Search button. Resulting URL …。AI 每轮决策前都会重读这份行动日记从而不重复失败、不错过进展、最终完成前必须亲眼截图确认目标达成。幕后桥梁MCP服务器如何调度工具上面这张架构图展示了系统的分层设计。所有工具调用都经过 mcpServer.js 启动的MCP模型上下文协议服务器中转仓颉侧 Agent 通过StdioMCPClient发起调用MCP 服务器将请求分发给 JavaScript 浏览器层browserManager.jsJavaScript 层基于 Playwright 驱动真实 ChromeCDP 协议执行动作后原路返回结果这套仓颉 Agent 引擎 MCP 服务器 JavaScript 浏览器接口的分层解耦让 AI 逻辑层完全不关心浏览器细节也方便替换或扩展工具集。写在最后MagicExplorer 用最朴素的思路回答了AI 如何可靠地操作浏览器工具做减法观察做加法。9 个工具 结构化记忆 视觉兜底就能让 AI 完成从订机票到投简历的任意浏览任务。想动手试试阅读 README.md 完成安装运行cjpm run --name MagicExplorer输入你的第一个目标——剩下的交给这 9 个工具。【免费下载链接】MagicExplorer基于CangjieMagic(Cangjie Agent DSL)开发的自然语言浏览器Agent系统项目地址: https://gitcode.com/Cangjie-TPC/MagicExplorer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MagicExplorer 工具接口全解：9个精简工具如何驱动AI完成任意浏览任务
MagicExplorer 工具接口全解9个精简工具如何驱动AI完成任意浏览任务【免费下载链接】MagicExplorer基于CangjieMagic(Cangjie Agent DSL)开发的自然语言浏览器Agent系统项目地址: https://gitcode.com/Cangjie-TPC/MagicExplorerMagicExplorer 是一个基于 CangjieMagic仓颉 Agent DSL开发的自然语言浏览器 Agent 系统你只需说帮我在电商网站购买最便宜的 LG 显示器AI 就能自己打开浏览器、点击、填表、上传简历、甚至绕过验证码一步步把任务做完。它背后的秘诀不是给 AI 一堆复杂 API而是精心设计的一套精简浏览器工具接口——全文带你逐个拆解这 9 个工具。为什么是9个工具少即是多多数浏览器自动化方案倾向于给 AI 提供几十上百个接口每个按钮一个选择器、每种操作一个方法。MagicExplorer 反其道而行只暴露 9 个通用工具让 AI 通过观察页面 → 索引定位 → 动作执行的循环来覆盖一切场景。这种设计的三大好处降低幻觉AI 无法调用不存在的接口每个动作都可追溯减少决策负担工具越少模型选错工具的概率越低全程可解释关键工具调用自动写入记忆每一步都有据可查工具清单与参数定义集中声明在 toolsSpecification.json 中这是 AI 与浏览器之间唯一的合同。9大核心工具逐一解析1️⃣ navigate(url)直达目标网址告诉 AI 打开哪个网址它是每个任务的起点。调用后 URL 会被自动记录到执行记忆loggedAI 知道自己现在在哪。2️⃣ scrape()先扫描再动手这是最重要的感知工具。它抓取当前页面所有可交互元素并返回一份带索引编号的清单按钮、输入框、下拉框……。核心规则写在 executor-prompt.md 中任何点击之前必须先 scrape绝不猜测索引。这让 AI 的行为像人一样——先看菜单再点菜。3️⃣ click(index, inputText, itemDescription)点与填一次搞定这是出镜率最高的工具一个调用完成两件事点击 scrape 清单中指定index的元素若目标是输入框同时填入inputText文本参数itemDescription要求 AI 明确描述我点的是谁比如加入购物车按钮随后自动记入记忆。点击是否成功比如误把输入框当按钮也会被记录AI 下一轮就能避免重复犯错。4️⃣ back()走错了一键退回模拟浏览器后退按钮。当 AI 发现进了死胡同或点错了页面用它回到上一 URL 重新规划配合记忆里的操作历史避免在错误的路上打转。5️⃣ screenshot()视觉兜底大招当结构化抓取信息不足以判断下一步时AI 会截图并交给辅助 AgentSCREENSHOTTER分析截图中的每个可点击元素都会标注索引边界框Screenshotter 返回明确指令如click 3、scroll、captcha主 Agent 收到索引后无条件执行点击不再犹豫该 Agent 的逻辑定义在 screenshotter_agent.cj其行为规范见 screenshotter-prompt.md。这是语义理解 视觉理解双保险的关键一环。6️⃣ scroll()向下滚动半个视口找继续按钮找提交翻不到时滚动一次最多两次再找。它也是重复操作失败时的补救手段——目标元素很可能就在屏幕外。7️⃣ uploadFile(fileName)文件上传交给它需要上传简历、发票等文件时AI 直接指定文件文件名含扩展名工具完成上传。示例简历就放在 files/data-about-user/cv.pdf配合用我的简历投递软件工程师岗位这类任务使用。8️⃣ extraAgent(subGoal)分身术多标签并行这是最有想象力的工具它派出一个全新的自己在新标签页里独立执行子目标subGoal完成后把结果带回来而当前页面状态保持不变。典型场景注册到一半需要去邮箱取验证码——但注册页一关就前功尽弃。这时 AI 派分身开新标签读邮件主进程守在注册页等结果互不干扰。9️⃣ passCaptcha()验证码克星遇到请输入图片中的文字类人机验证时该工具读取验证码图片并返回识别结果AI 再把结果填入对应输入框即可。配合 Chrome 调试模式CDP保留的 cookiesAI 甚至可以跳过登录页——大多数反爬机制恰恰卡在登录环节。工具如何协作四步执行循环9 个工具不是随意调用的每个推理周期都严格遵循四步流程定义于 executor_agent.cj步骤动作用到的工具1️⃣ 分析记忆检查已完成步骤拒绝盲目重复记忆系统2️⃣ 抓取页面获取最新元素索引清单scrape()3️⃣ 决策判断下一个最合理的动作—4️⃣ 执行执行动作并自动记录结果click()/navigate()…记忆系统由 memory_manager.cj 实现它把每次点击、导航、上传、截图分析都格式化成自然语言条目如Clicked: Search button. Resulting URL …。AI 每轮决策前都会重读这份行动日记从而不重复失败、不错过进展、最终完成前必须亲眼截图确认目标达成。幕后桥梁MCP服务器如何调度工具上面这张架构图展示了系统的分层设计。所有工具调用都经过 mcpServer.js 启动的MCP模型上下文协议服务器中转仓颉侧 Agent 通过StdioMCPClient发起调用MCP 服务器将请求分发给 JavaScript 浏览器层browserManager.jsJavaScript 层基于 Playwright 驱动真实 ChromeCDP 协议执行动作后原路返回结果这套仓颉 Agent 引擎 MCP 服务器 JavaScript 浏览器接口的分层解耦让 AI 逻辑层完全不关心浏览器细节也方便替换或扩展工具集。写在最后MagicExplorer 用最朴素的思路回答了AI 如何可靠地操作浏览器工具做减法观察做加法。9 个工具 结构化记忆 视觉兜底就能让 AI 完成从订机票到投简历的任意浏览任务。想动手试试阅读 README.md 完成安装运行cjpm run --name MagicExplorer输入你的第一个目标——剩下的交给这 9 个工具。【免费下载链接】MagicExplorer基于CangjieMagic(Cangjie Agent DSL)开发的自然语言浏览器Agent系统项目地址: https://gitcode.com/Cangjie-TPC/MagicExplorer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考