如何 10 分钟上手 UI-TARS Desktop用自然语言操控电脑的完整指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop你是否还在重复打开应用 → 找到设置入口 → 改参数 → 保存这条固定路线每次想让电脑干点活都得自己挪动鼠标、点开菜单、逐项填写。UI-TARS Desktop 是一款开源的桌面应用它把用自然语言操控电脑这件事做成了开箱即用的体验你在输入框里打一句人话它就截屏、看懂界面然后替你点击、输入、滚动直到任务完成。整个过程你不需要写任何脚本也不用关心界面上哪个按钮叫什么 ID。当鼠标也开始上班想象一个普通的下午你想给 VS Code 开自动保存并调成 500 毫秒延迟又想在电商网站比较几款手机的价格还想看看某个开源项目最新的 issue。这些事单独做都不难但每一步都要你亲手完成——打开哪个窗口、点哪个菜单、在哪一格输入全凭记忆。UI-TARS Desktop 想接管的正是这部分重复劳动。它的核心思路很直白不让电脑读代码结构而是让一个视觉语言模型VLM看屏幕。它是怎么替你干活的一句话版本你说话它看屏它动手。每一轮任务里程序会截一张当前屏幕的图连同你的指令一起交给 UI-TARS-1.5 这类视觉语言模型模型返回下一步动作比如在坐标 (27, 496) 处点击或输入一段文字程序执行这个动作再截屏、再决策循环往复直到模型判断任务结束。因为它是看图办事所以不依赖页面源码或控件树桌面应用和网页对它来说是同一种输入——一张图。这个设计带来两个实际好处一是桌面软件和浏览器共用一套操作逻辑二是你在界面里能实时看到它每一步的截图和推理任务失败时很容易看出它卡在哪一步。最快上手路径4 步跑起来第 1 步下载安装macOS 用户如果装了 Homebrew一行命令即可brew install --cask ui-tars否则从 releases 页下载后把UI TARS拖进应用程序文件夹就行。Windows 用户双击安装包按向导走完即可。第 2 步macOS 用户打开两个权限应用要替你动鼠标、读屏幕系统会先拦一下。进入系统设置 → 隐私与安全性分别给 UI TARS 开启辅助功能Accessibility屏幕录制Screen Recording第 3 步配置模型全程唯一硬核的部分应用本身不带模型需要指向一个 UI-TARS-1.5 的推理端点。国际网络用户可以走 Hugging Face 托管在端点目录里找到 UI-TARS-1.5-7B点右上角的Deploy from Hugging Face按部署指引拿到Base URL、API Key、模型名称三样东西。然后打开应用左下角的 Settings → VLM Settings填入四项VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: your_model_name两个容易踩的坑先说在前面VLM Provider 必须选和模型对应的那一项这里是 Hugging Face for UI-TARS-1.5它决定动作解析方式Base URL 要以/v1/结尾。国内网络用户可以直接用火山引擎 Ark 上的 Doubao-1.5-UI-TARSProvider 选VolcEngine Ark for Doubao-1.5-UI-TARS即可具体参数对照 docs/quick-start.md 里的火山引擎小节。第 4 步选一个模式发出第一条指令启动应用后你会看到两块卡片Computer Operator操作本机和 Browser Operator操作浏览器。点击Use Local Computer或Use Local Browser进入对应会话在下方的输入框里敲一句指令回车任务就开始了。用浏览器模式前确保机器上装了 Chrome、Edge 或 Firefox 之一。3 个真实用例你下什么指令它做什么用例一改桌面软件设置请帮我在 VS Code 设置中打开自动保存功能并把 AutoSave 延迟设为 500 毫秒。它会打开 VS Code进入设置页搜到 auto save 相关选项把触发方式改成延迟保存并填上 500最后确认改完。全程你只做一件事看它操作。用例二查项目的最新 issue帮我看看 UI-TARS-Desktop 项目在 GitHub 上最新的 open issue 是什么它会自己打开浏览器、访问 GitHub、定位到仓库的 Issues 列表按排序找到最新一条并把标题和摘要反馈给你。这是官方 README 里的演示任务之一适合作为你的第一个验收标准。用例三跨站比价帮我比较一下 iPhone 的售价。走 Browser Operator 模式它会在浏览器里打开搜索引擎和电商页来回切换记录不同渠道的价格最后汇总给你。比价、查天气、填表单这类多页面来回跳的活正是浏览器模式的用武之地。云端浏览器试用不想动本机时的快捷方式界面里还提供 Remote Computer / Remote Browser 入口选进去后你会看到右上角30 分钟免费额度的倒计时云端浏览器跑起来后你可以用鼠标随时接管那个标签页。需要说明的是官方免费试用服务已于 2025 年 8 月 20 日下线界面上的入口可能还在但日常使用建议以本地操作器为主。踩坑速查任务跑不动时依次检查这 7 项点了没反应 / 鼠标不动回到第 2 步确认辅助功能和屏幕录制权限都已勾选改完权限后重启应用。点 Check Model Availability 失败依次核对 Base URL 是否以/v1/结尾、API Key 是否过期、模型名称是否与端点页显示的一致。能跑但点歪、动作解析错乱十有八九是 VLM Provider 选错了。Provider 与模型必须配对1.5 模型就选Hugging Face for UI-TARS-1.5火山引擎的 Doubao 模型就选对应 Ark 选项。多显示器环境任务失败目前只支持单显示器先断开副屏再跑。浏览器模式起不来检查是否安装了 Chrome、Edge 或 Firefox。任务做到一半停了每轮对话有最大步数上限Max Loop默认 100范围 25–200。任务太大就拆成小步分几次下页面加载慢的话可以调大 Loop Wait Time默认 1000 毫秒让它截图前多等一会儿。想继续调参完整的字段说明VLM、Chat、Operator、Report 四组都在 docs/setting.md。进阶玩法与开发者入口预设一键切换环境。UI-TARS Desktop 支持把一组设置打包成 YAML 预设从本地文件导入或从 URL 导入URL 预设每次启动应用时自动拉取更新。团队里多人共用同一套模型配置时特别顺手示例可以看 examples/presets/default.yaml规则详见 docs/preset.md。任务报告可导出可分享。每轮任务结束后点界面上的导出按钮即可把执行报告存成本地 HTML 文件如果你配置了报告存储服务还能直接上传拿到一个可分享的链接。数据流向可以用下图的 UTIOUI-TARS Insights and Observation机制理解。SDK 把整套 Agent 逻辑搬进你的代码。仓库里自带跨平台的ui-tars/sdk位于 packages/ui-tars/sdk/一条命令先在命令行体验npx ui-tars/cli start在代码里你只需要组合模型 操作器内置操作器覆盖桌面nut-js、浏览器、ADB 手机、远程浏览器等场景目录见 packages/ui-tars/operators/。想接自己的设备也很直接——自定义操作器只需实现screenshot()截屏和execute()执行模型预测的动作两个方法再声明自己的动作空间。完整 API 参考见 docs/sdk.md。另外同一个仓库还维护着 Agent TARS 命令行工具npx agent-tars/clilatest即可运行面向终端、Web UI 和无界面服务端场景如果你想把 GUI Agent 能力嵌进自己的产品可以顺着 multimodal/ 目录继续看。今天就动手两件 5 分钟的小事打开应用选本地计算机模式输入打开记事本写今天日期然后保存看它完整走完一遍——这是验证权限、模型、执行链路全通的最短任务。跑完点 New Chat 换个任务试试再把上一轮任务导出成 HTML 报告看看它每一步的截图和推理记录。跑通之后剩下的只是把日常里最烦的那件重复操作丢给它。更多细节可以回 docs/quick-start.md 对照检查遇到权限或模型配置问题按上面的踩坑速查顺序排一遍基本都能定位到原因。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何 10 分钟上手 UI-TARS Desktop：用自然语言操控电脑的完整指南
如何 10 分钟上手 UI-TARS Desktop用自然语言操控电脑的完整指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop你是否还在重复打开应用 → 找到设置入口 → 改参数 → 保存这条固定路线每次想让电脑干点活都得自己挪动鼠标、点开菜单、逐项填写。UI-TARS Desktop 是一款开源的桌面应用它把用自然语言操控电脑这件事做成了开箱即用的体验你在输入框里打一句人话它就截屏、看懂界面然后替你点击、输入、滚动直到任务完成。整个过程你不需要写任何脚本也不用关心界面上哪个按钮叫什么 ID。当鼠标也开始上班想象一个普通的下午你想给 VS Code 开自动保存并调成 500 毫秒延迟又想在电商网站比较几款手机的价格还想看看某个开源项目最新的 issue。这些事单独做都不难但每一步都要你亲手完成——打开哪个窗口、点哪个菜单、在哪一格输入全凭记忆。UI-TARS Desktop 想接管的正是这部分重复劳动。它的核心思路很直白不让电脑读代码结构而是让一个视觉语言模型VLM看屏幕。它是怎么替你干活的一句话版本你说话它看屏它动手。每一轮任务里程序会截一张当前屏幕的图连同你的指令一起交给 UI-TARS-1.5 这类视觉语言模型模型返回下一步动作比如在坐标 (27, 496) 处点击或输入一段文字程序执行这个动作再截屏、再决策循环往复直到模型判断任务结束。因为它是看图办事所以不依赖页面源码或控件树桌面应用和网页对它来说是同一种输入——一张图。这个设计带来两个实际好处一是桌面软件和浏览器共用一套操作逻辑二是你在界面里能实时看到它每一步的截图和推理任务失败时很容易看出它卡在哪一步。最快上手路径4 步跑起来第 1 步下载安装macOS 用户如果装了 Homebrew一行命令即可brew install --cask ui-tars否则从 releases 页下载后把UI TARS拖进应用程序文件夹就行。Windows 用户双击安装包按向导走完即可。第 2 步macOS 用户打开两个权限应用要替你动鼠标、读屏幕系统会先拦一下。进入系统设置 → 隐私与安全性分别给 UI TARS 开启辅助功能Accessibility屏幕录制Screen Recording第 3 步配置模型全程唯一硬核的部分应用本身不带模型需要指向一个 UI-TARS-1.5 的推理端点。国际网络用户可以走 Hugging Face 托管在端点目录里找到 UI-TARS-1.5-7B点右上角的Deploy from Hugging Face按部署指引拿到Base URL、API Key、模型名称三样东西。然后打开应用左下角的 Settings → VLM Settings填入四项VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: your_model_name两个容易踩的坑先说在前面VLM Provider 必须选和模型对应的那一项这里是 Hugging Face for UI-TARS-1.5它决定动作解析方式Base URL 要以/v1/结尾。国内网络用户可以直接用火山引擎 Ark 上的 Doubao-1.5-UI-TARSProvider 选VolcEngine Ark for Doubao-1.5-UI-TARS即可具体参数对照 docs/quick-start.md 里的火山引擎小节。第 4 步选一个模式发出第一条指令启动应用后你会看到两块卡片Computer Operator操作本机和 Browser Operator操作浏览器。点击Use Local Computer或Use Local Browser进入对应会话在下方的输入框里敲一句指令回车任务就开始了。用浏览器模式前确保机器上装了 Chrome、Edge 或 Firefox 之一。3 个真实用例你下什么指令它做什么用例一改桌面软件设置请帮我在 VS Code 设置中打开自动保存功能并把 AutoSave 延迟设为 500 毫秒。它会打开 VS Code进入设置页搜到 auto save 相关选项把触发方式改成延迟保存并填上 500最后确认改完。全程你只做一件事看它操作。用例二查项目的最新 issue帮我看看 UI-TARS-Desktop 项目在 GitHub 上最新的 open issue 是什么它会自己打开浏览器、访问 GitHub、定位到仓库的 Issues 列表按排序找到最新一条并把标题和摘要反馈给你。这是官方 README 里的演示任务之一适合作为你的第一个验收标准。用例三跨站比价帮我比较一下 iPhone 的售价。走 Browser Operator 模式它会在浏览器里打开搜索引擎和电商页来回切换记录不同渠道的价格最后汇总给你。比价、查天气、填表单这类多页面来回跳的活正是浏览器模式的用武之地。云端浏览器试用不想动本机时的快捷方式界面里还提供 Remote Computer / Remote Browser 入口选进去后你会看到右上角30 分钟免费额度的倒计时云端浏览器跑起来后你可以用鼠标随时接管那个标签页。需要说明的是官方免费试用服务已于 2025 年 8 月 20 日下线界面上的入口可能还在但日常使用建议以本地操作器为主。踩坑速查任务跑不动时依次检查这 7 项点了没反应 / 鼠标不动回到第 2 步确认辅助功能和屏幕录制权限都已勾选改完权限后重启应用。点 Check Model Availability 失败依次核对 Base URL 是否以/v1/结尾、API Key 是否过期、模型名称是否与端点页显示的一致。能跑但点歪、动作解析错乱十有八九是 VLM Provider 选错了。Provider 与模型必须配对1.5 模型就选Hugging Face for UI-TARS-1.5火山引擎的 Doubao 模型就选对应 Ark 选项。多显示器环境任务失败目前只支持单显示器先断开副屏再跑。浏览器模式起不来检查是否安装了 Chrome、Edge 或 Firefox。任务做到一半停了每轮对话有最大步数上限Max Loop默认 100范围 25–200。任务太大就拆成小步分几次下页面加载慢的话可以调大 Loop Wait Time默认 1000 毫秒让它截图前多等一会儿。想继续调参完整的字段说明VLM、Chat、Operator、Report 四组都在 docs/setting.md。进阶玩法与开发者入口预设一键切换环境。UI-TARS Desktop 支持把一组设置打包成 YAML 预设从本地文件导入或从 URL 导入URL 预设每次启动应用时自动拉取更新。团队里多人共用同一套模型配置时特别顺手示例可以看 examples/presets/default.yaml规则详见 docs/preset.md。任务报告可导出可分享。每轮任务结束后点界面上的导出按钮即可把执行报告存成本地 HTML 文件如果你配置了报告存储服务还能直接上传拿到一个可分享的链接。数据流向可以用下图的 UTIOUI-TARS Insights and Observation机制理解。SDK 把整套 Agent 逻辑搬进你的代码。仓库里自带跨平台的ui-tars/sdk位于 packages/ui-tars/sdk/一条命令先在命令行体验npx ui-tars/cli start在代码里你只需要组合模型 操作器内置操作器覆盖桌面nut-js、浏览器、ADB 手机、远程浏览器等场景目录见 packages/ui-tars/operators/。想接自己的设备也很直接——自定义操作器只需实现screenshot()截屏和execute()执行模型预测的动作两个方法再声明自己的动作空间。完整 API 参考见 docs/sdk.md。另外同一个仓库还维护着 Agent TARS 命令行工具npx agent-tars/clilatest即可运行面向终端、Web UI 和无界面服务端场景如果你想把 GUI Agent 能力嵌进自己的产品可以顺着 multimodal/ 目录继续看。今天就动手两件 5 分钟的小事打开应用选本地计算机模式输入打开记事本写今天日期然后保存看它完整走完一遍——这是验证权限、模型、执行链路全通的最短任务。跑完点 New Chat 换个任务试试再把上一轮任务导出成 HTML 报告看看它每一步的截图和推理记录。跑通之后剩下的只是把日常里最烦的那件重复操作丢给它。更多细节可以回 docs/quick-start.md 对照检查遇到权限或模型配置问题按上面的踩坑速查顺序排一遍基本都能定位到原因。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考