让AI看着你的屏幕干活UI-TARS 桌面自动化从安装到跑通全记录【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天下班前你都要花二十分钟把下载文件夹里的截图归档、重命名、挪进项目文件夹。这种重复劳动现在可以交给 UI-TARS 桌面版——一个靠视觉语言模型做屏幕理解的桌面自动化开源项目。它直接看你的屏幕、听懂指令然后像人一样点鼠标、敲键盘。这不是 demo 视频是能装到本地、真的跑得起来的东西。第一次打开开源桌面助手它到底会做什么启动界面两个入口装完启动欢迎页只给你两个选择Computer Operator直接操控电脑桌面和 Browser Operator自动化浏览器。这里选后者。UI-TARS 桌面自动化启动界面本地电脑 / 本地浏览器两个入口输入第一句话在输入框打帮我打开今日头条把热榜前 3 条新闻标题整理给我回车。左侧聊天区开始滚动输出它的思考过程右侧弹出浏览器预览——AI 接管了标签页自己滚动、点击、读取内容右上角还挂着免费额度的倒计时。AI 接管浏览器标签页正在执行屏幕操作任务拿到结果任务跑完应用自动生成报告每步的截图、操作视频回放报告链接还会自动复制进剪贴板方便直接分享或存档。任务完成报告截图、视频回放链接自动复制到剪贴板看→懂→动手多模态GUI自动化的实现思路看应用先对当前屏幕截图把整屏当作一张图发给视觉语言模型。懂模型不猜你的意图而是直接输出结构化动作——点哪个坐标、输入什么文本、滚多少。动手动作交给操作器层执行真实落在鼠标和键盘上。核心逻辑在multimodal/agent-tars/执行层在packages/ui-tars/operators/。整体相当于你雇了个新来的实习生你口头交代他盯着屏幕边看边做做完给你汇报。五分钟跑通 AI 屏幕操作装好、配好装macOS 拖进 Applications在系统设置开启辅助功能和屏幕录制权限即可Windows 会弹 SmartScreen 提示点仍要运行继续安装。Windows 安装提示点仍要运行继续即可配打开设置页选 VLM Provider填 Base URL、API Key、模型名保存。云端远程模式自带 30 分钟免费试用额度够你把流程先跑通。三个能直接抄的工作流案例一文件批量整理输入把下载文件夹里所有 PNG 和 JPG 图片按创建日期移动到素材-2025-09文件夹打开下载文件夹识别所有图片文件创建目标文件夹逐张移动文件汇报完成情况 你拿到整理好的文件夹外加一句共移动 N 个文件的汇报。案例二网页信息采集输入打开 GitHub搜索 UI-TARS-desktop 项目的未关闭 issue把最新 5 条标题和状态列出来打开浏览器并访问 GitHub搜索目标项目进入 issue 列表页读取前 5 条信息汇总输出 你拿到一份 5 条 issue 的标题 状态清单可直接贴进周报。案例三定时重复任务输入打开邮箱把今天的未读邮件按发件人分类汇总成表格保存到我的文档启动邮箱应用逐封读取未读邮件按发件人归类生成表格文件保存到指定位置 你拿到按发件人分好的邮件汇总表每天重复同一句指令即可再生成。接入云端视觉语言模型应用四步配好主流服务商火山引擎Doubao-1.5-UI-TARS、Hugging Face自部署 UI-TARS-1.5二选一即可详见 官方文档。在服务商后台申请 API Key打开应用设置的 VLM Settings 页填 Base URL、API Key、Model Name选对应的 VLM Provider 并保存注意选带 UI-TARS 字样的选项动作解析才正确VLM 设置界面Provider、Base URL、API Key、模型名想支持新平台packages/ui-tars/operators/下已内置桌面nut-js、浏览器、ADB 等操作器按同样接口加一个就能扩展新设备。让 AI 屏幕操作更听话三条指令写法指令写法❌ 整理一下文件 → ✅ 把桌面上的 PDF 全移到文档文件夹按日期重命名目标和规则说死AI 不用猜❌ 帮我看看 GitHub → ✅ 打开 GitHub列出 UI-TARS-desktop 最新 5 条 issue给具体页面和数量❌ 处理一下这个表 → ✅ 打开销售表.xlsx把 D 列大于 10000 的单元格标黄落到具体单元格操作稳定性分辨率偏高时适当调低识别更稳大任务拆小一次只做一件事成功率明显更高。下一步git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop先挑你最烦的那个重复任务试一次。有问题、有想法欢迎去仓库提 issue 或 PR。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 让AI看着你的屏幕干活：UI-TARS 桌面自动化从安装到跑通全记录
让AI看着你的屏幕干活UI-TARS 桌面自动化从安装到跑通全记录【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天下班前你都要花二十分钟把下载文件夹里的截图归档、重命名、挪进项目文件夹。这种重复劳动现在可以交给 UI-TARS 桌面版——一个靠视觉语言模型做屏幕理解的桌面自动化开源项目。它直接看你的屏幕、听懂指令然后像人一样点鼠标、敲键盘。这不是 demo 视频是能装到本地、真的跑得起来的东西。第一次打开开源桌面助手它到底会做什么启动界面两个入口装完启动欢迎页只给你两个选择Computer Operator直接操控电脑桌面和 Browser Operator自动化浏览器。这里选后者。UI-TARS 桌面自动化启动界面本地电脑 / 本地浏览器两个入口输入第一句话在输入框打帮我打开今日头条把热榜前 3 条新闻标题整理给我回车。左侧聊天区开始滚动输出它的思考过程右侧弹出浏览器预览——AI 接管了标签页自己滚动、点击、读取内容右上角还挂着免费额度的倒计时。AI 接管浏览器标签页正在执行屏幕操作任务拿到结果任务跑完应用自动生成报告每步的截图、操作视频回放报告链接还会自动复制进剪贴板方便直接分享或存档。任务完成报告截图、视频回放链接自动复制到剪贴板看→懂→动手多模态GUI自动化的实现思路看应用先对当前屏幕截图把整屏当作一张图发给视觉语言模型。懂模型不猜你的意图而是直接输出结构化动作——点哪个坐标、输入什么文本、滚多少。动手动作交给操作器层执行真实落在鼠标和键盘上。核心逻辑在multimodal/agent-tars/执行层在packages/ui-tars/operators/。整体相当于你雇了个新来的实习生你口头交代他盯着屏幕边看边做做完给你汇报。五分钟跑通 AI 屏幕操作装好、配好装macOS 拖进 Applications在系统设置开启辅助功能和屏幕录制权限即可Windows 会弹 SmartScreen 提示点仍要运行继续安装。Windows 安装提示点仍要运行继续即可配打开设置页选 VLM Provider填 Base URL、API Key、模型名保存。云端远程模式自带 30 分钟免费试用额度够你把流程先跑通。三个能直接抄的工作流案例一文件批量整理输入把下载文件夹里所有 PNG 和 JPG 图片按创建日期移动到素材-2025-09文件夹打开下载文件夹识别所有图片文件创建目标文件夹逐张移动文件汇报完成情况 你拿到整理好的文件夹外加一句共移动 N 个文件的汇报。案例二网页信息采集输入打开 GitHub搜索 UI-TARS-desktop 项目的未关闭 issue把最新 5 条标题和状态列出来打开浏览器并访问 GitHub搜索目标项目进入 issue 列表页读取前 5 条信息汇总输出 你拿到一份 5 条 issue 的标题 状态清单可直接贴进周报。案例三定时重复任务输入打开邮箱把今天的未读邮件按发件人分类汇总成表格保存到我的文档启动邮箱应用逐封读取未读邮件按发件人归类生成表格文件保存到指定位置 你拿到按发件人分好的邮件汇总表每天重复同一句指令即可再生成。接入云端视觉语言模型应用四步配好主流服务商火山引擎Doubao-1.5-UI-TARS、Hugging Face自部署 UI-TARS-1.5二选一即可详见 官方文档。在服务商后台申请 API Key打开应用设置的 VLM Settings 页填 Base URL、API Key、Model Name选对应的 VLM Provider 并保存注意选带 UI-TARS 字样的选项动作解析才正确VLM 设置界面Provider、Base URL、API Key、模型名想支持新平台packages/ui-tars/operators/下已内置桌面nut-js、浏览器、ADB 等操作器按同样接口加一个就能扩展新设备。让 AI 屏幕操作更听话三条指令写法指令写法❌ 整理一下文件 → ✅ 把桌面上的 PDF 全移到文档文件夹按日期重命名目标和规则说死AI 不用猜❌ 帮我看看 GitHub → ✅ 打开 GitHub列出 UI-TARS-desktop 最新 5 条 issue给具体页面和数量❌ 处理一下这个表 → ✅ 打开销售表.xlsx把 D 列大于 10000 的单元格标黄落到具体单元格操作稳定性分辨率偏高时适当调低识别更稳大任务拆小一次只做一件事成功率明显更高。下一步git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop先挑你最烦的那个重复任务试一次。有问题、有想法欢迎去仓库提 issue 或 PR。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考