UI-TARS用一句自然语言驱动 GUI省掉脆弱的元素定位【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS上周一个测试同学在回归测试里卡了一下午产品把登录按钮从左侧挪到了右上角脚本里写死的坐标全偏了改完 XPath 又碰上自定义组件Appium 根本不认。他把界面截图和一句“点右上角的登录”丢给 UI-TARS模型直接给出了带坐标的点击动作脚本没动一个字测试继续跑。这个场景正是 UI-TARS 想覆盖的当界面频繁改版、定位器反复失效时用视觉理解替代元素定位来驱动 UI 自动化。项目定位看截图就能操作界面的多模态 AgentUI-TARS 是字节跳动开源的多模态视觉 Agent输入截图和一句任务描述输出可执行的界面操作。它不依赖元素树靠像素理解来完成点击、输入、滚动等动作专门解决“界面一改、脚本就废”的问题。在 Android World 移动端基准上它拿到 64.2 分超过此前的最佳 59.5意味着它能完整跑通“搜索—加购—下单”这类跨应用的多步任务而不是只做单步元素定位。核心能力速览自然语言驱动的操作生成把任务说成人话模型自己决定下一步点哪、输什么适合写 UI 自动化脚本和探索性测试。坐标解析与自动换算模型输出的坐标自带缩放偏差包里的解析器自动还原到真实屏幕位置并生成 pyautogui 脚本省去手推坐标的工作。桌面 / 移动端 / 纯定位三套提示词模板同一套模型按场景换模板即可移动端模板支持长按、返回键等手机专属动作。装一个包把模型输出变成 pyautogui 脚本pip install ui-tarsfrom ui_tars.action_parser import ( parse_action_to_structure_output, parsing_response_to_pyautogui_code, ) response Thought: Click the button\nAction: click(start_box(100,200)) w, h 1920, 1080 parsed parse_action_to_structure_output( response, factor1000, origin_resized_heighth, origin_resized_widthw, model_typeqwen25vl, ) code parsing_response_to_pyautogui_code(parsed, h, w) print(code)跑完会先看到解析出的结构化动作动作类型、参数、思考文本随后打印出一段 pyautogui 代码点击、输入、滚动都对应成现成的函数调用。接上真实模型推理这段代码就是能落地的自动化脚本。模型怎么部署、推理请求怎么发见 官方部署指南。坐标是怎么对回屏幕的模型看到的截图被按像素上限缩小过它输出的坐标属于缩放后的图像直接用就会整体偏移点不准。ui-tars 包里内置了和视觉模型相同的 smart_resize 算法先还原“模型看到的图是多大”再按比例把坐标映射回原始屏幕——像导航软件把缩略图上的点换算回真实路口的经纬度缩放算法一致换算就不会错位。使用者不用关心截图像素数解析后的坐标可以直接执行。三套提示词模板对应三种用法模板放在 codes/ui_tars/prompt.py。COMPUTER_USE 面向桌面支持双击、拖拽、快捷键MOBILE_USE 面向移动端多了长按、回主页这类动作GROUNDING 只出动作不输出思考适合轻量调用和模型评测。选错模板模型的行为边界就会不对。边界与适用场景UI-TARS 适合界面频繁变更的回归验证、跨应用多步任务注册、下单、报表导出以及自定义画布类界面这类定位器够不着的地方不适合需要精确断言、可逐行调试的长周期回归长任务下它偶发的元素误识别会直接放大错误。对照 Appium后者靠稳定的元素定位器界面不变时更快更可控UI-TARS 直接读像素界面变了不用改脚本代价是显存和推理开销以及一定比例的动作幻觉。2025 年 9 月已发布的 UI-TARS-2 在 GUI 之外新增了游戏操作、代码生成和工具调用能力开源的 1.5-7B 模型在通用电脑操作上略弱于闭源旗舰版游戏场景优势更明显。一句话总结UI-TARS 把“读图”变成了“操作界面”。下一步建议直接 clone 仓库跑一遍 action_parser 示例感受坐标解析的实际效果。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS：用一句自然语言驱动 GUI，省掉脆弱的元素定位
UI-TARS用一句自然语言驱动 GUI省掉脆弱的元素定位【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS上周一个测试同学在回归测试里卡了一下午产品把登录按钮从左侧挪到了右上角脚本里写死的坐标全偏了改完 XPath 又碰上自定义组件Appium 根本不认。他把界面截图和一句“点右上角的登录”丢给 UI-TARS模型直接给出了带坐标的点击动作脚本没动一个字测试继续跑。这个场景正是 UI-TARS 想覆盖的当界面频繁改版、定位器反复失效时用视觉理解替代元素定位来驱动 UI 自动化。项目定位看截图就能操作界面的多模态 AgentUI-TARS 是字节跳动开源的多模态视觉 Agent输入截图和一句任务描述输出可执行的界面操作。它不依赖元素树靠像素理解来完成点击、输入、滚动等动作专门解决“界面一改、脚本就废”的问题。在 Android World 移动端基准上它拿到 64.2 分超过此前的最佳 59.5意味着它能完整跑通“搜索—加购—下单”这类跨应用的多步任务而不是只做单步元素定位。核心能力速览自然语言驱动的操作生成把任务说成人话模型自己决定下一步点哪、输什么适合写 UI 自动化脚本和探索性测试。坐标解析与自动换算模型输出的坐标自带缩放偏差包里的解析器自动还原到真实屏幕位置并生成 pyautogui 脚本省去手推坐标的工作。桌面 / 移动端 / 纯定位三套提示词模板同一套模型按场景换模板即可移动端模板支持长按、返回键等手机专属动作。装一个包把模型输出变成 pyautogui 脚本pip install ui-tarsfrom ui_tars.action_parser import ( parse_action_to_structure_output, parsing_response_to_pyautogui_code, ) response Thought: Click the button\nAction: click(start_box(100,200)) w, h 1920, 1080 parsed parse_action_to_structure_output( response, factor1000, origin_resized_heighth, origin_resized_widthw, model_typeqwen25vl, ) code parsing_response_to_pyautogui_code(parsed, h, w) print(code)跑完会先看到解析出的结构化动作动作类型、参数、思考文本随后打印出一段 pyautogui 代码点击、输入、滚动都对应成现成的函数调用。接上真实模型推理这段代码就是能落地的自动化脚本。模型怎么部署、推理请求怎么发见 官方部署指南。坐标是怎么对回屏幕的模型看到的截图被按像素上限缩小过它输出的坐标属于缩放后的图像直接用就会整体偏移点不准。ui-tars 包里内置了和视觉模型相同的 smart_resize 算法先还原“模型看到的图是多大”再按比例把坐标映射回原始屏幕——像导航软件把缩略图上的点换算回真实路口的经纬度缩放算法一致换算就不会错位。使用者不用关心截图像素数解析后的坐标可以直接执行。三套提示词模板对应三种用法模板放在 codes/ui_tars/prompt.py。COMPUTER_USE 面向桌面支持双击、拖拽、快捷键MOBILE_USE 面向移动端多了长按、回主页这类动作GROUNDING 只出动作不输出思考适合轻量调用和模型评测。选错模板模型的行为边界就会不对。边界与适用场景UI-TARS 适合界面频繁变更的回归验证、跨应用多步任务注册、下单、报表导出以及自定义画布类界面这类定位器够不着的地方不适合需要精确断言、可逐行调试的长周期回归长任务下它偶发的元素误识别会直接放大错误。对照 Appium后者靠稳定的元素定位器界面不变时更快更可控UI-TARS 直接读像素界面变了不用改脚本代价是显存和推理开销以及一定比例的动作幻觉。2025 年 9 月已发布的 UI-TARS-2 在 GUI 之外新增了游戏操作、代码生成和工具调用能力开源的 1.5-7B 模型在通用电脑操作上略弱于闭源旗舰版游戏场景优势更明显。一句话总结UI-TARS 把“读图”变成了“操作界面”。下一步建议直接 clone 仓库跑一遍 action_parser 示例感受坐标解析的实际效果。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考