如果你还在用“复制粘贴”和“鼠标点点点”来完成重复的电脑操作那么你正在浪费生命中最宝贵的资源时间。从填写繁琐的表格、跨应用搬运数据到每天重复几十次的网页操作这些机械劳动不仅枯燥还极易出错。有没有一种可能你只需要用自然语言告诉电脑“做什么”它就能像真人一样理解并执行这正是前 OpenAI 研究员 Gabriel 在离职后推出的新项目Energy所瞄准的痛点。它不是一个简单的自动化脚本工具而是一个能“看懂”屏幕、理解你意图并直接操作电脑的AI Agent。想象一下你对着电脑说“帮我把上周的销售数据从 CRM 导出做成 Excel 图表然后发邮件给团队”电脑就能自动完成这一系列跨应用、跨窗口的复杂任务。本文将深入解析 Energy 这一新兴的 AI 代操作工具。我们不仅会探讨它背后的技术原理为什么它比传统的 RPA 更智能更会提供一个完整的、可落地的实践指南。你将了解到Energy 的核心是什么它如何将自然语言指令转化为具体的鼠标点击和键盘输入如何从零开始搭建一个类似的 AI 桌面助手我们将使用开源技术栈模拟其核心流程。完整的代码实现与避坑指南从环境配置到任务编排手把手带你跑通一个自动化示例。它的边界与风险在效率提升的背后你需要警惕哪些安全与稳定性问题无论你是想提升个人效率的开发者还是寻求业务流程自动化的技术决策者这篇文章都将为你提供一个清晰的技术实现路径和客观的价值判断。1. 为什么“AI 代操作电脑”是下一个效率革命在讨论 Energy 之前我们必须先理解它所处的赛道和解决的真正问题。传统的自动化方案主要分为两类宏与脚本如 AutoHotkey, AppleScript功能强大且精准但学习成本极高需要编程知识且灵活性差。任何界面改动都可能导致脚本失效。机器人流程自动化RPA通过录制和回放用户操作来实现自动化降低了使用门槛。但其本质是“盲操作”——它不知道屏幕上是什么只是机械地重复点击某个坐标。一旦按钮位置变了或者弹出一个意外对话框整个流程就会崩溃。Energy 代表的是第三条路感知-理解-执行。它的核心突破在于引入了计算机视觉CV和大语言模型LLM。感知通过实时屏幕截图或访问可访问性 API获取当前屏幕的“状态”。理解利用视觉语言模型VLM或 LLM 分析屏幕内容识别出按钮、输入框、文本等元素并理解用户的自然语言指令在当下语境中意味着什么操作。规划与执行LLM 根据理解和目标规划出一系列原子操作如点击“登录”按钮、在“搜索框”输入文本、向下滚动然后通过系统 API 模拟鼠标键盘事件来执行。这带来的根本性变化是“鲁棒性”。即使按钮位置变了只要 AI 能通过视觉或文本识别出它就能找到并点击它。AI 具备了应对简单变化的容错能力。对于开发者而言这意味着你可以用更高的抽象层级来定义任务——“整理文档”而非“先点击A再按Tab键再输入B”。这极大地降低了自动化门槛并将自动化能力从 IT 部门下沉到了每一个业务人员。2. 核心概念与技术栈拆解要构建一个 Energy 式的 AI 桌面 Agent我们需要拆解其技术栈。理解这些组件是后续实操的基础。2.1 核心组件一个典型的 AI 桌面操作 Agent 包含以下模块模块职责可选技术/工具屏幕感知捕获屏幕图像或获取UI元素树pyautogui,mss,pygetwindow, Windows UI Automation (UIA), Apple Accessibility API视觉理解从屏幕截图中识别和定位可交互元素GPT-4V, Claude 3 Opus, 开源 VLM (如 LLaVA), 专用 OCR 引擎 (如 Tesseract)指令理解与任务规划解析用户自然语言指令分解为操作序列GPT-4, Claude, DeepSeek, 本地 LLM (如 Llama 3, Qwen)动作执行模拟鼠标、键盘操作与系统交互pyautogui,pynput,keyboard,mouse任务记忆与状态管理记录已执行步骤处理循环和条件逻辑程序内部状态机LLM 的上下文记忆2.2 工作流程整个系统的工作流程是一个闭环用户输入指令 - LLM规划任务 - 循环开始 - 感知当前屏幕 - VLM/LLM分析屏幕并决定下一步动作 - 执行动作 - 判断任务是否完成 - 是则结束否则继续循环关键点在于“循环”AI 每执行一个步骤后都需要重新“看”一眼屏幕根据变化后的新状态决定下一步做什么。这模仿了人类操作电脑时的“观察-思考-行动”模式。3. 环境准备与前置条件我们将使用 Python 作为主要开发语言因为它拥有最丰富的库来支持上述所有模块。以下是为本次实践准备的环境。3.1 基础环境操作系统Windows 10/11 或 macOS本文示例以 Windows 为主会注明 macOS 差异。Python 版本 3.8。包管理工具pip。3.2 关键 Python 库安装我们将选择一组平衡了能力与复杂度的库。打开你的终端CMD 或 PowerShell创建并激活一个虚拟环境后执行以下安装命令# 创建虚拟环境可选但推荐 python -m venv ai_desktop_agent .\ai_desktop_agent\Scripts\activate # Windows # source ai_desktop_agent/bin/activate # macOS/Linux # 安装核心依赖 pip install pyautogui # 屏幕截图与模拟操作 pip install openai # 调用 OpenAI API (用于 LLM 和 VLM) pip install pillow # 图像处理 pip install requests # 网络请求 # 如果你使用其他 LLM API如 DeepSeek、Claude请安装对应的 SDK # pip install anthropic # for Claude注意pyautogui在不同系统上可能需要额外依赖。在 Windows 上通常开箱即用在 macOS 上可能需要授予辅助功能权限。3.3 API 密钥准备本项目需要调用大模型 API 进行理解和规划。你需要准备一个 API 密钥。OpenAI API Key如果你使用 GPT-4 或 GPT-4V需要访问 OpenAI Platform 创建并获取密钥。备用方案你也可以使用支持视觉功能的开源模型本地部署如 LLaVA或使用其他云 API如 DeepSeek-VL Claude 3。本文为简化流程使用 OpenAI API 进行演示。安全提醒永远不要将 API 密钥硬编码在代码中或上传到公开仓库。请使用环境变量管理。# 在 Windows PowerShell 中设置临时环境变量 $env:OPENAI_API_KEY 你的-api-key-here # 在 macOS/Linux 终端中 # export OPENAI_API_KEY你的-api-key-here4. 从零构建一个简易 AI 桌面助手核心流程我们来构建一个核心的“大脑”循环。这个循环能完成一个简单任务“打开记事本输入‘Hello, AI Agent!’并保存”。4.1 第一步感知屏幕截图与描述我们首先需要让 AI“看到”屏幕。这里我们不仅截图还利用 GPT-4V 或 LLM 将图像转换为文本描述供后续决策使用。# screenshot_utils.py import pyautogui import base64 from PIL import Image import io def capture_screenshot(): 捕获整个屏幕的截图并返回 PIL Image 对象和 base64 字符串 screenshot pyautogui.screenshot() # 将图片转换为 base64便于通过 API 发送 buffered io.BytesIO() screenshot.save(buffered, formatPNG) img_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) return screenshot, img_base64 def describe_screen_with_gpt4v(img_base64, api_key): 调用 GPT-4V 描述屏幕内容 from openai import OpenAI client OpenAI(api_keyapi_key) response client.chat.completions.create( modelgpt-4-vision-preview, # 或使用最新的 gpt-4o messages[ { role: user, content: [ {type: text, text: 请详细描述这张屏幕截图的内容。重点指出可点击的按钮、输入框、文本区域、图标等交互元素及其大致位置如左上、中部、右下。}, { type: image_url, image_url: { url: fdata:image/png;base64,{img_base64} }, }, ], } ], max_tokens500, ) return response.choices[0].message.content # 示例使用 if __name__ __main__: import os api_key os.getenv(OPENAI_API_KEY) img_pil, img_b64 capture_screenshot() description describe_screen_with_gpt4v(img_b64, api_key) print(屏幕描述, description[:200]) # 打印前200字符4.2 第二步理解指令与规划任务LLM 驱动这是 AI 的“思考”环节。我们给 LLM 当前屏幕的描述、历史操作和用户指令让它决定下一步该做什么。# planner.py from openai import OpenAI import json class TaskPlanner: def __init__(self, api_key): self.client OpenAI(api_keyapi_key) self.history [] # 记录操作历史 def plan_next_action(self, screen_description, user_goal): 根据屏幕描述和最终目标规划下一个原子操作 prompt f 你是一个控制电脑的AI助手。你的最终目标是{user_goal}。 当前屏幕状态描述如下 {screen_description} 你已经执行过的操作历史 {json.dumps(self.history, indent2, ensure_asciiFalse) if self.history else 暂无} 请从以下操作列表中选择最合适的下一个原子操作并返回一个JSON对象 {{ action: click | type | press_key | scroll | wait | finish, description: 对本次操作的人类可读描述, params: {{}} // 参数如坐标、文本、键名等 }} 操作说明 - click: 点击。需要在params中提供 x 和 y 坐标整数。 - type: 输入文本。需要在params中提供 text。 - press_key: 按下组合键如‘ctrls’。需要在params中提供 keys列表。 - scroll: 滚动。需要在params中提供 clicks正数向上负数向下。 - wait: 等待秒。params中提供 seconds。 - finish: 任务已完成。 请只返回JSON不要有其他任何解释。 response self.client.chat.completions.create( modelgpt-4, # 使用纯文本模型进行规划 messages[{role: user, content: prompt}], temperature0.1, # 低随机性保证决策稳定 ) try: action_info json.loads(response.choices[0].message.content) return action_info except json.JSONDecodeError: print(LLM 返回了非 JSON 响应:, response.choices[0].message.content) return {action: wait, description: 解析失败等待, params: {seconds: 2}} def add_to_history(self, action_info): 将执行的操作加入历史 self.history.append(action_info)4.3 第三步执行动作模拟操作根据 LLM 的决策调用pyautogui执行具体操作。# executor.py import pyautogui import time class ActionExecutor: staticmethod def execute(action_info): 执行单个原子操作 action action_info.get(action) params action_info.get(params, {}) print(f[执行] {action_info.get(description)}) if action click: x, y params.get(x, 0), params.get(y, 0) # 在实际项目中坐标应由 VLM 识别元素后提供这里为演示写死 # 更优方案让 LLM 返回元素描述由专门的定位模块解析坐标 pyautogui.click(x, y) elif action type: text params.get(text, ) pyautogui.write(text) elif action press_key: keys params.get(keys, []) pyautogui.hotkey(*keys) if len(keys) 1 else pyautogui.press(keys[0]) if keys else None elif action scroll: clicks params.get(clicks, 0) pyautogui.scroll(clicks) elif action wait: seconds params.get(seconds, 1) time.sleep(seconds) elif action finish: print(任务完成) return True else: print(f未知操作: {action}) time.sleep(1) return False4.4 第四步主控循环将以上模块串联起来形成完整的 AI Agent 工作流。# main_agent.py import os from screenshot_utils import capture_screenshot, describe_screen_with_gpt4v from planner import TaskPlanner from executor import ActionExecutor def run_ai_agent(user_goal, api_key, max_steps20): 运行AI桌面助手主循环 planner TaskPlanner(api_key) executor ActionExecutor() step 0 while step max_steps: step 1 print(f\n--- 步骤 {step} ---) # 1. 感知 print(正在捕获屏幕...) _, img_b64 capture_screenshot() print(正在分析屏幕...) screen_description describe_screen_with_gpt4v(img_b64, api_key) # 2. 规划 print(正在规划下一步...) next_action planner.plan_next_action(screen_description, user_goal) print(f规划结果: {next_action}) # 3. 执行 is_finished executor.execute(next_action) # 4. 记录与判断 planner.add_to_history(next_action) if is_finished or next_action.get(action) finish: print(任务成功结束。) break # 操作后短暂等待让界面稳定 time.sleep(1) else: print(f达到最大步骤数 ({max_steps})任务可能未完成。) if __name__ __main__: api_key os.getenv(OPENAI_API_KEY) if not api_key: print(错误请设置 OPENAI_API_KEY 环境变量。) exit(1) # 示例任务打开记事本并输入文字这是一个高级目标需要多步规划 user_goal 打开Windows记事本程序在编辑区输入‘Hello from AI Agent!’然后保存文件到桌面文件名为‘ai_test.txt’。 # 注意这个目标非常复杂需要精确的屏幕理解和多步操作。作为演示我们可以先从一个简单目标开始。 simple_goal 在当前的记事本窗口中输入文字‘Hello, World!’ print(f开始执行任务: {simple_goal}) run_ai_agent(simple_goal, api_key, max_steps10)5. 运行结果与效果验证运行main_agent.py脚本。由于我们使用了真实的 OpenAI API程序会开始工作屏幕捕获你会看到程序截取了当前屏幕。调用 GPT-4V控制台会显示“正在分析屏幕...”此时正在向 OpenAI 发送请求会产生 API 调用费用。规划与执行LLM 会根据屏幕描述判断当前焦点是否在记事本然后生成{action: type, params: {text: Hello, World!}}这样的指令并执行。循环输入完成后LLM 可能会判断任务完成返回finish动作。如何验证成功最直接的验证就是观察你的记事本窗口是否自动键入了“Hello, World!”这行文字。如果成功证明你的 AI Agent 完成了“感知-规划-执行”的最小闭环。可能遇到的问题与初步排查无任何反应检查 API 密钥是否正确设置网络是否通畅。pyautogui点击位置错误我们的示例中click动作的坐标是写死的0,0。在实际项目中坐标必须由视觉识别模块动态提供。这是本项目demo与完整产品最大的差距。LLM 规划出不合理操作可能是提示词Prompt不够精确或屏幕描述不清晰。需要迭代优化提示词工程。权限问题macOSpyautogui可能需要辅助功能权限。请到系统设置 隐私与安全性 辅助功能中为你的终端或 IDE 添加权限。6. 进阶实现让 AI “看清”并“点击”具体元素上面的示例最大的短板是LLM 只知道屏幕上有什么但不知道具体坐标。我们需要一个“视觉定位模块”来桥接。6.1 方案一使用 GPT-4V 进行视觉定位高精度高成本我们可以修改提示词让 GPT-4V 直接返回需要操作元素的坐标。这需要非常精确的提示。# advanced_locator.py def locate_element_with_gpt4v(img_base64, element_description, api_key): 请求 GPT-4V 定位屏幕上特定元素的中心坐标 from openai import OpenAI client OpenAI(api_keyapi_key) prompt f 请在这张屏幕截图中找到以下元素{element_description}。 请以JSON格式返回该元素大致边界框的中心点坐标格式如下 {{x: 整数x坐标, y: 整数y坐标}} 坐标原点 (0,0) 在屏幕左上角。请确保坐标在屏幕范围内。 只返回JSON不要有其他内容。 response client.chat.completions.create( modelgpt-4-vision-preview, messages[ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/png;base64,{img_base64}}}, ], } ], max_tokens100, ) try: result json.loads(response.choices[0].message.content) return result.get(x), result.get(y) except: return None, None # 在 planner 的提示词中可以要求 LLM 返回需要操作的元素描述如“点击‘文件’菜单” # 然后在执行前调用 locate_element_with_gpt4v 获取坐标再交给 pyautogui 点击。6.2 方案二使用本地 OCR 模板匹配低成本灵活性较低对于固定或半固定的界面可以结合 OCR 识别文字和pyautogui.locateOnScreen()进行图像模板匹配。# local_locator.py import pyautogui import pytesseract from PIL import Image def locate_by_ocr(screenshot, target_text): 使用 OCR 在截图中寻找包含目标文本的区域 # 配置 Tesseract 路径如果不在系统PATH中 # pytesseract.pytesseract.tesseract_cmd rC:\Program Files\Tesseract-OCR\tesseract.exe data pytesseract.image_to_data(screenshot, output_typepytesseract.Output.DICT) for i in range(len(data[text])): if target_text.lower() in data[text][i].lower(): # 返回该文本区域的中心坐标 x data[left][i] data[width][i] // 2 y data[top][i] data[height][i] // 2 return x, y return None, None def locate_by_image(template_image_path): 通过图像模板匹配查找位置 try: location pyautogui.locateOnScreen(template_image_path, confidence0.8) if location: return pyautogui.center(location) except Exception as e: print(f模板匹配失败: {e}) return None, None将定位模块集成到执行器中就能实现真正的“指哪打哪”。7. 常见问题与排查思路在开发和使用此类 AI 桌面 Agent 时你会遇到一些典型问题。下表列出了常见问题及其解决方法问题现象可能原因排查方式解决方案API 调用失败或超时网络问题、API 密钥无效、额度不足检查网络连接验证 API 密钥查看 OpenAI 控制台用量与余额。使用稳定的网络更换有效的 API 密钥或考虑使用本地模型。pyautogui操作无效macOS缺少辅助功能权限尝试手动运行一个pyautogui.click(100,100)脚本看是否报错。进入系统设置 隐私与安全性 辅助功能添加你的终端或 IDE。AI 点击位置完全错误1. 坐标获取错误如方案一的 JSON 解析失败2. 屏幕缩放比例导致坐标错乱1. 打印出 LLM 返回的原始坐标数据。2. 检查系统显示缩放设置如 Windows 125% 缩放。1. 增强提示词约束 JSON 格式加入坐标验证逻辑。2. 使用pyautogui.size()获取实际屏幕尺寸进行换算或尝试禁用显示缩放。任务陷入死循环LLM 无法正确判断任务完成状态或规划逻辑有缺陷打印每一步的屏幕描述和规划出的动作观察 AI 的“思考”过程。1. 在提示词中强化完成条件的描述。2. 设置最大步骤数强制退出。3. 引入更复杂的任务状态跟踪机制。运行速度非常慢每步都调用 GPT-4V 分析全屏成本高且耗时。计时每个环节截图、API调用、执行。1. 仅当需要定位新元素时才调用 VLM。2. 缓存屏幕描述界面未变时不重复分析。3. 使用更小、更快的本地 VLM 模型。无法处理弹窗或意外中断Agent 没有处理异常状态的能力。模拟用户操作时意外弹窗如保存确认会阻塞流程。1. 在规划环节让 LLM 检查屏幕是否有“异常”元素如弹窗。2. 设置超时和重试机制。3. 引入更鲁棒的错误处理流程尝试识别并关闭常见弹窗。8. 最佳实践与工程建议如果你想将这个概念验证PoC升级为一个稳定可用的工具必须考虑以下工程化实践分层架构设计感知层负责截图、OCR、元素树获取。可适配不同操作系统。理解与规划层核心 AI 模块处理视觉和文本信息做出决策。可以设计为可插拔支持 OpenAI、Claude、本地模型等。执行层将抽象指令转化为系统级操作。需要做好异常封装。状态管理层维护任务上下文、历史操作、当前应用焦点等。提示词工程优化系统提示词System Prompt明确 AI 的角色、能力和约束例如“你是一个谨慎的桌面助手每次只执行一步确认无误后再继续”。结构化输出强制要求 LLM 返回 JSON、XML 等格式便于程序解析。少样本学习Few-shot在提示词中提供几个“屏幕描述 - 正确操作”的例子能大幅提升规划准确性。成本与性能控制视觉模型降级非关键步骤使用轻量级 OCR 或本地特征匹配而非每次都调用 GPT-4V。操作抽象定义一套高层操作指令集如open_app(“notepad”),type_in_focused_window(“text”)让 LLM 学习这些指令而非直接规划鼠标坐标。本地模型替代对于规划任务可以考虑使用Llama 3、Qwen等高性能开源模型本地部署以降低长期成本。安全与权限边界最小权限原则Agent 不应拥有高于其所需功能的系统权限。在可能的情况下在沙箱或受限用户环境中运行。操作确认机制对于高风险操作如删除文件、发送邮件、金融交易应设计“人工确认”步骤。操作回滚记录详细的操作日志以便在出错时能够手动或自动回退。敏感信息隔离确保 AI 模型不会将屏幕截图中的敏感信息密码、个人数据泄露到外部 API。测试与验证录制与回放开发一个模式可以录制人工操作序列并让 AI Agent 学习重现。模拟环境测试在虚拟机或容器中测试自动化流程避免对主机造成影响。断言与检查点在关键步骤后让 AI 验证操作结果如检查特定文本是否出现确保流程按预期进行。9. 总结与展望通过本文的拆解与实践我们可以看到构建一个 Energy 式的 AI 桌面操作 Agent在技术上已经具备了可行性。其核心在于CV LLM 自动化的三角组合让机器获得了初步的“眼、脑、手”协同能力。对于开发者而言这不仅仅是多了一个玩具它开启了一个新的可能性将自然语言作为最高级的编程接口。未来复杂的软件操作、数据搬运、跨平台工作流都可能通过一段描述来自动生成并执行。然而当前阶段的技术仍处于“炫技”与“实用”的交叉点。要实现真正的可靠落地必须解决定位精度、执行稳定性、长任务规划、异常处理和成本控制等一系列工程挑战。本文提供的代码框架是一个起点你可以在此基础上集成更强大的视觉定位模型如 Grounding DINO 或 SAM实现像素级精准操作。设计领域特定语言DSL让 LLM 在更可控的指令集下工作提高可靠性。结合 RPA 工具将 AI 的决策能力与 RPA 的稳定执行能力相结合打造混合型自动化方案。AI 代操作电脑的时代正在到来。它不会完全取代传统自动化但会为其装上“大脑”解决那些最棘手的、需要灵活性和理解力的场景。作为开发者现在正是深入理解其原理、亲手构建原型、探索其边界的最佳时机。建议你将本文的代码作为实验基础从一个能切实提升你自己工作效率的小任务开始尝试。