GitHub 于 2026 年 10 月 1 日宣布，GitHub Copilot CLI 和 GitHub Copilot App 现已公开预览 computer use，支持 macOS 和 Windows 本地工作阶段。Copilot 可以读取应用程序的可访问内容及视觉上下文，点击控件、输入及修改文字、按键、滚动、拖动，并在多个桌面应用程序之间导航工作流。
这项能力主要针对没有 API、命令行界面或 MCP 集成的 legacy 及 GUI-only 软件。换句话说，代理不再只处理代码、文件或浏览器页面，也可以尝试把信息在传统桌面工具之间搬运，例如从浏览器读取数据、在演示工具更新内容，再把结果交给另一个本地应用程序。这扩大了可自动化范围，但也把代理带入更多不可预测的画面状态和本地权限。
GitHub 把人工控制放在功能说明的中心。Copilot 在控制应用程序之前会要求批准，用户可以查看或重设曾经选择 always allow 的应用程序，组织管理设置也可以停用 computer use。macOS 还需要 Accessibility 权限让代理操作控件，以及 Screen Recording 权限读取需要视觉上下文的应用程序窗口。这些不是纯粹的安装步骤，而是决定代理可以看到和操作什么的安全边界。
对于 agent workflow，computer use 把「工具」由结构化 API 转成视觉和输入控制。API 通常会提供清晰的字段、错误和权限；桌面操作则可能受到窗口焦点、画面变化、弹窗、快捷键和用户状态影响。因此，成功完成一个流程不能只看最后画面，还要保留操作记录、限制允许的应用程序、避免把敏感数据送到不应接收的窗口，并在不可逆动作前保留人工批准。
GitHub 目前把它放在 public preview，功能和限制仍可能改变。较适合的早期场景是低风险、可重设、有人监看的本地工作，例如整理通知、填写草稿或在测试环境操作旧软件；涉及付款、账户变更、删除数据或跨应用程序传送机密内容时，应维持更严格的逐次批准和隔离环境。
这次更新的市场信号，不是桌面代理已经能够取代所有 GUI 操作，而是 agent 的工作面开始由网页和代码延伸至人们现有的电脑界面。这会令 legacy software 重新成为可编排的节点，但同时要求产品把权限、可见性、停止方式和责任边界做得比普通聊天工具清楚。
