GitHub 於 2026 年 10 月 1 日宣布，GitHub Copilot CLI 和 GitHub Copilot App 現已公開預覽 computer use，支援 macOS 和 Windows 本地工作階段。Copilot 可以讀取應用程式的可存取內容及視覺上下文，點擊控制項、輸入及修改文字、按鍵、捲動、拖曳，並在多個桌面應用程式之間導航工作流。
這項能力主要針對沒有 API、命令列介面或 MCP 整合的 legacy 及 GUI-only 軟件。換句話說，代理不再只處理代碼、文件或瀏覽器頁面，也可以嘗試把資訊在傳統桌面工具之間搬運，例如從瀏覽器讀取資料、在簡報工具更新內容，再把結果交給另一個本地應用程式。這擴大了可自動化範圍，但也把代理帶入更多不可預測的畫面狀態和本地權限。
GitHub 把人手控制放在功能說明的中心。Copilot 在控制應用程式之前會要求批准，使用者可以檢視或重設曾經選擇 always allow 的應用程式，組織管理設定亦可以停用 computer use。macOS 還需要 Accessibility 權限讓代理操作控制項，以及 Screen Recording 權限讀取需要視覺上下文的應用程式視窗。這些不是純粹的安裝步驟，而是決定代理可以看到和操作甚麼的安全邊界。
對 agent workflow 而言，computer use 把「工具」由結構化 API 轉成視覺和輸入控制。API 通常會提供清晰的欄位、錯誤和權限；桌面操作則可能受到視窗焦點、畫面變化、彈窗、快捷鍵和使用者狀態影響。因此，成功完成一個流程不能只看最後畫面，還要保留操作紀錄、限制允許的應用程式、避免把敏感資料送到不應接收的視窗，並在不可逆動作前保留人工批准。
GitHub 目前把它放在 public preview，功能和限制仍可能改變。較適合的早期場景是低風險、可重設、有人監看的本地工作，例如整理通知、填寫草稿或在測試環境操作舊軟件；涉及付款、帳戶變更、刪除資料或跨應用程式傳送機密內容時，應維持更嚴格的逐次批准和隔離環境。
今次更新的市場訊號，不是桌面代理已經能夠取代所有 GUI 操作，而是 agent 的工作面開始由網頁和程式碼延伸至人們現有的電腦介面。這會令 legacy software 重新成為可編排的節點，但同時要求產品把權限、可見性、停止方式和責任邊界做得比普通聊天工具清楚。
