原文標題:GitHub Copilot can now interact with desktop apps with computer use

GitHub Copilot 的 computer use 已在 Copilot CLI 與 GitHub Copilot app 進入 public preview,支援 macOS 與 Windows。Copilot 可讀取可存取的應用內容與視覺脈絡,並執行點擊、輸入、編輯、按鍵、捲動、拖曳與跨應用導覽。

功能鎖定沒有 API、CLI 或 MCP 整合的舊式與純 GUI 軟體工作流程。Copilot 在控制應用前會要求使用者核准,使用者也可檢視或重設曾設定為永久允許的應用。

組織管理員可關閉此功能,macOS 需要 Accessibility 與 Screen Recording 權限。

從官方公布的內容來看,Copilot 從程式碼與終端機延伸到 GUI 操作後,能自動化的範圍不再只限開發工具,也可碰觸傳統企業軟體與沒有程式介面的工作流程。這項消息主要與開發者、IT 自動化團隊與仍使用 GUI-only 工具的企業,以及需要對代理桌面操作建立權限政策的管理員。

發生了什麼事

GitHub Copilot 的 computer use 已在 Copilot CLI 與 GitHub Copilot app 進入 public preview,支援 macOS 與 Windows。Copilot 可讀取可存取的應用內容與視覺脈絡,並執行點擊、輸入、編輯、按鍵、捲動、拖曳與跨應用導覽。

為什麼重要

Copilot 從程式碼與終端機延伸到 GUI 操作後,能自動化的範圍不再只限開發工具,也可碰觸傳統企業軟體與沒有程式介面的工作流程。

影響哪些人

開發者、IT 自動化團隊與仍使用 GUI-only 工具的企業,以及需要對代理桌面操作建立權限政策的管理員。

已確認與未確認

目前仍是 public preview,應用相容性、操作可靠度與企業風險控管機制仍可能在正式版前調整。