# 关于计算机在 GitHub Copilot 中使用

Copilot 可以与桌面应用程序交互，以自动执行无法通过更直接的工具完成的任务。

> \[!NOTE]
> 计算机使用为 公开预览，且可能会更改。

## 关于计算机使用

Copilot 可以通过读取可访问的应用程序内容和视觉上下文、单击控件、输入和编辑文本、按键、滚动、拖动和跨应用程序导航工作流来代表桌面应用程序进行交互。

计算机在 macOS 和 GitHub Copilot CLI Windows 中可用GitHub Copilot app。

计算机使用扩展任务可以帮助自动执行任务 Copilot ，包括不提供 API、命令行接口或 MCP 集成的旧版和仅 GUI 软件中的工作流。

计算机使用可帮助完成以下任务：

* 查看和汇总旧版桌面应用程序中的信息。
* 更新演示文稿中的内容。
* 在仅 GUI 软件中输入或更新信息。
* 将信息作为多步骤工作流的一部分在应用程序之间移动。

> \[!TIP]
> 计算机使用专为需要与视觉界面交互的任务而设计。 如果 API、MCP 服务器、终端命令、文件系统工具或专用浏览器工具可以直接完成任务，该工具通常提供更结构化的信息和可预测的结果。

## 功能

启用后，计算机使用允许 Copilot ：

* 需要视觉上下文时，通过操作系统的辅助功能树或屏幕截图读取可访问的应用程序内容和视觉上下文。
* 单击控件。
* 输入和编辑文本。
* 按键、滚动和拖动项。
* 跨应用程序导航工作流。

代理在处理你的提示词时会选择这些工具。 可以在会话中查看工具活动。

## 控制计算机使用的访问

默认情况下，计算机使用功能处于禁用状态。 必须先启用它，然后代理才能使用其工具。

计算机使用遵循会话正在运行的 Copilot 图面的工具权限设置。 这些设置决定了 Copilot 在控制桌面应用程序之前是否需要请求批准。 可以更改每个图面的工具权限设置。 如果系统提示批准对应用程序的访问权限，则可以授予对当前会话的访问权限、保存将来会话的审批或拒绝访问。

如果你为某个特定应用程序选择了 **始终允许**，Copilot 会将该决定保存在本地。 该决策适用于同 GitHub Copilot CLI 一台计算机和 GitHub Copilot app 同一台计算机。 在应用中，可以查看始终允许的应用程序列表并删除单个审批。 删除某个应用程序会删除其在应用程序和 CLI 中为后续会话保存的授权。 它不会撤销在当前会话中已授予的访问权限。

拒绝工具的权限规则优先于自动或保存的审批。

企业管理员可以通过受管理的设置禁用计算机的使用。 在本地启用使用计算机功能不会覆盖企业策略。 有关配置详细信息，请参阅 [企业管理设置](/zh/copilot/reference/enterprise-administrators/enterprise-managed-settings#featurescomputeruse)。

如果计算机使用开始意外操作，则可以中断活动操作。 在 GitHub Copilot CLI中，按 <kbd>Esc</kbd> 两次。 在 GitHub Copilot app中，单击“ **停止** ”或按 <kbd>Esc</kbd>。

在 macOS 上，使用电脑功能会引导你完成以下授权：

* 与应用程序控件交互的**辅助功能**权限。
* 需要视觉上下文时检查应用程序窗口的**屏幕录制**权限。

## 限制和风险

计算机使用解释可在应用程序版本、操作系统和窗口状态之间更改的接口。 它可以选择错误的控件、在错误的位置输入文本，或者难以使用非标准或动态控件和复杂的工作流。 计时或窗口状态的更改可能会产生不同的结果，导致计算机使用重复操作或阻止其继续。

> \[!WARNING]
> 计算机使用可以自动执行跨桌面应用程序的交互，但它也引入了安全风险。 不明确的说明或意外的屏幕内容可能会导致影响设备、数据或连接的帐户的意外操作，包括访问个人、财务或企业系统。 使用计算机不能替代人的判断。 查看目标应用程序、请求的权限和结果，尤其是在允许修改数据或影响其他人的操作之前。

应用程序窗口可能会显示敏感信息，包括有关其他人的信息。 仅将计算机与应用程序和任务一起使用，其可见内容作为上下文提供。Copilot

如果选择 **“始终允许** 应用程序”，则以后的计算机使用操作可以控制它，而无需再次询问。 避免为包含敏感信息或支持高影响操作的应用程序选择 **“始终允许** ”。

有关负责任的使用的综合信息，请参阅 [应用卡片：GitHub Copilot 智能体](/zh/copilot/responsible-use/agents)。

## 后续步骤

若要启用并使用计算机功能，请参阅：

* [使用 GitHub Copilot 应用与桌面应用程序交互](/zh/copilot/how-tos/github-copilot-app/computer-use)
* [使用 GitHub Copilot CLI 与桌面应用程序交互](/zh/copilot/how-tos/copilot-cli/use-copilot-cli/computer-use)