本教程共 32 篇 · 第 27 篇 · 更新于 2026-07-26 · 约 12 分钟阅读

27. Computer Use 与高级功能

本节目标：搞懂 Codex 的几个进阶能力—让它看你的屏幕、用语音对话、截屏传上下文、定时跑后台任务、直接托管网站，以及各功能的安全边界在哪。

前面讲的 CLI、桌面应用、IDE 扩展，Codex 干活都靠「读文件 + 跑命令」。但现实里有些活儿不是敲命令能解决的—比如复现一个只在界面上才出现的 bug、用语音聊着把活派出去、把本地网站一键部署上线。这些就是这一章要讲的高级功能。

Computer Use 是什么

Computer Use（电脑操控）让 Codex 像人一样看屏幕、动鼠标、敲键盘。它能操作 macOS 或 Windows 上的图形界面—点按钮、填表单、翻菜单，跟你自己坐在电脑前操作一样。

打个比方，之前 Codex 像个只会发邮件的远程同事—你给他发指令、收他回的文件，他碰不到你桌面。Computer Use 让他直接坐到你工位上，用你的鼠标键盘，屏幕上有啥他看得见。

什么场景才轮到它出场？

测试正在开发的桌面 App、iOS 模拟器流程
复现只在图形界面里才冒出来的 bug（命令行跑测试一切正常）
改必须点 UI 才能改的应用设置
操作没有插件可接的应用或数据源
跑一条横跨好几个 App 的工作流

Note

官方反复强调一个判断标准：当一件事「光看文件或命令输出验证不了」时，才用 Computer Use。能用插件、MCP、命令行搞定的，别上来就掏它。

碰界面的三条路

Codex 碰图形界面有三条路，新手十有八九会用错那条。用一句话区分：

路径	碰什么	典型场景	怎么调
内置浏览器	Codex 自带浏览器	localhost、公开页	`@Browser`
Chrome 扩展	你真实的 Chrome	登录态网站	`@Chrome`
电脑操控	整个桌面	原生 App、跨应用流程	`@Computer`

从轻到重：本地网页用内置浏览器，登录态网站用 Chrome 扩展，连桌面都得碰才上电脑操控。

内置浏览器（最该先用的）

内置浏览器是 Codex 窗口里自带的一个浏览器，专管 localhost、文件预览、公开页。它不碰你 Chrome 的登录态、cookie、扩展，干净隔离。

在 Codex 里进 Plugins，把 Browser 插件加上、打开
用快捷键打开：macOS 是 Cmd+Shift+B，Windows 是 Ctrl+Shift+B
让 Codex 操作它，在提示词里 @Browser 或直接说「用浏览器」

它有个最值钱的绝活—批注（annotation）。当 bug 只在渲染后的页面上才看得见，你直接在页面元素上圈一下、留句话，比打一堆字描述精准得多。

用浏览器打开 http://localhost:3000/settings，复现那个布局 bug，
只修溢出的那几个控件，别动其它。

Warning

内置浏览器不支持登录流程、cookie、你日常浏览器的配置。要登录的站，交给 Chrome 扩展。

Chrome 扩展（要登录态时才用）

当任务离不开你已经登录好的浏览器状态—读 LinkedIn、改 Salesforce、操作公司内网系统—才轮到 Chrome 扩展。

打开 Codex，进 Plugins
添加 Chrome 插件
跟着安装向导装 Chrome 扩展，批准权限提示
打开 Chrome，确认扩展显示 Connected

装好后用 @Chrome 调：

@Chrome 打开 Salesforce，根据这些通话记录更新对应的客户。

Note

默认情况下，Codex 在操作每个新网站之前都会先问你。你可以选「只在当前对话允许」「始终允许」或「拒绝」。allowlist 和 blocklist 在 Computer Use 设置里管。

电脑操控（碰整个桌面）

最重的这条路，让 Codex 看屏幕、动鼠标键盘操作整个桌面。它有两道硬门槛：

地区限制：macOS 和 Windows 可用，Linux 不行。欧洲经济区（EEA）、英国、瑞士不支持。

系统权限：

macOS 要授两项：屏幕录制（让它看见）+ 辅助功能（让它点击打字）
Windows 没这套授权，但会抢前台—任务期间目标应用必须可见，它会移动你的鼠标、接管键盘输入

Warning

Windows 上 Computer Use 无法后台运行。任务跑着时你别想同时用这台电脑。想离开时让它继续跑，要么保持设备解锁 + 手机远程查看，要么在虚拟机里跑 Codex。

调起来的方式：

用电脑操控打开这个 App，复现新手引导里的那个 bug，
修掉导致它的最小代码路径。每改一次，把同一条 UI 流程重跑一遍。

Tip

如果目标应用有专用插件或 MCP，优先用那个。只有需要「肉眼看着操作」时才上电脑操控。它最重最慢—要截屏、算坐标、一帧帧动鼠标。

安全：动的是真桌面

这节最不能跳。Computer Use 和 Chrome 扩展碰的都是你真实的、登录着一切的桌面和浏览器，不是用完即焚的沙箱。

两类风险得有数：

登录态等于钥匙串。你登录了什么，它就够得着什么。网页里可能藏着恶意内容，网站会把已批准的点击当成你本人发起的。

提示注入（Prompt Injection）。网页内容里可能藏着「写给 AI 看」的恶意指令。操作浏览器时这风险格外真，因为它读的全是外部的、你控制不了的页面。

官方给了几道护栏：

每个新网站、新应用先问你
操作随时可中断—你能停任务、夺回控制权
有几件事它压根做不了：无法自动化终端、无法操作 Codex 自己、无法以管理员身份认证、无法替你点掉系统权限弹窗

你自己该守的几条：

场景	别这么干	该这么办
给任务	一口气甩好几个 App	一次只给一个明确目标
敏感应用	网银、密码管理器开着不管	任务不需要就关掉
Windows 上	它抢前台时还想同时用	用第二台设备或虚拟机
涉密任务	丢给它自己跑、人走开	你在场、能逐步批准时才做
始终允许	见一个点一个	只对你确实信任的应用开

总原则：它在桌面里点的每一下都是真的。浏览器里点了「确认付款」就是真付了。越是不可逆、越是涉钱的操作，越要自己把着方向盘。

ChatGPT Voice 语音对话

ChatGPT Voice 由 GPT-Live 驱动，让你在桌面 App 里用语音跟 Codex 对话。不用切回键盘，直接说就行—梳理想法、检查进度、调整方向，全靠嘴。

怎么开始

在桌面 App 打开一个新的空白聊天或任务
发送消息前，选择 Start new voice chat
首次用允许麦克风访问、选个声音
开始说话，完成后选 End

Note

聊天必须从语音模式开始，才能用 ChatGPT Voice。从其他模式开始的只提供语音听写（把你的话转成文字发出去，不是实时对话）。

语音对话支持自然的轮流对话。Codex 回复时你可以打断它、继续追问、改方向。它开始干活了，你还能继续聊，检查进度或调任务。

委派和协调

Voice 不只是聊天，它还能帮你派活。它可以为耗时任务启动独立线程、检查现有线程、发后续指令，把进度和结果带回语音对话。

启动一个 Codex 任务，跑测试，调查任何不通过的地方。

检查一下当前活跃的任务，总结一下有什么卡住的。

让它看见你看到的

在 macOS 上，开启 Screen context 后，说一句「Take a look at this」，Codex 能拿到最前方窗口的截图当上下文。

Warning

Appshot 可能包含窗口图像和可访问文本，包括可见滚动区域之外的内容。别分享含有敏感信息的窗口。

Tip

Voice 有独立限额，按滚动五小时窗口计量。通过 Voice 启动的任务仍消耗 Codex 用量。任一限额用尽时，Codex 会通知你。同一时间只能有一场活动语音聊天。

Appshot 截屏传图

Appshot 是 macOS 专属功能，把最前方的应用窗口截下来发给 Codex。当你正在别的应用里干活，想让 Codex 了解当前上下文，用它最快。

按左右两个 Command 键（或你自定义的快捷键），就拍一张。一张 Appshot 只捕获最前方窗口，包含：

可见窗口的图像
该窗口提供的文本（包括屏幕可见文字和滚动区域之外的内容）

适合的场景：

分享 API 参考页面，让 Codex 写调用脚本
分享邮件或日历视图，让它起草内容
分享设计工具或预览窗口，让它改资源或代码
分享错误、设置面板等难以用文字描述的状态

Note

默认 Appshot 会新建聊天。如果你最近 60 秒内操作过某个聊天，它会加入那个聊天；连续拍摄的 Appshot 也进同一个聊天。CLI 无法创建新 Appshot，但已有 Appshot 的聊天在 CLI 里继续时，附件仍在历史里。

定时任务（Automations）

定时任务让 Codex 在后台按计划反复跑某个任务。跑完有发现就丢进收件箱，没发现就自动归档—到点自动跑，没事不打扰。

两种类型

类型	每次怎么跑	保留上下文吗	适合
独立任务	从头开新 run	不保留	每次该独立、跨多项目
线程自动化	回同一对话接着跑	保留	同一件事按节奏反复盯

独立任务适合「每天产一份新简报」。线程自动化是心跳式的—比如盯长命令跑没跑完、每隔几分钟轮询 GitHub PR 状态。

跑在哪

对 Git 仓库，每个定时任务可选跑在本地项目或后台 worktree：

worktree 模式：改动跟你手头没干完的活隔离，互不干扰
本地模式：直接在主检出里改，可能动到你正在编辑的文件

Tip

Git 仓库挂定时任务，默认选 worktree 更安全。省得它半夜改了你白天正写一半的文件。非版本控制的项目直接在项目目录里跑。

怎么创建

最省事的办法：直接在普通对话里让 Codex 建。

把刚才这个简报任务挂成一个每天早上 9 点跑的独立自动化，
跑在 worktree 上，别动我本地的文件。如果没新提交就自动归档。

需要自定义节奏，用 cron 语法。比如每月 1 号早上 9 点：

RRULE:FREQ=MONTHLY;BYMONTHDAY=1;BYHOUR=9;BYMINUTE=0

权限和安全

定时任务以无人值守方式运行，用默认沙箱设置。

Warning

定时任务跑的是 approval_policy = "never"（组织策略允许时）。也就是不弹审批。正因如此，沙箱那道墙更重要。如果你开着 full access，后台自动化风险很高—建议收到 workspace-write，用 rules 精确放行。

Tip

挂之前先在普通对话里手动跑一遍 prompt，确认它清不清楚、产出能不能用。改 prompt 的成本，在这一步最低。我第一次挂简报偷懒没试跑，结果每天产一坨没重点的流水账，连改三版才顺。

定时任务能干啥

几个官方给的实用场景：

扫描过去一天的 ~/.codex/sessions 文件，如果某些 skill 用起来有问题，
更新它们让更好用。只改个人 skills，不改 repo skills。
有需要的话就改，没必要就别改。改了告诉我。

看 origin/master 或 origin/main 最近 24 小时的提交，针对 <目录> 产一份简报。
按工作流分组，每组写一小段说明改了啥。包含 PR 链接。

Sites 网站托管

Sites（目前公测阶段）让 Codex 直接创建、托管、迭代和分享网站。把提示词或兼容的本地项目变成托管体验，不用单独搭部署工作流。

怎么开始

在提示词里写「website」，或明确提 @Sites，就能启动 Sites 工作流。

给我的运营团队建一个项目请求看板。团队成员能提交请求、
看到每个请求的负责人、更新状态、筛选列表。
要求用工作区账号登录，请求数据在多次访问间保存。

四个阶段：

描述 Site：说明受众、目的、必要行为
评审 Site：检查内容与行为，确认按预期处理数据
迭代 Site：描述修改，提供相关文件或视觉上下文
管理并分享：回 Sites 视图管理，选择访问范围分享链接

存储和认证

新项目从 Sites 推荐的 starter 开始。需要持久数据时，在提示词里说明：

需求	用什么
已保存记录、用户进度、分数	D1 关系数据库
图片、音频、视频等上传内容	R2 对象存储
带元数据的上传文件	D1 存元数据 + R2 存文件
内部 Site 需工作区身份	工作区认证的用户身份
面向公众的登录	启用认证的 Site

版本与部署

Sites 发布分两步：

保存版本：构建可部署版本，关联 Git commit。评审候选部署时用这步。
部署版本：发布已保存的版本，成功后报告生产 URL。确实想让受众访问时才执行。

Warning

每个 Sites 部署 URL 都是生产部署。想在正式上线前评审构建，让 Codex 只保存版本、不要部署。

访问控制

新 Site 默认只允许所有者和工作区管理员访问，直到你改设置。分享选项包括：所有者和管理员、选定用户、工作区内任何人、互联网上任何人（需启用公开发布）。

Tip

不要把 secret 值放进提示词、附件或 Site 内容。在 Site 设置里配托管环境变量和 secrets。改完环境值后，让 Codex 重新部署，下次部署才用上更新后的配置。

下线和删除

只想移除访问权限：把分享设置收紧到自己或选定用户。永久删除：打开 Sites，选 Delete site，输入 Site slug 确认。删除是永久的，无法恢复。

小结

Computer Use：让 Codex 看屏幕、动鼠标键盘操作桌面，是最重的路。有地区限制（EEA/英国/瑞士不支持），macOS 要给屏幕录制和辅助功能权限，Windows 会抢前台
三条路：内置浏览器（localhost）-> Chrome 扩展（登录态网站）-> 电脑操控（整个桌面），从轻到重选
安全：碰的是真桌面真浏览器，不是沙箱。一次一个目标、关掉敏感应用、涉钱和不可逆操作自己来
ChatGPT Voice：语音实时对话，能派活、协调线程、看屏幕。有独立限额，同一时间只能一场语音聊天
Appshot：macOS 专属，快捷键截最前方窗口传给 Codex，含图像和文本
定时任务：后台按计划跑，有发现进收件箱、没事归档。分独立任务和线程自动化，Git 仓库建议默认选 worktree
Sites：提示词或本地项目变托管网站，分保存版本和部署两步，访问控制默认收紧

下一章讲非交互模式与脚本化—让 Codex 在命令行里一句话丢进去、跑完吐结果就退出，这是自动化那条路的发动机。