这短时间,JEV 的热度还在持续。

前两天给大家分享过一份相关项目精选,里边热门的我都试了一下,让我发现了一个在浏览器电脑操作分类里面排行第一的,解决了我现在的一个大难题,应该也是很多小伙伴遇到的问题。

叫 Cua Driver, 是开源项目 Cua 里负责操作软件界面的工具。

它所在的 Cua 项目,目前在 GitHub 上已有 2.6 万多个星标,也曾登上 GitHub 日榜第一。

github.com/trycua/cua

刚看到的时候,我还没太弄明白,它跟 J EV 到底有什么关系。结果装上折腾了一圈,倒是先解决了一个困扰我挺久的问题。

Codex 操纵电脑,总跟我抢鼠标

经常在 Windows 上 用 Computer Use 的小伙伴,应该知道我在说什么,用 Mac 的就没这方面的烦恼。

平时让 Codex 写代码、整理文件,交代完任务就能切出去干别的,偶尔回来看看结果就行。

可有些任务没有现成的接口,得让它打开软件、看着界面点按钮。这时候就尴尬了: 它开始用电脑,我就不好用电脑了。

比如它一打开微信,屏幕上方就亮起了 ChatGPT is using your computer 的提示,蓝色边框闪烁的时候,你的鼠标就只能归它用了。

这时候我要是也动鼠标,两边就容易打架。我刚切回自己的窗口,它又把窗口切走了;我想点这里,鼠标已经被它挪到了别处。

你看,我中途动了几下鼠标,操作就乱了,最后文件也没发出去。

所以 最后只能把手拿开,看它干活。

本来想找个助手分担工作,结果助手一上班,我得先让座。

所以,能不能让它 操作软件 干活的时候,我也能正常用电脑?

装上 Cua Driver,不用让鼠标了

这次的 Cua Driver,就是冲着这个问题来的。

它可以接到 Codex 里,读取窗口、点击按钮、输入文字。在支持的操作里,它能直接对目标窗口干活,不会抢你的鼠标。

来给大家看看用起来的效果。

画面里看起来出现了两个鼠标:红色箭头标出 Codex 正在操作的位置,我自己的鼠标则继续浏览网页。它操作它的,我用我的,没有互相冲突。

这样就不用为了让 AI 干活,专门把电脑空出来。

相信这个应该是解决了 Windows 上 Codex 用户的长久以来的大问题,因为这个 OpenAI 官方一直没有去解决,所以就很费劲。

其实这篇的功能到这也就结束了,很简单,然后我就又去试试看它到底能做多少操作。

比如让它操作微信练练手,因为通过 Computer Use 的话,实际上电脑上的所有软件都可以让它跑起来,比如 让 Codex 把电脑上的文件,通过微信发给我。

说到这个,先容我吐槽一下远控。

最近用 Codex Remote,做的稀烂,太容易断线,而且连起来费劲。

广告媒流(小程序)-公众号

实在不行,还得在手机上打开 UU 远程,自己 去远程操作电脑 。

UU 当然能用,也能传文件。可手机屏幕就那么大,找个文件夹、选几份材料、压缩再传出来,坐在电脑前可能一分钟搞定,换成手机就得放大、挪动,跟那些小按钮较劲。

而且我平时跟同事沟通、收发资料,大多都在微信里。 文件直接到微信,查看、转发都顺手,省得再倒腾一遍。

所以就拿这个场景跑一遍,比如让 Codex 把电脑上的指定文件打包发到微信上。

前面的找文件、打包,让它用擅长的方式完成。到了微信里选择文件、发送这一步,再通过 Cua Driver 操作界面。

我试了一次,也录了屏。

整个过程说不上快,中间还是能看出来它在观察、判断、继续操作。

两个鼠标同样也不冲突。

跑通之后,这件事就有意思了。

以后人在外面,临时需要电脑里的材料,就可以拿起手机,把文件在哪、要怎么处理、发到哪里交代给 Codex。剩下的让它做,等微信收到文件,直接查看或转发,不用再远程操作去跟小按钮费较劲了。

前提是电脑没有休眠,桌面处于可操作状态,微信已经登录,手机也能把任务交给这台电脑上的 Codex。

这也是我觉得这次折腾挺值的地方:人在电脑前,它干活时少打扰我;人在外面,它又能配合 Codex,把处理好的文件送到微信。

而且实际用起来的体验就像是,你的电脑前就有一个真实存在的真人助理,你拿起手机给他发个语音,他就把文件发给你了。

因为有一次我用的时候,本来是大家都在会场上,然后临时要一份文件我就拿出手机来,发了个语音,说,你把文件发我微信上,然后同事就问,怎么你办公室还有人帮你干活?😂

它跟 JEV 到底有什么关系?

至于一开始吸引我过去的 J EV,后来也弄明白了。

项目现在已经提供了 jev-use 接入示例,让 J EV 根据当前界面信息,从准备好的候选动作里选择下一步,再由 Driver 执行。

这里要分开说:接上 Cua Driver,不代表 Codex 就自动用上了 JEV。想让 JEV 参与动作选择,还需要另外接入。

cua.ai/docs/how-to-guides/driver/jev-use

比如当前该填写内容、点击按钮,还是重新观察一下,就可以整理成明确选项,交给它判断。

官方也在推进截图识别相关的扩展。遇到软件不方便直接提供按钮、文字信息的情况,可以先把画面解析出来,再接到动作选择流程里。这部分目前还是开发者预览,默认安装里没有开箱即用的稳定方案。

后面这部分如果成熟了,还是挺值得期待的。

现在看 AI 操作软件,有些时间就花在看一下、想一下、再点一下之间。如果这些环节能衔接得更顺,重复的小操作就有机会再快一些。

像这次发文件,慢一点已经能帮上忙。以后如果中间的停顿更少,交代完任务,微信很快就响一声,那就更舒服了。

直接让 Codex 帮你装

想试的小伙伴,安装过程我就不在这里展开敲命令了。

直接把下面这段话发给 Codex:

请参照官方文档 https://cua.ai/docs/use-cua-with/codex,检查并安装适合这台 Windows 电脑的 Cua Driver,接入当前 Codex,保留已有配置。界面操作优先使用后台模式,不抢占我的鼠标、键盘和当前窗口;不支持时停下来说明。先用无敏感内容的测试窗口,完成一次真实操作并核对结果。安装和配置可以直接进行,测试界面操作前先让我确认开始。如果需要重启或新建会话,请明确告诉我。

真遇到安装或连接问题,把完整报错交给它,让它对照官方文档继续处理。别只收到一句安装成功就结束,得实际操作一次,看看是不是用上了。

之后可以拿一份专门准备的测试文件,明确授权它发送到自己的文件传输助手。把位置和接收对象说清楚,第一次也方便核对。

前几次跑你可以先发给自己试使用,跑通了之后就可以任意发给你的其他微信联系人,这一步应该是能折腾出来很多玩法的。

Cua Driver 也不只给 Codex 用,其他支持接入的 Agent 工具都可以用,比如国内的 Workbuddy,同样可以。

接好之后,让 Workbuddy 操作软件界面,在支持后台操作的地方,它忙它的,你照常用电脑,也不用把鼠标让出去。

结语

这个项目原本只是顺着 JEV 找点新东西玩,结果无意间解决了一个老大难问题。还顺手跑通了交代任务,让微信收到某个群里某个人的文件之后,自动转发给某个人。

微信转文件,这个其实只是我顺手跑的案例,当然转文件的方式还可以用其他方式来实现,比如 Workbuddy 上面如果连了微信 Claw的话,直接在里边发句话,它也可以搞定。

CuA driver 的真实场景还是用在当你们同时去用电脑的时候,可以让它在后台使用鼠标,而不用抢你的。

对我来说,这已经值得留下来了,推荐每一个 Windows Codex 用户都去试一试。