WorkBuddy 近期大招频发，密集上线新自动化操控能力。

先上线了浏览器操控，通过浏览器扩展程序，操控你的浏览器干活。

紧接着，上线了远程遥控，通过手机控制电脑桌面，帮你干活。

今天，打开桌面端 WorkBuddy，发现 WorkBuddy 果真没有让人失望。

又开始整活了。

WorkBuddy 在设置-智能体里，悄悄上线了电脑操控功能。

页面显示，仍为Beta版。提示：

安装成功后，WorkBuddy可使用电脑操控能力，你可以随时停止。使用过程中可能会截屏或读取窗口内容，相关权限可在系统设置中收回。

WorkBuddy，这是要接管你的电脑。

在授权范围内，通过自动操作你电脑上的应用，来完成任务。

实测丝滑体验如下。

一、安装和启动

我点击「安装」，很快就完成了。

那如何使用呢？

遇事不决问 AI，打开 WorkBuddy 问问就好了。

其实我大概知道如何使用，但我还是想让 WorkBuddy 自己回答下，指令：

WorkBuddy 新上线的电脑操控，如何使用？

它告诉我，开启 2 个权限后，在 WorkBuddy 对话里说需求就行。

我按照要求，开启电脑辅助功能、屏幕录制两个权限。

辅助功能权限，用来模拟鼠标键盘操作。用于执行点击、输入任务。

屏幕录制权限，用来截图识别屏幕，判断点击位置。

完成授权后，记得按照要求退出并重新打开，这样权限才能写入 WorkBuddy。

然后，也会看到电脑设置里，辅助功能、屏幕录制下，多了一个 WorkBuddy Computer Use 授权。

然后，就可以在 WorkBuddy 中，下指令。

让 WorkBuddy 操作电脑上应用，做任务了。

二、执行任务

WorkBuddy 操作电脑，是通过操作电脑上的应用，来完成任务。

属于跨应用操作。

1、打开元宝输入问题

我先让 WorkBuddy 打开元宝，问问：

打开元宝桌面客户端，输入「元宝搜索 C 端产品，是什么时候发布的？并介绍下这款产品。」

可以看到，它已调用了电脑操作的工具。

它找到并打开了元宝，但是涉及积分消耗，会征得你的同意。我同意后，它开始执行。

可以看到，有个小鼠标，在操作我的电脑。

没多久，就给我返回了结果。

2、查看和总结最新朋友圈内容

然后，我又让它：

帮我打开微信，打开朋友圈，浏览最近的3 条朋友圈内容，总结发给我

这次操作，耗时有点长（中间走了一个我人工导致的弯路，微信窗口我设置得太小了），但是最终还是完成了。

它甚至是先刷新你朋友圈后，再读取最新的朋友圈信息。

3、微信代发消息

然后，我继续为难它，让它帮我发微信。

帮我打开微信，然后在置顶的对话中找到河豚小姐姐，问一问她今晚什么时候下班。然后带上括号里面写上 WorkBuddy 自动发送。

没想到，它比我预想的厉害，很快就找到了联系人，然后进行输入、发送操作。

 该图片疑似使用了AI生成技术，请谨慎甄别

消息已发送，对方也回复了。

我沿着 WorkBuddy 的思路，让它帮我看看，对方回复了什么。

它很快读取屏幕内容，完成了操作。

4、和千问办公打个招呼

然后，我又调皮了一下，让 WorkBuddy 启动千问办公，和它打个招呼。

打开千问办公，输入 你好，我是 WorkBuddy，过来和你打个招呼。然后点击发送

具体操作，录屏如下（建议 2 倍速观看）。

具体操作过程，有点点慢。

虽然是简单指令，但是 Agent 需要做很多处理和判断。

虽然稍微慢点，但你可以完全解放双手，让它自动化去执行。

特别是一些文字类的、创意类的、重复工作类的。

你人离开的时候，自己把电脑交给它。

比如，帮你查看企业微信消息，总结工作内容。

帮你打开公众号后台，模拟你的风格，帮助回复评论。

帮你打开文档，查看这周的工作记录，完成工作总结和周报等。

就看你如何用。

因为它是不需要你建立任何MCP连接，跨应用进行操作的。

三、体验小结

从体验中，我们可以看到。

WorkBuddy 电脑操控（workbuddy-computer-use），是通过截图进行识别、理解、点击、输入、确认、读取信息等操作的。

也就是 GUI Agent（图形用户界面智能体），通过模拟人类对屏幕的“看”和“点”，操作现有APP界面。

这是 AI 进行电脑操作、手机操作通用的处理方式。

WorkBuddy 推出电脑操控，恰好是在腾讯 Hy4 发布不久。

因为 Hy4 这次新增了一个能力：首次支持电脑操作，可灵活地结合使用命令行和图形界面。

这也是为何 WorkBuddy，会选择 Hy4 发布后，上线电脑操控的原因。

在整个实测体验中。

执行电脑操作的过程，还是很丝滑的。

能非常好地理解和完成任务。

现在 WorkBuddy 自动化操控三板斧，浏览器操控、远程桌面操控、电脑操控。

都已上线。

那这三种操控的区别是什么？

虽然是自动化操控，但应用场景，完全不一样。

浏览器操控，自动化操作你的浏览器，仅限于执行浏览器中的任务。

远程桌面操控，是通过手机操作你的电脑。

电脑操控，是 WorkBuddy 自动操作你电脑，模拟你操作电脑上的任何文件、应用。

浏览器操控、远程桌面操控，是给你多一双手。

电脑操控是给你多一个分身。

以前是人在给 Agent 下指令。

有电脑操控后，是 Agent 替你坐在电脑前。

WorkBuddy 这是把电脑从你用的工具，变成了替你上班的同事。

#WorkBuddy #WorkBuddy电脑操控 #WorkBuddy更新

内容来源：微信公众号“产品笔记”