GPT-4V 学会自动控制计算机的那一天终于到来了。

只需要在GPT-4V上连接鼠标和键盘，即可根据浏览器界面上网：

您甚至可以快速找出“播放音乐”的播放器网站和按钮，并为自己播放一首音乐：

是不是想想都有点后怕呢？

这是一个由MIT 本科生创建的新工作，名为GPT-4V-Act。

只需几个简单的工具，GPT-4V 就可以学会控制键盘和鼠标、使用浏览器在线发帖、买东西，甚至玩游戏。

如果所使用的工具存在错误，GPT-4V甚至可以识别它并尝试解决它。

让我们看看这是如何完成的。

教GPT-4V“自动上网”

GPT-4V-Act 本质上是一个基于网络浏览器的AI 多模式助手(Chromium Copilot)。

它可以像人类一样使用鼠标、键盘和屏幕“查看”网页界面，并通过网页上的交互按键进行下一步。

为了达到这个效果，除了GPT-4V之外，还使用了三个工具。

一是UI界面，它可以让GPT-4V“看到”网页截图，并允许用户与GPT-4V进行交互。

这样，GPT-4V就能以对话框的形式体现每一步的操作思路，用户可以决定是否继续让它操作。

另一个是Set-of-Mark Prompting (SoM) 工具，这是一个允许GPT-4V 学习交互的工具。

该工具是微软为了更好地在GPT-4V上进行提示词工程而发明的。

与让GPT-4V直接“看图说话”相比，该工具可以将图片的关键细节分割成不同的部分并编号，让GPT-4V有的放矢：

对于网页也是如此。 Set-of-Mark Prompting 使用类似的方法让GPT-4V 知道从网络浏览器的哪个部分找到答案并与之交互。

最后，你需要使用一个自动标签器（JS DOM auto-labeler），它可以为网页上的所有交互按钮添加标签，并让GPT-4V 决定按下哪一个。

经过一组流程，GPT-4V不仅能准确判断图片上哪些内容符合需求，还能准确找到交互按钮，学会“自动上网”。

这是一个很大的项目，目前只实现了部分功能，包括点击、打字交互、自动标注等。

接下来还有其他功能需要实现，比如尝试AI标记（目前网页上的交互还是通过JS接口知道在哪里交互，而不是AI识别），提示用户输入详细信息等

比如GPT-4V-Act打开网页后可能会被铺天盖地的弹窗广告“迷惑”，进而出现交互bug。

再比如，目前的这个玩法可能违反了OpenAI的产品使用规定：

除非API 允许，否则不得使用任何自动化或编程方法从服务中提取和输出数据，包括抓取、网页抓取或网页数据提取。

所以使用的时候一定要低调（doge）

该项目发布到网上后，引起了广泛关注。

佳作！

有网友提到，甚至可以用来让AI自己读取验证码。

SoM项目中提到了这一点。 GPT-4V可以成功解码验证码（这样你以后上网可能不知道是人还是机器）。

与此同时，一些网友已经开始想象桌面自动化的操作。

AI自动标注器应该可以实现这一点，我也确实打算做一个更通用的Copilot。

不过，GPT-4V 仍然收费。还有其他的实现方法吗？

您可以期待一波免费的自动化桌面流媒体人工智能助手。

参考链接：[1]https://github.com/ddupont808/GPT-4V-Act[2]https://www.reddit.com/r/MachineLearning/comments/17cy0j7/d_p_web_browsing_uibased_ai_agent_gpt4vact/

- 超过-