Self-Operating Computer开源 AI 代理，通过屏幕视觉和鼠标/键盘控制来操作您的电脑

4.7 (6)

审阅者 Daniel Nikulshyn·更新 2026年5月

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

概览

Self-Operating Computer 是一个开源框架，使多模态 AI 模型能够像人一样控制桌面。它可以捕获截图，解析界面，并发出鼠标点击和键盘输入，以在任何应用程序中执行用户定义的任务。该项目支持多种底层模型，包括具备视觉能力的 GPT-4、Gemini、Claude 和 LLaVA，用户可以在云端和本地选项之间进行选择。由于它是通过视觉而非 API 来操作，理论上可以运行人类能使用的任何程序，从浏览器到本地软件皆可。它主要面向探索自主代理、计算机使用 AI 和工作流自动化的开发者和研究者。设置通过命令行完成，任务以自然语言提示的方式描述。

主要功能

基于屏幕截图的屏幕理解
自动鼠标和键盘控制
多模型支持（GPT-4，Gemini，Claude，LLaVA）
自然语言提示任务
跨平台桌面兼容性
开源，可扩展的代码库

价格

模型: Freemium
分类: Task automation
评分: 4.7 / 5 (6)

使用场景

建立自行操作的计算机使用代理

研究人员和开发者可以尝试基于视觉的AI代理，它可以感知屏幕并控制鼠标和键盘来完成用户定义的桌面任务。

自动化跨应用程序的工作流

使用自然语言提示可以驱动横跨浏览器和本机应用程序的序列，因为该框架可以视觉上操作任何程序，而不依赖API。

在 UI 任务中benchmark 多模态模型

在相似的屏幕控制任务中比较 GPT-4（有视觉），Gemini，Claude 和 LLaVA 的准确性，速度和成本之间的权衡。

扩展一个开源代理框架

将代码库分叉并添加新模型，工具或任务策略，构建基于已有的工作基础上的定制自行操作代理。

优点 & 缺点

优点

免费和开源
支持多种视觉能力的LLM
可以控制任何可见的应用程序，而不仅仅是web
对于代理研究和实验有用
基础

缺点

准确性依赖于所选的模型
需要通过终端进行技术设置
可能会慢并出现UI错误
长时间任务中，API使用费用可能会增加

评测

4.7

6 个评分的平均值。

登录以留下评测。

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.