Self-Operating ComputerAgent AI open-source care operează computerul dvs. prin viziune pe ecran și control al mouse-ului/tastaturii.

4.7 (6)

Recenzat de Daniel Nikulshyn·Actualizat mai 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Prezentare

Auto-Operativul Computer este o bază de cod deschisă care permite modelelor inteligente modale multiple să controleze un birou de modul în care o persoană ar face-o. Încadrează captură de ecran, interpretează interfeța și emite clipei mouse și input-uri cheia pentru a efectua sarcini definite de utilizator în across toate aplicațiile. Proiectul sprijină multiple modele de bază, inclusiv GPT-4 cu vedere, Gemini, Claude, și LLaVA, permițând utilizatorilor să alegă între opțiuni cloud și locale. Pentru că funcționează vizual, mai degrabă decât printr-un API, el poate opera teoretic orice program care este utilizat de o persoană, de la browsere la software native. Este principalmente destinate dezvoltatorilor și cercetătorilor care explorează agenții autonomizate, inteligența artificială a utilizării calculatorului și automatizarea fluxurilor de lucru. Setarea se realizează prin consolă de comenzi, iar task-urile sunt descrise prin prompții în limbaj natural.

Funcții cheie

Înțelegerea ecranului pe baza capturilor de ecran
Control automat al mouse-ului și tastaturii
Suport multi-model (GPT-4, Gemini, Claude, LLaVA)
Prompts de sarcină în limbaj natural
Compatibilitate desktop cross-platform
Cod sursă deschis, extensibil

Prețuri

Model: Freemium
Categorie: Task automation
Evaluare: 4.7 / 5 (6)

Cazuri de utilizare

Prototipuri de agenți autonomi de utilizare a computerului

Cercetătorii și dezvoltatorii pot experimenta cu agenți AI bazați pe viziune care percep ecranul și controlează mouse-ul și tastatura pentru a îndeplini sarcini desktop definite de utilizator.

Automatizarea fluxurilor de lucru cross-aplicație

Utilizați prompturi de limbaj natural pentru a conduce secvențe în browsere și aplicații native, deoarece cadrul operează orice program vizual, fără a se baza pe API-uri.

Echilibrarea modelelor multimodale pe sarcini UI

Comparați GPT-4 cu viziune, Gemini, Claude și LLaVA pe sarcini de control al ecranului identice pentru a evalua acuratețea, viteza și compromisurile de cost.

Extinderea unui cadru de agent open-source

Fork și modificați codul sursă pentru a adăuga noi modele, instrumente sau strategii de sarcină, construind agenți autonomi personalizați pe baza unei fundații funcționale.

Pro și contra

Pro

Gratuit și open source
Funcționează cu mai multe LLMs capabile de viziune
Controlează orice aplicație vizibilă, nu doar web
Bază utilă pentru cercetarea și experimentarea agenților

Contra

Precizia depinde foarte mult de modelul ales
Cerințe de configurare tehnică prin terminal
Poate fi lent și poate face greșeli UI
Costurile de utilizare a API-ului se pot adăuga la sarcini lungi

Recenzii

4.7

Medie din 6 evaluări.

Conectează-te pentru a lăsa o recenzie.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.