Self-Operating ComputerNyílt forráskódú, képesírással és billentyűzással irányított számítógép, amely a képernyőről működik

4.7 (6)

Értékelte Daniel Nikulshyn·Frissítve 2026. május

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Áttekintés

A Self-Operating Computer egy nyílt forráskódú keretrendszer, amely lehetővé teszi a multimodális AI-modellek számára, hogy az asztali gépret úgy irányítsák, ahogyan az emberirendelték. A gépképbetöltésről, a felület értelmezéséről és a szöuli jelzésekre adott reakciókról szóló adatok segítenek az önszerveződő feladatok elvégzésében az összes alkalmazás terén, amelyeken belül a felhasználó elvárások szerint működik. A projekt támogatja több alapmodellt is, ideértve a látással rendelkező GPT-4-öt, Geminit, Claudét és LLaVÁ-t, így lehetőség nyílik a felhasználók számára, hogy választhassanak cloudbeli és lokális opciókat. Mivel vizuálisan, nem pedig API-eken keresztül működik, teorétesen bármely programot képes működtetni, amelyet egy ember használ, a böngészők és a natív szoftverektől a natív alkalmazásokig. Főként fejlesztőknek és kutatóknak készült, akik a független ügynökökkel, a számítógéppel kapcsolatos AI-vel, valamint a workflow automatizálással foglalkoznak. A telepítés a parancssor segítségével történik, és az feladatokat természetes nyelvet használó parancsokban írják le.

Fő funkciók

Képernyő-kép alapú kijelző értelmezés
Automatizált egér és billentyűkontroll
Multi-model támogatás (GPT-4, Gemini, Claude, LLaVA)
Természetes nyelvű feladat indításiutasítások
Széles körben elterjedt desktop-kompatibilitás
Nyeit forráskódú, extenzibilis kódalap

Árazás

Modell: Freemium
Kategória: Task automation
Értékelés: 4.7 / 5 (6)

Felhasználási esetek

prototype autonóm számítógép felhasználási ügynökei

A kutatók és a fejlesztők a látással működő, a képernyőt értelmező AI-ügynökekkel kísérletezhetnek, hogy a felhasználó által meghatározott feladatként a számítógép kezelését megvalósítsák

Automatizálja a keresztes alkalmazások közötti fluszt

Természetes nyelvi utasításokkal hajtsa végre a sorozatokat a browserekben és a natív alkalmazásokban, mivel a keretrendszer a bármilyen programot számítógépen képesírással és billentyűzással irányítani, nem az APIs-re támaszkodva.

Becenászódás a multimodális modelleken a UI feladatoknál

Összehasonlítás GPT-4-vel látással, Gemini, Claude, és LLaVA azzal, hogy a felhasználó számára meghatározható feladatokon valamennyi feladatot, hogy összehasonlítson az pontos mértékét, a sebességet és a költséghatékonyságot.

Fejlesztse át a nyílt forráskódú ügynök keretrendszert

Adja fel a forráskódot új modeltekkel, eszközökkel és feladat stratégiákkal, és számítsa fel a szakosodott ügynöket a széles körben elfogadható alapokra építve

Előnyök és hátrányok

Előnyök

Ingyenes és nyílt forráskódú
Működik több vizioner képesírási LLM-eszel
Bármely látható alkalmazást irányít, nem csak a webet
Hasznos alap, amelyen kutatók és kísérletezők a szakosodott ügynökhöz
Alapja egy nyílt forráskódú projektre
Feltöltheti több modellet

Hátrányok

A pontosultság nagymértékben függ a megválasztott modelltől
A technika szükséges beállítását a terminálon kell elvégezni
Lassú és UI hibákat csinálhat
Az API használatának költségei egyre többet adódnak a hosszú feladatoknál

Értékelések

4.7

Átlag 6 értékelésből.

Jelentkezz be értékelés írásához.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.