ScreenAgentNyílt forráskódú VLM ügynök a számítógépes GUI-k ellenőrzéséhez egér/ billentyűs rendszer tervezésével és végrehajtásával.

4.4 (5)

Értékelte Daniel Nikulshyn·Frissítve 2026. július

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Áttekintés

A ScreenAgent egy nyílt forráskódú Visual Language Model (VLM) ügynök, melyet a számítógépes GUI-k ellenőrzésére terveztek egér és billentyűs üzemeltetésével. Megengedi, hogy az ügynök interakciót bonyolítson le a valódi számítógépes képernyőkhez figyelve a képernyőkép és végrehajtja az akciókat. A projektnek egy tervezés-végrehajtás-reflexió folyamata van, amely szolgálja a több lépcsős feladatok elérését. Olyan képességeket igényel, mint a feladat tervezetes, kép értelmezés és látási pozícionálás. A ScreenAgent adatbázisának két éven keresztül történő manuális kódolását hozták létre annak támogatására, hogy az ügynök tanuljon. A projekt két alkotóeleme van: a felhasználóhoz tartozó klienst a desktop-ellenőrzéshez, az adatbázist, az inaktivitás munkásokat a következtetést és a tréningkódot. Támogatja a lényegi egér- és billentyűs üzemeltetést és alkalmazható különböző asztali operációs rendszerekre és alkalmazásokra. Az ScreenAgent megközelítése széles körben érvényes, és nem számít az adott API-kra, így rugalmas.

Fő funkciók

Egér-és billentyűs üzemeltetés végrehajtása
A tervezés-végrehajtás-reflexió folyamata több lépcsős feladatok eléréséhez
Támogatás különböző desktop- operációs rendszerekre és alkalmazásokra
A ScreenAgent adatbázisának kézi kódolása kiterjedt feladatak lefedésének biztosításához
A VLM- ügynök a GUI felhasználásához.

Árazás

Modell: Freemium
Kategória: AI Agent Development Frameworks
Értékelés: 4.4 / 5 (5)

Felhasználási esetek

Automatizáljuk a redundáns desktop általános munkafolyamatokat

Használja a VLM-ügynököt, és tervezze meg az egér-és billentyűs üzemeltetést a GUI- alkalmazásokon a mindennapi munkafolyamatok megismétlése nélkül.

A vizuális nyelvi ügynök kutatása

Hajtsa végre a vizuális nyelvi utasítások kódját tanulmányozva, tesztelve és bővítve a képérzékeléses szöveges modell ügynököt.

Az alkalmazások közötti feladat végrehajtás

Terjessze el az ügynököt, és irányítsa őt ahhoz, hogy tervezze meg és fejezze be a feladatokat több GUI alkalmazáson keresztül, értelmezve a képernyőt.

A hozzáférési és asszisztáló ellenőrzés

Engedélyezze az önszuszta nyelvi irányítást a számítógép GUI-jának vezérléséhez, amely az ügynök által azonosítja a kijelzőt és hajtja végre az ügyfelek utasításait.

Előnyök és hátrányok

Előnyök

Széles körben érvényes alkalmazhatóság különböző asztali operációs rendszerekre és alkalmazásokra
A bonyolult feladatokat komplex tervezés-végrehajtás-reflexió folyamat segítségével képes végrehajtani
A lényegi egér-és billentyűs üzemeltetés támogatása a GUI- interakciónak
A kézi adatbázis kódolás a kiterjedt feladatainak lefedésére.

Hátrányok

Eltérő készlet VNC szerver vagy hasonló beállításra szükség van a távoli desktop elérése érdekében
A bonyolult feladat tervezés és kép értelmeztetés képességet igényel
A ScreenAgent adatbázisának minősége és lefedettség függ a hatékonyságtól.

Értékelések

4.4

Átlag 5 értékelésből.

Jelentkezz be értékelés írásához.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Kérdések

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Kérdezz

AI Agent Development Frameworks alternatívái

Wildcard AI / agents.json

AI Agent Development Frameworks

Nyílt specifikáció és platform, amely lehetővé teszi az AI-ügynökök számára, hogy felfedezzék és hívják az API munkafolyamatokat egy agents.json fájlon keresztül.

5.0 (6)

Freemium