ScreenAgentOpen‑source VLM agent na ovládanie počítačových GUI pomocou plánovania a vykonávania myši/klávesnice.

4.4 (5)

Recenzované Daniel Nikulshyn·Aktualizované júl 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Prehľad

ScreenAgent je open-source agent vizuálneho jazykového modelu (VLM), navrhnutý na ovládanie počítačových GUI pomocou operácií myši a klávesnice. Umožňuje interakciu so skutočnými počítačovými obrazovkami sledovaním snímkov obrazovky a vykonávaním akcií. Projekt obsahuje proces plánovanie‑vykonanie‑reflexia, ktorý vedie agenta k dokončeniu viacstupňových úloh. Bol vytvorený na riešenie výzvy naučiť agentov používať počítače, čo vyžaduje schopnosti ako plánovanie úloh, porozumenie obrazu a vizuálne pozicionovanie. Dataset ScreenAgent, ktorý pokrýva rôzne každodenné počítačové úlohy, bol manuálne anotovaný na podporu učenia agenta. Projekt pozostáva z klienta na ovládanie desktopu, datasetu, modelových pracovníkov pre inference a tréningového kódu. Podporuje základné operácie myši a klávesnice a môže byť aplikovaný na rôzne desktopové operačné systémy a aplikácie. Prístup ScreenAgent je univerzálny a nespočíva na konkrétnych API, čo ho robí veľmi všestranným.

Kľúčové funkcie

Vykonávanie operácií myši a klávesnice
Proces plánovanie‑vykonanie‑reflexia pre dokončovanie úloh
Podpora rôznych desktopových operačných systémov a aplikácií
Manuálna anotácia datasetu ScreenAgent pre rozmanité pokrytie úloh
VLM agent pre interakciu s GUI

Cenník

Model: Freemium
Kategória: AI Agent Development Frameworks
Hodnotenie: 4.4 / 5 (5)

Prípady použitia

Automatizovať opakujúce sa desktopové pracovné postupy

Použiť VLM agenta na plánovanie a vykonávanie akcií myši a klávesnice v rôznych GUI aplikáciách, riešiť rutinné viacstupňové úlohy bez skriptovania každej interakcie.

Výskum vizuálnych jazykových agentov

Využiť open-source kódovú základňu na štúdium, benchmarkovanie a rozšírenie agentov vision-language modelov, ktoré vnímajú obrazovky a ovládajú počítače.

Vykonávanie úloh naprieč viacerými aplikáciami

Nasmerovať agenta na plánovanie a realizáciu úloh zahŕňajúcich viacero GUI programov, navigovať okná a ovládacie prvky pomocou porozumenia obrazovke.

Prístupnosť a asistívne ovládanie

Umožniť ovládanie počítačového GUI pomocou prirodzeného jazyka, pomáhať používateľom vykonávať akcie prostredníctvom agenta, ktorý interpretuje obrazovku a koná v ich mene.

Klady a zápory

Klady

Univerzálna použiteľnosť naprieč rôznymi desktopovými operačnými systémami a aplikáciami
Schopnosť vykonávať komplexné úlohy prostredníctvom procesu plánovanie‑vykonanie‑reflexia
Podporuje základné operácie myši a klávesnice pre interakciu s GUI
Manuálna anotácia datasetu pre komplexné pokrytie úloh

Zápory

Vyžaduje VNC server alebo podobné nastavenie pre vzdialené pripojenie k desktopu
Vyžaduje pokročilé schopnosti plánovania úloh a porozumenia obrazu
Závisí od kvality a pokrytia datasetu ScreenAgent

Recenzie

4.4

Priemer z 5 hodnotení.

Prihlás sa, aby si napísal recenziu.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Otázky

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.