ScreenAgentOtevřený zdroj agent VLM pro ovládání počítačové GUI skrze plánování a provádění myši/klávesnice.

4.4 (5)

Recenzováno Daniel Nikulshyn·Aktualizováno červenec 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Přehled

ScreenAgent je otevřený zdroj Visual Language Model (VLM) agent navržený tak, aby ovládal počítačovou GUI skrze klávesnice a myši operace. Poskytuje interakci s reálními počítačovými obrazovkami pozorováním screenshotů a spouštěním akcí. Projekt zahrnuje plánování-provádění-zpětná vazba proces, který agenta vede k dokončení multi-uzlech úloh. Byl vytvořen k řešení výzvy naučit.agentů, používat počítače, vyžadovat schopnosti, jako je plánování úloh, pochopení obrazu a vizuální umísťovací schopnosti. Dataset ScreenAgent, pokrývající různé denní počítačové úlohy, byl ručně označován, aby podporoval agentovo vzdělávání. Projekt se skládá z klienta pro ovládání desktopu, datového souboru, pracovníků modelů pro infere, kódů pro trénování a podporuje základní myši a klávesnici operace. Může být použito ke kontrole na různých desktopových operačních systémech a aplikacích. ScreenAgent je přístupný celému světu a nepřiléhá na konkrétní API, což z něj činí univerzální.

Klíčové funkce

Úplné provedení akci mice/klávesnice
Plánování provanění zpětného odrazu k dokončení úloh
Poddporuje různé desktopové operační systémy a aplikace
Ruční označování datového souboru ScreenAgent pro diverzifikaci úkolů
Agent VLM pro interakci GUI

Ceník

Model: Freemium
Kategorie: AI Agent Development Frameworks
Hodnocení: 4.4 / 5 (5)

Případy užití

Automatizujte opakovaná desktopová workflow

Použijte agent VLM k plánování a provádění myši a klávesnice operacních se GUI aplikacemi, zvláště pravidelných více-etapových úloh bez skriptování každého kontaktu

Výzkum vizuální agenta jazyka

Leverage otevřený zdroj kódbase ke studiu, benchmarkingu a rozšíření vizualizace jazykových modelů, která vnímají obrazovky a pracují s počítači

Průmyslné vykonávání úkolů se více aplikacemi

Směřujte agenta, aby plánoval a vykonával úkoly s více GUI programy, projížděl okny a ovládatelkami prostřednictvím pochopení obrazu

Dostupnost a pomocné ovládání

Povolte přirozené jazykové ovládání počítačové GUI, pomáhající uživatelům vykonávají akce skrz agenta, který interpretuje obrazovku a jedná na jejich místo

Pro a proti

Pro

Univerzální uplatnění na různých operačních systémech desktop a aplikacích
Schopnost vykonávat složité úlohy prostřednictvím plánování provanění odrazu
Podporuje základní operace mice/klávesnice pro interakci se GUI
Datasety ručně označené pro zajištění plného krytí úkolů

Proti

Potřebuje VNC server nebo podobné nastavení pro připojení k desktopu na dálku
Schopnosti pro plánování složitéch úkolů a pochopení obrazu jsou vyžadovány
Dependuje na kvalitě a pokrytí datového souboru ScreenAgent

Recenze

4.4

Průměr z 5 hodnocení.

Přihlas se, abys mohl napsat recenzi.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Otázky

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.