ScreenAgentOpen-source VLM-agent om computer-GUIs te bedienen via muis/toetsenbordplanning en -uitvoering.

4.4 (5)

Beoordeeld door Daniel Nikulshyn·Bijgewerkt juli 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Overzicht

ScreenAgent is een open-source Visual Language Model (VLM) agent die is ontworpen om computer-GUIs te bedienen via muis- en toetsenbordbewerkingen. Het stelt interactie met echte computerschermen mogelijk door het observeren van screenshots en het uitvoeren van acties. Het project omvat een plan-uitvoer-reflectieproces dat de agent leidt om multi-stappentaken te voltooien. Het werd gemaakt om de uitdaging aan te pakken van het trainen van agents om computers te gebruiken, waarbij mogelijkheden zoals taakplanning, beeldbegrip en visuele positionering vereist zijn. De ScreenAgent-dataset, die verschillende dagelijkse computertaken dekt, werd handmatig geannoteerd om het leren van de agent te ondersteunen. Het project bestaat uit een client voor het bedienen van het bureaublad, een dataset, modelwerkers voor inferentie en trainingscode. Het ondersteunt basale muis- en toetsenbordbewerkingen en kan worden toegepast op verschillende desktopbesturingssystemen en applicaties. De aanpak van ScreenAgent is universeel en is niet afhankelijk van specifieke APIs, waardoor het veelzijdig is.

Belangrijkste functies

Uitvoering van muis- en toetsenbordbewerkingen
Plan-uitvoer-reflectieproces voor taakvoltooiing
Ondersteuning voor verschillende desktopbesturingssystemen en applicaties
Handmatige annotatie van de ScreenAgent-dataset voor diverse taakdekking
VLM-agent voor GUI-interactie

Prijs

Model: Freemium
Categorie: AI Agent Development Frameworks
Beoordeling: 4.4 / 5 (5)

Toepassingen

Automatiseer repetitieve bureaubladworkflows

Gebruik de VLM-agent om muis- en toetsenbordacties te plannen en uit te voeren across GUI-applicaties, waarbij routinematige multi-stappentaken worden afgehandeld zonder elke interactie te scripten.

Onderzoek naar visuele taalagents

Maak gebruik van de open-source codebase om visuele taalmodelagents die schermen waarnemen en computers bedienen te bestuderen, te benchmarken en uit te breiden.

Uitvoering van taken across applicaties

Stuur de agent om taken te plannen en uit te voeren die meerdere GUI-programma's overspannen, waarbij vensters en controles worden genavigeerd via schermbegrip.

Toegankelijkheid en assistieve controle

Schakel natuurlijke-taalgestuurde controle van een computer's GUI in, waardoor gebruikers acties kunnen uitvoeren via een agent die het scherm interpreteert en namens hen handelt.

Pluspunten & minpunten

Pluspunten

Universele toepasbaarheid across verschillende desktopbesturingssystemen en applicaties
Mogelijkheid om complexe taken uit te voeren via een plan-uitvoer-reflectieproces
Ondersteunt basale muis- en toetsenbordbewerkingen voor GUI-interactie
Handmatige datasetannotatie voor uitgebreide taakdekking

Minpunten

Vereist een VNC-server of vergelijkbare installatie voor externe bureaubladverbinding
Complexe taakplanning en beeldbegrip-mogelijkheden vereist
Afhankelijk van de kwaliteit en dekking van de ScreenAgent-dataset

Recensies

4.4

Gemiddelde van 5 beoordelingen.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Vragen

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.