ScreenAgentOpen‑source VLM-agent for å kontrollere datamaskinens GUI‑er via muse- og tastaturplanlegging og utførelse.

4.4 (5)

Anmeldt av Daniel Nikulshyn·Oppdatert juli 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Oversikt

ScreenAgent er en open-source Visual Language Model (VLM) agent designet for å kontrollere datamaskinens GUI via mus‑ og tastaturoperasjoner. Den muliggjør interaksjon med ekte dataskjermer ved å observere skjermbilder og utføre handlinger. Prosjektet inkluderer en planleggings‑utførelse‑refleksjonsprosess som guider agenten til å fullføre flertrinnsoppgaver. Det ble utviklet for å løse utfordringen med å lære agenter å bruke datamaskiner, og krever evner som oppgaveplanlegging, bildeforståelse og visuell posisjonering. ScreenAgent‑datasetten, som dekker ulike daglige dataskjermoppgaver, ble manuelt merket for å støtte agentens læring. Prosjektet består av en klient for å kontrollere skrivebordet, et dataset, modellarbeidere for inferens og treningskode. Det støtter grunnleggende mus‑ og tastaturoperasjoner og kan brukes på ulike skrivebordssystemer og applikasjoner. ScreenAgent‑s tilnærming er universell og forutsetter ingen spesifikke API, noe som gjør den allsidig.

Nøkkelfunksjoner

Utførelse av muse- og tastaturoperasjoner
Planleggings‑utførelse‑refleksjonsprosessen for oppgavefullføring
Støtte for ulike skrivebordssystemer og applikasjoner
Manuell annotering av ScreenAgent‑datasettet for mangfoldig oppgaveomfang
VLM-agent for GUI‑interaksjon

Priser

Modell: Freemium
Kategori: AI Agent Development Frameworks
Vurdering: 4.4 / 5 (5)

Brukstilfeller

Automatiser repeterende skrivebordsarbeidsflyter

Bruk VLM-agenten til å planlegge og utføre muse- og tastaturhandlinger på tvers av GUI‑applikasjoner, og håndtere rutinemessige flertrinnsoppgaver uten å skrive skript for hver interaksjon.

Forskning på visuelle språkagenter

Utnytt koden i åpen kildekode for å studere, benchmarke og utvide visjons‑språkmodeller som oppfatter skjermer og opererer datamaskiner.

Oppgavekjøring på tvers av applikasjoner

Beveg agenten til å planlegge og utføre oppgaver som spenner flere GUI‑programmer, navigere vinduer og kontroller via skjermforståelse.

Tilgjengelighet og assistiv kontroll

Gjør mulig naturlangselingsdrevet kontroll av en datamaskins GUI, slik at brukere kan utføre handlinger gjennom en agent som tolker skjermen og handler på deres vegne.

Fordeler og ulemper

Fordeler

Universell anvendelse på tvers av ulike skrivebordssystemer og applikasjoner
Mulighet til å utføre komplekse oppgaver gjennom en planleggings‑utførelse‑refleksjonsprosess
Støtte for grunnleggende muse- og tastaturoperasjoner for GUI‑interaksjon
Manuell dataset‑annotering for omfattende oppgaveomfang

Ulemper

Krever en VNC‑server eller lignende oppsett for fjernskrivebordsforbindelse
Krever komplekse oppgaveplanleggings‑ og bildeforståelsesfunksjoner
Avhenger av kvalitet og dekning av ScreenAgent‑datasettet

Anmeldelser

4.4

Gjennomsnitt fra 5 vurderinger.

Logg inn for å legge igjen en anmeldelse.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Spørsmål

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.