ScreenAgentÖppen-källkodsbaserad VLM-agenter för att kontrollera datorns GUI via mus-/ tangentbordspianering och -utvinning.

4.4 (5)

Granskat av Daniel Nikulshyn·Uppdaterad juli 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Översikt

ScreenAgent är en öppen källkod Visual Language Model (VLM)-agent som är designad för att kontrollera datorns grafiska gränssnitt via mus- och tangentbordshantering. Den gör det möjligt att interagera med verkliga datorskärmar genom att observera skärmbilder och utföra åtgärder. Projektet inkluderar en planering-skepps-reaktionsprocess som guidar agenten att slutföra flermålssydda uppgifter. Det skapades för att tillfredsställa utmaningen att lära in för att använda datorer, som kräver kapaciteter som uppgiftsplanering, bildförståelse och visuellt positionerande. ScreenAgent-datatensem, som täcker olika dagliga datoruppgifter, annoterades manuellt för att stödja agentens lärande. Projektet består av en klient för att kontrollera skrivbordet, en datamängd, modellåtgärder för inferens och utbildningskod. Den stödjer grundläggande mus- och tangentbordsåtgärder och kan tillämpas på olika Windows-och Linux-desktop- och applikationer. ScreenAgencts förfarande är universellt och har inte beroende av specifika API:er, vilket gjort det flexibelt.

Nyckelfunktioner

Utförande av mus- och tangentbordshantering
Planera-utför-reflektera-proces för uppnådd uppgift
Stöd för olika skrivbordsdatoroperativ system och tillämpningar
Manuellt etikettering av ScreenAgent-databasen för varierad uppgiftsupptäckning
VLM-agenter för GUI-interaktion

Priser

Modell: Freemium
Kategori: AI Agent Development Frameworks
Betyg: 4.4 / 5 (5)

Användningsfall

Automatisera upprepat skrivbordsarbete

Använd VLM-agenten för att planera och utföra mus- och tangentbordshandlingar över GUI-tillämpningar, och hantera rutinmässiga flerstegsuppgifter utan att lägga upp varje interaktion.

Forskning rörande visuell språkförmedling

Leverera det öppen-källkods-baserade koden för att studera, benchmark och utöka vision-språk-modell-agenter som upptäcker skärmar och opererar datorer.

Kors-tillämpninguppgiftsutförande

Befordra agenten att planera och utföra uppgifter i flera flöden, navigera fönster och kontroller genom skärmförståelse.

Tillgänglighet och assistanskontroll

Tillåta naturlig-språk-styrda kontroller av datorns GUI, hjälpa användarna att utföra handlingar via en agent som tolkar skärmen och agerar på deras vägnar.

Fördelar och nackdelar

Fördelar

Universell tillämpning kring olika skrivbordsoperativ system och tillämpningar
Förmåga att utföra komplexa uppgifter genom ett planerings-utför-reflektera-process
Stöder grundläggande mus- och tangentbordshandlingar för GUI-interaktion
Manuellt etiketteringsalternativ för omfattande uppgiftsupptäckning

Nackdelar

Kräver en VNC-server eller en liknande uppbyggnad för fjärrskrivbordsanknutning
Beroende av komplex uppgiftsplanering och bildbegreppshantering
Beroende av kvaliteten och tätheten på ScreenAgent-databasen

Recensioner

4.4

Genomsnitt från 5 betyg.

Logga in för att lämna en recension.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Frågor

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.