ScreenAgentAtvērtā koda VLM aģents datoru GUI kontrolei ar peles/klaviatūras plānošanu un izpildi.

4.4 (5)

Pārskatījis Daniel Nikulshyn·Atjaunināts 2026. g. jūlijs

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Pārskats

ScreenAgent ir atvērta koda vizuālās valodas modelis (VLM) aģents, kas paredzēts datoru GUI kontrolei ar peles un klaviatūras operācijām. Tas ļauj mijiedarboties ar reālām datoru ekrāniem, novērojot ekrānuzņēmumus un veicot darbības. Projekts ietver plānošanas-izpildes-atspoguļošanas procesu, kas vada aģentu daudzpakāpju uzdevumu veikšanai. Tas tika izveidots, lai atrisinātu problēmu, mācot aģentiem lietot datorus, kas prasa tādas spējas kā uzdevumu plānošana, attēlu izpratne un vizuālā pozicionēšana. ScreenAgent datu kopa, kas aptver dažādus ikdienas datoru uzdevumus, tika manuāli anotēta, lai atbalstītu aģenta mācīšanos. Projekts sastāv no klienta darbvirsmas kontrolei, datu kopas, modeļu strādniekiem secinājumu izdarīšanai un apmācības koda. Tas atbalsta pamata peles un klaviatūras operācijas un var tikt piemērots dažādām darbvirsmas operētājsistēmām un lietojumprogrammām. ScreenAgent pieeja ir universāla un neatkarīga no konkrētiem API, kas padara to universālu.

Galvenās funkcijas

Peles un klaviatūras operāciju izpilde
Plānošanas-izpildes-atspoguļošanas process uzdevumu izpildei
Atbalsts dažādām darbvirsmas operētājsistēmām un lietojumprogrammām
Manuāla ScreenAgent datu kopas anotācija dažādiem uzdevumiem
VLM aģents GUI mijiedarbībai

Cenas

Modelis: Freemium
Kategorija: AI Agent Development Frameworks
Vērtējums: 4.4 / 5 (5)

Lietošanas gadījumi

Automātiska atkārtotu darbvirsmas darbplūsmu veikšana

Izmantojiet VLM aģentu, lai plānotu un izpildītu peles un klaviatūras darbības GUI lietojumprogrammās, veicot ikdienas daudzpakāpju uzdevumus bez katras mijiedarbības skriptēšanas.

Pētījumi par vizuālās valodas aģentiem

Izmantojiet atvērta koda kodu, lai pētītu, novērtētu un paplašinātu redzes-spējas valodas modeļu aģentus, kas uztver ekrānus un kontrolē datorus.

Uzdevumu izpilde starp lietojumprogrammām

Norādiet aģentam plānot un veikt uzdevumus, kas aptver vairākas GUI programmas, pārvietojoties pa logiem un vadīklām, izmantojot ekrāna izpratni.

Pieejamība un palīg kontrole

I iespējot dabiskās valodas kontroli datora GUI, palīdzot lietotājiem veikt darbības ar aģentu, kas interpretē ekrānu un darbojas viņu vārdā.

Plusi un mīnusi

Plusi

Universāla piemērotība dažādām darbvirsmas operētājsistēmām un lietojumprogrammām
Spēja veikt sarežģītus uzdevumus ar plānošanas-izpildes-atspoguļošanas procesu
Atbalsts pamata peles un klaviatūras operācijām GUI mijiedarbībai
Manuāla datu kopas anotācija visaptverošai uzdevumu pārklājumam

Mīnusi

Prasa VNC serveri vai līdzīgu iestatījumu attālai darbvirsmas savienojumam
Sarežģītas uzdevumu plānošanas un attēlu izpratnes spējas nepieciešamas
Atkarīgs no ScreenAgent datu kopas kvalitātes un pārklājuma

Atsauksmes

4.4

Vidējais no 5 vērtējumiem.

Pieslēdzies, lai atstātu atsauksmi.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Jautājumi

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.