ScreenAgentAtviroji-VLJ agentas, kontroliuojantis kompiuterio GUI per mygtukų ir klaviatūros planavimą ir vykdymą.

4.4 (5)

Apžvelgė Daniel Nikulshyn·Atnaujinta 2026 m. liepa

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Apžvalga

ScreenAgent yra atvirojo kodo Visual Language Model (VLM) agentas, kuris sukurtas kontroliuoti kompiuterio GUI naudojantis mygtukų ir klaviatūros veiksmais. Tai leidžia interagavimą su realių kompiuterių ekranais per ekrano nuotraukų tyrimą ir veiksmai vykdytas. Projekto sudėlyje yra planavimo-vykdymo-įsigilinimo proceso, kuris veda agentą pabaigtą multi-veiksmių užduotis. Projektas sukurtas dėl šviko agentas kokybės mokymas naudot kompiuterius, reikalaujantis galimybių, kaip užduoties planavimas, nuotraukuojus ir vizualinis pozicijavimas. ScreenAgent duomenų bazę, besiželdančią įvairių kasdienų kompiuterių užduotis, manualiai anotavo palaikyti agentas mokymasi. Projekte yra klientas vadovaujantis desktop, duomenų bazė, modelio darbuotojai dėl prieintį, ir treniravimo kodas. Projektas palaiko pagrindines klaviatūros ir klaviatūros veiksnius ir gali būti taikytas įvairioms desktop operacinėms sistemoms ir programoms. ScreenAgent tikslai yra universalūs ir nepriklauso konkretiems API, dėl kurių tai yra paprastas.

Pagrindinės funkcijos

Mygtukų ir klaviatūros veiksmai vykdyti
Planavimo-vykdymo-įsigilinimo procesas užduotį baigti
Vario desktop operacinėms sistemoms ir programoms
Manualiai nuorodų ScreenAgent duomenų bazė ir įvairioms užduotims apimti
VLM agentas GUI interakcijai
API nepriklausymas

Kainos

Modelis: Freemium
Kategorija: AI Agent Development Frameworks
Įvertinimas: 4.4 / 5 (5)

Naudojimo atvejai

Automatizuoti kartokėlėms desktop srautelius

VLM agentą naudoti planuoti ir vykdyti mygtukų ir klaviatūros veiksnius GUI programoms, tvarkant daugialąsčių veiksmų užduotis be skriptavimo kas kartą

Tyrimai ir vizualųjų kalbos agentų tyrimai

Vykdyti atvirojo kodą bei studijas, tyrimus ir pabrėžimus, taip palaiko žinių apie skriptus ir operavimą kompiuteriuose

Kranto-sistema užduotų įvykdimas

Kontrolė agentą planuoti ir vykdyti užduotis, apimti daugį programu programuose, ir naviguoti langais ir priežastys per ekranų pasitikėjimą

Prieigos ir asistentinio valdymo

Palaiko priigą priklausomų priklausomų ekrano priigą ir priklausomų priklausomų kompiuterio valdymo ekrano, priešingas agentus prieinti ekraną ir priklauso nuo priklausomų priklausomų priklausomų priklausomų priklausomų priklausomų priklausomų kompiuterio valdymai

Privalumai ir trūkumai

Privalumai

Universali vertikas įvairioms desktop operacinėms sistemoms ir programoms
Gali vykdyti kompleksinio veiksmų procežsas planavimo-vykdymo-įsigilinimo procesu
Palaiko pagrindines mygtukų ir klaviatūros veiksnius GUI interakcijai
Manualiai anotavo duomenų bazė ir įvairioms užduotims apimti

Trūkumai

Reikalauja VNC serverio arba panašaus įdiegimo užsienio desktop ryšiui
Kompleksinis veiksmų planavimo ir nuotraukuojus vietų galimybių irereikė
Prikeliasi duomenų bazės kokybės ir apimties

Atsiliepimai

4.4

Vidurkis iš 5 įvertinimų.

Prisijunk, kad paliktum atsiliepimą.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Klausimai

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.