ScreenAgentOffene Quellensprach-Modell-Agent zur Steuerung von Computer-GUIs über Maus/Tastenplanung und -ausführung.

4.4 (5)

Geprüft von Daniel Nikulshyn·Aktualisiert Juli 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Übersicht

ScreenAgent ist ein offenes Quellensprach-Visuelles Sprachmodell (VLM)-Agent, der Computer-GUIs über Maus- und Tastenoperationen steuert. Es ermöglicht die Interaktion mit echten Computerbildschirmen, indem Screenshot-Beobachtung und -Ausführung erfolgen. Das Projekt umfasst ein planungs-ausführungs-reflektives Prozess, der die Agenten leitet, um mehrschritte Aufgaben abzuschließen. Es wurde erstellt, um die Herausforderung anzugehen, Agenten zu lernen, mit Computern umzugehen, und damit erforderliche Fähigkeiten wie Aufgabenplanung, Bildverstehen und visuelle Positionierung zu benötigen. Das ScreenAgent-Dataset, das verschiedene tägliche Computeraufgaben abdeckt, wurde manuell annotiert, um Unterstützung für die Lernfähigkeit des Agenten bereitzustellen. Das Projekt besteht aus einem Client zum Kontrollen des Desktops, einem Dataset, Modellern für die Inferenz und dem Trainingscode. Es unterstützt grundlegende Maus- und Tastenoperationen und kann auf verschiedenen Desktop-Betriebssystemen und Anwendungen angewendet werden. ScreenAgent's Ansatz ist universell und beruht nicht auf spezifischen APIs.

Hauptfunktionen

Ausführung von Maus- und Tastenoperationen
Planungs-ausführungs-reflektiver Prozess für Aufgabenabgeschlossenheit
Unterstützung für verschiedene Desktop-Betriebssysteme und Anwendungen
Manuelle Annotation des ScreenAgent-Datasets für diverse Aufgabenabdeckung
VLM-Agent für GUI-Interaktion

Preise

Modell: Freemium
Kategorie: AI Agent Development Frameworks
Bewertung: 4.4 / 5 (5)

Anwendungsfälle

Automatisierung wiederholter Desktop-Workflows

Verwenden Sie den VLM-Agent, um Maus- und Tastenaktionen über GUI-Anwendungen zu planen und auszuführen, und routine-mehrschrittige Aufgaben, ohne jedes Interaktions zu skriptieren, zu handhaben.

Forschung zu visuellen Sprachagenten

Nutzen Sie die offene Quellencodebasis, um zu studieren, zu benchmarken und auszudehnen, wie vision-sprach-Modelle, die Bildschirme wahrnehmen und Computer steuern.

Querverbindungsaufgaben

Richten sie den Agenten an, um Aufgaben zu planen und auszuführen, die sich über mehrere GUI-Programme erstrecken, indem Fenster und Kontrollen über den Bildschirmaufnahme navigiert werden.

Barrierefreiheit und assistives Steuerung

Ermöglichen Sie die natursprach-getriebene Steuerung eines Computer-GUI, und helfen Sie den Nutzern, Aktionen durch einen Agenten zu vollziehen, der das Bildschirm und handelt nach ihrem Auftrag.

Pro & Contra

Pro

Universelle Anwendbarkeit auf verschiedene Desktop-Betriebssysteme und Anwendungen
Fähigkeit zur Durchführung komplexer Aufgaben durch einen planungs-ausführungs-reflektiven Prozess
Unterstützung grundlegender Maus- und Tastenoperationen für GUI-Interaktion
Manuelle Dataset-Annotation für umfassende Aufgabenabdeckung

Contra

Wird ein VNC-Server oder ähnlicher Setup für den Remotedesktop-Verbindung erforderlich
Komplizierte Aufgabenplanung und Bildverstehensfähigkeit erforderlich
Abhängigkeit von der Qualität und der Abdeckung des ScreenAgent-Datasets

Bewertungen

4.4

Durchschnitt aus 5 Bewertungen.

Melde dich an, um eine Bewertung abzugeben.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Fragen & Antworten

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.