ScreenAgentAgent de langage visuel ouvert-source pour contrôler les interfaces graphiques d'ordinateur via planification et exécution de souris/clavier.

4.4 (5)

Évalué par Daniel Nikulshyn·Mis à jour juillet 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Aperçu

Le ScreenAgent est un agent de langage visuel ouvert-source conçu pour contrôler les interfaces graphiques d'ordinateur via opérations de souris et de clavier. Cela permet une interaction avec des écrans de vrai ordinateur en observant des captures d'écran et en exécutant des actions. Le projet inclut un processus de planification-exécution-réflexion qui guide l'agent pour la réalisation d'activités multi-étapes. Il a été créé pour répondre au défi de l'enseignement des agents à utiliser les ordinateurs, nécessitant des capacités telles que la planification de tâches, la reconnaissance d'images et la positionnement visuel. Le dataset ScreenAgent, qui couvre diverses tâches informatiques quotidiennes, a été annoté de manière manuelle pour soutenir l'apprentissage de l'agent. Le projet consiste en un client pour contrôler le bureau, un dataset, des ouvriers de modèle pour des résultats d'inférence et un code de formation. Il soutient des opérations de souris et de clavier de base et peut être appliqué à différents systèmes d'exploitation et applications de bureau. L'approche du ScreenAgent est universelle et ne repose pas sur des APIs spécifiques, ce qui en fait versatile.

Fonctionnalités clés

Exécution d'opérations de souris et de clavier
Processus de planification-exécution-réflexion pour la réalisation des tâches
Support pour différents systèmes d'exploitation et applications de bureau
Annotation manuelle du dataset ScreenAgent pour une couverture de tâche diverse
Agent de langage visuel pour l'interaction GUI

Tarifs

Modèle: Freemium
Catégorie: AI Agent Development Frameworks
Note: 4.4 / 5 (5)

Cas d’usage

Automatiser les workflows de bureau répétitifs

Utilisez l'agent de langage visuel pour planifier et exécuter les actions de souris et de clavier sur les applications GUI, gérant les tâches multi-étapes routine sans scripter chaque interaction.

Recherches sur les agents de langage visuel

Utilisez le codebase ouvert-source pour étudier, évaluer et étendre les agents de modèle vision-langage qui perçoivent des écrans et opèrent des ordinateurs.

Exécution de tâches transversales des applications

Directez l'agent pour planifier et exécuter des tâches qui couvrent plusieurs programmes GUI, naviguant les fenêtres et les contrôles via la compréhension de l'écran.

Contrôle assistif et accessibilité

Activiez un contrôle guidé par un langage naturel d'un ordinateur GUI, aidant les utilisateurs à effectuer des actions grâce à un agent qui interprète l'écran et agit en leur nom.

Pour & contre

Pour

Applicabilité universelle sur différents systèmes d'exploitation et applications de bureau
Capacité à effectuer des tâches complexes grâce à un processus de planification-exécution-réflexion
Support des opérations de souris et de clavier de base pour l'interaction GUI
Annotation dataset manuelle pour une couverture de tâche complète

Contre

Requiert un serveur VNC ou un setup similaire pour la connexion de bureau à distance
Capacités de planification de tâches complexes et de reconnaissance d'images nécessaires
Dépendant de la qualité et de la couverture du dataset ScreenAgent

Avis

4.4

Moyenne sur 5 avis.

Connecte-toi pour laisser un avis.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Questions & réponses

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.