ScreenAgentAgente de VLM de código abierto para controlar interfaz de usuario de computadora mediante planificación y ejecución de teclado / ratón.

4.4 (5)

Reseñado por Daniel Nikulshyn·Actualizado julio de 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Resumen

ScreenAgent es un agente de VLM de código abierto diseñado para controlar la interfaz de usuario de computadora mediante operaciones de ratón y teclado. Permite interactuar con pantallas de computadora reales observando capturas de pantalla y ejecutando acciones. El proyecto incluye un proceso de planificación-ejecución-reflexión que guía al agente para completar tareas de múltiples pasos. Se creó para abordar el desafío de enseñar a los agentes a usar computadoras, requiriendo capacidades como la planificación de tareas, la comprensión de imágenes y la ubicación visual. El conjunto de datos de ScreenAgent, que cubre diversas tareas de computadora diarias, se anotó manualmente para apoyar el aprendizaje del agente. El proyecto consiste en un cliente para controlar el escritorio, un conjunto de datos, trabajadores de modelo para inferencia y código de entrenamiento. Se admite la ejecución de operaciones básicas de ratón y teclado y se aplica a diferentes sistemas operativos de escritorio y aplicaciones. La aproximación de ScreenAgent es universal y no depende de APIs específicas, lo que la hace versátil.

Funciones clave

Ejecución de operaciones de ratón y teclado
Proceso de planificación-ejecución-reflexión para la completación de tareas
Soporte para varios sistemas operativos de escritorio y aplicaciones
Anotación manual del conjunto de datos de ScreenAgent para una cobertura de tareas versátil
Agente de VLM para la interacción de interfaz de usuario

Precio

Modelo: Freemium
Categoría: AI Agent Development Frameworks
Valoración: 4.4 / 5 (5)

Casos de uso

Automatizar Flujo de Trabajo de Escritorio Repetitivo

Utilice el agente de VLM para planificar y ejecutar acciones de teclado y ratón en aplicaciones de interfaz de usuario, manejando tareas de varios pasos rutinarios sin necesidad de scriptear cada interacción.

Investigación sobre agentes de lenguaje visual

Lleva a la práctica el código de código abierto para estudiar, medir y ampliar los agentes visión-lenguaje que perciben pantallas y operan computadoras.

Ejecución de Tareas a lo largo de Aplicaciones

Directe al agente para que planifique y llevar a cabo tareas que abarcan múltiples programas de interfaz de usuario, navegando ventanas y controles mediante la comprensión de la pantalla.

Accesibilidad y control asistivos

Haga posible el control por lenguaje natural de la interfaz de usuario de una computadora, ayudando a los usuarios a realizar acciones a través de un agente que interpreta la pantalla y actúa en su nombre.

Pros y contras

Ventajas

Aplicabilidad universal en diferentes sistemas operativos de escritorio y aplicaciones
Capacidad para realizar tareas complejas a través de un proceso de planificación-ejecución-reflexión
Soporte para operaciones básicas de ratón y teclado para la interacción de interfaz de usuario
Anotación manual del conjunto de datos para una cobertura de tareas integral

Contras

Requiere un servidor VNC o un setup similar para la conexión de escritorio remoto
Capacidad de planificación de tareas complejas y comprensión de imágenes necesarias
Dependiente de la calidad y cobertura del conjunto de datos de ScreenAgent

Reseñas

4.4

Promedio de 5 valoraciones.

Inicia sesión para dejar una reseña.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Preguntas y respuestas

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Hacer una pregunta

Alternativas a AI Agent Development Frameworks

Wildcard AI / agents.json

AI Agent Development Frameworks

Especificación abierta y plataforma que permite que los agentes de IA descubran y invoquen flujos de trabajo de API a través de un archivo agents.json.

5.0 (6)

Freemium

Strands Agents

AI Agent Development Frameworks

SDK de código abierto para la construcción y orquestación de sistemas de agentes simples o múltiples con modelos de lenguaje grande y la integración de herramientas.

5.0 (5)

Freemium