ScreenAgentAgente VLM de código aberto para controlar GUIs de computador via planejamento e execução de mouse/teclado.

4.4 (5)

Avaliado por Daniel Nikulshyn·Atualizado julho de 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Visão geral

ScreenAgent é um agente de Modelo de Linguagem Visual (VLM) de código aberto projetado para controlar GUIs de computador via operações de mouse e teclado. Ele permite a interação com telas de computador reais observando capturas de tela e executando ações. O projeto inclui um processo de planejamento-execução-reflexão que orienta o agente a concluir tarefas de várias etapas. Foi criado para abordar o desafio de ensinar agentes a usar computadores, exigindo capacidades como planejamento de tarefas, compreensão de imagens e posicionamento visual. O conjunto de dados do ScreenAgent, que cobre várias tarefas diárias de computador, foi anotado manualmente para dar suporte ao aprendizado do agente. O projeto consiste em um cliente para controlar a área de trabalho, um conjunto de dados, trabalhadores de modelo para inferência e código de treinamento. Ele suporta operações básicas de mouse e teclado e pode ser aplicado a diferentes sistemas operacionais de desktop e aplicativos. A abordagem do ScreenAgent é universal e não depende de APIs específicas, tornando-a versátil.

Funcionalidades principais

Execução de operações de mouse e teclado
Processo de planejamento-execução-reflexão para conclusão de tarefas
Suporte para vários sistemas operacionais de desktop e aplicativos
Anotação manual do conjunto de dados do ScreenAgent para cobertura diversificada de tarefas
Agente VLM para interação com GUI

Preços

Modelo: Freemium
Categoria: AI Agent Development Frameworks
Avaliação: 4.4 / 5 (5)

Casos de uso

Automatizar fluxos de trabalho de desktop repetitivos

Use o agente VLM para planejar e executar ações de mouse e teclado em aplicativos de GUI, lidando com tarefas rotineiras de várias etapas sem scriptar cada interação.

Pesquisa em agentes de linguagem visual

Aproveite o código-fonte aberto para estudar, avaliar e estender agentes de modelo de linguagem-visão que percebem telas e operam computadores.

Execução de tarefas entre aplicativos

Direcione o agente para planejar e realizar tarefas que abrangem vários programas de GUI, navegando janelas e controles por meio do entendimento da tela.

Acessibilidade e controle assistivo

Habilite o controle de GUI do computador baseado em linguagem natural, ajudando os usuários a realizar ações por meio de um agente que interpreta a tela e atua em nome deles.

Prós e contras

Prós

Aplicabilidade universal em diferentes sistemas operacionais de desktop e aplicativos
Capacidade de realizar tarefas complexas por meio de um processo de planejamento-execução-reflexão
Suporta operações básicas de mouse e teclado para interação com GUI
Anotação manual do conjunto de dados para cobertura abrangente de tarefas

Contras

Requer um servidor VNC ou configuração semelhante para conexão remota de desktop
Capacidade de planejamento de tarefas complexas e compreensão de imagens necessária
Dependente da qualidade e cobertura do conjunto de dados do ScreenAgent

Avaliações

4.4

Média de 5 avaliações.

Entra para deixar uma avaliação.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Perguntas e respostas

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.