ScreenAgentВідкритий VLM‑агент для керування графічним інтерфейсом комп'ютера за допомогою планування й виконання дій миші й клавіатури.

4.4 (5)

Перевірено Daniel Nikulshyn·Оновлено липень 2026 р.

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Огляд

ScreenAgent — відкрита платформа VLM, призначена для керування графічними інтерфейсами комп'ютера за допомогою дій миші й клавіатури. Вона дозволяє взаємодіяти з реальними екранами, спостерігаючи скріншоти та виконуючи команди. Проєкт включає процес планування‑виконання‑рефлексії, який спрямовує агента до виконання багатокрокових задач. Створено, щоб вирішити проблему навчання агентів користуватися комп'ютером, що потребує планування завдань, розпізнавання зображень і візуального позиціювання. Датасет ScreenAgent, що охоплює різноманітні щоденні задачі, був вручну анотований для підтримки навчання агента. Проєкт складається з клієнта для керування робочим столом, набору даних, робітників моделі для інференції та коду тренування. Підтримує базові операції миші й клавіатури і може застосовуватись до різних ОС та застосувань. Підхід ScreenAgent є універсальним і не залежить від специфічних API, що робить його гнучким.

Ключові функції

Виконання операцій миші й клавіатури
Процес планування‑виконання‑рефлексії для завершення завдань
Підтримка різних настільних ОС та застосувань
Вручну аннотований набір даних ScreenAgent для різноманітних завдань
VLM‑агент для взаємодії з GUI

Ціни

Модель: Freemium
Категорія: Фреймворки для розробки AI-агентів
Рейтинг: 4.4 / 5 (5)

Кейси використання

Автоматизація повторюваних робочих процесів на робочому столі

Використайте VLM‑агент для планування й виконання дій миші й клавіатури у різних графічних застосунках, виконуючи рутийну багатокрокову роботу без написання скриптів для кожної взаємодії.

Дослідження візуально‑мовних агентів

Використайте відкритий код для вивчення, порівняння та розширення агентів візуально‑мовних моделей, які сприймають екрани й керують комп'ютерами.

Виконання задач між різними програмами

Налаштуйте агента для планування й виконання задач, що охоплюють декілька графічних програм, переміщаючись по вікнам і елементам керування за розумінням екрана.

Доступність і допоміжне керування

Забезпечте керування GUI комп'ютера природною мовою, допомагаючи користувачам виконувати дії через агента, що розуміє екран й діє від їх імені.

Плюси і мінуси

Плюси

Універсальна застосовність до різних настільних ОС та застосувань
Здатність виконувати складні задачі через процес планування‑виконання‑рефлексії
Підтримує базові операції миші й клавіатури для взаємодії з GUI
Вручну аннотований набір даних для повного покриття завдань

Мінуси

Потребує VNC‑сервер або схожу конфігурацію для віддаленого підключення до робочого столу
Необхідні складні можливості планування та розуміння зображень
Залежить від якості та охоплення набору даних ScreenAgent

Відгуки

4.4

Середнє з 5 оцінок.

Увійди, щоб залишити відгук.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Питання

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Постав питання

Альтернативи Фреймворки для розробки AI-агентів

Wildcard AI / agents.json

Фреймворки для розробки AI-агентів

Відкрита специфікація і платформа, що дозволяють AI‑агентам виявляти і викликати API‑воркфлоу через файл agents.json

5.0 (6)

Freemium

Strands Agents

Фреймворки для розробки AI-агентів

Open‑source SDK для створення та оркестрування одно‑ або багатофункціональних агентів з LLM і інтеграцією інструментів.

5.0 (5)

Freemium

BabyCatAGI

Фреймворки для розробки AI-агентів

Легковажний автономний агент frameworks для автоматизації завдань

4.8 (6)

Free

Awesome MCP Servers

Фреймворки для розробки AI-агентів

Віртуальний каталог серверів Model Context Protocol для розширення AI-асистентів зі спеціалізації й даних

4.8 (5)

Free

Gemma 3

Фреймворки для розробки AI-агентів

Відкритий розподілений модель штучного інтелекту, оптимізований для виконання на одній GPU, підтримуючи багатодіапазонні вхідні дані та понад 140 мов.

4.8 (5)

Free