ScreenAgentオープンソースのVLMエージェント。マウス/キーボード計画の実行を使用してコンピュータGUIを制御。

4.4 (5)

レビュー: Daniel Nikulshyn·更新 2026年7月

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

概要

ScreenAgentは、VLM（ビジュアル言語モデル）エージェントを提供します。マウスとキーボード操作でコンピュータGUIを操作します。バックグラウンドでスクリーンショットを観察し、その上でアクションを実行します。このプロジェクトには、マルチステップタスクを完了するための計画・実行・反省プロセスが含まれています。このエージェントを使うのは、タスクを教えるのは困難であるためです。エージェントはタスクの計画、画像理解、大域的な視覚的な位置関係などを持つ必要があります。ScreenAgentデータセットは、さまざまなデイリーコンピュータタスクをカバーすることができ、エージェントの学習をサポートしています。このプロジェクトには、デスクトップを制御するクライアント、データセット、マイナーリファレンスエンジンおよびトレーニングコードがあります。また、さまざまなデスクトップOSとアプリケーションに対応しています。これは、APIに依存せず、多目的であり、APIに依存せず、さまざまなOSおよびアプリケーションに使えるという ScreenAgent のアプローチは、一般性が高くなります。

主な機能

マウス/キーボード操作の実行
タスクの完了をガイドする計画-実行-反省プロセス
さまざまなデスクトップOSおよびアプリケーションに対するサポート
さまざまなタスクカバーを実現するための手動で注釈したScreenAgentデータセット
GUI間互いにVLMエージェントによるインタラクション

料金

モデル: Freemium
カテゴリー: AI Agent Development Frameworks
評価: 4.4 / 5 (5)

ユースケース

繰り返しデスクトップワークフローを自動化

VLMエージェントを使用して、マウスおよびキーボードアクションの計画とGUIアプリケーション上で実行します。

視覚言語エージェントの研究

オープンソースのコードベースを使って、スクリーンとコンピュータを操作するための視覚言語モデルエージェントを研究・検証・拡張してください。

クロスアプリケーションタスクの実行

エージェントを指示して、マルチステップタスクをGUIアプリケーション間で実行します。

アクセシビリティと支援的なコントロール

自然言語を用いてコンピュータのGUIを制御することを可能にします。

メリット & デメリット

メリット

異なるデスクトップOSおよびアプリケーションに対する普遍的な適用可能性
計画-実行-反省プロセスを通じて複雑なタスクを実行できる
GUIインタラクションにおける基本的なマウス/キーボード操作をサポート
広範囲のタスクカバーを実現するための手動で注釈したデータセット

デメリット

リモートデスクトップ接続をサポートするVNCサーバーや類似の設定が必要
複雑なタスクの計画と画像の理解能力が必要
ScreenAgentデータセットの品質とカバー範囲に依存

レビュー

4.4

5件の評価の平均。

レビューを投稿するにはログインしてください。

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Q&A

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.