Self-Operating ComputerOpen-source AI agent, který ovládá váš počítač pomocí obrazového rozpoznání a kontroly myši/klávesnice.

4.7 (6)

Recenzováno Daniel Nikulshyn·Aktualizováno květen 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Přehled

Self-Operating Computer je open-source framework, který umožňuje multimodálním modelům AI ovládat plochu stejně jako člověk. Zachytává snímky obrazovky, interpretuje rozhraní a vydává kliknutí myší a vstupy z klávesnice pro provádění úkolů definovaných uživatelem napříč libovolnou aplikací. Projekt podporuje několik základních modelů, včetně GPT-4 s vidinou, Gemini, Claude a LLaVA, což umožňuje uživatelům zvolit si mezi cloudovými a lokálními možnostmi. Protože pracuje vizuálně namísto pomocí rozhraní API, může teoreticky ovládat jakýkoli program, který může používat člověk, od prohlížečů po nativní software. Je primárně zaměřen na vývojáře a výzkumníky, kteří zkoumají autonomní agenty, počítačově orientované AI a automatizaci pracovních postupů. Nastavení probíhá přes příkazovou řádku a úkoly jsou popisovány v přirozených jazykových promptech.

Klíčové funkce

Porozumění obrazovky založené na snímcích
Automatizovaná kontrola myši a klávesnice
Mnoho-modelová podpora (GPT-4, Gemini, Claude, LLaVA)
Příkazy úkolů v přirozeném jazyce
Kompatibilita cross-platform desktopu
Otevřený a rozšiřitelný kód

Ceník

Model: Freemium
Kategorie: Task automation
Hodnocení: 4.7 / 5 (6)

Případy užití

Prototyp autonomních agentů pro používání počítače

Vědci a vývojáři mohou experimentovat s agenty založenými na obrazovém rozpoznání, které vnímají obrazovku a ovládají myš a klávesnici pro dokončení úkolů definovaných uživatelem.

Automatizace pracovních postupů napříč aplikacemi

Použijte přirozené jazykové podněty pro řízení sekvencí napříč prohlížeči a nativními aplikacemi, protože framework funguje s libovolnou aplikací vizuálně, a nikoli prostřednictvím rozhraní API.

Srovnání multimodálních modelů na úkolech UI

Porovnejte GPT-4 s vizí, Gemini, Claude a LLaVA na identických úkolech řízení obrazovky pro hodnocení přesnosti, rychlosti a nákladových ústupků.

Rozšíření otevřeného frameworku agenta

Zkopírujte a upravte kód pro přidání nových modelů, nástrojů nebo strategií úkolů, vyvíjejícíchustomní autonomní agenty na základě fungujícího základě.

Pro a proti

Pro

Zdarma a open-source
Funguje s více modely LLM s vizí
Ovládá jakoukoli viditelnou aplikaci, nejen webové
Užitečná základna pro výzkum a experimentování s agenty

Proti

Přesnost závisí silně na zvoleném modelu
Vyžaduje technické nastavení prostřednictvím terminálu
Může být pomalý a dělat chyby v uživatelském rozhraní
Náklady na používání API se mohou hromadit u dlouhodobých úkolů

Recenze

4.7

Průměr z 6 hodnocení.

Přihlas se, abys mohl napsat recenzi.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.