Self-Operating ComputerAgent d'IA open-source qui opère votre ordinateur à partir de vision d'écran et de contrôle clavier/souris.

4.7 (6)

Évalué par Daniel Nikulshyn·Mis à jour mai 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Aperçu

Self-Operating Computer est un cadre open-source qui permet aux modèles d'intelligence artificielle multimodaux de contrôler un ordinateur de bureau comme une personne le ferait. Il capture des captures d'écran, interprète l'interface et émet des clics de souris et des saisies au clavier pour exécuter des tâches définies par l'utilisateur sur n'importe quelle application. Le projet prend en charge plusieurs modèles sous-jacents, y compris GPT-4 avec vision, Gemini, Claude et LLaVA, permettant aux utilisateurs de choisir entre des options cloud et locales. Parce qu'il fonctionne visuellement plutôt que via des API, il peut théoriquement fonctionner avec n'importe quel programme qu'un humain peut utiliser, des navigateurs aux logiciels natifs. Il est principalement destiné aux développeurs et aux chercheurs qui explorent les agents autonomes, l'intelligence artificielle pour l'utilisation d'ordinateurs et l'automatisation des flux de travail. La configuration se fait via la ligne de commande et les tâches sont décrites dans des invites en langage naturel.

Fonctionnalités clés

Compréhension de l'écran par prise d'écran
Contrôle automatique de la souris et du clavier
Support de plusieurs modèles (GPT-4, Gemini, Claude, LLaVA)
Prompt de tâche au format naturel
Compatibilité de bureau transversale plateforme
Codebase open-source et extensible

Tarifs

Modèle: Freemium
Catégorie: Task automation
Note: 4.7 / 5 (6)

Cas d’usage

Prototypage d'agents de l'ordinateur utilisant automatiquement

Les chercheurs et les développeurs peuvent expérimenter des agents d'IA basés sur des images qui perçoivent l'écran et contrôlent la souris et le clavier pour exécuter des tâches définies par l'utilisateur sur le bureau.

Automatisation de flux de travail transversal d'applications

Utilisez des prompts au format naturel pour faire glisser des séquences à travers les navigateurs et les logiciels natives, puisque le cadre fonctionne n'importe quel programme visuellement au lieu de se fonder sur les API.

Benchmark des modèles multimodaux sur des tâches de l'IU

Comparez GPT-4 avec vision, Gemini, Claude, et LLaVA sur des tâches de contrôle d'écran identiques pour évaluer les compromis précision, vitesse et coût.

Étendre un cadre d'agent en source ouverte

Faites une copie et modifiez le codebase pour ajouter de nouveaux modèles, de nouveaux outils ou des stratégies de tâches, construisant des agents autonomes personnalisés sur une base fonctionnelle.

Pour & contre

Pour

Gratis et open source
Fonctionne avec plusieurs LLMs capables de vision
Contrôle tous les applications visibles, pas seulement le web
Point de départ utile pour la recherche et l'expérimentation d'agents automatiques

Contre

L'exactitude dépend fortement du modèle choisi
Exige une mise en place technique via le terminal
Puis-je être lent et faire des erreurs de l'interface utilisateur
Les coûts de l'utilisation d'API peuvent s'accumuler sur les tâches longues

Avis

4.7

Moyenne sur 6 avis.

Connecte-toi pour laisser un avis.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Questions & réponses

Pas encore de question — sois le premier à demander.

Poser une question

Alternatives à Task automation

SocialOra

Task automation

Rendez votre présence sur Instagram en un canal de revenu mesurable.

5.0 (6)

Freemium

AutoClick Ace

Task automation

Cliqueur automatique léger avec raccourcis clavier et intervalles de clic personnalisables.

5.0 (6)

Freemium

Otterly.AI

Task automation

Surveillez les mentions de marque et de site web sur les moteurs de recherche IA et les chatbots.

5.0 (5)

Freemium

Livex AI

Task automation

Plateforme de rétention et d'engagement client déployée en une seule ligne de code

5.0 (5)

Freemium

Embedful

Task automation

Tableaux et dashboards mis à jour automatiquement à partir de vos données de SaaS, sans code nécessaire

5.0 (5)

Freemium

Monday AI

Task automation

Automatisation propulsée par l'IA intégrée à monday.com pour des flux de travail d'équipe plus intelligents

5.0 (5)

Freemium

Thunderbit

Task automation

Un outil de rassembler des données web basé sur l'IA qui extrait des données structurées sur tout site en deux cliques – aucune connaissance de code requise.

5.0 (4)

Freemium