Self-Operating ComputerオープンソースのAIエージェント。画面の視覚とマウスとキーボードの制御を利用して、パソコンを管理します。

Self-Operating Computerはオープンソースのフレームワークであり、AI モデルは人間のようにデスクトップを制御できます。スクリーンショットをキャプチャし、インターフェイスを解釈し、マウスのクリックやキーボード入力を行って、ユーザーが定義したタスクを実行するために、任意のアプリケーション横断でタスクを進行することができます。 "プロジェクトは、GPT-4のビジュアルモード、Gemini、Claude、LLAVALaVAなどの複数の下位モデルをサポートしており、ユーザーはクラウドとローカル両方のオプションを選択できます。APIを通してではなく視覚的に操作していることを考えると、理論上、人間によって使用できる任意のプログラムを実行することができます。ブラウザからネイティブソフトウェアまで、 開発者や研究者への主な対象となるのが、独立したエージェント、アプリケーション使用のアートフュージョン、ワークフロー自動化などについて、自主性のあるエージェントやアートフュージョン、ワークフロー自動化などのことを探求している人向けです。インストールのプロセスはコマンドライン上で行われます。タスクは自然言語によるプライムによる指定になります。