Sima自然言語指示に従って3D仮想環境の中で動く汎用AIエージェント

Sima（Scaleアブレ指示可能マルチワールドエージェント）は、研究用のロボット・AIエージェントで、商用ビデオゲームや研究用シミュレータなど、幅広い3D仮想環境を操作できる。1つのタイトル用にのみ訓練されるのではなく、人間プレイヤーがキーボードやマウス操作の動作に指示文と対応させる方法によって、自然言語指示をマッピングして一般的なスキルを学習する。このため、異なる環境間で取得したスキルが移行される。 embodiドメインにおける力強くなされたエージェントの作成を目指す取り組みの一環として、〼sima　はgrounded instruction followingに焦点を合わせています。ユーザーはコマンドを入力することで、 例として「左に曲がる」、「階段を登る」、または「リソースを集める」というコマンドを入力し、エージェントはスクリーン上での視覚的な情報のみに頼ってこのような動作を試みます。 これにより、言語、感知、 アクションを組み合わせて複雑でオープンワールドの3D世界で解決することができる、複雑なテストベッドという性質を身にまとています。 Simaは主に研究プロジェクトであり、消費者向け製品ではなく、AI研究家、ゲーム開発者、そしてインタラクティブ環境でembodied agent、シミュレーション・ベースのトレーニング、および人間AIの相互作用を探求しているチームに最も関連しています。