Le meilleur de AR/VR (2026)

1

Sima

Agent IA généraliste qui suit les instructions de langue naturelle au sein d'environnements virtuels 3D.

4.8 (4)

· freemium

Avis complet

Sima est un agent d'intelligence artificielle de niveau recherche conçu pour fonctionner dans une large gamme d'environnements virtuels 3D, y compris les jeux vidéo commerciaux et les simulateurs de recherche. Plutôt que d'être entraîné pour un seul titre, il apprend des compétences générales qui sont transférables entre les mondes en mappant les instructions en langage naturel sur les actions de clavier et de souris, comme le ferait un joueur humain. Développé dans le cadre d'efforts pour créer des agents incarnés plus performants, Sima se concentre sur l'exécution d'instructions ancrées : un utilisateur tape une commande telle que 'tourner à gauche', 'monter l'échelle' ou 'collecter la ressource', et l'agent tente de l'exécuter en utilisant uniquement les informations visuelles à l'écran. Cela en fait un banc d'essai pour étudier comment le langage, la perception et l'action peuvent être combinés dans des mondes 3D complexes et ouverts. Sima est avant tout un projet de recherche plutôt qu'un produit grand public, et est particulièrement pertinent pour les chercheurs en IA, les développeurs de jeux et les équipes qui explorent les agents incarnés, la formation basée sur la simulation et l'interaction homme-IA dans des environnements interactifs.

• Agent généraliste dans de multiples environnements 3D
• Suivi des instructions de langue naturelle
• Perception visuelle de l'écran du jeu
• Sortie d'action de clavier et de souris
• Transfert de compétences entre différents mondes
• Benchmarking axé sur la recherche dans les tâches de jeu