Nvidia EurekaAgent alimentat de GPT-4 care scrie în mod autonom funcții de recompensă pentru a preda roboților abilități complexe

Nvidia Eureka este un proiect de cercetare care foloseste modele de limbaj de mari dimensiuni, inclusiv GPT-4, ca designer autonom de răsplată pentru învățare prin recompensă. În loc de a se baza pe inginerii umani să creeze funcțiile de răsplată manual, Eureka le generează și le perfecționează în mod iterativ în simulare, permisând robotele să învețe abilități motorii complexe ca a spune cu gura de o pen, deschiderea unui dulap și manipularea unei bile. Agentul Eureka rulează în interiorul mediului de simulare Isaac Gym Nvidia, evaluând premii de candidați prin antrenament accelerat în paralel la nivel de GPU. Apoi folosește căutarea evoluționistă împinsă de modelul de limbaj LLM pentru a le îmbunătăți, producând adesea cod de premii care depășește nivelul de referință scris de oameni expusi în zeci de baze de date de probe robotics. Eureka este destinat în primul rând cercetătorilor și dezvoltatorilor de robotică care exploresca abordări scalabile pentru dobândirea de îndemânare, transferul sim-sesizuristic și automatizarea pipeline-ului de învățare de recompense îndrumată de LLM.