Programmes et tâches pour le contrôle continu

résumé

Le bloc-notes Colab générique avec tutoriel pour dm_control est disponible ici.

Infrastructure

• Le wrapper MuJoCo Python généré automatiquement fournit un accès complet au moteur principal.
• PyMJCF est un modèle d’objet de document, qui affiche une hiérarchie de Python entité Objets qui correspondent aux éléments du modèle MuJoCo.
• Composer est un “moteur de jeu” de haut niveau qui simplifie la création d’entités dans les scènes, en spécifiant les notes, les bonus, les fins et la logique générale du jeu.
• Le framework Locomotion introduit de nombreuses entités d’auteur abstraites telles que Arena et Walker, facilitant les tâches de type mouvement.

environnements

• Groupe témoin, incluant un nouvel environnement quad et chien.
• De nombreuses missions de mouvement, dont le football.
• Missions de manipulation robotique à un bras utilisant des briques à pression ensemble.

Points forts

indexation nommée

Exploitez le support MuJoCo pour Des noms Pour tous les éléments de formulaire, nous autorisons les chaînes à indexer et diviser les tableaux. Au lieu d’écrire :

“fingerertip_height = physics.data.geom_xpos(7, 2)”

… avec une indexation numérique floue et fragile, on peut écrire :

“fingerertip_height = physics.named.data.geom_xpos(‘fingerertip’, ‘z’)”

Résultant en une base de données plus robuste et lisible.

PyMJCF

La bibliothèque PyMJCF crée une hiérarchie d’objets Python avec une correspondance 1:1 avec le modèle MuJoCo. Il introduit la méthode attach() qui permet aux modèles d’être attachés les uns aux autres. Par exemple, dans notre didacticiel, nous créons des créatures procédurales à plusieurs pattes en attachant des pattes à des corps et des créatures à une scène.

compositeur

Composer est un cadre de “moteur de jeu” qui définit un ordre spécifique pour les appels de fonction d’exécution, les capacités d’abstraction prixEt fin Et Observation. Ces abstractions nous ont permis de créer des sous-unités utiles :

Composer : un wrapper de surveillance abstrait qui peut ajouter du bruit, des retards, de la mise en mémoire tampon et du filtrage à n’importe quel capteur.

Composer.Variation : un ensemble d’outils pour randomiser des quantités simulées, permettant une augmentation et une transformation par procuration du simulé au réel via la variation du modèle.

Diagramme montrant le cycle de vie des callbacks du composeur. Les rectangles arrondis représentent les rappels que les tâches et les entités peuvent effectuer. Les rectangles bleus représentent les opérations intégrées de Composer.

le mouvement

Le cadre de mouvement a introduit des abstractions :

Walker : une entité qui peut être contrôlée par des méthodes courantes associées au mouvement, telles que la projection de vecteurs dans un cadre égoïste.

Arène : Une scène aléatoire, à taille propre, où l’infanterie peut être placée et se voir confier une tâche à accomplir.

Par exemple, avec seulement 4 appels de fonction, nous pouvons créer un tapis roulant humain, un WallsCorridor, et le combiner dans une tâche RunThroughCorridor.

Nouveaux domaines de groupe de contrôle

quadrupède

• Un champ quadrilatère général ayant un corps négativement stable.
• De nombreuses tâches purement motrices (telles que marcher et courir).
• Une mission d’évasion qui nécessite de naviguer sur un terrain accidenté.
• Une tâche de récupération qui nécessite de dribbler le ballon.

chien

• Modèle détaillé basé sur un squelette commandé à partir de modèles leo3D.
• Un travail difficile d’aller chercher la balle qui nécessite une prise en bouche précise.

une offre

Un montage rapide de tâches basées sur dm_control de DeepMind :