Apprentissage par Renforcement et Systèmes Distribués

Application à l’Apprentissage de la Marche d’un Robot Hexapode

Le but de ce travail est d’étudier et de proposer des techniques d’apprentissage par renforcement pour l’apprentissage de la marche d’un robot marcheur hexapode.

L’hypothèse sur laquelle repose ce travail est que des marches peuvent être obtenues lorsque la commande des mouvements est distribuée au niveau de chaque patte plutôt que d'être centralisée.

Une approche distribuée de l'apprentissage par renforcement de type Q-learning a été retenue dans laquelle les agents (les contrôleurs de mouvement) contribuant à une même tâche mènent leur propre apprentissage en tenant compte ou non de l'existence des autres agents.

Différentes simulations et tests on été menés avec pour objectif la génération de marches périodiques stables.

La marche apparaît comme un phénomène émergeant des mouvements individuels des pattes.

L'influence des paramètres d'apprentissage sur les marches obtenues est étudiée.

Sont aussi traités des problèmes de tolérances aux fautes et de manque d'information sur l'état du robot.

Enfin il est vérifié en simulation que, avec les algorithmes développés, le robot apprend à rattraper une trajectoire prédéfinie tout en contrôlant sa posture.