Un robot peut-il apprendre à corriger ses échecs dans la préparation du café sans qu'un humain montre chaque étape ?

Pourquoi une tasse renversée n’est pas seulement une prise manquée

Un objet glissé dans une longue tâche domestique peut masquer trois erreurs différentes. Le robot a pu choisir la mauvaise action suivante, manquer une partie de la scène ou exécuter un plan cohérent si mal qu’il laisse tomber l’objet. La difficulté est qu’une tâche domestique ne reste pas immobile. Les objectifs peuvent changer quand l’utilisateur donne une nouvelle consigne, tandis que le robot ne voit qu’une partie du monde et que sa prise peut échouer pour des raisons physiques.

Saisir, verser ou atteindre sont des tentatives que le monde peut rejeter. Chaque tour suit un ordre causal fixe, dans lequel l’agent envoie une action avant que le monde change et que le retour d’information arrive. Ce n’est qu’après cela que le robot reçoit son observation suivante. Le retour d’information vient de l’état réellement atteint après exécution, pas de la validité logique de l’action choisie. Un bon plan peut encore produire un échec à cause de l’exécution physique, tandis qu’un mauvais plan peut parfois produire un retour d’information plausible si le monde se déplace par hasard comme prévu.

La tâche cachée a un objectif et des règles actives qui ne changent que lorsqu’une nouvelle consigne arrive. Le retour d’information des outils met à jour ce qui est connu du monde, mais il ne modifie pas lui-même l’objectif ou les règles. Certains attributs structurés sont maintenus par le système, entièrement observés et mis à jour de façon déterministe à partir des actions et des événements. Le banc d’essai simulé contient 279 tâches retenues hors entraînement dans quatre scénarios de type domestique : préparer un café, trier en entrepôt, faire la lessive et trier par couleur. Les tâches vont de 3 à 18 actions de haut niveau, si bien qu’un glissement précoce peut se situer au sein d’une chaîne beaucoup plus longue.

Une suite fixe de reprise de 60 tâches injecte des erreurs d’exécution telles que des détections manquées, des prises ratées ou un retour d’information sur objet inaccessible. La reprise demande si l’agent peut encore terminer le sous-objectif actif après cette erreur. Cela sépare la réparation locale du succès complet de la tâche. Une méthode peut terminer plus d’étapes perturbées et pourtant perdre les étapes ultérieures parce que les erreurs accumulées changent ce que le robot croit avoir fait.

Un coach caché propose des corrections et le simulateur les teste

Quand un plan de robot se brise en simulation, le système n’accepte pas la première explication qu’il entend. Un coach privilégié observe l’échec avec des informations que la politique déployée ne peut pas voir, telles que l’objectif actif ou une règle qui vient de changer. Il pointe une décision antérieure où les choses ont probablement mal tourné. Le coach propose l’une de deux réparations : remplacer l’action suspecte par un autre déplacement de haut niveau valide ou insérer une étape de reprise après le moment raté.

Chaque correction proposée est traitée comme une hypothèse, pas comme un ordre. Le simulateur revient à l’état physique exact avant l’échec et relance le candidat dans des conditions comparables. Les perturbations et le bruit d’observation sont échantillonnés une fois pour cette étape et maintenus fixes sur les branches sœurs, si bien que les différences de résultat viennent de l’action choisie plutôt que du hasard. Le chemin raté original et chaque chemin réparé grandissent en un petit arbre de continuations possibles.

Cette étape de test est ce qui garde le coach honnête. Une réparation peut paraître sensée tout en menant encore à une prise manquée ou à un placement impossible. Dans la comparaison simulée, une politique entraînée sur ces réparations testées atteint un taux de reprise de 26,25 % sur une suite fixe de tâches avec erreurs d’exécution injectées, soit environ 9,6 points de pourcentage au-dessus du meilleur point de référence basé sur les nouvelles tentatives.

Seules les branches qui améliorent la progression deviennent des données d’entraînement

Un rollout raté ne devient pas par défaut un matériau d’entraînement utile. À chaque état atteint, le pipeline considère plusieurs actions candidates, qu’elles viennent de la politique ou d’une réparation proposée. Pour chaque candidate, plusieurs continuations sont exécutées vers l’avant en utilisant la politique actuelle. Chaque continuation affronte ensuite les mêmes incertitudes au niveau de l’étape qui ont été échantillonnées une fois pour toutes les branches sœurs.

La candidate est notée selon la fréquence avec laquelle ces continuations terminent l’étape de tâche pertinente. Seule la meilleure action notée à un état est conservée comme exemple d’entraînement, et seulement si ses continuations validées réussissent au moins une fois. Les états où aucune action disponible ne mène à aucun succès en aval sont écartés plutôt qu’utilisés pour l’entraînement. Cette règle lie la supervision à une amélioration observée au lieu de faire confiance à un diagnostic seul. Une réponse générée par la politique peut gagner si ses continuations fonctionnent mieux qu’une réparation proposée.

Pour garder l’arbre de rollout gérable, les trajectoires partielles réussies sont libérées étape par étape plutôt que poussées à travers toute une longue tâche. À chaque étape, un ensemble de branches réussies est conservé, mais seulement un nombre limité devient parents pour l’étape suivante. Les branches qui partagent des décisions antérieures presque identiques sont sous-échantillonnées afin qu’un choix précoce ne domine pas. Si les étapes ultérieures manquent de parents viables, la limite est assouplie et plus de branches amont continuent. Cela évite à la fois l’embranchement exponentiel et l’effondrement prématuré sur une seule trajectoire.

Le filtrage aide à expliquer pourquoi le pipeline atteint le meilleur taux moyen de reprise en simulation, à 26,25 %. Il bat le meilleur point de référence d’environ 9,6 points de pourcentage tout en utilisant un modèle de rollout plus petit. La même politique enregistre aussi 16,79 % de succès cumulatif et 30,74 % de fraction d’objectifs terminés avant la première défaillance irrécupérable. Le succès à long horizon absolu reste faible pour toutes les méthodes, parce que les erreurs s’accumulent sur des séquences allant jusqu’à 18 actions de haut niveau. L’observation partielle et l’incertitude d’exécution font de chaque étape un endroit où de petites erreurs peuvent se propager.

Une prise manquée, vérifiée deux fois, devient une donnée d’entraînement

La leçon la plus utile est que les robots peuvent apprendre des erreurs quand ces erreurs sont vérifiées avant de devenir des données d’entraînement. Un coach caché pointe une mauvaise décision et propose une petite réparation. Le système rejoue ensuite le moment en simulation pour voir si la réparation aide. Ce test transforme l’intuition en preuve. Seules les corrections qui améliorent la progression ultérieure survivent, si bien que la politique apprend des échecs qu’elle pourrait plausiblement rencontrer à nouveau.

Le travail domestique montre pourquoi la reprise est un enjeu plus grand que l’exécution impeccable, parce que les longues tâches contiennent de petites ruptures telles que des objets manqués, des prises ratées ou des règles changeantes. Un robot qui se relève d’une rupture peut terminer plus de tâche, même s’il échoue encore à la fin. Les résultats simulés montrent ce motif, avec une meilleure reprise et une progression plus longue avant un arrêt irrécupérable. Sur du matériel réel, les gains diminuent parce que la perception et la prise continuent de produire de nouvelles erreurs qu’aucun plan de haut niveau ne peut entièrement absorber.

L’opportunité est un chemin d’entraînement qui grandit à partir de définitions compactes de tâches plutôt que de heures d’enregistrement humain. L’obstacle est que la validation repose encore sur la simulation, des informations cachées ou une façon de revenir à un état antérieur. Si les futurs systèmes peuvent vérifier les réparations dans le monde physique sans accès privilégié, les données d’échec pourraient devenir une source stable d’amélioration au lieu d’un tas d’exemples confus.