Un robot peut-il anticiper l’avenir avant de bouger ? Des nouveaux modèles testent les futurs en quelques millisecondes

De la simple observation à la prédiction du futur immédiat

Les anciens systèmes robotiques commençaient souvent par identifier ce qui se trouvait devant eux. Une caméra détectait une tasse, et la pince se refermait dessus. Le mouvement suivant était dicté par un programme fixe ou par une démonstration reproduite. Cette configuration fonctionnait tant que la scène restait familière. Elle échouait dès que les objets bougeaient, que les surfaces changeaient, ou qu’une tâche exigeait plusieurs étapes non prévues au script. L’idée plus récente consiste à laisser la machine former une attente de ce qui se passera après chaque action.

RT-1 a montré que les politiques de manipulation basées sur des transformeurs peuvent apprendre à partir de grandes collections de démonstrations téléopérées. Il utilisait un transformeur décodeur uniquement, doté de 35 millions de paramètres, pour transformer des instructions en langage naturel et des images de caméra en actions robotiques séquentielles. Il compressait l’information visuelle avant la fusion, réduisant 81 jetons d’image à 8 jetons clés. Son espace d’action était discrétisé en 256 intervalles sur 11 dimensions. Cette conception rendait la manipulation à six degrés de liberté plus traitable computationnellement pour un petit modèle. Il atteignait un taux de réussite de 67 % sur plus de 700 tâches de manipulation distinctes. L’objectif était de relier le sens des objets au mouvement utile. Voir une bouteille pouvait alors mener à la saisir d’une manière adaptée à la tâche.

L’étape qui va au-delà de la reconnaissance est la prédiction de ce qui vient ensuite. Un modèle d’environnement appris peut prendre la vue actuelle, l’état du corps et le mouvement proposé, puis estimer la scène suivante. Il n’a pas besoin que chaque loi physique soit écrite à la main. Au contraire, il apprend des motifs à partir de vidéos synchronisées, de flux de capteurs et de journaux d’interaction. Ces entrées sont compressées en symboles compacts qui préservent le mouvement et le sens.

Pendant l’apprentissage, on demande au modèle de prédire l’étape suivante ou une courte fenêtre future. Cela lui permet d’absorber la façon dont les objets réagissent habituellement au contact, à la gravité et au mouvement. Il le fait sans recevoir une clé de réponse séparée pour chaque image. Deux conceptions courantes procèdent différemment. L’une prédit les éléments futurs dans l’ordre, comme une phrase construite mot par mot. Cette approche offre un contrôle fin sur ce qui est généré ensuite. L’autre part du bruit et le retire lentement jusqu’à ce qu’un futur cohérent apparaisse. Cela peut représenter plusieurs issues plausibles au lieu de les moyenner en une seule estimation floue.

Les modèles comportementaux ajoutent une autre couche de vérification. Ils comparent le mouvement généré à des exemples humains et utilisent un retour d’information pour récompenser l’authenticité et la plausibilité. La politique est alors non seulement précise en position, mais aussi naturelle en timing. Un robot qui prédit mal l’avenir peut encore se déplacer en douceur tout en commettant une erreur qui paraît crédible. De tels systèmes ont besoin de contrôles de sécurité et d’une supervision humaine, car une erreur dans l’espace physique peut devenir un mouvement dangereux.

Tester plusieurs futurs possibles avant de bouger

Avant même que le bras robotisé ne s’approche d’un objet, il peut évaluer les conséquences d’un déplacement vers la gauche. Un modèle appris de l’environnement prédit alors l’apparence de la scène après chaque tentative. Ce n’est pas un plan rigide, mais une estimation issue de l’apprentissage sur la manière dont le monde réagit à l’action. Le modèle s’appuie sur l’image caméra actuelle, la posture du robot et les autres données capteurs pour tester plusieurs trajectoires candidates avant que la moindre commande moteur ne soit envoyée au contrôleur.

Pour une trajectoire donnée, il peut imaginer plusieurs issues légèrement différentes. Cette variabilité est essentielle car les environnements réels sont bruités : une tasse peut se déplacer, une surface glisser ou un objet se déformer de façon imprévue. En échantillonnant de nombreuses simulations, on évite que le plan ne repose sur un simple coup de chance. Le planificateur note ensuite chaque futur imaginé au regard des objectifs de la tâche et des limites de sécurité. Certains termes de coût récompensent les progrès vers la cible, tandis que d’autres pénalisent les trajectoires qui risqueraient de heurter une personne ou un objet fragile.

La séquence la mieux notée est retenue, mais seule sa première étape est exécutée. Dès l’arrivée de nouvelles données capteurs, le processus recommence. Ce cycle itératif permet au robot de corriger les petites erreurs avant qu’elles ne deviennent des fautes majeures. Le maintien du système dans une zone sûre définie repose sur des vérifications de sécurité distinctes en temps réel, comme les méthodes à fonction barrière qui agissent telles des garde-fous mathématiques. Combiner ces contrôles avec les prédictions incertaines issues de modèles fondamentaux stochastiques reste un problème ouvert. L’efficacité de la sécurité dépend de ce que le modèle soit confronté aux limites réelles et aux règles opérationnelles.

Certaines versions construisent les futurs étape par étape, d’autres affinent une estimation bruitée jusqu’à obtenir une cohérence. La première approche est plus facile à piloter en temps réel. La seconde permet de conserver séparés plusieurs futurs plausibles au lieu de les fondre dans une moyenne faible. Cette distinction compte lorsque de nombreuses solutions valides existent pour une même tâche : le robot doit parfois choisir entre passer par-dessus un obstacle ou le contourner. Tester ces deux issues imaginées aide à éviter une action de compromis qui échouerait dans le monde physique.

Cette approche transforme la planification, d’une simple prédiction en un court essai général. Le bras ne s’engage pas tant que les conséquences n’ont pas été comparées. Dans le logiciel, on peut tester et écarter rapidement de nombreux futurs sans toucher à rien de réel. C’est pourquoi ces modèles sont utiles pour des tâches de manipulation où une seule mauvaise manœuvre peut casser un objet ou bloquer une ligne.

Cette idée n’est plus théorique : elle est déjà à l’œuvre en usine comme à l’hôpital.

En usine, ces machines doivent prouver leur utilité au quotidien. ABB a déjà mis en service plus de 500 000 robots industriels dans le monde. Certains de ses bras collaboratifs s’appuient sur des caméras et des capteurs de force pour moduler leur prise lorsqu’une pièce résiste.

KUKA conçoit des bras dont la rigidité ou la souplesse varie en cours d’action. Cette capacité est précieuse quand un composant arrive légèrement décalé par rapport à sa position théorique. Chez RNB Cosméticos, six bras collaboratifs équipés de capteurs de couple empilent les paquets de cosmétiques finis sur des palettes. Ils soulèvent des boîtes de sept kilogrammes à raison d’environ six par minute et gèrent plus de 350 variantes de produits, sans barrières de sécurité autour d’eux.

À l’hôpital, où le coût d’une erreur est plus élevé, on retrouve ces mêmes principes. Le système da Vinci d’Intuitive Surgical a été utilisé pour plus de 14 millions d’interventions mini-invasives. Dans un rapport portant sur plus de 10 000 opérations réalisées dans un seul établissement, 12 décès liés à la chirurgie ont été recensés, soit environ 0,12 %.

La plateforme Hugo de Medtronic est un système chirurgical robotisé modulaire qui prend en charge la planification des procédures, l’imagerie tridimensionnelle en temps réel et le guidage des instruments. Cyberdyne fabrique quant à lui un exosquelette nommé HAL, qui lit les signaux bioélectriques de son porteur pour assister ses mouvements. Plus de 10 000 séances de traitement ont déjà été réalisées dans le monde avec cet appareil.

Dans un essai croisé mené auprès de patients atteints de maladies neuromusculaires rares à progression lente, l’utilisation d’un exosquelette a permis des résultats notables. Après neuf séances de 40 minutes, les participants parcouraient environ 10 % de distance supplémentaire lors du test de marche sur deux minutes par rapport au groupe témoin. Ces déploiements démontrent que la technologie est déjà opérationnelle, mais ils rappellent aussi l’importance des contrôles de sécurité lorsqu’une machine évolue à proximité d’êtres humains.

Une machine qui anticipe avant d’agir

L’IA physique ouvre une nouvelle voie pour la prise de décision des machines face à l’incertitude. Un robot peut générer plusieurs futurs possibles, les confronter à ce qu’il perçoit, puis n’exécuter que la première étape du plan. Cette boucle offre une souplesse là où les programmes rigides échouent, que la tâche consiste à trier de nombreuses variantes de produits ou à s’adapter à un tissu qui résiste à la prédiction.

Les perspectives sont larges car ces systèmes apprennent des démonstrations, des vidéos et des interactions, sans qu’il faille écrire une routine spécifique pour chaque objet. Sur les chaînes de production, cela peut signifier moins d’arrêts lorsqu’une nouvelle pièce arrive sur la ligne. Dans les salles d’opération, cela peut se traduire par des instruments qui aident les chirurgiens à planifier, guider et s’adapter pendant l’intervention. Dans les entrepôts, les déploiements robotiques montrent déjà que l’IA physique peut dépasser le stade du prototype brillant unique.

L’obstacle est qu’une erreur logicielle peut se muer en une ecchymose, une pièce cassée ou un échec chirurgical. Ces systèmes peinent encore à gérer les conséquences à long terme, les objets qui bougent et les nouveaux corps dont les articulations ne correspondent pas à celui sur lequel ils ont été entraînés. Une politique apprise pour un bras peut échouer sur un autre, tandis que l’ajustement fin pour une nouvelle tâche peut effacer des compétences qu’elle possédait déjà. Les contrôles de sécurité doivent donc rester à côté du contrôleur appris, plutôt qu’à l’intérieur de son imagination.

La prochaine décennie sera moins question de rendre les robots plus intelligents en laboratoire que de rendre leur incertitude visible, vérifiée et testable. Jumeaux numériques hybrides, modèles du monde appris et intégration plus étroite entre perception, planification et contrôle sont autant d’essais pour combler cet écart. L’enjeu s’accroît car le coût de l’erreur est physique, tandis que les limites énergétiques et les contrôles de sécurité ajoutent des contraintes qu’un modèle cloud n’a jamais connues.

La prochaine percée viendra-t-elle d’une meilleure imagination, ou du savoir quand cette imagination doit être ignorée ?