Des drones apprennent à faire le tour des feux de forêt dans un terrain d'entraînement virtuel pour la réponse aux urgences

Pourquoi la réponse aux feux de forêt a besoin de drones capables de s’adapter par eux-mêmes

Les feux de forêt n’attendent pas que les plans soient terminés. Lors des incendies de Los Angeles de 2025, les équipes ont fait face à des retards, des communications rompues et des ressources limitées. Les flammes se propageaient plus vite que les ordres opérationnels ne pouvaient les atteindre. Il fallait du temps pour rédiger les plans et les transmettre. Quand ils arrivaient jusqu’aux équipes, la situation pouvait avoir changé. Les pompiers devaient aussi surveiller les reprises de feu, qui détournait des personnes de l’extinction active. Beaucoup ont enduré des quarts de 24 heures dans un terrain dangereux. La fatigue ralentissait les réactions et augmentait le risque de blessure. Les hélicoptères nécessitaient une maintenance fréquente, si bien qu’ils n’étaient pas toujours disponibles quand un feu passait devant.

Les lignes de feu bougent vite. Le vent peut projeter des braises dans de nouveaux arbres. Le terrain peut canaliser les flammes vers le haut des pentes ou les bloquer dans des vallées. Un drone qui suit une trajectoire prédéfinie peut survoler l’endroit au mauvais moment, au pire instant. Il doit décider, seconde par seconde, où regarder ensuite. Il doit rester en sécurité tout en se rapprochant assez pour voir la chaleur et la fumée.

Les méthodes de contrôle traditionnelles supposent souvent un problème stable. Elles fonctionnent bien quand la cible est connue et que les règles ne changent pas. Un feu de forêt n’est ni l’un ni l’autre. Le front du feu peut se diviser, passer devant ou s’éteindre en un endroit tout en grossissant ailleurs. Un contrôleur qui doit reconstruire son plan pour chaque nouvelle situation peut être trop lent pour compter. L’apprentissage par renforcement offre une autre voie. Un drone apprend de l’expérience comment ajuster sa trajectoire à mesure que les conditions changent.

Aujourd’hui, beaucoup de drones anti-feu dépendent encore des personnes aux commandes. Cela limite le temps de fonctionnement. Cela rend aussi difficile la mise en place d’une flotte sur un grand feu. Les liaisons radio peuvent être faibles dans un terrain accidenté. Un drone capable de s’adapter par lui-même peut continuer à travailler quand la communication faiblit. De tels drones sont conçus pour ajouter des yeux supplémentaires là où la couverture humaine se raréfie. Ils peuvent repérer tôt les points chauds. Ils peuvent maintenir une image mobile du bord du feu. Cela aide les commandants à voir où les ressources seront nécessaires ensuite.

Construire un terrain d’entraînement virtuel et ses règles de sécurité

Le terrain d’entraînement est une petite boîte tridimensionnelle, vingt unités de long, dix de large et dix de haut. Ce n’est pas une carte de forêt. C’est un espace de test propre où le comportement du feu peut être contrôlé. Deux drones s’y déplacent comme des sphères simples, chacune avec un rayon de 0,25 unité. Pour les vérifications de collision, chaque drone porte aussi une boîte cubique d’un demi-unité de côté. Cette boîte rend les chocs plus faciles à détecter.

Les feux sont modélisés comme des cylindres hauts, pas comme des flammes aux bords vacillants. Un feu normal a un rayon de 0,25 unité et s’élève à dix unités de hauteur. La hauteur complète compte parce qu’elle imite le pire cas : les feux réels peuvent monter très haut à travers les arbres. Dans une scène plus grande, le feu central grandit jusqu’à un rayon de 2,5 unités.

Le terrain comporte des règles dures et souples. Un contact direct avec le feu met fin immédiatement à l’épisode. C’est la règle la plus stricte du système. Les drones sont aussi pénalisés pour dériver dans les zones dangereuses proches d’une flamme. Ils gagnent des points quand ils maintiennent un écart optimal par rapport au feu. La distance idéale agit comme un couloir de sécurité autour du bord enflammé. La récompense liée à cet écart suit une courbe lisse. Les petites erreurs coûtent peu. Les grandes incursions coûtent beaucoup plus.

Le terrain décourage aussi le long-courrier contre les parois. Un drone qui reste trop près de la limite extérieure perd des points. Cela sert à empêcher les drones de se cacher contre la boîte pendant qu’un feu se propage à proximité. La consommation d’énergie est vérifiée à chaque étape. Les brusques rafales de poussée sont pénalisées plus que le mouvement régulier. Cela garde les trajectoires de vol lisses.

Un drone doit se déplacer d’au moins 0,75 unité pour compter comme explorant activement. S’il se déplace moins, une petite pénalité s’applique. S’il se déplace davantage, il reçoit un bonus. Le terrain est construit autour de plusieurs dispositions de feux. Une disposition place un feu unique au centre, comme un feu de camp. Une autre commence au centre et laisse apparaître de nouveaux feux à proximité avec le temps. Une troisième met huit feux en ligne sur la carte. D’autres dispositions dispersent les feux aléatoirement ou créent un mur de flammes infranchissable.

Quand les feux se propagent, chaque flamme existante a une très petite chance d’en créer une nouvelle à proximité. Elle apparaît dans un rayon de cinq unités du feu parent. La nouvelle flamme doit rester au moins 1,5 unité de toutes les autres. Cela empêche la carte de devenir trop encombrée. Dans une disposition sévère, les drones peuvent subir un crash aléatoire avec une minuscule chance à chaque étape, environ 0,06 %. Cela imite des braises ou des pannes dans un feu de cime.

Les règles de sécurité se resserrent au fil de l’entraînement. Une marge de sécurité intégrée rétrécit sur cinq niveaux. Au début, les drones obtiennent une zone tampon plus large autour du danger. Plus tard, ils doivent voler plus près et contrôler leur trajectoire avec plus de précision.

Suivre les drones à travers des milliers d’étapes d’entraînement

Les drones ont été entraînés dans des essais répétés appelés épisodes. Chaque épisode durait au maximum 300 étapes. Une étape est une petite décision sur la façon de se déplacer. L’exécution complète couvrait 1 000 épisodes. Elle était divisée en cinq niveaux de difficulté. Chaque niveau comptait 200 épisodes. Ce plan par étapes a permis aux drones de commencer avec plus de marge de sécurité et de voler ensuite plus près du feu.

Au début, les performances semblaient brouillonnes. La durée des épisodes tombait souvent sous 300 étapes. Cela signifiait qu’un drone avait heurté quelque chose ou s’était terminé tôt. Le taux de réussite chutait aussi fortement. Il oscillait entre zéro et vingt pour cent autour de l’épisode 200. La réussite exigeait de survivre 300 étapes sans crasher et de détecter le feu. Les premiers drones apprenaient encore à quoi ressemblait le danger.

Deux mesures internes d’erreur se sont aussi améliorées. L’une suivait à quel point le réseau de mouvement correspondait à son propre plan. Elle est passée d’environ un dixième à un cent-millième. L’autre suivait à quel point un réseau jugeant prédisait la récompense future. Il s’est stabilisé près de six centièmes. Ces nombres sont petits parce qu’ils mesurent des erreurs de prédiction, pas la qualité du vol.

Puis les courbes se sont retournées vers le haut. Après environ 400 épisodes, la plupart des exécutions atteignaient la longueur complète de 300 étapes. Le taux de réussite remontait près de 100 % et y restait. Ce n’était pas seulement une question de chance. Cela montrait que les drones avaient appris à éviter les collisions tout en trouvant le feu.

Le score de récompense racontait une histoire similaire. Il commençait près de zéro et montait rapidement pendant les cent premiers épisodes. Plus tard, il s’aplatissait, faisait un pic entre les épisodes 700 et 800, puis se stabilisait autour de 250 000. Ce grand nombre n’est ni une distance ni une vitesse. C’est un score accumulé à partir de nombreuses petites récompenses et pénalités sur plusieurs étapes. Un score plus élevé signifie que le drone était meilleur pour équilibrer la distance sûre, le mouvement et la détection du feu.

Une autre mesure suivait à quelle distance chaque drone restait des feux actifs. Au départ, l’écart moyen était de 7,5 unités. Pendant les 200 premiers épisodes, cet écart se réduisait vite. À l’épisode 400, il s’était stabilisé près de 1 unité. Les drones ne volaient pas simplement dans les flammes. Ils apprenaient à planer assez près pour surveiller le bord et assez loin pour rester en sécurité.

Les trajectoires de vol changeaient aussi. Les premières étaient courtes et erratiques. Certaines se terminaient contre des parois ou tournaient loin du feu. Les trajectoires ultérieures devenaient de plus longs arcs autour de la zone enflammée. Les drones effectuaient des passages répétés le long du périmètre. Ce motif suggère une habitude utile. Le drone gardait le feu dans son champ de vision. Il s’adaptait à mesure que le feu grandissait. Il évitait aussi les obstacles.

Quelles récompenses ont façonné le meilleur comportement de surveillance du feu

Le score d’un drone était construit à partir de dix petites poussées. Certaines l’attiraient vers le feu, d’autres l’en éloignaient, et d’autres encore récompensaient les nouveaux terrains. Pour voir quelle poussée comptait, chacune a été retirée pendant que les autres restaient en place. L’ensemble complet des signaux produisait le vol le plus équilibré. Il gardait les drones assez près pour surveiller les flammes sans s’y écraser.

Le comportement qui paraissait le plus sûr venait des récompenses basées sur la distance. Quand les termes de proximité ou de distance optimale étaient omis, les drones trouvaient souvent encore les feux, mais leur espacement devenait moins fiable. Dans plusieurs dispositions, les versions sans ces signaux enregistraient environ 1,8 feu par exécution, tandis que le score complet faisait aussi bien. La différence clé n’était pas seulement de trouver le feu. C’était de rester à une portée utile pour la surveillance.

Les récompenses d’exploration changeaient la quantité de terrain couvert. Les retirer faisait visiter moins de tuiles aux drones. Dans une disposition, la variante exploration voyait 150 tuiles. C’était environ 60 de plus que le point de référence et environ 20 de plus qu’un vol axé sur la proximité. Cela montre que la couverture peut être achetée avec un peu plus d’errance. Mais l’errance seule ne signifiait pas toujours une meilleure surveillance du feu.

Le bonus de découverte avait un effet marqué. Sans lui, les drones trouvaient moins de feux dans un cas simple, en moyenne seulement 0,6 au lieu d’environ 1. Pourtant, ils visitaient plus de cases, environ 200. Ils cherchaient plus large mais manquaient le point : les nouvelles flammes comptaient plus que le terrain vide.

Les pénalités de bord empêchaient les drones de coller aux parois. Quand cette pénalité était retirée, la couverture augmentait dans certains cas. Elle atteignait environ 150 tuiles au lieu de 135 avec le score complet. Plus de surface était vue, mais le comportement dérivait loin du bord du feu. Les termes de mouvement et d’immobilisation comptaient aussi. Ils encourageaient une patrouille active plutôt qu’un stationnement en place. Les récompenses de patrouille latérale faisaient balayer les drones autour d’un périmètre plus souvent, avec environ 140 tuiles vues dans une disposition contre 110 pour l’ensemble complet.

La meilleure surveillance du feu ne venait pas d’une seule récompense énorme mais d’un score équilibré. Les signaux de distance gardaient les drones sûrs et utiles. Les signaux d’exploration et de découverte les poussaient à trouver de nouvelles flammes. Les signaux de bord et de mouvement arrêtaient les trajectoires paresseuses ou collées aux parois. Ensemble, ils ont façonné une habitude : faire le tour du feu, vérifier le terrain neuf et maintenir une surveillance régulière.

Ce que les drones intelligents face au feu doivent encore prouver

Les drones ont appris une habitude utile. Ils ont cessé de s’écraser dans les flammes. Ils ont commencé à faire le tour des bords du feu plutôt que de fuir ou de planer aveuglément. Ce comportement est apparu d’essais et d’erreurs répétés à l’intérieur d’un terrain virtuel. Les règles de score les poussaient vers la distance sûre, le terrain neuf et un mouvement régulier. La difficulté par étapes les a aidés à gagner en confiance près du danger.

La plus grande promesse est la conscience en temps réel. Les feux de forêt n’attendent pas que les plans soient écrits. Un drone capable d’ajuster sa trajectoire à mesure que le feu se déplace pourrait donner aux équipes des avertissements plus précoces de reprises, de braises ou de nouveaux fronts. Il pourrait aussi réduire la nécessité pour des humains épuisés de patrouiller un terrain incertain. Dans un système de réponse futur, plusieurs drones de ce type pourraient partager leurs observations et maintenir la surveillance pendant que les personnes se concentrent sur l’extinction.

Les obstacles sont tout aussi clairs. Le monde virtuel laissait de côté le vent, le terrain accidenté, le bruit des capteurs et les liaisons radio rompues. Ces facteurs peuvent changer la façon dont un drone voit le feu et se déplace dans l’air. Des formes de feu plus variées et des exécutions d’entraînement plus longues permettraient de tester si le comportement appris tient la route. La consommation d’énergie et une couverture uniforme ont aussi besoin d’une mesure plus fine. Une politique qui fonctionne dans une simulation propre peut échouer quand les conditions deviennent désordonnées.

La leçon n’est pas que les drones autonomes anti-feu sont prêts pour un déploiement. C’est qu’un chemin pratique existe maintenant. L’étape suivante est de rendre le monde d’entraînement moins indulgent. Les drones sauront-ils garder leur sang-froid ?