Drones aprenden a rodear incendios en un entorno virtual para responder a emergencias

Por qué la gestión de incendios exige drones capaces de adaptarse por sí solos

Los incendios forestales no esperan a que nadie termine de planificar. En los incendios de Los Ángeles de 2025, las dotaciones se toparon con retrasos, comunicaciones cortadas y recursos escasos. Las llamas avanzaban más rápido de lo que las órdenes operativas podían alcanzarlas. Redactar y distribuir los planes llevaba tiempo. Para cuando llegaban a las cuadrillas, la situación ya podía haber cambiado. Además, los bomberos debían vigilar las reactivaciones, lo que les obligaba a apartarse de la supresión activa. Muchos aguantaron turnos de 24 horas en terrenos peligrosos. La fatiga ralentizaba las reacciones y elevaba el riesgo de lesiones. Los helicópteros requerían mantenimiento frecuente, por lo que no siempre estaban disponibles cuando el fuego saltaba hacia adelante.

Las líneas de fuego se mueven con rapidez. El viento puede llevar ascuas a árboles nuevos. El terreno canaliza las llamas cuesta arriba o las frena en los valles. Un dron que siga una ruta preestablecida podría sobrevolar el punto equivocado en el peor momento. Necesita decidir, segundo a segundo, dónde mirar a continuación. Debe mantenerse seguro mientras se acerca lo suficiente para ver el calor y el humo.

Los métodos de control tradicionales suelen suponer un problema estable. Funcionan bien cuando el objetivo es conocido y las reglas no cambian. Un incendio forestal no cumple ninguna de esas condiciones. El frente del fuego puede dividirse, avanzar por delante o apagarse en un lugar mientras crece en otro. Un sistema de control que deba reconstruir su plan ante cada nueva situación resulta demasiado lento para ser útil. El aprendizaje por refuerzo ofrece una vía distinta: el dron aprende de la experiencia cómo ajustar su trayectoria a medida que cambian las condiciones.

Hoy, muchos drones contra incendios forestales siguen dependiendo de personas en el control. Eso limita el tiempo de actividad y dificulta escalar una flota a lo largo de un gran incendio. Los enlaces de radio pueden ser débiles en terrenos accidentados. Un dron capaz de adaptarse por sí solo puede seguir funcionando cuando la comunicación se debilita. Estos drones están destinados a añadir ojos adicionales donde la cobertura humana se reduce. Pueden detectar puntos calientes con antelación y mantener una imagen en movimiento del borde del fuego, lo que ayuda a los mandos a ver dónde se necesitan recursos a continuación.

El diseño del polígono de pruebas virtual y sus reglas de seguridad

El entorno de simulación es una caja tridimensional de dimensiones reducidas: veinte unidades de largo, diez de ancho y diez de alto. No se trata de un mapa forestal, sino de un espacio de pruebas controlado donde el comportamiento del fuego puede regularse con precisión. Dos drones se desplazan en su interior representados como esferas simples, cada una con un radio de 0,25 unidades. Para las comprobaciones de colisión, cada dron incorpora además un volumen cúbico de media unidad por lado, lo que facilita la detección de los impactos.

Los incendios se modelan mediante cilindros altos, en lugar de llamas con bordes irregulares. Un fuego estándar posee un radio de 0,25 unidades y alcanza una altura de diez unidades. Esta dimensión vertical es crucial porque simula el peor escenario posible: los fuegos reales pueden ascender considerablemente a través del dosel arbóreo. En uno de los escenarios más extensos, el fuego central crece hasta alcanzar un radio de 2,5 unidades.

El sistema opera bajo reglas rígidas y flexibles. Un contacto directo con las llamas interrumpe el episodio inmediatamente. Esta es la restricción más estricta del entorno. Los drones también reciben penalizaciones por adentrarse en zonas de peligro cercanas a una llama, mientras que acumulan puntos positivos al mantener una distancia óptima respecto al fuego. Esa distancia ideal funciona como un corredor seguro alrededor del borde ardiente. La recompensa asociada sigue una curva suave: los errores menores tienen un coste bajo, pero las intrusiones significativas penalizan mucho más.

El diseño también desincentiva el vuelo pegado a las paredes. Un dron que se mantiene demasiado cerca de los límites exteriores pierde puntos, mecanismo destinado a evitar que se refugie contra la caja mientras el fuego se extiende en sus proximidades. El consumo energético se evalúa en cada paso: los impulsos bruscos de empuje sufren una penalización mayor que el movimiento constante, lo que garantiza trayectorias de vuelo suaves.

Para considerarse exploración activa, un dron debe desplazarse al menos 0,75 unidades. Si recorre una distancia inferior, se le aplica una pequeña sanción. Si supera esa cifra, obtiene un bono. El entorno se estructura en torno a varios patrones de distribución del fuego. Uno sitúa un único incendio en el centro, similar a una hoguera. Otro comienza con un foco central y permite que aparezcan nuevos fuegos en las cercanías con el paso del tiempo. Un tercero alinea ocho focos en línea a través del mapa. Otros diseños dispersan los incendios aleatoriamente o generan una pared de llamas infranqueable.

Cuando los fuegos se propagan, cada llama existente tiene una probabilidad mínima de originar un nuevo foco cercano. Este aparece dentro de un radio de cinco unidades respecto al fuego progenitor y debe mantenerse a una distancia no inferior a 1,5 unidades de cualquier otro, evitando así que el mapa resulte demasiado congestionado. En uno de los patrones más severos, los drones pueden sufrir un fallo aleatorio con una probabilidad diminuta en cada paso, aproximadamente del 0,06 por ciento, lo que simula las brasas o averías propias de un fuego de copa.

Las normas de seguridad se endurecen a medida que avanza el entrenamiento. Un margen de seguridad integrado se reduce progresivamente a través de cinco niveles: al inicio, los drones disponen de un colchón más amplio alrededor del peligro. Posteriormente, deben volar más cerca y controlar su trayectoria con mayor precisión.

Seguimiento del entrenamiento: miles de pasos con los drones

El entrenamiento de los drones se organizó mediante ensayos repetidos denominados episodios. Cada episodio constaba de un máximo de 300 pasos, donde cada paso representa una pequeña decisión sobre cómo moverse. La ejecución completa abarcó 1 000 episodios, divididos en cinco niveles de dificultad con 200 episodios cada uno. Este plan escalonado permitió a los drones comenzar con un mayor margen de seguridad y volar más cerca del fuego a medida que avanzaba el proceso.

Al principio, el rendimiento parecía caótico. La duración de los episodios solía caer por debajo de los 300 pasos, lo que indicaba que un dron había chocado contra algo o terminado antes de tiempo. La tasa de éxito también descendió bruscamente, oscilando entre cero y veinte por ciento alrededor del episodio 200. Para considerarse exitoso, el dron debía sobrevivir los 300 pasos sin estrellarse y detectar el fuego. En esa fase inicial, los drones aún estaban aprendiendo a percibir el peligro.

Dos medidas internas de error también mejoraron. Una seguía qué tan bien la red de movimiento coincidía con su propio plan. Descendió de aproximadamente una décima a una centésima de milésima. La otra medía qué tan bien una red de evaluación predecía la recompensa futura, estabilizándose cerca de seis centésimas. Estos números son pequeños porque miden errores de predicción, no la calidad del vuelo.

Después, las curvas se invirtieron hacia arriba. Tras unos 400 episodios, la mayoría de las ejecuciones alcanzó la longitud completa de 300 pasos. La tasa de éxito recuperó niveles cercanos al 100 por ciento y se mantuvo allí. No fue solo suerte: demostró que los drones habían aprendido a evitar colisiones mientras seguían encontrando el fuego.

La puntuación de recompensa contó una historia similar. Comenzó cerca de cero y subió rápidamente durante los primeros cien episodios. Más tarde se estabilizó, experimentó un pico entre los episodios 700 y 800, y luego se asentó alrededor de 250 000. Ese número grande no representa una distancia ni velocidad, sino una puntuación acumulada derivada de muchas pequeñas recompensas y penalizaciones a lo largo de los pasos. Una puntuación más alta significa que el dron era mejor equilibrando la distancia segura, el movimiento y la detección del fuego.

Otra medida seguía qué tan lejos se mantenía cada dron del fuego activo. Al inicio, la brecha promedio era de 7,5 unidades. Durante los primeros 200 episodios, esa brecha se redujo rápidamente. Para el episodio 400, se había estabilizado cerca de 1 unidad. Los drones no simplemente volaban hacia las llamas: aprendieron a planear lo suficientemente cerca para vigilar el borde y lo suficientemente lejos para mantenerse seguros.

Las rutas de vuelo también cambiaron. Las trayectorias iniciales eran cortas e irregulares. Algunas terminaban en paredes o hacían bucles alejándose del fuego. Con el tiempo, las rutas se convirtieron en arcos más largos alrededor del área en llamas, y los drones realizaron pasadas repetidas a lo largo del perímetro. Este patrón sugiere un hábito útil: el dron mantenía el fuego en vista, se ajustaba a medida que el fuego crecía y evitaba obstáculos.

Qué recompensas dieron forma al mejor patrón de vigilancia del fuego

La puntuación de cada dron se construía con diez señales discretas. Algunas lo empujaban hacia el fuego, otras lo alejaban y un tercer grupo premiaba la exploración de terreno nuevo. Para determinar cuál señal resultaba decisiva, se eliminó una a una mientras el resto permanecía activo. El conjunto completo generó el vuelo más equilibrado: mantuvo a los drones cerca suficiente para vigilar las llamas sin chocar contra ellas.

El comportamiento aparentemente más seguro provenía de las recompensas basadas en la distancia. Al excluir los términos de proximidad o de distancia óptima, los drones seguían localizando incendios con frecuencia, pero su separación se volvió menos fiable. En varios escenarios, las versiones sin esas señales promediaron unos 1,8 incendios por ejecución, igual que la puntuación completa. La diferencia clave no era solo encontrar el fuego, sino mantenerse a una distancia útil de observación.

Las recompensas de exploración alteraban la cantidad de terreno cubierto. Al eliminarlas, los drones visitaban menos casillas. En un escenario concreto, la variante con exploración alcanzó 150 casillas: unas 60 más que la referencia y unas 20 más que el vuelo centrado en la proximidad. Esto demuestra que la cobertura puede comprarse a cambio de más vagar. Pero vagar por sí solo no siempre implicaba una mejor vigilancia del fuego.

La bonificación por descubrimiento tuvo un efecto marcado. Sin ella, los drones encontraron menos incendios en un caso sencillo, con una media de solo 0,6 frente a unos 1. Aun así, visitaron más cuadrados, alrededor de 200. Buscaban en un área más amplia pero perdían el objetivo: las nuevas llamas importaban más que el terreno vacío.

Las penalizaciones por borde impedían que los drones se pegaran a las paredes. Al retirar esa penalización, la cobertura aumentó en algunos casos, alcanzando unas 150 casillas frente a las 135 de la puntuación completa. Se veía más área, pero el comportamiento se alejaba del borde del fuego. Los términos de movimiento y estacionamiento también importaban: fomentaban una patrulla activa en lugar de permanecer suspendidos. Las recompensas por patrulla lateral hicieron que los drones barreran el perímetro con mayor frecuencia, cubriendo unas 140 casillas en un escenario frente a las 110 del conjunto completo.

La mejor vigilancia no provenía de una única recompensa gigante, sino de una puntuación equilibrada. Las señales de distancia mantenían a los drones seguros y útiles. Las de exploración y descubrimiento los empujaban a buscar nuevas llamas. Y las de borde y movimiento evitaban rutas perezosas o pegadas a la pared. Juntas, forjaron un hábito: rodear el fuego, revisar terreno nuevo y mantener una vigilancia constante.

Qué deben demostrar todavía los drones capaces de detectar incendios

Los drones han adquirido un hábito útil: han dejado de estrellarse contra las llamas y ahora rodean los bordes del fuego en lugar de huir o planear sin rumbo. Este comportamiento ha surgido de la repetición de ensayo y error dentro de un entorno virtual. Las reglas de puntuación los han empujado hacia una distancia segura, terreno nuevo y movimiento constante, mientras que la dificultad escalonada les ha permitido ganar confianza cerca del peligro.

La promesa mayor es la conciencia en tiempo real. Los incendios forestales no esperan a que se redacten los planes. Un dron capaz de ajustar su trayectoria a medida que el fuego cambia podría dar a las cuadrillas avisos más tempranos de reactivaciones, saltos de llamas o nuevos frentes. También podría reducir la necesidad de que personas agotadas patrullen terreno incierto. En un sistema de respuesta futuro, varios drones así podrían compartir observaciones y mantener la vigilancia mientras el personal se centra en la extinción.

Los obstáculos son igual de claros. El mundo virtual omitió el viento, el terreno irregular, el ruido de los sensores y las conexiones de radio rotas. Esos factores pueden cambiar cómo un dron ve el fuego y cómo se mueve por el aire. Formas de fuego más variadas y sesiones de entrenamiento más largas pondrían a prueba si el comportamiento aprendido resiste. El consumo de energía y la cobertura uniforme también necesitan una medición más cercana. Una política que funciona en una simulación limpia puede fallar cuando las condiciones se vuelven caóticas.

La lección no es que los drones autónomos para incendios forestales estén listos para su despliegue, sino que ahora existe un camino práctico. El siguiente paso es hacer el mundo de entrenamiento menos indulgente. ¿Podrán los drones mantener la calma?