La IA de videojuegos puede aprender múltiples estilos de juego humanos mediante objetivos ajustables

El estilo de un jugador, reducido a una breve lista de números

El estilo de un jugador se reduce a una breve lista de números. Cada valor oscila entre 0 y 1: cerca de 0, el rasgo apenas existe. Cerca de 1, está muy marcado. Los rasgos se definen previamente e incluyen agresividad, cooperatividad, movilidad, competitividad y toma de riesgos. En una configuración de prueba, se emplearon seis números para seguir distintos modos de jugar.

A esta lista se la denomina vector de comportamiento. No registra cada movimiento, sino que resume las tendencias medidas del jugador. Un valor alto de agresividad implica más presión sobre los rivales. Uno bajo de cooperatividad, menos ayuda a los compañeros. Y uno alto de movilidad, mayor desplazamiento por el mapa. Los números funcionan como mandos giratorios: ajustar uno modifica el estilo.

Esta codificación se basa en estadísticas habituales del juego, no en acciones grabadas. Con una sola partida completada basta para construir un perfil, lo cual resulta útil cuando hay pocos datos. Aun así, conviene promediar varias partidas, ya que la motivación y el rendimiento varían entre sesiones. El promedio suaviza esas oscilaciones y ofrece una descripción estable de cómo tiende a jugar alguien.

Esta representación también admite estilos que ningún humano emplearía. Al empujar los valores hacia los extremos se crean combinaciones inusuales para probar el software. Un estilo puede situarse en cualquier punto del continuo: los perfiles similares a los humanos constituyen una parte, y los extraños o extremos, otra.

Medir estos estilos en una arena sencilla de dos contra dos

La arena de pruebas es un mundo en cuadrícula pequeño, diseñado para dos equipos de dos agentes. Cada agente puede moverse, recoger objetos y combatir a los oponentes. Las monedas seguras otorgan puntos constantes. Los diamantes se ubican en zonas más arriesgadas y ofrecen una recompensa mayor. Eliminar a un enemigo también suma puntos. Así, el juego ofrece al sistema una forma clara de medir el estilo a partir de estadísticas habituales de la partida.

Seis números describen lo que hace un agente. La movilidad es la proporción de celdas visitables que el agente ha recorrido: un valor alto indica un desplazamiento amplio por el mapa, mientras que uno bajo significa movimientos limitados cerca de una sola zona. La distancia al compañero mide qué tan cerca se mantiene un agente de su socio. Puede revelar a un jugador que actúa en conjunto o a uno que juega solo. La proporción de puntos por monedas es la parte del total obtenida con las monedas seguras, la de diamantes corresponde a los diamantes arriesgados y la de eliminaciones a las bajas al oponente. La dominancia divide el puntaje total entre el máximo teórico posible.

Todos estos valores se escalan de 0 a 1, lo que facilita su comparación entre agentes y episodios. Un valor cercano a cero indica poca presencia de ese comportamiento. Uno cercano a uno expresa con fuerza dicho rasgo. Las métricas también distinguen decisiones relacionadas pero distintas: un agente puede ser agresivo sin ser dominante si elimina con frecuencia pero obtiene pocos puntos en general, mientras que otro puede ser seguro y móvil, recogiendo monedas mientras recorre gran parte del terreno. Estas mediciones convierten acciones visibles en un perfil conductual compacto.

Un único modelo, entrenado para perseguir múltiples objetivos simultáneamente

Una única política aprende a ejecutar múltiples estilos simultáneamente. Durante el entrenamiento, cada agente recibe un estilo objetivo para ese episodio concreto. Además, percibe su propio estilo actual y el estado habitual del juego. La recompensa depende de cuánto se reduce la distancia entre ambas señales: si una acción acerca el comportamiento al objetivo, gana crédito. Si lo aleja, lo pierde. Así, el control del estilo se convierte en un problema de guiado continuo.

La red compartida procesa tres tipos de entrada. La vista del mapa atraviesa capas convolucionales, mientras que valores simples como la salud y el tiempo permanecen accesibles. Las señales de estilo actual y objetivo se suman a esa misma representación. A partir de ahí, una rama selecciona las acciones y otra estima el valor para el entrenamiento. Todos los agentes utilizan los mismos pesos, aunque cada uno mantiene su propio objetivo. De este modo, cada partida incluye múltiples metas de estilo al mismo tiempo.

La recompensa se escala según la magnitud de la señal del objetivo. Sin esa normalización, los objetivos grandes podrían prometer un retorno total superior al de los pequeños, lo que haría derivar al modelo hacia estilos extremos en lugar de los habituales. La escalada también modifica el significado de una acción: una eliminación puede ser normal bajo una meta agresiva, pero inusual bajo una tranquila.

El entrenamiento no exige que todos los objetivos muestreados sean realistas. Incluso si un objetivo resulta difícil o imposible, el agente aprende del movimiento hacia él y alejándose de él. Esto evita la necesidad de partidas humanas grabadas para definir la región de estilos permitidos. Se incluyen algunas combinaciones extrañas durante el proceso, lo que ayuda a la política a aprender un comportamiento de guiado amplio.

La ejecución final empleó unos 200 millones de pasos temporales, equivalentes a aproximadamente 5 500 horas de juego. Dieciséis instancias del juego se ejecutaron en paralelo sobre hardware doméstico equipado con una GPU RTX 3080, 32 GB de RAM y un procesador Intel i5. Redes más pequeñas anteriores se entrenaron durante 100 millones de pasos cada una. Sus curvas de recompensa mejoraron de forma constante. La configuración óptima se seleccionó para la ejecución más larga.

La recompensa densa basada en distancia mantuvo el entrenamiento estable sin alterar los ajustes estándar. Tanto la selección de acciones como la estimación del valor accedían a la señal del objetivo, lo que permitía a la red tratar la meta como parte de la situación y no como ruido aleatorio.

Verificar si los agentes abarcan realmente estilos de juego diferentes

Para verificar si los agentes cubren realmente distintos estilos de juego, se midió su comportamiento a lo largo de 1 250 episodios completados. La idea era comprobar si una única política compartida podía generar un amplio abanico de estilos en lugar de reducirse a una sola forma segura de jugar. Se utilizó como contraste una línea base orientada únicamente a la victoria, que solo aprendió cómo ganar y tendía a tomar decisiones similares en situaciones parecidas. Su comportamiento ocupaba una región estrecha del espacio de estilos, mientras que el nuevo método produjo una diversidad conductual claramente mayor.

También se pidió a los agentes que coincidieran con muchos estilos objetivo. Obtuvieron mejores resultados en las dimensiones basadas en puntuación, donde los números están cerca de los resultados directos del juego. La cooperación y la movilidad mostraron un deterioro menor o moderado, lo cual tiene sentido porque esos rasgos dependen del movimiento y de la posición del equipo a lo largo del tiempo. Para comparar la cobertura se empleó una vista bidimensional del espacio de comportamiento: en ella, los nuevos agentes se extendieron por un área mucho más amplia que la política orientada solo a la victoria. La línea base CARI también producía estilos diferentes al cambiar los pesos de recompensa. Podía empujar a un agente hacia una mayor agresividad o una mayor recolección de monedas, pero no podía apuntar a un punto exacto, como hacer que las bajas representen el 40 % de la puntuación total.

Los datos de los episodios revelaron vínculos reales entre comportamientos. La proporción de diamantes y la proporción de bajas se movieron fuertemente en direcciones opuestas, con una correlación cercana a menos 0,60. Esto es en parte una regla del juego, porque las proporciones de monedas, diamantes y bajas deben sumar uno. La proporción de bajas y la dominancia general estaban casi sin correlacionar, alrededor de 0,10. La movilidad estaba ligada levemente a las dimensiones de puntuación, ya que tanto recoger objetos como pelear requieren moverse por el mapa. Los errores también tenían estructura: cuando un agente no lograba suficientes bajas, su puntuación total solía caer también, con una correlación cercana a más 0,47. Los fallos se distribuían en varias dimensiones en lugar de acumularse en un solo punto, un patrón que respalda dinámicas de entrenamiento estables.

Lo que ofrece este método y sus limitaciones actuales

El logro central es que la IA de los videojuegos pueda elegir su personalidad una vez finalizado el entrenamiento. El estilo del jugador se reduce a una breve lista de números entre cero y uno. Cada cifra define un rasgo, como la agresividad, el trabajo en equipo, la movilidad o la toma de riesgos. Una única política compartida puede orientarse hacia muchas listas distintas sin necesidad de un modelo separado para cada tipo de bot. Esa es la ventaja práctica: los desarrolladores pueden pedir un coleccionista cauteloso, un atacante temerario o un compañero que se mantenga cerca de otro jugador. La misma red entrenada se acerca a esos objetivos ajustando su comportamiento durante la partida.

Esto importa porque resulta difícil probar los juegos cuando todos los rivales por IA juegan igual. Un bot centrado en ganar suele elegir siempre el mismo camino victorioso y puede pasar por alto errores que solo aparecen bajo hábitos humanos inusuales. El espacio de estilos ajustable abre un terreno de pruebas más amplio. Además, ofrece un modelo aproximado del comportamiento de distintos jugadores, basándose en estadísticas habituales del juego en lugar de largas grabaciones de sus movimientos.

Las limitaciones son reales. El método depende de métricas medibles en cada paso. Seis números definidos a mano no pueden capturar todo el juego humano. La fluidez del movimiento, la puntería bajo presión y la paciencia táctica podrían requerir nuevas dimensiones. A mayor número de dimensiones, más rápido crece el espacio objetivo. El entrenamiento podría necesitar ejecuciones más largas o muestreos más inteligentes para mantener una buena cobertura. Algunos objetivos muestreados son poco realistas, aunque siguen ayudando al aprendizaje. Los estilos generados deben leerse como aproximaciones gruesas, no como copias completas de jugadores individuales.

Si el estilo puede convertirse en un dial en un bot de IA, ¿qué ocurre cuando los probadores dejan de preguntar si un agente gana y empiezan a preguntar qué hábito humano imita?