L'IA de jeu pourrait apprendre de nombreux styles de jeu « humains » à partir de cibles ajustables

Le style d’un joueur sous forme de courte liste de nombres

Le style d’un joueur peut se réduire à une petite liste de nombres. Chaque nombre est compris entre 0 et 1. Une valeur proche de 0 signifie que le trait est à peine présent. Une valeur proche de 1 signifie qu’il est fortement présent. Les traits sont choisis à l’avance. Ils peuvent inclure l’agressivité, la coopération, la mobilité, la compétitivité et la prise de risque. Dans un dispositif d’essai, six nombres de ce type ont été utilisés. Chaque nombre suit une façon différente de jouer.

Cette liste est appelée vecteur de comportement. Elle n’enregistre pas toutes les actions. Elle résume les tendances mesurées du joueur. Une valeur d’agressivité élevée signifie plus de pression sur les adversaires. Une faible valeur de coopération signifie moins d’aide aux coéquipiers. Une valeur de mobilité élevée signifie davantage de déplacements sur la carte. Les nombres peuvent se lire comme des curseurs. Tourner un curseur modifie le style.

Ce codage utilise des statistiques de jeu ordinaires plutôt que des actions enregistrées. Un profil peut être construit à partir d’une partie terminée. C’est utile quand il existe peu de données. Pourtant, mieux vaut faire la moyenne sur plusieurs parties. La motivation et les performances varient d’une session à l’autre. La moyenne lisse ces variations. Le résultat est une description stable de la façon dont quelqu’un a tendance à jouer.

Cette représentation permet aussi des styles qu’aucun humain n’utilise. Les valeurs peuvent être poussées vers les extrêmes. Cela crée des combinaisons inhabituelles pour tester le logiciel. Un style peut se situer n’importe où sur un continuum. Les profils « humains » en sont une partie. Les profils étranges ou extrêmes forment une autre partie.

Mesurer ces styles dans une arène simple deux contre deux

L’arène d’essai est un petit monde en grille conçu pour deux équipes de deux agents. Chaque agent peut se déplacer, ramasser des objets et combattre les adversaires. Les pièces sûres rapportent des points réguliers. Les diamants se trouvent dans des endroits plus risqués et rapportent davantage. Éliminer un ennemi ajoute aussi des points. Le jeu offre au système une façon propre de mesurer le style à partir de statistiques ordinaires.

Six nombres décrivent ce qu’un agent fait. La mobilité est la part des cellules visitables que l’agent a visitées. Une valeur élevée signifie une exploration large. Une valeur faible signifie un déplacement restreint près d’une zone. La distance au coéquipier mesure à quelle proximité un agent reste de son partenaire. Elle peut révéler un joueur qui reste groupé ou un joueur qui joue seul. Le ratio des points de pièces est la part du score total provenant des pièces sûres. Le ratio des points de diamants est la part provenant des diamants risqués. Le ratio des points d’éliminations est la part provenant des éliminations d’adversaires. La dominance divise le score total par le score maximum théorique possible.

Les six valeurs sont mises à l’échelle de 0 à 1. Cela les rend faciles à comparer entre agents et épisodes. Une valeur proche de zéro signifie peu de ce comportement. Une valeur proche d’un signifie une expression forte de celui-ci. Les indicateurs séparent aussi des choix liés mais différents. Un agent peut être agressif sans être dominant s’il élimine souvent mais marque peu au total. Un autre peut être prudent et mobile, en collectant des pièces tout en couvrant beaucoup de terrain. Ces mesures transforment les actions visibles en un profil comportemental compact.

Entraîner un modèle partagé pour viser plusieurs cibles à la fois

Une seule politique apprend à jouer dans plusieurs styles à la fois. Pendant l’entraînement, chaque agent reçoit une cible de style pour cet épisode. Il voit aussi son propre style actuel et l’état normal du jeu. La récompense est basée sur la réduction de l’écart entre ces deux signaux. Si une action rapproche le comportement de la cible, elle rapporte des points. Si elle éloigne le comportement, elle en coûte. Cela transforme le contrôle du style en un problème de pilotage continu.

Le réseau partagé reçoit trois types d’entrée. Une vue de la carte passe par des couches convolutives. Des nombres simples comme la santé et le temps restent disponibles. Les signaux de style actuel et de cible sont ajoutés à la même représentation. À partir de là, une branche choisit les actions et l’autre estime la valeur pour l’entraînement. Tous les agents utilisent les mêmes poids. Chaque agent reçoit quand même sa propre cible. Les parties contiennent donc plusieurs objectifs de style différents à la fois.

La récompense est mise à l’échelle selon la taille du signal cible. Sans cette mise à l’échelle, des cibles élevées pourraient promettre un rendement total plus grand que des cibles faibles. Le modèle dériverait vers des styles extrêmes plutôt que vers des styles ordinaires. La mise à l’échelle change aussi ce qu’une action signifie. Une élimination peut être normale sous un objectif agressif mais inhabituelle sous un objectif calme.

L’entraînement n’a pas besoin que toutes les cibles échantillonnées soient réalistes. Si une cible est difficile ou impossible, l’agent apprend encore du mouvement vers elle et de l’éloignement d’elle. Cela évite d’avoir besoin de parties humaines enregistrées pour définir la zone de styles autorisés. Certaines combinaisons étranges sont incluses pendant l’entraînement, ce qui aide la politique à apprendre un comportement de pilotage large.

La dernière exécution a utilisé environ 200 millions de pas de temps. Cela représente environ 5 500 heures de jeu. Seize instances du jeu ont tourné en parallèle sur du matériel grand public avec une carte graphique RTX 3080, 32 GB de RAM et un processeur Intel i5. Des réseaux plus petits antérieurs ont été entraînés chacun pendant 100 millions de pas. Leurs courbes de récompense se sont améliorées régulièrement. La meilleure configuration a été choisie pour l’exécution plus longue.

La récompense dense basée sur la distance a maintenu l’entraînement stable sans modifier les réglages standards. Tant le choix des actions que l’estimation de la valeur voyaient le signal cible. Cela permettait au réseau de traiter l’objectif comme une partie de la situation, et non comme du bruit aléatoire.

Vérifier si les agents couvrent vraiment différents styles de jeu

Pour vérifier si les agents couvrent vraiment différents styles de jeu, leur comportement a été mesuré sur 1 250 épisodes terminés. L’objectif était de voir si une politique partagée pouvait produire une large bande de styles au lieu de se réduire à une façon prudente unique de jouer. Une référence gagnant-seul a servi de contraste. Cette référence n’apprenait que comment gagner. Elle tendait à faire des choix similaires dans des situations similaires. Son comportement occupait une région étroite de l’espace des styles. La nouvelle méthode produit une diversité comportementale nettement supérieure à celle de cette référence.

Les agents ont aussi été demandés pour correspondre à plusieurs cibles de style. Ils font le mieux sur les dimensions basées sur le score, où les nombres sont proches de résultats directs du jeu. La coopération et la mobilité montrent une dégradation plus faible ou modérée. Ce schéma a du sens parce que ces traits dépendent des déplacements et du positionnement d’équipe dans le temps. Une vue bidimensionnelle de l’espace comportemental a été utilisée pour comparer la couverture. Dans cette vue, les nouveaux agents se répartissent sur une zone beaucoup plus large que la politique gagnant-seul. La référence CARI produit aussi différents styles en modifiant les poids de récompense. Elle peut pousser un agent vers plus d’agressivité ou plus de collecte de pièces. Mais elle ne peut pas viser un point exact, comme faire des éliminations 40 % du score total.

Les données d’épisode montrent de vrais liens entre comportements. La part de diamants et la part d’éliminations bougent fortement en sens opposés, avec une corrélation proche de moins 0,60. C’est en partie une règle du jeu, parce que les parts de pièces, de diamants et d’éliminations doivent additionner à un. La part d’éliminations et la dominance globale sont presque non corrélées, environ 0,10. La mobilité est légèrement liée aux dimensions de score, car collecter des objets et combattre demandent tous deux de se déplacer sur la carte. Les erreurs ont aussi une structure. Quand un agent n’obtient pas assez d’éliminations, son score total baisse souvent aussi. La corrélation d’erreurs est proche de plus 0,47. Les erreurs sont réparties sur plusieurs dimensions plutôt que s’accumuler en un seul endroit. Ce schéma soutient des dynamiques d’entraînement stables.

Ce que la méthode nous donne, et ce qu’elle ne peut pas encore faire

Le résultat principal est une façon de faire choisir à l’IA de jeu sa personnalité après l’entraînement. Le style d’un joueur devient une petite liste de nombres entre zéro et un. Chaque nombre fixe un trait, comme l’agressivité, le travail d’équipe, les déplacements ou le risque. Une politique partagée peut être pointée vers plusieurs listes différentes. Elle n’a pas besoin d’un modèle séparé pour chaque type de bot. C’est le gain pratique. Les créateurs de jeux peuvent demander un collecteur prudent, un attaqué téméraire, ou un coéquipier qui reste proche d’un autre joueur. Le même réseau entraîné peut se diriger vers ces cibles en changeant son comportement pendant la partie.

Cela compte parce que les jeux sont difficiles à tester quand chaque adversaire IA joue de la même façon. Un bot centré sur la victoire peut toujours choisir un chemin gagnant unique. Il peut manquer des bogues qui n’apparaissent que sous des habitudes humaines inhabituelles. L’espace de styles ajustables ouvre un terrain de test plus large. Il donne aussi un modèle approximatif de la façon dont différents joueurs peuvent se comporter, en utilisant des statistiques ordinaires du jeu plutôt que de longues enregistrements de leurs coups.

Les limites sont réelles. La méthode dépend d’indicateurs qui peuvent être mesurés à chaque pas. Six nombres faits main ne peuvent pas capturer tout le jeu humain. La fluidité des mouvements, le timing sous pression et la patience tactique peuvent avoir besoin de nouvelles dimensions. Plus de dimensions font croître rapidement l’espace des cibles. L’entraînement peut nécessiter des exécutions plus longues ou un échantillonnage plus intelligent pour maintenir une bonne couverture. Certaines cibles échantillonnées sont irréalistes, même si elles aident encore l’apprentissage. Les styles générés doivent être lus comme des approximations grossières, et non comme des copies complètes de joueurs individuels.

Si le style peut devenir un curseur sur un bot IA, que se passe-t-il quand les testeurs de jeux cessent de demander si un agent gagne et commencent à demander quelle habitude humaine il imite ?