L’intelligenza artificiale nei videogiochi può imparare stili di gioco simili a quelli umani grazie a obiettivi regolabili

Lo stile del giocatore in pochi numeri

Lo stile di gioco si riduce a una breve lista di numeri, ciascuno compreso tra 0 e 1: un valore vicino a zero indica che il tratto è appena presente, uno vicino a uno segnala la sua forte espressione. I tratti vengono selezionati in anticipo. Possono includere aggressività, cooperatività, mobilità, competitività e propensione al rischio. In una configurazione di test sono stati impiegati sei numeri, ognuno dei quali traccia un diverso modo di giocare.

Questa lista prende il nome di vettore comportamentale. Non registra ogni singola mossa, ma riassume le tendenze misurate del giocatore: un valore alto di aggressività corrisponde a maggiore pressione sugli avversari, uno basso di cooperatività a meno aiuto per i compagni, mentre una mobilità elevata implica più spostamenti sulla mappa. I numeri funzionano come manopole: girarne una modifica lo stile.

La codifica si basa su statistiche ordinarie del gioco, anziché su azioni registrate. È possibile costruire un profilo da una singola partita completata, soluzione utile quando i dati sono scarsi. Tuttavia, è preferibile fare la media di diverse partite, poiché motivazione e prestazioni variano tra le sessioni. La media attenua queste oscillazioni, fornendo una descrizione stabile del modo in cui il giocatore tende a giocare.

Questa rappresentazione supporta anche stili che nessun umano adotterebbe mai. Spingendo i valori verso gli estremi si creano combinazioni insolite per testare i software: uno stile può collocarsi ovunque su un continuum, dove i profili simili a quelli umani occupano una parte e quelli strani o estremi formano l’altra.

Misurare gli stili in un’arena 2 contro 2

L’arena di test è un piccolo mondo a griglia pensato per due squadre composte da due agenti ciascuna. Ogni agente può spostarsi, raccogliere oggetti e combattere gli avversari. Le monete sicure garantiscono punti costanti, mentre i diamanti si trovano in posizioni più rischiose e valgono di più. Anche l’eliminazione di un nemico aggiunge punteggio. Il gioco offre al sistema un modo pulito per misurare lo stile a partire dalle statistiche ordinarie di gioco.

Sei numeri descrivono il comportamento dell’agente. La mobilità rappresenta la quota di celle visitabili che l’agente ha esplorato: un valore alto indica ampi spostamenti, uno basso un movimento ristretto in una sola area. La distanza dal compagno misura quanto l’agente resta vicino al partner, distinguendo chi gioca in gruppo da chi agisce da solo. Il rapporto dei punti da monete è la quota del punteggio totale ottenuta dalle monete sicure. Quello dai diamanti deriva dai diamanti rischiosi. Quello dalle eliminazioni dalla quota ottenuta abbattendo gli avversari. La dominanza divide il punteggio totale per il massimo teorico possibile.

Tutti e sei i valori sono normalizzati tra 0 e 1, il che li rende facili da confrontare tra agenti ed episodi diversi. Un valore vicino a zero indica scarsa presenza di quel comportamento. Uno vicino a un’unità ne segnala una forte espressione. Le metriche distinguono anche scelte correlate ma diverse: un agente può essere aggressivo senza essere dominante se elimina spesso gli avversari ma ottiene poco punteggio complessivo, oppure prudente e mobile, raccogliendo monete mentre copre molta area. Queste misurazioni trasformano azioni visibili in un profilo comportamentale compatto.

Un solo modello addestrato a inseguire più obiettivi alla volta

Una singola policy impara a gestire più stili contemporaneamente. Durante la fase di addestramento, ogni agente riceve uno stile obiettivo per l’episodio in corso e percepisce sia il proprio stile attuale sia lo stato standard del gioco. La ricompensa dipende dalla riduzione della distanza tra questi due segnali: un’azione che avvicina il comportamento all’obiettivo genera credito, mentre una che lo allontana ne sottrae. In questo modo, il controllo dello stile diventa un problema di guida continua.

La rete condivisa elabora tre tipi di input. La vista della mappa attraversa layer convoluzionali, mentre valori semplici come salute e tempo restano accessibili. I segnali relativi allo stile attuale e a quello obiettivo vengono integrati nella stessa rappresentazione. Da qui, un ramo seleziona le azioni e l’altro stima il valore per l’apprendimento. Tutti gli agenti condividono gli stessi pesi, ma ciascuno riceve il proprio target specifico: di conseguenza, ogni partita include simultaneamente molti obiettivi di stile diversi.

La ricompensa viene scalata in base all’intensità del segnale obiettivo. Senza questa regolazione, i target più ampi prometterebbero un rendimento totale superiore rispetto a quelli ridotti, spingendo il modello verso stili estremi anziché ordinari. La scala modifica anche il significato delle azioni: un’eliminazione può essere normale sotto un obiettivo aggressivo ma insolita in uno calmo.

L’addestramento non richiede che ogni target campionato sia realistico. Anche se un obiettivo è difficile o impossibile, l’agente apprende dalla direzione del movimento verso di esso o lontano da esso. Questo elimina la necessità di registrare partite umane per definire lo spazio degli stili consentiti. L’inclusione di alcune combinazioni insolite durante l’apprendimento aiuta la policy a sviluppare una capacità di guida ampia.

L’esecuzione finale ha utilizzato circa 200 milioni di step temporali, equivalenti a circa 5.500 ore di gioco. Sedici istanze del gioco sono state eseguite in parallelo su hardware consumer dotato di GPU RTX 3080, 32 GB di RAM e processore Intel i5. Reti più piccole erano state addestrate precedentemente per 100 milioni di step ciascuna, con curve di ricompensa in costante miglioramento. La configurazione migliore è stata selezionata per l’esecuzione prolungata.

La ricompensa densa basata sulla distanza ha mantenuto stabile l’addestramento senza alterare le impostazioni standard. Sia la selezione delle azioni sia la stima del valore hanno ricevuto il segnale obiettivo, permettendo alla rete di considerare l’obiettivo come parte della situazione e non come rumore casuale.

Verifica della copertura degli stili di gioco da parte degli agenti

Per accertare se gli agenti coprano effettivamente stili di gioco distinti, il loro comportamento è stato analizzato su 1.250 episodi completati. L’obiettivo era verificare se una singola policy condivisa potesse generare un ampio ventaglio di stili, evitando di convergere verso un unico modo prudente di giocare. Come riferimento è stata utilizzata una baseline orientata esclusivamente alla vittoria: questo modello ha imparato solo a vincere e tendeva a compiere scelte simili in situazioni analoghe, occupando così una regione ristretta dello spazio degli stili. Il nuovo metodo ha prodotto una diversità comportamentale nettamente superiore rispetto a tale baseline.

Gli agenti sono stati inoltre sottoposti al compito di replicare numerosi stili target. I risultati migliori si sono registrati sulle dimensioni legate al punteggio, dove i valori numerici riflettono direttamente gli esiti del gioco. Cooperazione e mobilità hanno mostrato un degrado debole o moderato: è un dato coerente, poiché questi tratti dipendono dal movimento e dalla posizione della squadra nel tempo. Per confrontare la copertura, si è utilizzata una rappresentazione bidimensionale dello spazio comportamentale. In questa vista, i nuovi agenti si distribuiscono su un’area molto più ampia rispetto alla policy basata solo sulla vittoria. Anche la baseline CARI produceva stili diversi modificando i pesi della ricompensa: poteva spingere un agente verso una maggiore aggressività o una raccolta più intensa di monete, ma non era in grado di puntare a un valore esatto, come fissare le eliminazioni al 40 percento del punteggio totale.

I dati degli episodi rivelano legami concreti tra i comportamenti. La quota di diamanti e quella delle eliminazioni variano fortemente in direzioni opposte, con una correlazione vicina a -0,60. Si tratta in parte di un vincolo imposto dalle regole del gioco, dato che le quote relative a monete, diamanti ed eliminazioni devono sommare uno. La quota delle eliminazioni e la dominanza complessiva risultano quasi non correlate (circa 0,10). La mobilità è invece legata debolmente alle dimensioni di punteggio, poiché sia la raccolta degli oggetti sia il combattimento richiedono spostamenti sulla mappa. Anche gli errori presentano una struttura: quando un agente non ottiene abbastanza eliminazioni, spesso cala anche il suo punteggio totale, con una correlazione degli errori vicina a +0,47. Gli errori sono distribuiti su diverse dimensioni anziché accumularsi in un unico punto, un andamento che conferma la stabilità delle dinamiche di addestramento.

Cosa offre il metodo, e dove si ferma

Il risultato principale è un metodo per far scegliere all’IA del gioco la propria personalità una volta completato l’addestramento. Lo stile di un giocatore si riduce a una breve lista di numeri compresi tra zero e uno. Ogni numero regola un tratto specifico, come aggressività, lavoro di squadra, movimento o propensione al rischio. Una singola policy condivisa può essere indirizzata verso molte liste diverse senza bisogno di un modello separato per ogni tipo di bot: questo è il vantaggio pratico. Gli sviluppatori possono richiedere un raccoglitore cauto, un attaccante spericolato o un compagno che resta vicino a un altro giocatore. La stessa rete addestrata si avvicina a questi obiettivi modificando il proprio comportamento durante la partita.

La questione è cruciale perché i giochi sono difficili da testare quando ogni avversario IA gioca allo stesso modo. Un bot focalizzato sulla vittoria potrebbe sempre scegliere lo stesso percorso vincente, rischiando di non rilevare bug che emergono solo sotto abitudini umane insolite. Lo spazio di stile regolabile apre un campo di test più ampio e fornisce anche un modello approssimativo del comportamento dei diversi giocatori, basandosi su statistiche ordinarie in-game anziché su lunghe registrazioni delle loro mosse.

I limiti sono concreti. Il metodo dipende da metriche misurabili a ogni passo: sei numeri definiti manualmente non possono catturare tutti gli aspetti del gioco umano. La fluidità dei movimenti, il tempismo sotto pressione e la pazienza tattica potrebbero richiedere nuove dimensioni. Un aumento delle dimensioni fa crescere rapidamente lo spazio degli obiettivi. L’addestramento potrebbe quindi necessitare di esecuzioni più lunghe o di un campionamento più intelligente per mantenere una buona copertura. Alcuni obiettivi campionati sono irrealistici, pur aiutando comunque l’apprendimento. Gli stili generati vanno letti come approssimazioni grossolane, non come copie fedeli di giocatori individuali.

Se lo stile può diventare una manopola su un bot IA, cosa succede quando i tester dei giochi smettono di chiedere se un agente vince e iniziano a chiedersi quale abitudine umana imita?