IA de jogos pode aprender vários estilos de jogo semelhantes aos humanos a partir de alvos ajustáveis

O estilo do jogador, resumido em uma lista curta de números

O estilo de um jogador pode ser resumido a uma pequena lista de números. Cada valor fica entre 0 e 1: perto de zero, o traço é quase inexistente. Perto de um, ele se manifesta com força total. As características são definidas previamente e podem incluir agressividade, cooperação, mobilidade, competitividade e propensão ao risco. Em uma das configurações de teste, utilizaram-se seis desses números, cada um acompanhando uma forma distinta de jogar.

Essa lista recebe o nome de vetor de comportamento. Ela não registra cada jogada individual, mas sim as tendências mensuráveis do jogador. Um valor alto de agressividade indica maior pressão sobre os adversários. Um baixo nível de cooperação significa menos apoio aos companheiros de equipe. E uma mobilidade elevada corresponde a mais deslocamento pelo mapa. Os números funcionam como controles ajustáveis: girar um deles altera o estilo de jogo.

Essa codificação se baseia em estatísticas comuns da partida, não em ações gravadas. É possível construir um perfil a partir de uma única partida concluída, o que é útil quando há poucos dados disponíveis. Ainda assim, vale a pena calcular a média de várias partidas, pois a motivação e o desempenho variam entre as sessões. Essa média suaviza essas oscilações, resultando em uma descrição estável da forma como alguém tende a jogar.

A representação também permite estilos que nenhum humano adotaria na prática. Os valores podem ser levados aos extremos, criando combinações incomuns para testar o software. Um estilo pode ocupar qualquer ponto de um contínuo: os perfis semelhantes aos humanos formam uma parte desse espectro, enquanto os perfis estranhos ou extremos compõem a outra.

Medição dos estilos em uma arena simples de 2 contra 2

A arena de testes é um pequeno mundo em grade, projetado para duas equipes com dois agentes cada. Cada agente pode se mover, coletar objetos e combater os oponentes. As moedas seguras garantem pontos constantes, enquanto os diamantes ficam em locais mais arriscados e valem mais. Eliminar um inimigo também soma pontos. O jogo oferece ao sistema uma maneira limpa de medir o estilo a partir das estatísticas comuns da partida.

Seis números descrevem as ações do agente. A mobilidade corresponde à proporção de células visitáveis que o agente percorreu. Um valor alto indica grande deslocamento pelo mapa. Um baixo, movimento restrito a uma única área. A distância ao companheiro mede quão próximo o agente se mantém do parceiro, revelando se ele joga em conjunto ou age sozinho. A proporção de pontos por moedas representa a fração da pontuação total obtida com as moedas seguras. A proporção de pontos por diamantes é a fração vinda dos diamantes arriscados. Já a proporção de pontos por abates reflete a fração obtida com as eliminações de oponentes. Por fim, a dominância divide a pontuação total pela pontuação máxima teórica possível.

Todos os seis valores são normalizados entre 0 e 1, o que facilita compará-los entre agentes e episódios. Um valor próximo de zero indica pouca presença desse comportamento. Um próximo de um, sua forte expressão. As métricas também distinguem escolhas relacionadas, porém distintas. Um agente pode ser agressivo sem ser dominante se elimina com frequência, mas pontua pouco no geral. Outro pode ser seguro e móvel, coletando moedas enquanto cobre grande parte do mapa. Essas medições transformam ações visíveis em um perfil comportamental compacto.

Um único modelo treinado para perseguir múltiplos alvos simultaneamente

Uma única política aprende a jogar em vários estilos simultaneamente. Durante o treinamento, cada agente recebe um estilo-alvo para aquele episódio. Ele também percebe seu próprio estilo atual e o estado normal do jogo. A recompensa depende de quanto a diferença entre esses dois sinais diminui. Se uma ação aproxima o comportamento do alvo, ela ganha crédito. Se afasta, perde. Isso transforma o controle de estilo em um problema de direção contínua.

A rede compartilhada recebe três tipos de entrada. Uma visão do mapa passa por camadas convolucionais. Números simples, como vida e tempo, permanecem disponíveis. Os sinais de estilo atual e alvo são adicionados à mesma representação. A partir daí, uma ramificação escolhe as ações e outra estima o valor para o treinamento. Todos os agentes usam os mesmos pesos. Cada agente ainda recebe seu próprio alvo. As partidas, portanto, contêm muitos objetivos de estilo diferentes ao mesmo tempo.

A recompensa é escalada pelo tamanho do sinal-alvo. Sem essa escalação, alvos grandes poderiam prometer um retorno total maior que os pequenos. O modelo tenderia a se afastar para estilos extremos em vez dos comuns. A escalação também muda o significado de uma ação. Uma eliminação pode ser normal sob um objetivo agressivo, mas incomum sob um calmo.

O treinamento não precisa que todos os alvos amostrados sejam realistas. Se um alvo for difícil ou impossível, o agente ainda aprende com o movimento em direção a ele e para longe dele. Isso evita a necessidade de jogaradas humanas gravadas para definir a região de estilos permitida. Algumas combinações estranhas são incluídas durante o treinamento, o que ajuda a política a aprender um comportamento de direção amplo.

A execução final usou cerca de 200 milhões de passos de tempo. Isso equivale a aproximadamente 5.500 horas de jogo. Dezesseis instâncias do jogo rodaram em paralelo em hardware doméstico com uma GPU RTX 3080, 32 GB de RAM e um processador Intel i5. Redes menores anteriores foram treinadas por 100 milhões de passos cada. Suas curvas de recompensa melhoraram de forma constante. A melhor configuração foi escolhida para a execução mais longa.

A recompensa densa baseada em distância manteve o treinamento estável sem alterar as configurações padrão. Tanto a seleção de ações quanto a estimativa de valor viram o sinal-alvo. Isso permitiu que a rede tratasse o objetivo como parte da situação, e não como ruído aleatório.

Checando se os agentes realmente exploram estilos de jogo distintos

Para verificar se os agentes realmente cobrem diferentes estilos de jogo, mediu-se o comportamento deles ao longo de 1.250 episódios concluídos. O objetivo era ver se uma única política compartilhada podia gerar uma ampla faixa de estilos em vez de colapsar para um único modo seguro de jogar. Usou-se uma linha de base focada apenas em vitórias como contraste. Essa linha de base aprendeu somente a vencer. Ela tendia a fazer escolhas semelhantes em situações semelhantes. Seu comportamento ocupava uma região estreita do espaço de estilos. O novo método produziu diversidade comportamental significativamente maior do que essa linha de base.

Também se pediu aos agentes que corresendessem a muitos estilos-alvo. Eles tiveram o melhor desempenho nas dimensões baseadas em pontuação, onde os números estão próximos dos resultados diretos do jogo. Cooperação e mobilidade mostraram degradação mais fraca ou moderada. Esse padrão faz sentido porque essas características dependem de movimento e posicionamento da equipe ao longo do tempo. Usou-se uma visão bidimensional do espaço comportamental para comparar a cobertura. Nessa visão, os novos agentes se espalharam por uma área muito mais ampla do que a política focada apenas em vitórias. A linha de base CARI também produziu estilos diferentes alterando pesos de recompensa. Ela podia empurrar um agente para mais agressividade ou mais coleta de moedas. Mas não conseguia mirar em um ponto exato, como fazer com que as eliminações representassem 40% da pontuação total.

Os dados dos episódios mostraram vínculos reais entre comportamentos. A participação das diamantes e a das eliminações se moveram fortemente em direções opostas, com uma correlação próxima de menos 0,60. Isso é parcialmente uma regra do jogo, porque as participações de moedas, diamantes e eliminações devem somar um. A participação das eliminações e a dominância geral estavam quase não correlacionadas, cerca de 0,10. A mobilidade estava levemente ligada às dimensões de pontuação, já que coletar itens e lutar exigem ambos se mover pelo mapa. Os erros também tinham estrutura. Quando um agente falhava em obter eliminações suficientes, sua pontuação total muitas vezes caía também. A correlação dos erros era próxima de mais 0,47. Os erros estavam espalhados por várias dimensões em vez de se acumularem em um único lugar. Esse padrão apoia dinâmicas de treinamento estáveis.

O que o método entrega e onde ele ainda falha

O resultado central é uma maneira de fazer a IA dos jogos escolher sua personalidade após o treinamento. O estilo do jogador vira uma lista curta de números entre zero e um. Cada número define um traço, como agressividade, trabalho em equipe, movimento ou risco. Uma única política compartilhada pode ser direcionada para muitas listas diferentes. Não se precisa de um modelo separado para cada tipo de bot. Esse é o ganho prático. Os desenvolvedores podem pedir um coletor cauteloso, um atacante imprudente ou um companheiro que fica perto de outro jogador. A mesma rede treinada consegue se mover em direção a esses alvos mudando seu comportamento durante a partida.

Isso importa porque os jogos são difíceis de testar quando todos os oponentes de IA jogam da mesma forma. Um bot focado apenas em vencer pode sempre escolher um único caminho vencedor. Ele pode perder bugs que só aparecem sob hábitos humanos incomuns. O espaço de estilo ajustável abre um terreno de teste mais amplo. Ele também fornece um modelo aproximado de como diferentes jogadores podem se comportar, usando estatísticas comuns do jogo em vez de gravações longas de seus movimentos.

Os limites são reais. O método depende de métricas que podem ser medidas a cada passo. Seis números feitos à mão não conseguem capturar tudo sobre o jogo humano. A suavidade dos movimentos, o timing sob pressão e a paciência tática podem precisar de novas dimensões. Mais dimensões fazem o espaço de alvos crescer rapidamente. O treinamento pode precisar de execuções mais longas ou amostragem mais inteligente para manter uma boa cobertura. Alguns alvos amostrados são irrealistas, mesmo que ainda ajudem no aprendizado. Os estilos gerados devem ser lidos como aproximações grosseiras, não cópias completas de jogadores individuais.

Se o estilo pode se tornar um controle em um bot de IA, o que acontece quando os testadores de jogos param de perguntar se um agente vence e começam a perguntar qual hábito humano ele imita?