Agentes de IA conseguem encontrar as alavancas que direcionam modelos de linguagem a qualquer tema?

Localizando uma alavanca no interior do modelo de linguagem

Alavanca, neste contexto, é uma direção interna do modelo de linguagem capaz de inclinar a geração de texto para um estilo ou tema específico. O teste exigiu que dez modelos localizassem essas alavancas em vinte tarefas, variando da fala em português a sintomas clínicos e anúncios imobiliários. Cada agente operou em um ambiente isolado, sem acesso à rede e com um limite de sessenta minutos por tarefa. A ferramenta permitia inspecionar direções candidatas e sondá-las com textos curtos.

A busca não consistia em ler uma etiqueta do modelo. Uma alavanca útil precisava responder aos exemplos certos e permanecer inativa nos casos próximos. Na tarefa em português, um agente examinou primeiro seus oitenta candidatos mais fortes, derivados de oito trechos. O recurso que acabou escolhendo não estava nessa lista inicial. Isso importou porque a primeira seleção favorecia direções que pareciam fortes em poucos exemplos. A alavanca só apareceu depois que a busca se alargou para os quinhentos primeiros e comparou novos textos contrastivos. Esse candidato ativou-se num trecho de domingo em português e numa solicitação de restaurante no mesmo idioma, mas não reagiu a uma descrição do português feita em inglês. Um pequeno teste esclareceu o ponto: quando uma curta frase de agradecimento foi expandida para uma sentença completa, a ativação subiu de 1,01 para 8,48. Uma lista crua de palavras produziu apenas 2,58. A alavanca acompanhava o uso real da linguagem, não palavras isoladas ou temas culturais.

Isolando o sinal correto do ruído vizinho

Uma boa característica precisa se ativar nos textos certos e permanecer inativa nos próximos. Os testes usaram exemplos positivos, negativos difíceis e controles neutros. Um negativo difícil parece próximo do alvo, mas não deve ativá-lo. Um controle neutro é irrelevante e deve produzir pouca resposta. A característica de referência dos especialistas tinha o perfil mais limpo. Ela atingiu 99,5% no AUROC geral. Seu AUROC para negativos difíceis foi de 99,2%. Seu AUROC para controles neutros foi de 100%. Ela respondeu a todos os textos positivos. Ainda assim, ativou-se em 61,5% dos negativos difíceis e em 15,0% dos controles neutros. Isso não a torna ruim. O que importa é a força relativa. As respostas positivas foram muito maiores do que as dos controles.

As características dos agentes também separaram bem os textos-alvo, mas vazaram mais. O Kimi K3 respondeu a 99,2% dos positivos. Seu AUROC geral foi de 96,5%. Ele ainda produziu ativações não nulas em 54,8% dos negativos difíceis e em 26,7% dos controles neutros. O GPT-5.6 Sol capturou 94,2% dos positivos com um AUROC geral de 95,0%. O GLM-5.2 capturou apenas 91,7% dos positivos, com um AUROC geral de 92,2%. Esses números mostram o compromisso. Uma característica pode ser amplamente útil e ainda assim ativar-se em material confuso.

A tarefa em português tornou a diferença visível. A característica escolhida pelo Sol foi muito silenciosa nos controles em inglês. Ela ativou-se em zero em todos os quatro textos neutros em inglês. A maioria dos negativos difíceis também permaneceu perto do silêncio. Uma lista de vocabulário com Lisboa, fado, obrigado e pastel deu apenas 1,9 de ativação. Isso é ruído pequeno. Mas suas respostas positivas eram muitas vezes mais fracas do que as dos especialistas. Em uma frase sobre guardar um documento com segurança, ela ativou-se em 2,6. A característica dos especialistas atingiu 19,8 no mesmo texto.

Da ativação à saída efetiva

Para transformar uma característica em texto gerado, altera-se o estado oculto do modelo durante a produção da resposta. Em cada posição de token, soma-se ao estado uma cópia escalada da linha decodificadora correspondente àquela característica. A decodificação gulosa então seleciona a próxima palavra com base nesse cálculo modificado. O ajuste é sutil, mas atua continuamente conforme o texto se desdobra.

A intensidade desse ajuste é calibrada antes da pontuação final. As intensidades candidatas são testadas contra uma escala fixa definida por especialistas. O primeiro conjunto de valores inclui 0,5, 0,75, 1, 1,25 e 1,5 vezes essa escala. Se nenhum deles gerar pelo menos 90% de saídas utilizáveis, tentam-se valores menores: 0,0625, 0,125, 0,25 e 0,375. Cinco prompts retidos testam cada candidato. As saídas devem ser coerentes e livres de loops repetitivos. Uma verificação por palavras-chave avalia o quanto a ideia-alvo aparece no texto. Entre as intensidades aprovadas, escolhe-se a melhor pela taxa de sucesso da pista-alvo. Empates são resolvidos pela média do escore da pista. Se um empate persistir, vence a menor intensidade. Essa preferência mantém o ajuste o mais suave possível.

Uma vez escolhida, essa intensidade é fixada para todas as vinte tarefas finais. Um controle com direção aleatória usa o mesmo tamanho de impulso, mas aponta em uma direção sem sentido. Isso verifica se o efeito vem da própria característica selecionada. Um juiz automatizado compara as saídas. Ele recebe uma instrução e três conclusões em ordem embaralhada. As avalia duas vezes, independentemente. O comprimento da geração também varia por tarefa. A maioria das tarefas permite 64 tokens. Quatro tarefas de linguagem permitem 128. A tarefa do gato permite 192.

Os prompts em português mostram o que isso pode fazer. Sem direcionamento, o modelo base responde em inglês. Três direções bem-sucedidas o fazem passar para o português com confiabilidade. Outras direções selecionadas por agentes permanecem em inglês ou colapsam em repetição quebrada. Uma direção falha transforma uma explicação de HTTP em uma longa sequência de palavras repetidas. Outra produz um poema de doze linhas com versos repetidos. Algumas saídas falhas permanecem como inglês coerente, mas pontuam zero no alvo de linguagem porque o português nunca aparece.

Os efeitos colaterais importam tanto quanto o sucesso. Em um prompt aritmético, uma característica bem-sucedida acerta a resposta, mas dá uma explicação confusa. Outra é concisa e limpa. Uma terceira escreve versos fluentes, mas adiciona linhas extras a um poema de quatro linhas. O juiz pontua tanto a relevância do alvo quanto a preservação da instrução original. Uma direção pode preservar a tarefa enquanto erra o alvo. Ela também pode induzir o alvo enquanto danifica a resposta solicitada. É por isso que a ativação bruta, sozinha, não prova uma saída útil.

Por que a inteligência geral não garante o melhor recurso

A inteligência geral não resolveu a disputa com clareza. A pontuação total do benchmark acompanhou de perto um índice independente de inteligência geral. No entanto, essa relação se rompeu quando a nota foi dividida em componentes. A seletividade da ativação apresentou uma correlação de ranking perfeita (1,000) com o índice. Já a pontuação total, o ranking de ativação e o direcionamento causal tiveram correlações de 0,800 ou inferiores. O ranking e o direcionamento ficaram ambos em 0,400. Em termos simples: modelos mais inteligentes eram melhores para distinguir textos-alvo dos controles. Mas não eram consistentemente melhores na tarefa de encontrar a única direção de característica ideal.

A comparação envolveu quatro modelos com pontuações de índice semelhantes: Claude Opus 5, Grok 4.6, GPT-5.6 Sol e Gemini 3.8 Flash. Os valores do índice variaram de 52 para 47. As somas no benchmark foram de 65,41 a 59,57. A ordem não foi idêntica. O Claude Opus 5 teve o maior índice, mas não a maior soma total. O Gemini 3.8 Flash tinha um índice menor que o do GPT-5.6 Sol, e ainda assim pontuou mais alto no geral. Essa diferença mostra que a capacidade bruta é apenas um ingrediente. Outro fator é a sorte ou a estratégia específica da tarefa.

O sucesso no direcionamento variava conforme a tarefa. O Kimi K3 e o GPT-5.6 Sol obtiveram pontuações positivas de direcionamento em imóveis, enquanto o Claude Opus 5 zerou nessa categoria. Em espanhol, o Claude Opus 5 produziu direcionamento não nulo onde a maioria dos outros agentes pontuou zero. A tarefa do gato deu a todos os agentes o mesmo resultado de direcionamento. Quando as tarefas foram agrupadas, as forças mudaram novamente. O Kimi K3 liderou o direcionamento em tarefas profissionais com 45,03, à frente dos 32,19 do Claude Opus 5. O Claude Opus 5 liderou o direcionamento em tarefas de relatório com 27,50, muito acima dos 12,81 do Kimi. O GPT-5.6 Sol ficou perto do Kimi no direcionamento profissional (44,04), mesmo que sua pontuação total na categoria fosse menor.

Execuções repetidas adicionaram outra complicação. Os agentes escolheram a mesma característica em todas as três execuções para apenas cerca de um terço a pouco mais da metade das tarefas, dependendo do agente. O Gemini 3.8 Flash foi o mais consistente, com 55%. O GLM-5.2 foi o menos consistente, com 20%. Assim, a inteligência geral de um modelo podia prever quão bem ele separava material-alvo de material não relacionado. Não garantia, porém, que o mesmo modelo escolheria a melhor característica, direcionaria a saída eficazmente ou repetisse seu sucesso.

Um caminho estreito para uma visão ampla

O resultado não é apenas o de que modelos mais inteligentes encontram alavancas melhores. O problema das alavancas esconde várias etapas. Um modelo pode separar bem o texto-alvo do ruído e ainda assim errar a direção exata que altera a saída. Pode encontrar uma direção forte e, mesmo assim, gerar respostas quebradas ou fora do alvo. Os resultados mostram essa divisão com clareza.

A inteligência geral acompanha de perto apenas uma parte do trabalho. A seletividade da ativação correspondeu perfeitamente ao ranking externo de inteligência entre quatro modelos de fronteira. O desempenho geral também estava fortemente alinhado. Mas o direcionamento causal e o ranking em todo o dicionário apresentaram correlações muito mais baixas. Em termos simples, um modelo capaz é melhor em distinguir texto relevante de irrelevante. Não é automaticamente melhor em escolher a única característica interna que realmente moverá a geração.

O mapa das tarefas reforça isso. Alguns agentes direcionaram os prompts imobiliários, enquanto outros falharam neles. Um agente conseguiu o espanhol onde a maioria pontuou zero. A tarefa do gato deu a todos o mesmo resultado. A força era desigual e local. Um modelo podia liderar nas tarefas profissionais e ficar atrás nas de relatório. Outro podia estar logo atrás no geral e ainda assim empatar com um líder em uma categoria.

A repetibilidade adiciona outro obstáculo. Os agentes escolheram a mesma característica nas três execuções apenas cerca de um terço a metade do tempo. O agente mais consistente atingiu 55%. O menos consistente, 20%. Adotar a melhor tentativa repetida muitas vezes melhorou o direcionamento em vários pontos, às vezes mais de dez. Essa diferença importa se o objetivo é controle confiável e não um acerto por sorte.

As oportunidades são reais. Se uma direção interna pode ser encontrada e testada, ela se torna uma alavanca para inspeção. Pode mostrar a que um modelo responde antes da saída aparecer. Também pode apoiar mudanças direcionadas, como fazer um modelo responder em português ou manter o texto clínico focado nos sintomas. O método oferece uma maneira de comparar modelos não apenas pelas respostas deles, mas pelas características internas que podem identificar e usar.

Os obstáculos são igualmente reais. O direcionamento é sensível ao prompt. Uma característica que funciona para uma instrução pode distorcer outra. Algumas direções bem-sucedidas produziram português fluente, mas poemas repetitivos ou explicações aritméticas confusas. Outras ignoraram completamente o idioma-alvo. Algumas direções falhas colapsaram em palavras repetidas. Mesmo características limpas não ficaram silenciosas em todos os textos de controle. A calibração, os testes contrastivos e as verificações de saída ainda são necessários.

A visão geral é que a interpretabilidade está se tornando uma habilidade prática, não apenas explicativa. Modelos podem ser sondados, ranqueados e ajustados por meio de direções internas mensuráveis. O próximo passo é tornar essas descobertas estáveis entre tarefas, prompts e execuções. Se uma única direção pode mudar o que um modelo diz, a questão se torna quantas dessas direções já estão dentro dele.