Gli agenti AI trovano le leve nascoste che orientano i modelli linguistici verso qualsiasi argomento

Individuare una leva nel modello linguistico

La «leva» all’interno di un modello linguistico è una direzione interna capace di orientare la generazione verso uno stile o un argomento specifico. Il test chiedeva a dieci modelli di individuare leve del genere per venti compiti, dal portoghese parlato ai sintomi clinici e agli annunci immobiliari. Ogni agente operava in un ambiente isolato, senza accesso alla rete e con un limite di sessanta minuti per ogni compito: poteva esaminare le direzioni candidate e sondarle con testi brevi.

La ricerca non equivaleva a leggere un’etichetta sul modello. Una leva utile doveva rispondere agli esempi pertinenti e restare silenziosa su quelli affini. Nel compito in portoghese, un agente ha prima analizzato i suoi ottanta candidati principali estratti da otto passaggi. La caratteristica che alla fine ha scelto non figurava tra questi. Un dettaglio significativo: la prima lista privilegiava direzioni che apparivano forti su pochi esempi. La leva corretta è emersa solo dopo aver allargato la ricerca ai primi cinquecento candidati e confrontando nuovi testi contrastivi. Quel candidato si attivava per un passaggio domenicale in portoghese e per una richiesta di ristorante nella stessa lingua, ma non per una descrizione del portoghese scritta in inglese. Un piccolo test ha chiarito il meccanismo: quando una breve frase di ringraziamento è stata espansa in una frase completa, l’attivazione è salita da 1,01 a 8,48, mentre una semplice lista di parole produceva solo 2,58. La leva seguiva dunque l’uso reale della lingua, non parole isolate o temi culturali.

Separare il segnale corretto dal rumore di fondo

Una buona feature deve accendersi sui testi pertinenti e restare silenziosa su quelli affini. I test impiegano esempi positivi, negativi difficili e controlli neutri: i primi due gruppi servono a verificare la selettività, mentre i controlli, essendo irrilevanti, dovrebbero generare una risposta minima. La feature di riferimento dell’esperto mostra il profilo più pulito. Raggiunge un AUROC complessivo del 99,5%, con un valore del 99,2% sui negativi difficili e del 100% sui controlli neutri. Risponde a ogni testo positivo, ma si attiva comunque sul 61,5% dei negativi difficili e sul 15,0% dei controlli neutri. Questo non la rende inaffidabile: ciò che conta è l’intensità relativa, poiché le risposte positive risultano molto più ampie di quelle di controllo.

Le feature selezionate dagli agenti separano anch’esse bene i testi bersaglio, ma presentano una maggiore dispersione. Kimi K3 risponde al 99,2% dei positivi con un AUROC complessivo del 96,5%, pur producendo attivazioni non nulle sul 54,8% dei negativi difficili e sul 26,7% dei controlli neutri. GPT-5.6 Sol intercetta il 94,2% dei positivi con un AUROC del 95,0%. GLM-5.2 ne intercetta solo l’91,7%, con un AUROC complessivo del 92,2%. Questi numeri evidenziano il compromesso: una feature può essere utile in generale e attivarsi comunque su materiale confondibile.

Il compito sul portoghese rende visibile la differenza. La feature scelta da Sol è molto silenziosa sui controlli in inglese: si attiva a zero su tutti e quattro i testi neutri, mentre la maggior parte dei negativi difficili resta quasi al silenzio. Un elenco di vocabolario contenente Lisboa, fado, obrigado e pastel produce un’attivazione di soli 1,9, un rumore trascurabile. Tuttavia, le sue risposte positive sono spesso più deboli di quelle dell’esperto: su una frase riguardante lo stoccaggio sicuro di un documento, si attiva a 2,6, mentre la feature dell’esperto raggiunge 19,8 sullo stesso testo.

Dalla risposta interna al testo generato

Per convertire una caratteristica in output, si interviene sullo stato nascosto del modello durante la generazione: a ogni posizione di token, allo stato viene aggiunta una copia scalata della riga decodificatrice associata alla caratteristica. La decodifica greedy seleziona poi il termine successivo sulla base di questo calcolo modificato. L’intervento è minimo, ma si applica in modo continuo man mano che il testo si sviluppa.

L’intensità dell’intervento viene calibrata prima della valutazione finale, confrontando i valori candidati con una scala fissa di riferimento. Il primo set comprende moltiplicatori pari a 0,5, 0,75, 1, 1,25 e 1,5 volte quella scala. Se nessuno produce almeno il 90% di output utilizzabili, si provano valori inferiori: 0,0625, 0,125, 0,25 e 0,375. Ogni candidato viene testato su cinque prompt tenuti da parte. Gli output devono risultare coerenti e privi di loop ripetitivi. Un controllo delle parole chiave valuta quanto l’idea target emerga nel testo. Tra le intensità che superano il test, la migliore viene scelta in base al tasso di successo del segnale target. In caso di parità, si ricorre al punteggio medio del segnale. Se la parità persiste, prevale l’intensità più bassa. Questa preferenza mantiene l’intervento il più delicato possibile.

Una volta determinata, quell’intensità viene fissata per tutti i venti compiti finali. Un controllo a direzione casuale utilizza uno stimolo della stessa entità ma orientato in una direzione priva di significato, per verificare se l’effetto derivi dalla caratteristica selezionata in sé. Un giudice automatico confronta gli output: riceve un’istruzione e tre completamenti in ordine casuale, che valuta due volte in modo indipendente. La lunghezza della generazione varia a seconda del compito: la maggior parte consente 64 token, quattro compiti linguistici ne consentono 128, mentre il compito relativo al gatto ne consente 192.

I prompt in portoghese mostrano le potenzialità di questo metodo. Senza steering, il modello di base risponde in inglese. Tre direzioni efficaci lo fanno passare affidabilmente al portoghese. Altre direzioni selezionate dagli agenti restano in inglese o collassano in ripetizioni spezzate. Una direzione inefficace trasforma una spiegazione HTTP in una lunga sequenza di parole ripetute. Un’altra produce un poema di dodici righe con versi duplicati. Alcuni output fallimentari rimangono in inglese coerente, ma ottengono zero sull’obiettivo linguistico perché il portoghese non compare mai.

Gli effetti collaterali contano quanto il successo. Su un prompt aritmetico, una caratteristica efficace dà la risposta giusta ma fornisce una spiegazione confusa. Un’altra è concisa e pulita. Una terza scrive versi fluenti ma aggiunge righe extra a un poema di quattro righe. Il giudice valuta sia la pertinenza all’obiettivo che la preservazione dell’istruzione originale. Una direzione può mantenere il compito mancando l’obiettivo, oppure indurre l’obiettivo danneggiando la risposta richiesta. È per questo che l’attivazione grezza da sola non dimostra un output utile.

Perché l’intelligenza generale non bastava a individuare la feature migliore

L’intelligenza generale non ha deciso la gara in modo netto. Il punteggio complessivo del benchmark seguiva da vicino un indice separato di intelligenza generale, ma quel legame si spezzava quando il punteggio veniva scomposto nelle sue parti. La selettività dell’attivazione mostrava una correlazione di rango perfetta con l’indice (1,000), mentre punteggio complessivo, rango delle attivazioni e steering causale presentavano tutti una correlazione pari o inferiore a 0,800. Rango e steering si attestavano entrambi su 0,400. In parole povere: i modelli più intelligenti distinguevano meglio i testi target dai controlli, ma non erano affidabilmente superiori nel trovare la singola direzione di feature migliore.

Il confronto ha coinvolto quattro modelli con punteggi dell’indice simili: Claude Opus 5, Grok 4.6, GPT-5.6 Sol e Gemini 3.8 Flash. I loro valori nell’indice scendevano da 52 a 47. I totali nel benchmark andavano da 65,41 a 59,57. L’ordine non era identico: Claude Opus 5 aveva l’indice più alto ma non il totale più alto, mentre Gemini 3.8 Flash, pur avendo un indice inferiore rispetto a GPT-5.6 Sol, ha ottenuto un punteggio complessivo superiore. Quel divario mostra che la capacità grezza è solo uno degli ingredienti. Un altro è la fortuna o la strategia specifica per il compito.

Il successo dello steering variava in base al compito. Kimi K3 e GPT-5.6 Sol hanno ottenuto punteggi di steering positivi sull’immobiliare, mentre Claude Opus 5 ha registrato zero. In spagnolo, Claude Opus 5 ha prodotto uno steering non nullo dove la maggior parte degli altri agenti si era fermata a zero. Il compito del gatto ha dato a ogni agente lo stesso risultato. Quando i compiti sono stati raggruppati, le gerarchie si sono spostate di nuovo: Kimi K3 guidava lo steering dei compiti professionali con 45,03, davanti ai 32,19 di Claude Opus 5. Quest’ultimo dominava invece lo steering dei compiti di report con 27,50, ben sopra i 12,81 di Kimi. GPT-5.6 Sol era vicino a Kimi nello steering professionale (44,04), anche se il suo punteggio complessivo nella categoria era inferiore.

Le esecuzioni ripetute hanno aggiunto un’altra complicazione. Gli agenti hanno scelto la stessa feature in tutte e tre le esecuzioni per circa un terzo o poco più della metà dei compiti, a seconda dell’agente. Gemini 3.8 Flash è stato il più coerente (55%), GLM-5.2 il meno (20%). L’intelligenza generale di un modello poteva quindi predire quanto pulitamente separava il materiale target da quello non correlato, ma non garantiva che lo stesso modello avrebbe scelto la feature migliore, guidato efficacemente l’output o ripetuto il suo successo.

Un accesso ristretto, ma una visione d’insieme

Il risultato non si limita a mostrare che i modelli più intelligenti trovano leve migliori. Il problema delle leve nasconde diverse soglie da superare: un modello può distinguere con precisione il testo rilevante dal rumore eppure perdere la direzione esatta che modifica l’output, oppure individuare una direzione forte ma generare risposte incoerenti o fuori tema. I dati evidenziano questa frattura con chiarezza.

L’intelligenza generale incide fortemente su un solo aspetto del lavoro. Tra i quattro modelli all’avanguardia, la selettività dell’attivazione coincideva perfettamente con la classifica esterna di intelligenza e anche le prestazioni complessive seguivano lo stesso andamento. Al contrario, il controllo causale e la classificazione sull’intero dizionario presentavano correlazioni molto più deboli. In pratica, un modello capace distingue meglio i testi pertinenti da quelli irrilevanti, ma non è automaticamente superiore nel selezionare l’unica caratteristica interna in grado di spostare effettivamente la generazione.

La mappa dei compiti conferma questo quadro. Alcuni agenti hanno guidato con successo i prompt immobiliari mentre altri sono falliti. Uno ha gestito lo spagnolo dove la maggior parte degli agenti aveva ottenuto zero e il compito del gatto ha prodotto lo stesso risultato per tutti. Le capacità erano disuguali e localizzate: un modello poteva primeggiare nei compiti professionali e restare indietro in quelli di report, oppure avvicinarsi al vertice nella classifica complessiva eguagliando un leader in una specifica categoria.

La ripetibilità aggiunge un ulteriore ostacolo. Gli agenti hanno scelto la stessa caratteristica nelle tre esecuzioni solo per circa un terzo o metà dei compiti. L’agente più coerente ha raggiunto il 55%, quello meno coerente il 20%. Selezionare il tentativo migliore tra le ripetizioni migliorava spesso lo steering di diversi punti, a volte di oltre dieci. Questo divario è cruciale se l’obiettivo è un controllo affidabile e non un colpo di fortuna.

Le opportunità sono concrete. Individuare e testare una direzione interna la trasforma in uno strumento di ispezione: permette di capire a cosa risponde il modello prima che compaia l’output e supporta modifiche mirate, come far rispondere in portoghese o mantenere il testo clinico focalizzato sui sintomi. Il metodo consente così di confrontare i modelli non solo in base alle risposte, ma anche alle caratteristiche interne che riescono a identificare e sfruttare.

Gli ostacoli sono altrettanto reali. Lo steering è sensibile al prompt: una caratteristica efficace per un’istruzione può distorcerne un’altra. Alcune direzioni di successo producevano portoghese fluente ma poesie ripetitive o spiegazioni aritmetiche confuse. Altre ignoravano del tutto la lingua target e alcune direzioni fallite collassavano in parole ripetute. Anche le caratteristiche pulite non restavano silenziose su ogni testo di controllo, rendendo necessarie calibrazione, test contrastivi e verifiche dell’output.

Il quadro d’insieme suggerisce che l’interpretabilità sta diventando una competenza pratica, non solo esplicativa. I modelli possono essere sondati, classificati e orientati attraverso direzioni interne misurabili. La prossima sfida è rendere queste scoperte stabili tra compiti, prompt ed esecuzioni diverse. Se una singola direzione può cambiare ciò che un modello dice, la domanda diventa quante di tali direzioni siano già presenti al suo interno.