Des agents IA parviennent-ils à trouver les leviers cachés qui orientent les modèles de langage vers n’importe quel sujet ?

Repérer un levier au sein d’un modèle de langage

Le levier d’un modèle de langage est une direction interne qui permet d’orienter sa production vers un style ou un sujet précis. L’épreuve consistait à identifier ces leviers pour vingt tâches différentes, allant du portugais parlé aux symptômes cliniques et aux annonces immobilières, sur dix modèles. Chaque agent évoluait dans un bac à sable sans accès au réseau, avec une limite de temps de soixante minutes par tâche. Il pouvait inspecter les directions candidates et les sonder à l’aide de courts textes.

La recherche ne consistait pas à lire une étiquette apposée sur le modèle. Un levier utile devait réagir aux bons exemples tout en restant muet face aux cas voisins. Dans la tâche portugaise, un agent a d’abord examiné ses quatre-vingts meilleurs candidats issus de huit passages. La caractéristique qu’il a finalement retenue n’y figurait pas. Ce détail est crucial : la première liste privilégiait les directions qui semblaient fortes sur quelques exemples seulement. Le bon candidat n’est apparu que lorsque la recherche s’est élargie aux cinq cents premiers, puis a comparé de nouveaux textes contrastifs. Cette direction se déclenchait sur un passage du dimanche en portugais et sur une demande de restaurant dans cette langue, mais pas sur une description du portugais rédigée en anglais. Un petit test l’a confirmé : lorsqu’une courte formule de remerciement était étendue en phrase complète, l’activation passait de 1,01 à 8,48, alors qu’une simple liste de mots ne produisait que 2,58. Le levier suivait donc un usage réel de la langue, et non des mots isolés ou des sujets culturels.

Distinguer le signal pertinent du bruit de fond

Une bonne caractéristique doit réagir aux bons textes et rester muette face aux autres. Les tests mobilisaient des exemples positifs, des négatifs difficiles et des contrôles neutres. Un négatif difficile se rapproche de la cible sans pour autant devoir déclencher la réaction. Un contrôle neutre, lui, est sans rapport avec le sujet et ne devrait guère susciter de réponse. La caractéristique de référence experte affichait le profil le plus net : elle atteignait 99,5 % d’AUROC global, 99,2 % sur les négatifs difficiles et 100 % sur les contrôles neutres. Elle répondait à chaque texte positif. Pourtant, elle s’activait encore sur 61,5 % des négatifs difficiles et 15,0 % des contrôles neutres. Ce n’est pas pour autant un mauvais résultat : c’est l’intensité relative qui compte. Les réponses positives étaient bien plus fortes que celles des contrôles.

Les caractéristiques sélectionnées par les agents séparaient elles aussi bien les textes cibles, mais avec davantage de fuites. Kimi K3 réagissait à 99,2 % des positifs, pour un AUROC global de 96,5 %. Il produisait néanmoins des activations non nulles sur 54,8 % des négatifs difficiles et 26,7 % des contrôles neutres. GPT-5.6 Sol détectait 94,2 % des positifs avec un AUROC global de 95,0 %, tandis que GLM-5.2 n’en captait que 91,7 %, pour un AUROC global de 92,2 %. Ces chiffres illustrent le compromis : une caractéristique peut être globalement utile et s’activer quand même sur des éléments faciles à confondre.

La tâche en portugais a rendu cette différence visible. La caractéristique choisie par Sol était très silencieuse sur les contrôles anglais : elle s’activait à zéro sur les quatre textes neutres, et la plupart des négatifs difficiles restaient proches du silence. Une liste de vocabulaire contenant Lisboa, fado, obrigado et pastel ne donnait qu’une activation de 1,9, soit un bruit minime. En revanche, ses réponses positives étaient souvent plus faibles que celles de l’expert : sur une phrase concernant le stockage sécurisé d’un document, elle s’activait à 2,6, là où la caractéristique experte atteignait 19,8 sur le même texte.

Transformer l’activation en sortie concrète

Pour transformer une caractéristique en texte généré, il faut modifier l’état caché du modèle pendant sa production. À chaque position de jeton, on ajoute à cet état une copie mise à l’échelle de la ligne décodeur associée à cette caractéristique. Le décodage glouton sélectionne ensuite le mot suivant sur la base de ce calcul altéré. L’impulsion reste faible, mais elle s’applique en continu au fil du texte.

L’intensité de cette impulsion est calibrée avant la notation finale. Les intensités candidates sont testées par rapport à une échelle de référence figée par un expert. Le premier ensemble comprend des multiplicateurs de 0,5 ; 0,75 ; 1 ; 1,25 et 1,5 fois cette échelle. Si aucune ne produit au moins 90 % de sorties exploitables, on essaie des valeurs plus petites : 0,0625 ; 0,125 ; 0,25 et 0,375. Cinq instructions mises de côté servent à tester chaque candidate. Les sorties doivent être cohérentes et exemptes de boucles répétitives. Un contrôle par mots-clés évalue la présence de l’idée cible. Parmi les intensités qui passent le test, on retient celle qui offre le meilleur taux de réussite sur les indices cibles. En cas d’égalité, on se départage par le score moyen des indices. Si une égalité persiste, l’intensité la plus faible l’emporte. Cette préférence maintient l’impulsion aussi douce que possible.

Une fois choisie, cette intensité est figée pour les vingt tâches finales. Un contrôle à direction aléatoire utilise une impulsion de même taille mais pointe dans une direction sans sens. Cela permet de vérifier si l’effet provient bien de la caractéristique sélectionnée elle-même. Un juge automatisé compare les sorties. Il reçoit une instruction plus trois complétions dans un ordre mélangé, et il les note deux fois, indépendamment. La longueur de génération varie également selon la tâche. La plupart des tâches autorisent soixante-quatre jetons. Quatre tâches linguistiques en autorisent cent vingt-huit. La tâche du chat en autorise cent quatre-vingt-douze.

Les instructions portugaises montrent ce que cela peut faire. Sans guidage, le modèle de base répond en anglais. Trois directions réussies basculent fiabillement vers le portugais. D’autres directions sélectionnées par les agents restent soit en anglais, soit s’effondrent dans une répétition brisée. Une direction qui échoue transforme une explication HTTP en une longue chaîne de mots répétés. Une autre produit un poème de douze vers avec des lignes répétées. Certaines sorties ratées restent un anglais cohérent, mais elles obtiennent zéro sur l’objectif linguistique car le portugais n’apparaît jamais.

Les effets secondaires comptent autant que la réussite. Sur une instruction arithmétique, une caractéristique réussie donne la bonne réponse mais fournit une explication confuse. Une autre est concise et propre. Une troisième écrit des vers fluides mais ajoute des lignes supplémentaires à un poème de quatre vers. Le juge note à la fois la pertinence par rapport à l’objectif et la préservation de l’instruction d’origine. Une direction peut préserver la tâche tout en manquant l’objectif. Elle peut aussi induire l’objectif tout en endommageant la réponse demandée. C’est pourquoi une activation brute seule ne prouve pas une sortie utile.

Pourquoi l’intelligence générale ne suffit pas à trouver la bonne caractéristique

L’intelligence générale n’a pas départagé les modèles sans ambiguïté. Le score global du banc d’essai suivait de près un indice indépendant mesurant l’intelligence générale. Mais cette corrélation se brise dès que l’on décompose le score en ses composantes. La sélectivité des activations affichait une corrélation de rang parfaite avec l’indice (1,000). En revanche, le score global, le classement par activation et la capacité d’orientation causale ne dépassaient pas 0,800. Le classement et l’orientation se situaient même à 0,400. Autrement dit, les modèles les plus intelligents distinguaient mieux les textes cibles des contrôles. Ils n’étaient pas pour autant systématiquement meilleurs pour identifier la direction de caractéristique optimale.

La comparaison portait sur quatre modèles aux scores d’indice proches : Claude Opus 5, Grok 4.6, GPT-5.6 Sol et Gemini 3.8 Flash. Leurs valeurs d’indice variaient de 52 à 47, tandis que leurs totaux au banc d’essai allaient de 65,41 à 59,57. L’ordre des classements ne coïncidait pas. Claude Opus 5 affichait l’indice le plus élevé sans détenir le total le plus haut. Gemini 3.8 Flash, doté d’un indice inférieur à celui de GPT-5.6 Sol, obtenait pourtant un score global supérieur. Cet écart révèle que la capacité brute n’est qu’un facteur parmi d’autres. La chance ou une stratégie adaptée à la tâche jouent également leur rôle.

Les résultats en matière d’orientation variaient selon les tâches. Kimi K3 et GPT-5.6 Sol affichaient des scores d’orientation positifs sur l’immobilier, là où Claude Opus 5 restait à zéro. Pour l’espagnol, c’était l’inverse : Claude Opus 5 produisait une orientation non nulle tandis que la plupart des autres agents stagnaient à zéro. La tâche du chat donnait le même résultat pour tous les agents. En regroupant les tâches, les hiérarchies changeaient encore. Kimi K3 dominait l’orientation sur les tâches professionnelles avec 45,03, devant Claude Opus 5 (32,19). Sur les tâches de rapport, c’était Claude Opus 5 qui prenait la tête avec 27,50, loin devant les 12,81 de Kimi. GPT-5.6 Sol restait proche de Kimi sur l’orientation professionnelle (44,04), malgré un score global de catégorie inférieur.

Les exécutions répétées ont ajouté une dernière complexité. Selon l’agent, celui-ci choisissait la même caractéristique lors des trois essais pour seulement un tiers à un peu plus de la moitié des tâches. Gemini 3.8 Flash était le plus constant (55 %), GLM-5.2 le moins (20 %). L’intelligence générale d’un modèle permettait donc de prédire sa capacité à séparer nettement les matériaux cibles des éléments sans rapport. Elle ne garantissait pas, en revanche, que ce même modèle choisirait la meilleure caractéristique, orienterait efficacement la sortie ou reproduirait ses succès.

Une porte étroite, une vue d’ensemble

Il ne s’agit pas seulement de dire que les modèles intelligents trouvent de meilleurs leviers. Le problème est plus profond : il comporte plusieurs verrous cachés. Un modèle peut parfaitement distinguer le signal utile du bruit, et pourtant rater la direction précise qui modifie la sortie. Il peut identifier une direction forte, mais produire des réponses incohérentes ou hors sujet. Les résultats mettent nettement en évidence cette dissociation.

L’intelligence générale suit très étroitement un aspect précis de la tâche. La sélectivité d’activation correspondait parfaitement au classement externe de l’intelligence parmi les quatre modèles de pointe testés. Les performances globales étaient également fortement corrélées. En revanche, le pilotage causal et le classement sur l’ensemble du vocabulaire présentaient des corrélations bien plus faibles. Autrement dit, un modèle performant est meilleur pour distinguer les textes pertinents des autres. Il n’est pas automatiquement meilleur pour choisir la caractéristique interne unique qui orientera réellement la génération.

La répartition par tâche confirme ce constat. Certains agents ont réussi à piloter les requêtes immobilières, d’autres y ont échoué. Un agent a obtenu un score non nul en espagnol là où la plupart des autres étaient à zéro. La tâche du chat a donné le même résultat pour tous. Les forces sont inégales et localisées. Un modèle pouvait dominer sur les tâches professionnelles tout en traînant sur celles de rapport. Un autre, proche au classement général, pouvait égaler un leader sur une catégorie précise.

La reproductibilité ajoute un obstacle supplémentaire. Les agents ont choisi la même caractéristique lors des trois exécutions seulement pour environ un tiers à un peu plus de la moitié des tâches. L’agent le plus constant a atteint 55 %. Le moins constant, 20 %. Sélectionner la meilleure tentative répétée améliorait souvent le pilotage de plusieurs points, parfois de plus de dix. Cet écart est crucial si l’objectif est un contrôle fiable plutôt qu’un coup de chance.

Les opportunités sont réelles. Si une direction interne peut être trouvée et testée, elle devient un outil d’inspection. Elle permet de voir à quoi un modèle répond avant même que la sortie n’apparaisse. Elle soutient aussi des modifications ciblées, comme faire répondre un modèle en portugais ou maintenir un texte clinique concentré sur les symptômes. Cette méthode offre une façon de comparer les modèles non seulement par leurs réponses, mais par les caractéristiques internes qu’ils savent identifier et utiliser.

Les obstacles sont tout aussi réels. Le pilotage est sensible aux instructions. Une caractéristique qui fonctionne pour l’une peut en déformer une autre. Certaines directions réussies produisaient un portugais fluide, mais des poèmes répétitifs ou des explications arithmétiques confuses. D’autres ignoraient complètement la langue cible. Certaines directions ratées se réduisaient à des mots répétés. Même les caractéristiques propres n’étaient pas silencieuses sur tous les textes de contrôle. La calibration, le test contrastif et les vérifications de sortie restent indispensables.

La perspective plus large est que l’interprétabilité devient une compétence pratique, pas seulement explicative. Les modèles peuvent être sondés, classés et orientés par des directions internes mesurables. L’étape suivante consiste à rendre ces découvertes stables d’une tâche à l’autre, d’une instruction à l’autre, et d’une exécution à l’autre. Si une seule direction peut changer ce qu’un modèle dit, la question devient : combien de telles directions sont déjà en lui ?