Un enseignant IA plus intelligent rend l’élève moins compétent dans sa propre tâche

L’habillage d’un modèle peut devenir sa vraie compétence

Un agent d’IA ne se réduit pas aux poids de son modèle. Le harnais qui l’entoure porte souvent l’essentiel des compétences requises par la tâche. Ce harnais dépasse largement le simple prompt système : il intègre des outils, des exemples concrets, des instructions renforcées et des garde-fous qui bloquent les actions erronées. Il encode également les conventions de l’environnement ainsi que des recettes de calcul en plusieurs étapes. En somme, il agit comme un programme modifiable enveloppant le modèle.

Cette distinction est cruciale car le travail d’entreprise repose fréquemment sur la routine. L’audit de la paie, l’approbation des budgets, les alertes sur les stocks, la détection d’anomalies IoT, l’automatisation du navigateur, la gestion de sites web et la refonte de code s’appuient tous sur des listes de vérification que le praticien suit automatiquement. Un harnais bien conçu comble ces lacunes en fournissant les routines manquantes. Il indique à l’agent quoi calculer d’abord, quel filtre appliquer et quand s’arrêter. Le modèle continue de raisonner et d’agir, mais c’est le squelette qui trace sa trajectoire.

Le signe le plus révélateur est l’amplitude des variations de performance lorsque seul le harnais change. Pour un modèle codeur Qwen moins performant, la réussite moyenne aux tests passe de 29,2 % avec le harnais de référence initial à 78,0 % après une évolution automatique. Soit un gain de 48,8 points de pourcentage. Les poids restent inchangés dans cette comparaison. Ce qui évolue, c’est le programme environnant : nouveaux outils, recettes plus claires et garde-fous ajustés en testant les modifications proposées sur des tâches de validation. Seules les améliorations sont conservées.

La compétence apparente peut donc résider partiellement hors du modèle. Le squelette encode les connaissances du domaine sous forme d’étapes exécutables. Il transforme un modèle à usage général en un spécialiste formé pour une tâche précise.

Un meilleur échafaudage profite aussi bien à l’apprenti qu’à l’expert

La performance d’un agent ne se détermine pas uniquement par le modèle qu’il embarque. L’environnement qui l’entoure joue un rôle tout aussi crucial. Ce cadre peut intégrer des outils, des exemples, des règles et des procédures détaillées pour une tâche donnée. Les chercheurs l’ont traité comme un programme modifiable : chaque modification proposée était testée, et seules celles qui apportaient un bénéfice réel étaient conservées.

L’impact a été considérable sur Qwen3-Coder-30B-A3B-Instruct, un modèle open-weight de taille réduite. Avec sa configuration initiale, il ne réussissait que 29,2 % des sept tâches professionnelles testées en moyenne. Une fois le cadre optimisé, ce taux est monté à 78,0 %, soit une progression de 48,8 points de pourcentage. Le modèle n’a pas eu besoin de nouveaux poids pour progresser. Il lui fallait simplement un environnement d’action plus adapté.

La suite a été surprenante. Gemini 3.1 Pro Preview, un modèle expert bien plus puissant, a été évalué avec ce même cadre évolué, initialement conçu autour du modèle Qwen moins performant. Sa réussite moyenne est passée de 84,4 % à 93,6 %, une hausse de 15,6 points selon les valeurs rapportées. Le squelette n’a donc pas seulement comblé les lacunes d’un apprenant faible : il a aussi offert à l’expert des chemins plus directs pour résoudre les tâches complexes.

Cette amélioration s’explique par le fait que le cadre évolué apportait un soutien concret, et non de simples conseils vagues. Il incluait de nouveaux outils, des instructions renforcées et des recettes de calcul en plusieurs étapes. L’expert a mobilisé presque tous ces ajouts dans 93,6 % à 100 % de ses exécutions. Une recette que Qwen ne suivait initialement que dans 30,8 % des tentatives a été utilisée par l’expert dans 94,2 % des cas. Un bon squelette élève ainsi les deux camps : il fournit à l’apprenti la structure qui lui manque et permet à l’expert de travailler avec moins de détours.

Imiter le travail complet d’un expert peut fragiliser un modèle moins performant

L’intuition suggère une solution simple : si un agent IA performant maîtrise bien une tâche dans un environnement sur mesure, qu’un modèle plus petit copie ses trajectoires de réussite. C’est exactement ce qui s’est produit lorsque le modèle Qwen, moins puissant, a été affiné à partir d’exécutions complètes réalisées par un expert supérieur sous un harnais amélioré. Son taux moyen de réussite aux tests est alors passé de 78,0 % à 63,1 %, soit une chute de 14,9 points. Cette dégradation n’était pas isolée : elle s’est observée sur les sept tâches professionnelles testées, allant de l’audit de la paie et de l’approbation des budgets aux alertes sur les stocks, à la détection d’anomalies IoT, à l’automatisation du navigateur, à la gestion de sites web et au refactoring de code. Certaines baisses ont été brutales. L’audit de la paie a reculé de 29,9 points, la gestion de sites web de 20,3 points et l’automatisation du navigateur de 16,0 points. Même dans le cas le plus léger, celui de la détection d’anomalies, la perte atteignait encore 4,2 points.

Le paradoxe tient au fait que l’expert était réellement meilleur dans cet même environnement. Imiter un modèle supérieur aide généralement. Ici, cela a nui, car le matériel copié contenait bien plus que des faits. Il transmettait la manière dont l’expert naviguait à travers un harnais façonné autour d’outils précis, de vérifications et de recettes de calcul spécifiques. Le modèle plus faible a acquis une partie de ce comportement, mais pas assez pour stabiliser sa propre planification. Une seconde vérification avec Gemma a confirmé le même schéma sur une tâche d’automatisation web : après l’évolution du harnais, la réussite était passée de 46,7 % à 55,6 %, mais elle est retombée à 41,1 % après copie des trajectoires de l’expert. Cela représente 14,5 points en dessous de sa propre référence avec le harnais amélioré et 5,6 points sous la configuration par défaut initiale. Le problème ne venait pas d’un rejet du nouveau squelette : les modèles plus faibles utilisaient encore une grande partie des composants ajoutés. Ce qui s’est brisé, c’était leur capacité à transformer le comportement copié de l’expert en un travail fiable et étape par étape.

Le problème ne vient pas d’une mémoire en panne, mais d’un rythme perdu.

Quand on entraîne le modèle faible sur les réussites de l’expert, ses échecs ne ressemblent pas à une amnésie totale. Il connaît toujours la tâche, il sait mobiliser les bons outils et respecte les règles ajoutées. Ce qui se brise, c’est le rythme. L’environnement était réglé sur une boucle courte : calculer, vérifier une fois, terminer. Après l’imitation, le modèle continue de travailler au-delà de ce point. Dans un audit de paie, il a produit les totaux par département corrects. Le scoreur a même vu les bons chiffres. Puis il a réémis la même vue 29 fois et relu l’invite environ 20 fois. Les erreurs d’outils se sont accumulées sans qu’il n’envoie jamais de signal de fin sur 78 étapes. L’exécution a obtenu zéro point. Les faits étaient là, le rythme non.

Les exécutions à score nul ont été classées en six types de problèmes. L’imitation n’a pas effacé le sens du domaine : les erreurs liées aux connaissances implicites sont passées de 46,2 % à 44,5 % parmi les échecs majeurs. Cette légère baisse montre que le modèle a acquis certains réflexes de l’expert. Les dégâts se concentraient sur des étapes sous-entendues manquantes et des plans rompus.

Un second cas illustre le même point. Une tâche web exigeait un nombre filtré d’avis approuvés. Le total correct était 346. Le modèle de base a utilisé le filtre, lu le bon chiffre et terminé. Après l’imitation, il a copié la rapidité de l’expert mais pas sa compétence. Il est arrivé à la grille des avis sans jamais former le sous-objectif de filtrer d’abord. Il a lu le nombre non filtré de 351 enregistrements et s’est arrêté là. Sur d’autres questions similaires, le même raccourci est apparu : le modèle avait appris la concision sans les étapes qui rendent cette concision sûre.

Le modèle affiné n’a pas ignoré l’environnement ajouté. Il a utilisé une recette de calcul clé dans 76,1 % des exécutions, contre 30,8 %. Le problème ne venait donc pas de l’utilisation des outils.

L’habillage d’un modèle peut devenir sa vraie compétence

Un grand modèle de langage est souvent réduit à un objet unique : un ensemble de poids qui sait ou ne sait pas. Le système qui l’entoure, le harnais, attire beaucoup moins l’attention. Or, il comprend bien plus qu’un simple prompt : les outils que le modèle peut invoquer, les exemples auxquels il est confronté, les règles définissant quand s’arrêter et les contrôles pesant sur ses actions. Cette vision simpliste passe à côté de ce qui se joue réellement en pratique.

L’étude a testé cette idée sur sept tâches professionnelles : l’audit de la paie, l’approbation des budgets, les alertes sur les stocks, la détection d’anomalies IoT, l’automatisation du navigateur, la gestion de sites web et le refactoring de code. Chaque tâche disposait d’une réponse correcte bien définie. On n’a pas demandé aux modèles de faire preuve de créativité. On leur a demandé d’exécuter correctement une tâche.

Le modèle open-weight Qwen3-Coder-30B-A3B-Instruct, moins performant, partait avec un taux de réussite moyen de 29,2 % sous le harnais original. C’est un chiffre bas pour un modèle doté de trente milliards de paramètres. Mais ce harnais n’était pas figé : il a été traité comme un programme modifiable. Les modifications proposées ont été testées sur des données de validation, et seules celles qui amélioraient les performances ont été conservées.

Le résultat dépasse largement une légère hausse. La réussite moyenne aux tests est passée à 78,0 %, soit une augmentation de 48,8 points de pourcentage. Les poids du modèle n’ont pas bougé d’un iota. Ce qui a changé, c’est le squelette autour : nouveaux outils, exemples concrets, instructions renforcées, garde-fous bloquant les actions incorrectes et recettes de calcul en plusieurs étapes.

Cela change la façon dont on évalue ce qu’un modèle sait faire. Sa compétence ne réside pas seulement dans ses paramètres. Elle dépend aussi de la structure de la tâche telle qu’elle lui est présentée. Le harnais peut fournir des conventions que le modèle devrait sinon déduire seul. Il peut imposer une séquence d’étapes qui empêche l’agent de s’égarer et rendre explicite un savoir de domaine jusque-là implicite.

Ce harnais évolué n’était pas juste un correctif pour un modèle faible. Lorsque le plus puissant Gemini 3.1 Pro Preview a utilisé ce même squelette, sa réussite moyenne est passée de 84,4 % à 93,6 %. L’expert n’a pas ignoré la structure : il a déclenché presque tous les composants ajoutés dans 93,6 à 100 % de ses exécutions. Une recette de calcul de domaine en plusieurs étapes, que le modèle Qwen de base utilisait seulement dans 30,8 % des cas, l’a été par l’expert dans 94,2 %.

Le harnais est ainsi devenu un actif partagé. Il n’encode pas seulement quoi faire, mais comment le faire, d’une manière que les deux modèles peuvent suivre. C’est une capacité différente de la force brute du modèle : c’est un savoir procédural rendu externe et réutilisable.