Stabiliser le signal rétrograde permet aux modèles récurrents d’utiliser des contextes beaucoup plus longs

Le signal rétrograde : comment les erreurs futures parviennent aux états passés

Les modèles récurrents conservent une mémoire compacte de ce qu’ils ont déjà vu. Cette mémoire évolue à chaque étape. Quand le modèle se trompe plus tard, l’apprentissage doit imputer la faute aux étapes antérieures qui y ont contribué. La rétropropagation transmet alors un signal d’erreur dans le temps, appelé crédit d’état : il indique à un état caché antérieur dans quelle mesure les erreurs ultérieures en dépendent, avant que ce signal ne se transforme en ajustements des poids.

Le problème ne tient pas seulement aux gradients qui s’évanouissent ou explosent. Une perte future peut être déterminante même si le chemin retour est long. Si le signal devient trop faible, le modèle n’apprend rien des conséquences lointaines. S’il devient trop fort, les mises à jour dépassent la cible. Et si son échelle dérive, l’apprentissage devient instable. L’amplitude seule ne suffit pas : c’est la direction du signal qui compte, car elle désigne les choix d’état antérieurs à corriger. Une méthode qui ne regarde que la magnitude risque de détruire des informations utiles.

Un test simple illustre l’enjeu. Dans une tâche de mémoire, le modèle stocke des éléments puis répond plus tard à des questions sur ceux-ci. Ces requêtes tardives révèlent si le stockage initial était correct. L’apprentissage a donc besoin du crédit issu de ces erreurs ultérieures pour atteindre les états antérieurs. Si l’on supprime la partie longue portée du gradient lors d’un entraînement sur 1 024 jetons, la précision chute à 0,60 %. Avec le signal rétrograde complet, elle atteint 96,30 %, alors que le hasard pur donne environ 0,098 %. Cet effondrement prouve que le crédit longue portée n’est pas un effet secondaire : il est indispensable pour apprendre des conséquences futures.

Réajuster le crédit aux frontières des blocs sans changer sa direction

Entraîné par blocs, un modèle récurrent doit faire passer l’information d’un segment au suivant à chaque frontière. Le signal rétrograde qui atteint un état caché antérieur peut alors être trop faible ou trop fort lorsqu’il franchit cette limite. La stabilisation du crédit dans le temps (CST) ne corrige que ce problème d’amplitude : elle multiplie le signal par un nombre positif avant qu’il ne traverse la frontière. Un tel multiplicateur modifie l’intensité, mais pas la direction. Si le signal visait à réduire une certaine erreur, il continue de viser cette même cible après rééchelonnement.

C’est crucial car la direction porte une signification propre à la tâche, tandis qu’une grande amplitude ne révèle pas ce qui doit être corrigé. CST laisse donc intacts le modèle avant et l’objectif d’apprentissage. Elle n’intervient que sur la transmission en arrière. L’entraînement standard correspond à laisser le signal inchangé, détacher un état caché revient à le supprimer, tandis que CST maintient la connexion vivante tout en ajustant son volume.

Pour les tâches où le crédit diminue principalement, une version à sens unique est utilisée : elle amplifie les signaux faibles sans jamais atténuer les forts. Adjacent-CST compare chaque frontière avec l’amplitude corrigée de la frontière suivante et restaure la diminution vers cette référence. L’expansion définit un nouveau niveau de référence, tandis qu’une limite maximale de gain empêche toute correction individuelle de devenir excessive.

Event-CST est plus sélectif : il maintient un niveau de référence dynamique et laisse s’accumuler les petites contractions. Il n’intervient que lorsque le crédit actuel passe sous une fraction fixe de cette référence, laquelle se met à jour après chaque intervention ou nouveau pic. Cela produit des corrections éparses plutôt qu’un rééchelonnement constant.

Enfin, la rejou EMA réduit les coûts en réutilisant les points d’intervention probables. Toutes les 100 étapes, elle exécute une sonde dense et enregistre les motifs de contraction. Entre deux sondes, seules les positions de frontières prédites sont exposées. Les gains effectifs sont recalculés à partir des données actuelles : c’est l’endroit où regarder qui est réutilisé, pas d’anciennes valeurs de gradient.

Des tâches de contrôle révèlent les limites de l’extrapolation temporelle des modèles récurrents

Pourquoi des tâches propres ? Parce qu’elles permettent d’isoler la mémoire des autres difficultés. Trois familles de tâches synthétiques ont servi ici. La première impose au modèle de suivre un état en appliquant toujours la même règle. Chaque étape étant vérifiée, les erreurs proches peuvent guider l’apprentissage, même si la capacité à relier des événements éloignés est faible. La seconde demande de stocker plusieurs éléments puis d’y répondre plus tard par des questions. Une question posée tardivement révèle si un élément initial a été correctement conservé. Les conséquences lointaines deviennent alors essentielles. La troisième combine ces deux exigences : elle fournit une nouvelle table de transitions à chaque exemple, puis exige la réalisation de plusieurs segments de suivi d’état. Le modèle doit mémoriser la table tout en mettant à jour l’état étape par étape.

La charge mémoire a été maintenue constante, car elle dépend fortement de la taille du modèle. L’objectif était l’extrapolation temporelle : jusqu’à quelle distance au-delà de la longueur d’entraînement les informations restent-elles exploitables ? Dans la tâche hybride principale, les modèles ont vu des séquences de 1 000 jetons pendant l’entraînement. Chaque segment contenait quatre transitions d’état dépendantes. L’évaluation s’est ensuite étendue à 128 000 jetons et à des chaînes plus profondes de quatre, huit, seize ou trente-deux étapes.

Une correction éparsée nommée Event-CST a été utilisée pour ces tâches contrôlées. Dans le réglage exact d’entraînement, elle partait légèrement en retrait par rapport à l’entraînement ordinaire. À 1 000 jetons et une profondeur de quatre, la précision était inférieure de 3,55 points. Ce petit coût comptait moins que ce qui suivait. De 16 000 à 128 000 jetons, Event-CST a amélioré chacun des seize cas de contexte long. Le gain moyen s’élevait à 6,58 points de pourcentage par rapport à l’entraînement ordinaire.

L’écart le plus important est apparu au point testé le plus difficile. Avec une profondeur de quatre et 128 000 jetons, l’entraînement ordinaire atteignait 21,16 % de précision. Event-CST atteignait 28,14 %. Le gain était de 6,98 points. Les trois graines aléatoires se sont améliorées ensemble, si bien qu’une exécution chanceuse n’a pas déterminé le résultat.

L’avantage est également apparu à des profondeurs de déroulement jamais vues pendant l’entraînement. À une profondeur de huit, le gain était de 4,77 points. À seize, il était de 4,09 points. À trente-deux, il était de 3,87 points. Les gains diminuaient lorsque les chaînes s’allongeaient, mais ils ne disparaissaient pas.

Le schéma était cohérent dans l’ensemble, bien qu’il ne fût pas parfaitement uniforme d’une exécution individuelle à l’autre. Vingt-neuf des quarante-huit comparaisons au niveau des graines favorisaient l’entraînement corrigé. Chaque cellule moyenne de profondeur et de longueur la favorisait également. Cela signifie que l’avantage était large, plutôt qu’un petit nombre de victoires isolées.

Sur des textes réels, la circulation du crédit s’avère bien plus complexe.

Le texte réel ne se comporte pas comme les cas de test bien rangés. Lorsque le signal de crédit rétrograde a été mesuré pendant l’exécution d’un entraînement ordinaire, il a révélé un motif hétérogène. La mesure examinait chaque 64 jetons et n’a pas modifié le modèle. Les frontières antérieures tendaient toujours à porter des signaux plus faibles que les frontières postérieures. Les états antérieurs sont évalués par rapport à davantage de cibles futures. Après cette correction, le ratio médian normalisé du crédit entre la frontière la plus ancienne et la plus récente était de 0,23 sur les cinq derniers instantanés. La partie la plus ancienne ne recevait souvent que l’équivalent d’environ un quart de cette intensité. À l’instantané final, 83,6 % des trajectoires échantillon-couche-tête étaient plus faibles à la frontière la plus ancienne. Les douze couches récurrentes présentaient toutes une médiane de rapport logarithmique négative. Cette faiblesse était généralisée, et non limitée à un seul tête ou à une seule couche.

Mais le signal ne s’estompe pas simplement dans une seule direction. D’une frontière à l’autre, il pouvait diminuer ou augmenter. Les variations locales étaient assez importantes pour qu’une correction unilatérale soit risquée. Un contrôleur unilatéral n’amplifie que les signaux faibles. Il n’atténue jamais les signaux forts. Sur du texte réel, les deux directions comptaient. Entre des frontières adjacentes, la variation absolue médiane de la taille du crédit en base 2 était de 0,580. Cela correspond à un facteur d’environ 1,50. Le 90e percentile atteignait 3,164, soit un facteur d’environ 8,96. La plupart des étapes variaient modérément, mais beaucoup variaient brusquement.

Pour cette raison, la correction sur texte réel a utilisé un contrôleur symétrique. Il fonctionnait indépendamment à chaque couche et tête récurrente. Il vérifiait le signal tous les 64 jetons. Il amplifiait le crédit faible et atténuait le crédit fort. L’objectif était de maintenir la taille proche d’un niveau de référence mis à jour lentement. Chaque étape non bornée ne supprimait que 10 % de l’écart actuel par rapport à ce niveau. Les gains étaient plafonnés entre environ 1/1,10 et 1,10. Cela signifiait qu’aucune correction unique ne pouvait pousser le signal d’environ plus de dix pour cent vers le haut ou vers le bas. Contrairement au contrôleur creux, il n’attendait pas un événement seuil. Il appliquait une correction continue bidirectionnelle à chaque frontière exposée.

Une solution précise, à portée large

L’essentiel n’est pas que les modèles récurrents soient défectueux. Le problème est ailleurs : leur signal d’apprentissage s’éteint souvent avant d’avoir atteint le passé. Une erreur commise plus tard doit remonter dans le temps pour être corrigée. Si ce message devient trop faible, trop fort ou mal calibré, les états antérieurs ne peuvent pas tirer parti des conséquences ultérieures. La correction proposée agit précisément ici. Elle rééchelonne le crédit rétrograde à certaines limites de blocs. Elle ne modifie en rien la prédiction du modèle lors du passage avant. Elle se contente de maintenir le signal d’apprentissage actif, tout en préservant sa direction.

C’est crucial car le contexte long est souvent réduit à un problème de stockage. Les résultats montrent qu’il s’agit aussi d’un problème d’attribution des erreurs. Un modèle peut détenir suffisamment d’informations pour répondre plus tard, mais l’entraînement doit toujours indiquer aux états antérieurs quels choix ont compté. Les tâches contrôlées rendent cette dépendance visible. Lorsque les gradients lointains sont supprimés, la récupération de mémoire s’effondre. Cela prouve que le crédit à distance n’est pas décoratif : il est indispensable pour la tâche.

L’opportunité est réelle. Les modèles récurrents maintiennent un état de taille fixe au lieu de faire croître un cache toujours plus grand. Si leur signal en arrière peut être stabilisé, ils peuvent utiliser des informations bien au-delà des longueurs vues pendant l’entraînement. La méthode évite également le recalage par la force brute. Des corrections éparses apparaissent là où c’est nécessaire. Un schéma de rejouage moins coûteux réutilise les points de correction probables plutôt que de vérifier chaque limite en permanence.

Les obstacles sont tout aussi clairs. Le texte réel ne se comporte pas comme des tâches synthétiques propres. Le crédit peut diminuer ou augmenter d’une limite à l’autre, et différentes couches présentent différents motifs. Les gains du modèle de langage sont faibles en termes absolus, même lorsqu’ils sont cohérents. Certains résultats hors domaine restent descriptifs plutôt que statistiquement résolus. Les intervalles de confiance couvrent des documents d’évaluation fixes, pas des exécutions d’entraînement indépendantes. Ils ne corrigent pas non plus la recherche de nombreux paramètres. Une méthode qui aide sur un corpus peut nécessiter un nouvel ajustement ailleurs.

La question plus large est de savoir si stabiliser le crédit peut devenir un outil général pour l’apprentissage à long terme. Si c’est le cas, le goulot d’étranglement se déplace de la taille mémoire vers la fiabilité avec laquelle les conséquences sont attribuées dans le temps. Un modèle peut-il apprendre à faire confiance à son propre passé ?