Stabiliser les signaux rétrogrades permet aux modèles récurrents d'utiliser des contextes bien plus longs

Les modèles de langage récurrents promettent une façon moins coûteuse de traiter des textes très longs, car ils maintiennent une mémoire compacte au lieu de stocker chaque token précédent. Or, lorsqu’ils sont entraînés sur de courts passages, cette mémoire échoue souvent à relier des causes et des effets éloignés. La question clé est de savoir si le signal rétrograde qui apprend aux états cachés antérieurs à partir d’erreurs ultérieures peut être maintenu en vie sans modifier ce que le modèle prédit ni la manière dont il est évalué.

Le signal rétrograde qui transmet les erreurs futures aux états antérieurs

Les modèles récurrents conservent une mémoire compacte de ce qu’ils ont vu jusqu’alors. Cette mémoire évolue pas à pas. Lorsque le modèle commet plus tard une erreur, l’entraînement doit imputer cette erreur aux étapes antérieures qui y ont contribué. La rétropropagation envoie un signal d’erreur au fil du temps. Ce signal est appelé crédit d’état. Il indique à un état caché antérieur dans quelle mesure les erreurs ultérieures dépendent de lui. Il arrive avant que le signal ne se transforme en modifications des poids.

Le problème ne se limite pas aux gradients qui disparaissent ou explosent. Une perte future peut être importante même lorsque le chemin retour est long. Si le signal devient trop faible, le modèle ne peut pas apprendre à partir de conséquences éloignées. S’il devient trop fort, les mises à jour peuvent dépasser la cible. Si son échelle dérive, l’apprentissage devient instable. La taille seule ne dit pas toute l’histoire. La direction du signal compte. Elle indique quels choix d’états antérieurs doivent être corrigés. Une méthode qui ne regarde que l’amplitude peut détruire une information utile.

Un test simple montre pourquoi cela importe. Dans une tâche de mémoire, le modèle stocke des éléments puis répond plus tard à des questions les concernant. Les requêtes ultérieures révèlent si le stockage antérieur était correct. L’entraînement a besoin du crédit provenant de ces erreurs ultérieures pour atteindre les états antérieurs. Lorsque la partie longue portée du gradient est supprimée à une longueur d’entraînement de 1 024 tokens, l’exactitude tombe à 0,60 %. Avec le signal rétrograde complet, elle atteint 96,30 %. Le hasard donne environ 0,098 %. L’effondrement montre que le crédit longue portée n’est pas un effet secondaire. Il est requis pour apprendre à partir des conséquences futures.

Rééchelonner le crédit aux limites de blocs sans changer sa direction

Lorsqu’un modèle récurrent est entraîné par blocs, chaque limite est un endroit où l’information doit passer d’un segment au suivant. Le signal rétrograde qui atteint un état caché antérieur peut être trop petit ou trop grand lorsqu’il franchit cette limite. La stabilisation du crédit dans le temps, ou CST, ne corrige que ce problème de taille. Elle multiplie le signal par un nombre positif avant qu’il ne passe la limite. Un multiplicateur positif modifie l’intensité mais pas la direction. Si le signal pointe vers la réduction d’un type d’erreur, il pointe encore là après rééchelonnement.

Cela compte parce que la direction porte un sens propre à la tâche. Une grande amplitude ne révèle pas ce qui doit être corrigé. CST laisse donc le modèle en avant et l’objectif d’entraînement intacts. Elle ne modifie que la transmission rétrograde. L’entraînement ordinaire correspond à laisser le signal inchangé. Détacher un état caché correspond à le supprimer. CST maintient la connexion vivante mais ajuste son volume.

Pour les tâches où le crédit diminue surtout, une version à sens unique est utilisée. Elle amplifie les signaux faibles et n’atténue jamais les signaux forts. Adjacent-CST compare chaque limite avec la taille corrigée à la limite ultérieure suivante et restaure l’atténuation vers cette référence. L’expansion fixe un nouveau niveau de référence. Un plafond de gain maximal empêche toute correction unique de devenir trop grande.

Event-CST est plus sélectif. Il maintient un niveau de référence courant et permet à de petites contractions de s’accumuler. Il n’intervient que lorsque le crédit actuel tombe en dessous d’une fraction fixe de cette référence. Après une intervention ou un nouveau pic, la référence se met à jour. Cela crée des corrections éparses plutôt qu’un rééchelonnement constant.

EMA replay réduit le coût en réutilisant les points d’intervention probables. Toutes les 100 étapes, il exécute une sonde dense et enregistre les motifs de contraction. Entre deux sondes, seules les positions de limites prédites sont exposées. Les gains effectifs sont recalculés à partir des données actuelles. Il réutilise où regarder, pas d’anciennes valeurs de gradient.

Des tâches contrôlées montrent jusqu’où la mémoire récurrente peut s’étirer

Les modèles récurrents sont souvent testés sur des tâches propres parce que ces tâches séparent la mémoire d’autres difficultés. Trois familles de tâches synthétiques ont été utilisées ici. La première demande à un modèle de suivre un état en utilisant la même règle à chaque fois. Chaque étape est vérifiée, si bien que les erreurs proches peuvent enseigner au modèle même si l’apprentissage longue portée est faible. La deuxième lui demande de stocker plusieurs éléments puis de répondre plus tard à des questions les concernant. Une question tardive révèle si un élément antérieur a été conservé correctement. Cela rend les conséquences éloignées essentielles. La troisième combine les deux exigences. Elle fournit une nouvelle table de transitions dans chaque exemple, puis demande plusieurs segments de suivi d’état. Le modèle doit se souvenir de la table tout en mettant à jour un état pas à pas.

La charge mémoire a été maintenue fixe parce qu’elle dépend fortement de la taille du modèle. L’accent était mis sur l’extrapolation temporelle : jusqu’où au-delà de la longueur d’entraînement l’information peut-elle encore être utilisée. Dans la tâche hybride principale, les modèles voyaient des séquences de 1 000 tokens pendant l’entraînement. Chaque segment contenait quatre transitions d’état dépendantes. L’évaluation s’est ensuite étendue à 128 000 tokens et à des chaînes plus profondes de quatre, huit, seize ou trente-deux étapes.

Une correction éparsée appelée Event-CST a été utilisée pour ces tâches contrôlées. Au réglage exact d’entraînement, elle partait légèrement derrière l’entraînement ordinaire. À 1 000 tokens et profondeur quatre, l’exactitude était en retard de 3,55 points. Ce petit coût comptait moins que ce qui suivait. De 16 000 à 128 000 tokens, Event-CST améliorait chacun des seize cellules longue portée. Le gain moyen était de 6,58 points de pourcentage par rapport à l’entraînement ordinaire.

L’écart le plus grand est apparu au point testé le plus difficile. Avec profondeur quatre et 128 000 tokens, l’entraînement ordinaire atteignait une exactitude de 21,16 %. Event-CST atteignait 28,14 %. Le gain était de 6,98 points. Les trois graines aléatoires ont progressé ensemble, si bien qu’une exécution chanceuse n’a pas conduit le résultat.

Le bénéfice est aussi apparu à des profondeurs de déroulement jamais vues pendant l’entraînement. À profondeur huit, le gain était de 4,77 points. À profondeur seize, il était de 4,09 points. À profondeur trente-deux, il était de 3,87 points. Les gains diminuaient lorsque les chaînes s’allongeaient, mais ils ne disparaissaient pas.

Le motif était cohérent dans l’ensemble, bien que parfaitement uniforme d’une exécution individuelle à l’autre. Vingt-neuf des quarante-huit comparaisons au niveau des graines favorisaient l’entraînement corrigé. Chaque cellule moyenne profondeur-longueur la favorisait aussi. Cela signifie que l’avantage était large plutôt qu’un petit nombre de victoires isolées.

Le texte réel révèle un motif plus complexe de flux de crédit

Le texte réel ne se comporte pas comme les cas de test ordonnés. Lorsque le signal rétrograde de crédit a été mesuré pendant que l’entraînement ordinaire tournait, il a montré un motif mixte. La mesure regardait tous les 64 tokens et ne modifiait pas le modèle. Les limites antérieures tendaient encore à porter des signaux plus faibles que les limites ultérieures. Les états antérieurs sont jugés par davantage de cibles futures. Après cette correction, le ratio médian normalisé crédit le plus ancien au plus récent était de 0,23 sur les cinq derniers instantanés. La partie la plus ancienne ne recevait souvent qu’environ un quart de cette intensité. À l’instantané final, 83,6 % des trajectoires échantillon-couche-tête étaient plus faibles à la limite la plus ancienne. Les douze couches récurrentes avaient toutes un ratio logarithmique médian négatif. La faiblesse était large, pas limitée à une tête ou à une couche.

Mais le signal ne s’estompe pas simplement dans une seule direction. D’une limite à l’autre, il pouvait diminuer ou croître. Les variations locales étaient assez grandes pour qu’un correctif à sens unique soit dangereux. Un contrôleur à sens unique n’amplifie que les signaux faibles. Il n’abaisse jamais les signaux forts. Sur le texte réel, les deux directions comptaient. Entre des limites adjacentes, la variation absolue médiane de la taille du crédit en log2 était de 0,580. C’est un facteur d’environ 1,50. Le 90e percentile atteignait 3,164, soit un facteur d’environ 8,96. La plupart des étapes changeaient d’un montant modeste, mais beaucoup changeaient brusquement.

Pour cette raison, la correction sur texte réel utilisait un contrôleur symétrique. Il fonctionnait indépendamment à chaque couche et tête récurrente. Il vérifiait le signal tous les 64 tokens. Il amplifiait le crédit faible et atténuait le crédit fort. L’objectif était de maintenir la taille près d’un niveau de référence mis à jour lentement. Chaque étape non rognée ne supprimait que 10 % de l’écart actuel par rapport à ce niveau. Les gains étaient plafonnés entre environ 1/1,10 et 1,10. Cela signifiait qu’aucune correction unique ne pouvait pousser le signal plus d’environ dix pour cent vers le haut ou vers le bas. Contrairement au contrôleur éparsé, il n’attendait pas un événement seuil. Il appliquait une correction continue à double sens à chaque limite exposée.

Un correctif étroit avec une promesse plus large

La leçon centrale n’est pas que les modèles récurrents sont cassés. C’est que leur signal d’entraînement peut mourir avant d’atteindre le passé. Une erreur future doit voyager en arrière dans le temps. Si ce message devient trop petit, trop grand ou mal échelonné, les états antérieurs ne peuvent pas apprendre à partir des conséquences ultérieures. La correction proposée agit exactement à ce point. Elle rééchelonne le crédit rétrograde aux limites de blocs sélectionnées. Elle ne modifie pas ce que le modèle prédit en passage avant. Elle maintient seulement le signal d’apprentissage en vie tout en préservant sa direction.

Cela compte parce que la longue portée est souvent traitée comme un problème de stockage. Les résultats montrent qu’elle est aussi un problème d’attribution d’erreurs. Un modèle peut détenir assez d’information pour répondre plus tard, mais l’entraînement doit encore dire aux états antérieurs quels choix ont compté. Les tâches contrôlées rendent cette dépendance visible. Lorsque les gradients lointains sont supprimés, la récupération mémoire s’effondre. Cela montre que le crédit distant n’est pas décoratif. Il est requis pour la tâche.

L’opportunité est réelle. Les modèles récurrents maintiennent un état de taille fixe au lieu de faire croître un cache toujours plus grand. Si leur signal rétrograde peut être stabilisé, ils peuvent utiliser une information bien au-delà des longueurs vues pendant l’entraînement. La méthode évite aussi le rééchelonnement par la force brute. Des corrections éparsées apparaissent là où nécessaire. Un schéma de rejouage moins coûteux réutilise les points de correction probables plutôt que de vérifier chaque limite tout le temps.

Les obstacles sont tout aussi clairs. Le texte réel ne se comporte pas comme des tâches synthétiques propres. Le crédit peut diminuer ou croître d’une limite à l’autre, et différentes couches montrent différents motifs. Les gains en modèle de langage sont petits en termes absolus, même lorsqu’ils sont cohérents. Certains résultats hors domaine restent descriptifs plutôt que statistiquement résolus. Les intervalles de confiance couvrent des documents d’évaluation fixes, pas des exécutions d’entraînement indépendantes. Ils ne corrigent pas non plus la recherche de nombreux réglages. Une méthode qui aide sur un corpus peut avoir besoin d’un nouveau réglage ailleurs.

La question plus large est de savoir si stabiliser le crédit peut devenir un outil général pour l’apprentissage longue portée. Si oui, le goulot d’étranglement se déplace de la taille mémoire à la fiabilité avec laquelle les conséquences sont attribuées dans le temps. Un modèle peut-il apprendre à faire confiance à son propre passé ?