De minuscules dispositifs oscillants pourraient offrir à l'intelligence artificielle une façon moins chère de porter son attention

Comment les oscillateurs transforment l’attention en problème de stabilisation physique

L’attention par oscillateurs remplace un calcul numérique par un problème de mouvement physique. Dans un transformeur ordinaire, chaque requête demande à quelle intensité elle doit prêter attention à chaque clé. Le modèle calcule des scores puis applique softmax. Cette étape nécessite des exponentielles et une normalisation soignée. L’attention par oscillateurs ne calcule pas directement ces poids. Elle laisse de petits oscillateurs bouger jusqu’à ce qu’ils s’arrêtent.

Chaque clé fournit une direction d’ancrage fixe. L’oscillateur de la requête ressent une attraction vers les ancrages auxquels il correspond bien. Les couplages positifs renforcent cette attraction pour les alignements meilleurs. Le mouvement est contraint à la surface d’une sphère, si bien que sa longueur ne dérive jamais. En deux dimensions, l’état peut s’écrire sous forme d’un seul angle. Cela fait ressembler la dynamique à une synchronisation de phase ordinaire.

La conception possède une propriété mathématique importante. Une mesure de type énergie diminue lorsque l’oscillateur se déplace, et elle ne présente qu’un seul minimum. Cela élimine un danger fréquent chez les oscillateurs couplés : de nombreux états stables concurrents. L’apprentissage peut donc utiliser le point final exact. Le matériel n’a pas besoin de résoudre des équations symboliquement. Il lui faut seulement du temps pour se stabiliser.

En trois dimensions ou plus, un seul angle ne suffit pas. L’oscillateur pointe dans un état multidirectionnel sur une sphère. Il ne peut pas être réduit à plusieurs horloges de phase indépendantes. C’est pourquoi le mécanisme a besoin d’un matériel capable de conserver des orientations vectorielles, et non seulement des phases.

Le comportement de stabilisation a été vérifié par intégration numérique de modèles de langage entraînés. La vérification a utilisé 57 900 trajectoires par modèle. Elles provenaient de séquences de validation et de points de départ répétés. En dimension 2, 84,3 % ont convergé et 11,7 % semblaient échouer en atterrissant près de la direction opposée. En dimension 8, la convergence est passée à 94,9 %, avec 3,4 % d’échecs. En dimension 32, elle a atteint 98,3 %, ne laissant que 0,81 % d’échecs apparents.

C’est ce qui fait de l’attention un problème de stabilisation physique plutôt qu’une consultation de table. Le réseau ne demande pas à un processeur une valeur exponentielle. Il demande à la matière de se déplacer vers la même réponse que celle que l’apprentissage connaît déjà. Si le matériel se stabilise, la lecture peut utiliser l’orientation finale comme poids d’attention.

Pourquoi la pièce manquante est la capacité directionnelle, et non un réglage supplémentaire

L’attention par oscillateurs laisse un écart en modélisation de langage, et les indices pointent vers un ingrédient manquant : la capacité directionnelle. Le mécanisme forme l’attention à partir d’ancrages qui vivent dans un espace d’oscillateurs. Cet espace ne possède que le nombre de directions indépendantes permis par sa dimension. Un plafond de rang en découle. Il est approximativement égal à un plus que la dimension des oscillateurs. Les modèles entraînés se rapprochent de ce plafond, mais ils ne le dépassent pas. Sur TinyStories, le rang effectif était 2,31 en dimension 2. En dimension 4, il était 3,95. En dimension 8, il était 5,79. En dimension 16, il était 9,59. Les plafonds étaient 3, 5, 9 et 17. Les modèles utilisent la plupart des directions disponibles, mais ils restent en deçà de l’attention softmax complète.

Trois idées de réglage supplémentaires n’ont pas comblé l’écart. Des décalages de phase appris dépendants de la position ont modifié le perplexity WikiText-2 de moins d’un demi-point. Le déplacement moyen était d’environ -0,42, avec un écart-type de 0,25. La position entre déjà par les plongements d’entrée, si bien que faire tourner les ancrages n’ajoute guère de nouvelle direction. Les gains de couplage par tête ont aussi échoué. Un gain scalaire appris pour chaque tête et chaque position de requête a déplacé le perplexity d’environ -0,06 seulement. Les gains variaient approximativement de 0,10 à 2,68. Mais un gain scalaire ne peut pas agrandir le sous-espace des ancrages qui contrôle le rang. Ajouter des têtes tout en gardant la largeur du modèle fixe n’a pas aidé non plus. Avec quatre têtes, l’attention par oscillateurs se situait près de 110,7 de perplexity sur WikiText-2. Avec huit têtes, elle passait à environ 111,1. Softmax restait près de 99 dans les deux cas.

Les preuves du rang rendent le diagnostic plus net. Tronquer un modèle softmax entraîné lors de l’inférence est bien pire que l’entraîner dès le départ sous cette contrainte. Sur TinyStories, la troncature a posteriori portait le perplexity à environ 10,6 au rang 33 et à environ 49,7 au rang 3. Une variante softmax entraînée avec un plafond de rang des scores assorti faisait mieux. Son perplexity baissait régulièrement lorsque le rang augmentait : environ 9,41 au rang 2, 9,18 au rang 4, 8,96 au rang 8 et 8,67 au rang 32. La référence softmax complète était aussi d’environ 8,67. L’attention par oscillateurs en dimension 2 restait environ 2,24 points de plus mauvaise que cette référence. La limitation du rang des scores explique donc une partie de l’écart, mais pas toute.

La pièce manquante est donc la capacité dans les directions, et non un autre bouton à tourner. Un gain scalaire peut rendre les ancrages plus forts ou plus faibles. Il ne peut pas ajouter un nouvel axe pour que l’attention sépare des motifs. Un décalage de phase peut faire tourner un ancrage. Il reste pourtant dans le même espace de faible dimension. Plus de têtes à largeur fixe découpent cet espace plus fin au lieu de l’élargir. La voie probable vers l’équivalence consiste à aligner la dimension des oscillateurs sur le rang effectif nécessaire à softmax pour la tâche. L’équivalence exacte reste incertaine, car les deux mécanismes construisent les poids différemment.

L’attention fonctionne comme un projecteur sur une phrase.

Elle décide quels jetons antérieurs doivent influencer le jeton actuel. Dans l’attention par oscillateurs, ce projecteur est construit à partir de la similarité cosinus entre les directions des requêtes et des clés. Une simple étape de lecture peut transformer ce signal brut en choix plus nets. Le bouton est un exposant appelé p. Lorsque p vaut 1, le matériel physique produit directement les poids. Des valeurs plus grandes de p agissent comme une refroidissement d’un mélange. Elles poussent la masse de probabilité vers les correspondances les plus fortes. Des valeurs plus petites aplatissent la distribution et laissent aux correspondances plus faibles un rôle plus important.

Sur le repérage de mots-clés, augmenter p de 1 à 4 a porté la précision de 88,79 % à 90,02 %. La tâche utilisait des oscillateurs bidimensionnels et aucun codage positionnel. Ce gain venait de la suppression d’alignements faibles en arrière-plan. Sur TinyStories, le même changement réduisait le perplexity de 0,74 en dimension 2 et de 0,80 en dimension 8.

Ce raffinement modifie la concentration du projecteur, pas le nombre de directions indépendantes qu’il peut utiliser. Avant le raffinement, une mesure standard d’étalement pour l’attention par oscillateurs était supérieure à 0,90. Softmax se situait près de 0,60. Une valeur proche de un signifie presque une répartition uniforme. Augmenter p concentre la masse sur les meilleures correspondances. L’ordre des correspondances reste lié à la similarité cosinus. La limite du nombre de directions indépendantes reste égale à un plus que la dimension des oscillateurs. Cette limite ne dépend pas de p.

En pratique, p est un choix côté logiciel. Le matériel peut s’arrêter à p=1. Une étape numérique de post-traitement peut augmenter p après la lecture physique. C’est utile car les alignements faibles peuvent diluer l’attention. Le résultat devient plus sélectif sans ajouter de nouvelle capacité directionnelle.

Temps de stabilisation, taille du matériel et lieu des économies

La version physique ne calcule pas l’attention en une étape numérique unique. Elle laisse les oscillateurs se stabiliser vers la réponse que l’apprentissage attend. Cette stabilisation prend du temps, mais les durées mesurées sont courtes. Sur des tâches simples de périphérie, l’horizon de stabilisation sans dimension est d’environ 5. Sur TinyStories, il est d’environ 30. Ce sont des unités de dynamique des oscillateurs, pas des secondes ou des minutes. Le coût énergétique réel dépend du matériau et du circuit utilisés. Aucune figure absolue d’énergie ne peut être donnée sans nommer un substrat.

La stabilisation n’est pas seulement une affirmation moyenne. Les vérifications numériques ont suivi de nombreuses trajectoires sur des modèles TinyStories entraînés. En dimension 2 des oscillateurs, 84,3 % atteignaient l’état cible et 11,7 % ressemblaient à des échecs antipodaux. En dimension 8, la convergence passait à 94,9 %, avec seulement 3,4 % d’échecs apparents. En dimension 32, elle atteignait 98,3 %, ne laissant que 0,81 %. Chaque modèle était testé sur 57 900 trajectoires issues de séquences de validation. Plus la dimension est élevée, moins il reste de mauvais départs.

La taille du matériel suit la dimension des oscillateurs. En deux dimensions, seuls les oscillateurs libres comptent comme éléments matériels évolutifs. Les ancrages sont des points de forçage appris fixes et n’ajoutent pas de pièces mobiles. Le réglage du repérage de mots-clés nécessite 98 oscillateurs de phase bidimensionnels au total. Un modèle causal de type WikiText-2 en dimension 32 aurait besoin d’environ 6 200 oscillateurs multidimensionnels si le substrat le permet. Le matériel à oscillateurs bidimensionnels est relativement mature. Il apparaît dans des résonateurs mécaniques, des jonctions Josephson, des dispositifs MEMS et des circuits électriques LC. Le matériel à oscillateurs de dimension supérieure est moins établi. Certains systèmes avec un ordre multidirectionnel intrinsèque peuvent être compatibles en principe, mais les démonstrations pratiques restent ouvertes. La cible de déploiement immédiate est donc la dimension 2. Les dimensions supérieures sont actuellement réalisées dans le logiciel.

Les économies n’apparaissent que là où l’attention par oscillateurs diffère de softmax : la formation des poids d’attention. Tous les calculs transformeurs environnants restent identiques et sont exclus. Le coût de l’écriture des valeurs de couplage dans un tableau physique est aussi exclu, car il dépend du dispositif. Les comptes utilisent une convention du premier ordre. Une exponentielle compte pour dix multiplications-accumulations ; toutes les autres opérations comptent pour une. Déplacer davantage l’étape de formation des poids vers le matériel donne des réductions plus importantes pour les tâches de périphérie. Pour le repérage de mots-clés et l’accord sujet-verbe, la réduction passe de moins de 2 fois dans une implémentation entièrement numérique à environ 12 fois lorsque seule la non-linéarité du couplage reste numérique. TinyStories est l’exception. En dimension 8 des oscillateurs, sa lecture domine. La version oscillateur entièrement numérique a un facteur de réduction de 0,6, ce qui signifie qu’elle utilise plus d’opérations comptées que softmax. Une fois l’équilibration physique, le facteur est d’environ 1,1, soit une parité approximative. Une fois la lecture et la somme/division affine aussi physiques, il atteint 4 fois.

Le chiffre élevé pour les tâches de périphérie suppose un couplage ReLU. Les modèles entraînés utilisent softplus. Avec cette non-linéarité, la réduction du nombre d’opérations est beaucoup plus faible, environ 1,2 fois. Ces comptes sont du premier ordre. Les noyaux fusionnés, la quantification, le streaming et les détails des dispositifs peuvent les modifier. Dans une implémentation physique, l’équilibration n’a pas de nombre d’opérations numériques. Son coût est le temps.

La promesse et le prix de l’attention physique

L’idée des oscillateurs n’est pas seulement une autre astuce d’attention. Elle déplace une partie de l’étape la plus lourde d’un transformeur vers un matériel qui se stabilise tout seul. Au lieu de calculer des exponentielles pour chaque paire requête-clé, les états physiques dérivent vers une direction pondérée. Ce mouvement peut remplacer le calcul numérique par du temps. Pour les petites tâches, les économies paraissent réelles. Le repérage de mots-clés et l’accord sujet-verbe peuvent voir de fortes réductions du nombre d’opérations lorsque le couplage non linéaire est traité physiquement. Les chiffres sont des comptes du premier ordre, pas des factures énergétiques. Ils pointent néanmoins une voie où l’attention devient moins chère parce qu’elle cesse d’être purement arithmétique.

La partie difficile est la capacité. L’attention par oscillateurs a un plafond directionnel fixé par sa dimension. Les modèles entraînés s’en approchent mais ne le dépassent pas. Ajouter des décalages de position appris, des gains par tête ou plus de têtes à largeur fixe n’élimine pas l’écart en modélisation de langage. La ressource manquante est le rang, et non un autre bouton. Un modèle softmax entraîné sous une contrainte de faible rang assortie perd bien moins qu’un modèle tronqué après entraînement. Cette comparaison isole le goulot d’étranglement : l’attention a besoin de suffisamment de directions indépendantes pour représenter ce qu’elle voit.

Cela crée à la fois une opportunité et un obstacle. Le matériel à oscillateurs bidimensionnels est mature. Les résonateurs mécaniques, les jonctions Josephson, les dispositifs MEMS et les circuits LC peuvent déjà soutenir des états de phase. De tels systèmes peuvent bien servir des tâches étroites et de faible rang. Raffiner la lecture peut améliorer la précision sans changer le plafond. La robustesse au désaccord de couplage et au désordre fréquentiel ajoute une confiance pratique. Mais la modélisation de langage veut plus de directions. Le matériel à oscillateurs de dimension supérieure est moins établi. Les coûts de lecture peuvent effacer les économies s’ils restent numériques. Le masquage modifie aussi les matrices d’attention finales, si bien que l’histoire propre du faible rang s’applique avant cette étape.

La grande question n’est pas de savoir si les oscillateurs peuvent imiter l’attention. Ils le font déjà. L’épreuve réelle est de savoir si des substrats physiques peuvent fournir assez d’états directionnels, une stabilisation rapide et une lecture bon marché à l’échelle dont ont besoin les modèles de langage. S’ils ne le peuvent pas, l’attention par oscillateurs reste un pont ingénieux pour les petites tâches. S’ils le peuvent, elle pourrait transformer une partie de l’inférence en quelque chose de plus proche de la physique que du logiciel.