Piccoli oscillatori potrebbero offrire all’IA un modo più economico per prestare attenzione

Come gli oscillatori convertono l’attenzione in un processo fisico di assestamento

L’attenzione a oscillatori sostituisce il calcolo digitale con un problema di moto fisico. In un transformer standard, ogni query determina quanto deve prestare attenzione a ciascuna chiave: il modello calcola dei punteggi e applica la softmax, una fase che richiede esponenziali e una normalizzazione precisa. L’approccio a oscillatori non calcola direttamente questi pesi. Lascia invece che piccoli oscillatori si muovano finché non si fermano.

Ogni chiave fornisce una direzione di ancoraggio fissa. L’oscillatore della query viene attratto dagli ancoraggi con cui ha un buon allineamento, e i couplaggi positivi rafforzano questa trazione per gli abbinamenti migliori. Il moto è vincolato alla superficie di una sfera, quindi la sua lunghezza non varia mai. In due dimensioni, lo stato si esprime come un unico angolo: la dinamica assomiglia così a una normale sincronizzazione di fase.

Il progetto possiede una proprietà matematica cruciale: una misura simile all’energia diminuisce man mano che l’oscillatore si muove e presenta un solo minimo. Questo elimina un rischio comune negli oscillatori accoppiati, ovvero la presenza di molti stati stabili in competizione tra loro. L’addestramento può quindi sfruttare il punto finale esatto. L’hardware non deve risolvere equazioni simbolicamente, ma ha solo bisogno di tempo per stabilizzarsi.

In tre o più dimensioni, un singolo angolo non basta: l’oscillatore punta verso uno stato multidirezionale su una sfera e non può essere ridotto a diversi orologi di fase indipendenti. Per questo motivo il meccanismo richiede hardware in grado di mantenere orientamenti vettoriali, non solo fasi.

Il comportamento di stabilizzazione è stato verificato mediante integrazione numerica di modelli linguistici addestrati, utilizzando 57.900 traiettorie per modello derivate da sequenze di validazione e punti di partenza ripetuti. In dimensione 2, l’84,3% convergeva e l’11,7% sembrava fallire atterrando vicino alla direzione opposta. In dimensione 8 la convergenza saliva al 94,9%, con il 3,4% di fallimenti. In dimensione 32 raggiungeva il 98,3%, lasciando solo lo 0,81% di fallimenti apparenti.

Questo trasforma l’attenzione in un problema fisico di stabilizzazione anziché in una ricerca in tabella: la rete non chiede a un processore un valore esponenziale, ma alla materia di muoversi verso la stessa risposta che l’addestramento conosce già. Se l’hardware si stabilizza, la lettura può utilizzare l’orientamento finale come peso di attenzione.

Perché ciò che manca è la capacità direzionale, non una regolazione aggiuntiva

L’attenzione a oscillatori lascia un divario nella modellazione linguistica e le evidenze indicano un ingrediente mancante: la capacità direzionale. Il meccanismo forma l’attenzione da ancoraggi che risiedono in uno spazio degli oscillatori. Questo spazio possiede solo tante direzioni indipendenti quante ne consente la sua dimensione. Da questa geometria deriva un limite di rango, pari all’incirca a una unità in più rispetto alla dimensione dell’oscillatore. I modelli addestrati si avvicinano a quel limite, ma non lo superano. Su TinyStories, il rango effettivo era 2,31 con dimensione 2. Con dimensione 4 era 3,95. Con dimensione 8 era 5,79. Con dimensione 16 era 9,59. I limiti erano rispettivamente 3, 5, 9 e 17. I modelli utilizzano la maggior parte delle direzioni disponibili, ma restano comunque inferiori all’attenzione softmax completa.

Tre ulteriori idee di regolazione non hanno colmato il divario. Gli offset di fase dipendenti dalla posizione, appresi durante l’addestramento, hanno modificato la perlessità su WikiText-2 di meno di mezzo punto. Lo spostamento medio era circa -0,42, con una deviazione standard di 0,25. La posizione entra già attraverso gli embedding in ingresso, quindi ruotare gli ancoraggi aggiunge poca nuova direzione. Anche i guadagni di accoppiamento per testa hanno fallito. Un guadagno scalare appreso per ciascuna testa e posizione della query ha spostato la perlessità di soli circa -0,06. I guadagni variavano da circa 0,10 a 2,68. Ma un guadagno scalare non può allargare il sottospazio degli ancoraggi che controlla il rango. Aggiungere teste mantenendo fissa la larghezza del modello non ha aiutato neppure. Con quattro teste, l’attenzione a oscillatori si attestava vicino a una perlessità di 110,7 su WikiText-2. Con otto teste, saliva a circa 111,1. Il softmax restava vicino a 99 in entrambi i casi.

Le evidenze sul rango rendono la diagnosi più precisa. Troncare un modello softmax addestrato durante l’inferenza è molto peggio che addestrarlo fin dall’inizio con quella restrizione. Su TinyStories, il troncamento a posteriori ha portato la perlessità a circa 10,6 al rango 33 e a circa 49,7 al rango 3. Una variante softmax addestrata con un limite di rango dei punteggi corrispondente ha dato risultati migliori. La sua perlessità è calata in modo regolare all’aumentare del rango: circa 9,41 al rango 2, 9,18 al rango 4, 8,96 al rango 8 e 8,67 al rango 32. Il baseline softmax completo era anch’esso intorno a 8,67. L’attenzione a oscillatori con dimensione 2 restava circa 2,24 punti peggiore rispetto a quel baseline. Quindi la limitazione del rango dei punteggi spiega parte del divario, ma non tutta.

Il pezzo mancante è dunque la capacità nelle direzioni, non un altro parametro da regolare. Un guadagno scalare può rendere gli ancoraggi più forti o più deboli. Non può aggiungere un nuovo asse per l’attenzione affinché separi i pattern. Un offset di fase può ruotare un ancoraggio. Esso risiede comunque nello stesso spazio a bassa dimensione. Più teste con larghezza fissa dividono quello spazio in modo più sottile invece di allargarlo. La via probabile verso la parità è allineare la dimensione dell’oscillatore al rango effettivo necessario per il softmax sul compito specifico. La parità esatta resta incerta perché i due meccanismi costruiscono i pesi in modi diversi.

L’attenzione opera come una luce che illumina la frase.

Decide quali token precedenti debbano influenzare quello attuale. Nell’attenzione a oscillatori, questo riflettore si basa sulla similarità coseno tra le direzioni di query e key. Una semplice fase di lettura trasforma questo segnale grezzo in scelte più nette. Il parametro da regolare è un esponente chiamato p. Quando p vale 1, l’hardware fisico genera direttamente i pesi. Valori maggiori di p agiscono come il raffreddamento di una miscela: concentrano la massa di probabilità sugli abbinamenti più forti. Valori minori appiattiscono la distribuzione e danno più peso agli abbinamenti deboli.

Nel riconoscimento delle parole chiave, portare p da 1 a 4 ha fatto salire l’accuratezza dall’88,79% al 90,02%. Il compito utilizzava oscillatori bidimensionali e nessuna codifica posizionale. Questo guadagno deriva dalla soppressione dei deboli allineamenti di fondo. Su TinyStories, la stessa modifica ha ridotto il perplexity di 0,74 in dimensione 2 e di 0,80 in dimensione 8.

Questa messa a fuoco cambia quanto sia concentrato il riflettore, non quante direzioni indipendenti possa utilizzare. Prima della messa a fuoco, una misura standard della dispersione per l’attenzione a oscillatori era superiore a 0,90. Il softmax si attestava intorno a 0,60. Un valore vicino a uno indica una distribuzione quasi uniforme. Aumentare p concentra la massa sugli abbinamenti migliori. L’ordine degli abbinamenti resta legato alla similarità coseno. Il limite sulle direzioni indipendenti rimane pari a uno in più rispetto alla dimensione dell’oscillatore. Questo limite non dipende da p.

Nella pratica, p è una scelta lato software. L’hardware può fermarsi a p=1. Una fase di post-elaborazione digitale può aumentare p dopo la lettura fisica. Questo è utile perché gli allineamenti deboli possono diluire l’attenzione. Il risultato diventa più selettivo senza aggiungere nuova capacità direzionale.

Tempi di assestamento, ingombro hardware e punti di risparmio

La versione fisica non calcola l’attenzione in un singolo passo digitale: lascia che gli oscillatori si stabilizzino verso la risposta attesa dall’addestramento. Questo processo richiede tempo, ma i tempi misurati sono brevi. Nei semplici task di edge computing, l’orizzonte di stabilizzazione adimensionale è circa 5. Su TinyStories, circa 30. Si tratta di unità della dinamica degli oscillatori, non di secondi o minuti. Il costo energetico effettivo dipende dal materiale e dal circuito utilizzati: senza specificare il substrato, non si può indicare un valore assoluto di energia.

La stabilizzazione non è solo una media. I controlli numerici hanno seguito molte traiettorie su modelli TinyStories addestrati. In dimensione 2, l’84,3% ha raggiunto lo stato target e l’11,7% ha mostrato fallimenti antipodali apparenti. In dimensione 8, la convergenza è salita al 94,9%, con solo il 3,4% di fallimenti apparenti. In dimensione 32, ha raggiunto il 98,3%, lasciando appena lo 0,81%. Ogni modello è stato testato su 57.900 traiettorie provenienti da sequenze di validazione: più la dimensione è alta, meno restano partenze errate.

La dimensione dell’hardware segue quella degli oscillatori. In due dimensioni, solo gli oscillatori liberi contano come elementi hardware evolutivi. Gli ancoraggi sono punti di forzatura fissi e appresi e non aggiungono parti mobili. La configurazione per il riconoscimento delle parole chiave richiede in totale 98 oscillatori di fase bidimensionali. Un modello causale di tipo WikiText-2 in dimensione 32 richiederebbe circa 6.200 oscillatori multidimensionali, se il substrato lo supporta. L’hardware per oscillatori bidimensionali è relativamente maturo: si trova nei risonatori meccanici, nelle giunzioni Josephson, nei dispositivi MEMS e nei circuiti LC elettrici. Quello per dimensioni superiori è meno consolidato. Alcuni sistemi con ordine multidirezionale intrinseco potrebbero essere compatibili in linea di principio, ma le dimostrazioni pratiche restano aperte. L’obiettivo immediato di implementazione è quindi la dimensione 2. Le dimensioni superiori sono attualmente realizzate in software.

I risparmi compaiono solo dove l’attenzione a oscillatori differisce dal softmax: nella formazione dei pesi dell’attenzione. Tutti i calcoli del transformer circostanti restano identici e sono esclusi, così come il costo della scrittura dei valori di accoppiamento in un array fisico, che dipende dal dispositivo. I conteggi usano una convenzione di primo ordine: un’esponenziale conta come dieci operazioni moltiplica-aggiungi. Tutte le altre operazioni contano come uno. Spostare più della fase di formazione dei pesi nell’hardware produce riduzioni maggiori per i task di edge computing. Per il riconoscimento delle parole chiave e l’accordo soggetto-verbo, la riduzione passa da meno di 2× in un’implementazione interamente digitale a circa 12× quando solo la non linearità dell’accoppiamento resta digitale. TinyStories è l’eccezione: in dimensione 8 degli oscillatori, la lettura domina. La versione oscillatoria interamente digitale ha un fattore di riduzione di 0,6, il che significa che utilizza più operazioni conteggiate del softmax. Una volta che l’equilibrazione è fisica, il fattore è circa 1,1, approssimativamente alla pari. Una volta che anche la lettura e la somma/divisione affini sono fisiche, raggiunge 4×.

Il grande numero per i task di edge computing assume un accoppiamento ReLU. I modelli addestrati usano softplus: con quella non linearità, la riduzione del conteggio delle operazioni è molto più piccola, circa 1,2×. Questi conteggi sono di primo ordine. Kernel fusi, quantizzazione, streaming e dettagli del dispositivo possono modificarli. In un’implementazione fisica, l’equilibrazione non ha un conteggio di operazioni digitali: il suo costo è il tempo.

Il costo della promessa dell’attenzione fisica

L’idea degli oscillatori non è un semplice espediente per l’attenzione: sposta una parte della fase più pesante del transformer in hardware che si stabilizza da solo. Invece di calcolare esponenziali per ogni coppia query-chiave, gli stati fisici convergono verso una direzione ponderata. Questo movimento sostituisce il calcolo digitale con il tempo. Per i compiti piccoli, i risparmi appaiono concreti: nel riconoscimento delle parole chiave e nell’accordo soggetto-verbo, la riduzione del numero di operazioni è significativa quando l’accoppiamento non lineare viene gestito fisicamente. Si tratta di conteggi di primo ordine, non di bollette energetiche, ma indicano una via in cui l’attenzione diventa più economica perché smette di essere puramente aritmetica.

Il punto critico è la capacità. L’attenzione a oscillatori ha un limite direzionale fissato dalla sua dimensione: i modelli addestrati si avvicinano a quel tetto, ma non lo superano. Aggiungere offset di posizione appresi, guadagni per testa o più teste a larghezza fissa non elimina il divario nella modellazione linguistica. La risorsa mancante è il rango, non un altro parametro da regolare. Un modello softmax addestrato con una restrizione a basso rango corrispondente perde molto meno rispetto a uno tagliato dopo l’addestramento. Questo confronto isola il collo di bottiglia: l’attenzione ha bisogno di direzioni indipendenti sufficienti per rappresentare ciò che vede.

Qui si aprono sia opportunità che ostacoli. L’hardware per oscillatori bidimensionali è maturo: risonatori meccanici, giunzioni Josephson, dispositivi MEMS e circuiti LC possono già supportare stati di fase. Tali sistemi potrebbero servire bene compiti ristretti a basso rango. Affinare la lettura può migliorare l’accuratezza senza alterare il limite. La robustezza al disallineamento dell’accoppiamento e al disordine di frequenza aggiunge affidabilità pratica. Tuttavia, la modellazione linguistica richiede più direzioni. L’hardware per oscillatori multidimensionali è meno consolidato. I costi di lettura possono annullare i risparmi se restano digitali. Inoltre, il mascheramento modifica le matrici di attenzione finali, quindi la descrizione a basso rango vale solo prima di quella fase.

La domanda cruciale non è se gli oscillatori possano imitare l’attenzione: lo fanno già. La vera prova è se i substrati fisici possano fornire abbastanza stati direzionali, stabilizzazione rapida e lettura economica alla scala richiesta dai modelli linguistici. Se non ci riescono, l’attenzione a oscillatori resta un ponte ingegnoso per compiti piccoli. Se ci riescono, potrebbe trasformare parte dell’inferenza in qualcosa di più vicino alla fisica che al software.