Pequeños dispositivos oscilantes podrían ofrecer a la IA una forma más barata de prestar atención

Cómo los osciladores transforman la atención en un proceso físico de asentamiento

La atención por osciladores sustituye un cálculo digital por un problema de movimiento físico. En un transformador estándar, cada consulta evalúa cuánto debe atender a cada clave. El modelo calcula puntuaciones y luego aplica softmax. Ese paso exige exponenciales y una normalización cuidadosa. La atención por osciladores no calcula esos pesos directamente: deja que pequeños osciladores se muevan hasta detenerse.

Cada clave aporta una dirección de anclaje fija. El oscilador de la consulta siente una atracción hacia los anclajes con los que coincide mejor. Los acoplamientos positivos intensifican esa atracción cuando la alineación es más precisa. Como el movimiento queda restringido a la superficie de una esfera, su longitud no varía. En dos dimensiones, el estado se describe con un solo ángulo, lo que hace que la dinámica se parezca a una sincronización de fase ordinaria.

El diseño posee una propiedad matemática clave: una medida análoga a la energía disminuye mientras el oscilador se mueve y presenta un único mínimo. Esto elimina un riesgo habitual en los osciladores acoplados, la existencia de múltiples estados estables competidores. Así, el entrenamiento puede utilizar el punto final exacto. El hardware no necesita resolver ecuaciones simbólicamente. Solo requiere tiempo para estabilizarse.

En tres o más dimensiones, un único ángulo resulta insuficiente. El oscilador adopta una orientación multidireccional sobre la esfera y no puede reducirse a varios relojes de fase independientes. Por ello, el mecanismo exige hardware capaz de mantener orientaciones vectoriales, no solo fases.

Se verificó este comportamiento mediante integración numérica en modelos de lenguaje entrenados, utilizando 57 900 trayectorias por modelo derivadas de secuencias de validación y puntos de partida repetidos. En la dimensión 2, el 84,3 % convergió, mientras que el 11,7 % falló al situarse cerca de la dirección opuesta. En la dimensión 8, la convergencia subió al 94,9 %, con un 3,4 % de fallos. En la dimensión 32, alcanzó el 98,3 %, dejando solo un 0,81 % de fallos aparentes.

Esto convierte a la atención en un problema físico de estabilización y no en una consulta de tabla. La red no pide al procesador un valor exponencial. Le pide a la materia que se mueva hacia la misma respuesta que el entrenamiento ya conoce. Si el hardware se estabiliza, la lectura puede emplear la orientación final como peso de atención.

Por qué el eslabón ausente es la capacidad direccional, no los ajustes adicionales

La atención por osciladores deja una brecha en la modelización del lenguaje y las pruebas señalan un ingrediente ausente: la capacidad direccional. El mecanismo forma la atención a partir de anclas situadas en un espacio de osciladores, que solo admite tantas direcciones independientes como su dimensión permita. De esta geometría se deriva un techo de rango, aproximadamente uno más que la dimensión del oscilador. Los modelos entrenados se acercan a ese límite, pero no lo superan. En TinyStories, el rango efectivo fue 2,31 en dimensión 2, 3,95 en dimensión 4, 5,79 en dimensión 8 y 9,59 en dimensión 16. Los techos fueron 3, 5, 9 y 17, respectivamente. Aunque los modelos aprovechan la mayoría de las direcciones disponibles, siguen por debajo del rendimiento de la atención softmax completa.

Tres estrategias adicionales de ajuste no cerraron esa brecha. Las compensaciones de fase aprendidas, dependientes de la posición, modificaron la perplejidad en WikiText-2 en menos de medio punto. El desplazamiento medio fue de -0,42, con una desviación estándar de 0,25. Dado que la posición ya se incorpora a través de los embeddings de entrada, rotar las anclas aporta poca dirección nueva. Las ganancias de acoplamiento por cabeza tampoco funcionaron: una ganancia escalar aprendida para cada cabeza y posición de consulta movió la perplejidad apenas -0,06 puntos, con valores que oscilaron entre 0,10 y 2,68. Una ganancia escalar no puede ampliar el subespacio de anclas que controla el rango. Añadir cabezas manteniendo fijo el ancho del modelo tampoco ayudó: con cuatro cabezas, la atención por osciladores se situó cerca de 110,7 en perplejidad en WikiText-2. Con ocho, pasó a unos 111,1. El softmax se mantuvo cerca de 99 en ambos casos.

La evidencia sobre el rango afila el diagnóstico. Truncar un modelo softmax entrenado durante la inferencia es mucho peor que entrenarlo desde el inicio bajo esa restricción. En TinyStories, la truncación a posteriori elevó la perplejidad a unos 10,6 en rango 33 y a unos 49,7 en rango 3. Una variante de softmax entrenada con un techo de rango de puntuaciones equivalente funcionó mejor: su perplejidad bajó suavemente a medida que el rango crecía, situándose en 9,41 para rango 2, 9,18 para rango 4, 8,96 para rango 8 y 8,67 para rango 32. La línea base de softmax completa también fue de unos 8,67. La atención por osciladores en dimensión 2 siguió siendo unos 2,24 puntos peor que esa referencia. Por tanto, la limitación del rango de puntuaciones explica parte de la brecha, pero no toda.

La pieza ausente es, por consiguiente, capacidad direccional, no otro parámetro que ajustar. Una ganancia escalar puede intensificar o atenuar las anclas, pero no añade un nuevo eje para que la atención separe patrones. Una compensación de fase puede rotar una ancla, aunque esta sigue confinada al mismo espacio de baja dimensión. Más cabezas con ancho fijo fragmentan ese espacio en porciones más finas en lugar de ampliarlo. El camino probable hacia la paridad consiste en igualar la dimensión del oscilador al rango efectivo que el softmax necesita para la tarea. La paridad exacta sigue siendo incierta, ya que ambos mecanismos construyen los pesos de formas distintas.

La atención actúa como un foco que recorre la frase.

Decide qué tokens anteriores deben influir en el actual. En la atención por osciladores, ese foco se construye a partir de la similitud coseno entre las direcciones de consulta y clave. Un paso simple de lectura puede convertir esta señal bruta en decisiones más nítidas. El parámetro es un exponente llamado p. Cuando p es igual a 1, el hardware físico produce los pesos directamente. Valores mayores de p actúan como el enfriamiento de una mezcla: empujan la masa de probabilidad hacia las coincidencias más fuertes. Los valores menores aplanan la distribución y permiten que las coincidencias débiles importen más.

En la detección de palabras clave, elevar p de 1 a 4 aumentó la precisión del 88,79 % al 90,02 %. La tarea utilizaba osciladores bidimensionales y sin codificación posicional. Esa ganancia provenía de suprimir las alineaciones débiles de fondo. En TinyStories, el mismo cambio redujo la perplejidad en 0,74 en dimensión 2 y en 0,80 en dimensión 8.

Este afilado cambia cuánto se enfoca el foco, no cuántas direcciones independientes puede usar. Antes del afilado, una medida estándar de dispersión para la atención por osciladores era superior a 0,90. La softmax se situaba cerca de 0,60. Un valor cercano a uno significa una dispersión casi uniforme. Elevar p concentra la masa en las coincidencias mejores. El orden de las coincidencias sigue ligado a la similitud coseno. El límite sobre las direcciones independientes permanece en uno más que la dimensión del oscilador. Ese límite no depende de p.

En la práctica, p es una elección del lado del software. El hardware puede detenerse en p=1. Un paso digital de posprocesamiento puede elevar p después de la lectura física. Esto es útil porque las alineaciones débiles pueden diluir la atención. El resultado se vuelve más selectivo sin añadir nueva capacidad direccional.

Tiempo de asentamiento, tamaño del hardware y origen de los ahorros

La versión física no calcula la atención en un solo paso digital. Deja que los osciladores se estabilicen hacia la respuesta que el entrenamiento espera. Ese proceso consume tiempo, aunque los valores medidos son breves. En tareas de borde sencillas, el horizonte adimensional de estabilización ronda las 5 unidades. En TinyStories, asciende a unas 30. Se trata de unidades propias de la dinámica oscilatoria, no de segundos o minutos. El coste energético real depende del material y del circuito empleados, por lo que resulta imposible ofrecer una cifra absoluta sin especificar el sustrato.

La estabilización no es solo una media estadística. Las comprobaciones numéricas rastrearon múltiples trayectorias en modelos TinyStories entrenados. Con dimensión oscilatoria 2, el 84,3 % alcanzó el estado objetivo y el 11,7 % mostró fallos antipodales aparentes. En la dimensión 8, la convergencia subió al 94,9 %, con apenas un 3,4 % de fallos. Al llegar a la dimensión 32, alcanzó el 98,3 %, dejando solo un 0,81 %. Cada modelo se evaluó con 57 900 trayectorias procedentes de secuencias de validación. A mayor dimensión, menos puntos de partida fallidos persisten.

El tamaño del hardware sigue a la dimensión oscilatoria. En dos dimensiones, solo los osciladores libres cuentan como elementos dinámicos. Las anclas son puntos de forzamiento fijos y aprendidos que no añaden piezas móviles. La configuración para detección de palabras clave requiere 98 osciladores de fase bidimensionales en total. Un modelo causal tipo WikiText-2 en dimensión 32 necesitaría unos 6 200 osciladores multidimensionales, siempre que el sustrato lo permita. El hardware de osciladores bidimensionales es relativamente maduro y aparece en resonadores mecánicos, uniones Josephson, dispositivos MEMS y circuitos eléctricos LC. En cambio, el hardware de dimensiones superiores está menos consolidado. Algunos sistemas con orden multidireccional intrínseco podrían ser compatibles en principio, pero faltan demostraciones prácticas. Por ello, la dimensión 2 es el objetivo inmediato de despliegue. Las dimensiones superiores se implementan actualmente en software.

Los ahorros solo aparecen donde la atención oscilatoria difiere del softmax: al formar los pesos. Todos los demás cálculos del transformador permanecen idénticos y quedan excluidos, así como el coste de escribir los valores de acoplamiento en un array físico, que depende del dispositivo. Los recuentos siguen una convención de primer orden: una exponencial cuenta como diez operaciones de multiplicación-adición. Todas las demás, como una. Trasladar más de la etapa de formación de pesos al hardware amplía las reducciones en tareas de borde. En detección de palabras clave y acuerdo sujeto-verbo, la reducción pasa de menos de 2× en una implementación totalmente digital a unos 12× cuando solo la no linealidad del acoplamiento permanece digital. TinyStories es la excepción: en dimensión oscilatoria 8, la lectura domina el coste. La versión oscilatoria totalmente digital tiene un factor de reducción de 0,6, lo que implica más operaciones contadas que el softmax. Una vez que la equilibración es física, el factor sube a unos 1,1, una paridad aproximada. Si también se hace física la lectura y la suma/división afín, alcanza 4×.

La gran cifra para tareas de borde asume acoplamiento ReLU. Los modelos entrenados usan softplus. Con esa no linealidad, la reducción del recuento de operaciones es mucho menor, unos 1,2×. Estos cálculos son de primer orden: kernels fusionados, cuantización, streaming y detalles del dispositivo pueden modificarlos. En una implementación física, la equilibración no tiene un recuento de operaciones digitales. Su coste es tiempo.

La promesa y el coste de la atención física

La propuesta de los osciladores no es un truco más dentro del mecanismo de atención: traslada una parte del paso más pesado del transformador a hardware que se estabiliza por sí mismo. En lugar de calcular exponenciales para cada par consulta-clave, los estados físicos derivan hacia una dirección ponderada. Ese movimiento sustituye la aritmética digital por tiempo. Para tareas pequeñas, el ahorro parece real: la detección de palabras clave y el acuerdo sujeto-verbo muestran reducciones significativas en el número de operaciones cuando el acoplamiento no lineal se gestiona físicamente. Aunque estas cifras son estimaciones de primer orden y no medidas de energía, señalan una vía donde la atención resulta más económica al dejar de ser puramente aritmética.

El obstáculo principal es la capacidad. La atención por osciladores tiene un techo direccional fijado por su dimensión. Los modelos entrenados se acercan a ese límite, pero no lo superan. Añadir desplazamientos de posición aprendidos, ganancias por cabeza o más cabezas manteniendo fijo el ancho del modelo no elimina la brecha en la modelización del lenguaje. Lo que falta es rango, no otro parámetro que ajustar. Un modelo softmax entrenado bajo una restricción de bajo rango equivalente pierde mucho menos que uno recortado después del entrenamiento. Esa comparación aísla el cuello de botella: la atención necesita suficientes direcciones independientes para representar lo que percibe.

Esta situación plantea tanto oportunidades como limitaciones. El hardware de osciladores bidimensionales es maduro. Resonadores mecánicos, uniones Josephson, dispositivos MEMS y circuitos LC ya pueden soportar estados de fase. Tales sistemas podrían servir bien a tareas estrechas y de bajo rango. Afiar la lectura mejora la precisión sin alterar el techo direccional, y la robustez ante el desajuste del acoplamiento y el desorden de frecuencia aporta confianza práctica. Sin embargo, la modelización del lenguaje exige más direcciones. El hardware de osciladores de dimensiones superiores está menos consolidado, y los costes de lectura pueden anular los ahorros si permanecen digitales. Además, la enmascaración modifica las matrices de atención finales, por lo que el argumento limpio de bajo rango solo se aplica antes de ese paso.

La pregunta clave no es si los osciladores pueden imitar la atención. Ya lo hacen. El verdadero reto es si los sustratos físicos pueden ofrecer suficientes estados direccionales, una estabilización rápida y una lectura económica a la escala que requieren los modelos de lenguaje. Si no pueden, la atención por osciladores seguirá siendo un puente ingenioso para tareas pequeñas. Si pueden, podría convertir parte de la inferencia en algo más cercano a la física que al software.