Pequenos osciladores podem oferecer à IA uma forma mais barata de prestar atenção

Como os osciladores convertem a atenção num problema físico de estabilização

A atenção por osciladores substitui um cálculo digital por um problema de movimento físico. Em um transformador comum, cada consulta pergunta com que intensidade deve prestar atenção a cada chave. O modelo calcula pontuações e depois aplica o softmax. Essa etapa exige exponenciais e uma normalização cuidadosa. A atenção por osciladores não calcula esses pesos diretamente. Ela deixa pequenos osciladores se moverem até pararem.

Cada chave fornece uma direção de âncora fixa. O oscilador da consulta sente uma atração em direção às âncoras com as quais tem boa correspondência. Acoplamentos positivos tornam essa atração mais forte para alinhamentos melhores. Como o movimento é restrito à superfície de uma esfera, seu comprimento nunca deriva. Em duas dimensões, o estado pode ser escrito como um único ângulo, o que faz a dinâmica parecer uma sincronização de fase comum.

O design tem uma propriedade matemática importante: uma medida semelhante a energia diminui conforme o oscilador se move e possui apenas um mínimo. Isso elimina um perigo comum em osciladores acoplados, ou seja, muitos estados estáveis concorrentes. O treinamento pode, portanto, usar o ponto final exato. O hardware não precisa resolver equações simbolicamente. Ele só precisa de tempo para estabilizar.

Em três ou mais dimensões, nenhum ângulo único é suficiente. O oscilador aponta em um estado multidirecional sobre uma esfera e não pode ser reduzido a vários relógios de fase independentes. É por isso que o mecanismo precisa de hardware capaz de manter orientações vetoriais, não apenas fases.

O comportamento de estabilização foi verificado com integração numérica de modelos de linguagem treinados. A verificação usou 57.900 trajetórias por modelo, vindas de sequências de validação e pontos iniciais repetidos. Na dimensão 2, 84,3% convergiram e 11,7% pareceram falhar ao pousar perto da direção oposta. Na dimensão 8, a convergência subiu para 94,9%, com 3,4% de falhas. Na dimensão 32, atingiu 98,3%, restando apenas 0,81% de falhas aparentes.

É isso que torna a atenção um problema físico de estabilização em vez de uma consulta em tabela. A rede não pede a um processador um valor exponencial. Ela pede à matéria que se mova em direção à mesma resposta que o treinamento já conhece. Se o hardware estabilizar, a leitura pode usar a orientação final como peso de atenção.

Por que o que falta é capacidade direcional, e não mais ajustes

A atenção por osciladores deixa uma lacuna no modelamento de linguagem natural, e as evidências apontam para um ingrediente em falta: a capacidade direcional. O mecanismo forma a atenção a partir de âncoras que existem num espaço de osciladores. Esse espaço tem apenas tantas direções independentes quanto sua dimensão permite. Um teto de posto decorre dessa geometria. Ele é aproximadamente uma unidade maior que a dimensão dos osciladores. Os modelos treinados se aproximam desse teto, mas não o ultrapassam. No TinyStories, o posto efetivo foi 2,31 na dimensão 2. Na dimensão 4, foi 3,95. Na dimensão 8, foi 5,79. Na dimensão 16, foi 9,59. Os tetos foram 3, 5, 9 e 17. Os modelos usam a maioria das direções disponíveis, mas ainda ficam abaixo da atenção softmax completa.

Três ideias extras de ajuste não fecharam a lacuna. Deslocamentos de fase dependentes da posição, aprendidos pelo modelo, alteraram a perplexidade no WikiText-2 em menos de meio ponto. O deslocamento médio foi de cerca de -0,42, com um desvio padrão de 0,25. A posição já entra por meio dos embeddings de entrada, então girar as âncoras adiciona pouca direção nova. Ganhos de acoplamento por cabeça também falharam. Um ganho escalar aprendido para cada cabeça e posição da consulta moveu a perplexidade em apenas cerca de -0,06. Os ganhos variaram de aproximadamente 0,10 a 2,68. Mas um ganho escalar não pode ampliar o subespaço das âncoras que controla o posto. Adicionar cabeças mantendo a largura do modelo fixa também não ajudou. Com quatro cabeças, a atenção por osciladores ficou perto de 110,7 de perplexidade no WikiText-2. Com oito cabeças, subiu para cerca de 111,1. O softmax permaneceu perto de 99 nos dois casos.

A evidência do posto torna o diagnóstico mais preciso. Truncar um modelo softmax treinado na inferência é muito pior do que treinar sob essa restrição desde o início. No TinyStories, a truncagem posterior elevou a perplexidade para cerca de 10,6 no posto 33 e cerca de 49,7 no posto 3. Uma variante de softmax treinada com um teto de posto das pontuações correspondente teve melhor desempenho. Sua perplexidade caiu suavemente à medida que o posto crescia: cerca de 9,41 no posto 2, 9,18 no posto 4, 8,96 no posto 8 e 8,67 no posto 32. A linha de base do softmax completo também foi de cerca de 8,67. A atenção por osciladores na dimensão 2 permaneceu cerca de 2,24 pontos pior que essa linha de base. Portanto, a limitação do posto das pontuações explica parte da lacuna, mas não toda ela.

A peça em falta é, portanto, capacidade em direções, e não mais uma alavanca para girar. Um ganho escalar pode tornar as âncoras mais fortes ou mais fracas. Ele não consegue adicionar um novo eixo para a atenção separar padrões. Um deslocamento de fase pode girar uma âncora. Ela ainda vive dentro do mesmo espaço de baixa dimensão. Mais cabeças com largura fixa dividem esse espaço em fatias mais finas, em vez de alargá-lo. O caminho provável para alcançar paridade é ajustar a dimensão dos osciladores ao posto efetivo necessário pelo softmax na tarefa. A paridade exata permanece incerta porque os dois mecanismos constroem pesos de maneiras diferentes.

A atenção age como um holofote varrendo a frase.

Ele decide quais tokens anteriores devem influenciar o token atual. Na atenção por osciladores, esse holofote é construído a partir da similaridade cosseno entre as direções de consulta e de chave. Uma etapa simples de leitura pode transformar esse sinal bruto em escolhas mais nítidas. O parâmetro ajustável é um expoente chamado p. Quando p é igual a 1, o hardware físico produz os pesos diretamente. Valores maiores de p agem como o resfriamento de uma mistura: empurram a massa de probabilidade para as correspondências mais fortes. Valores menores achatam a distribuição e dão mais peso às correspondências fracas.

Na detecção de palavras-chave, aumentar p de 1 para 4 elevou a precisão de 88,79% para 90,02%. A tarefa usava osciladores bidimensionais e não tinha codificação posicional. Esse ganho veio da supressão de alinhamentos fracos do fundo. No TinyStories, a mesma mudança reduziu a perplexidade em 0,74 na dimensão 2 e em 0,80 na dimensão 8.

Esse afiamento muda o quão focado é o holofote, não quantas direções independentes ele pode usar. Antes do afiamento, uma medida padrão de dispersão para a atenção por osciladores era superior a 0,90. O softmax ficava perto de 0,60. Um valor próximo de um significa espalhamento quase uniforme. Aumentar p concentra a massa nas correspondências melhores. A ordem das correspondências permanece ligada à similaridade cosseno. O limite para direções independentes permanece em uma mais do que a dimensão dos osciladores. Esse limite não depende de p.

Na prática, p é uma escolha do lado do software. O hardware pode parar em p=1. Uma etapa digital de pós-processamento pode aumentar p após a leitura física. Isso é útil porque alinhamentos fracos podem diluir a atenção. O resultado fica mais seletivo sem adicionar nova capacidade direcional.

Tempo de acomodação, dimensão do hardware e o local das economias

A versão física não calcula a atenção em uma única etapa digital. Ela deixa os osciladores se estabilizarem rumo à resposta que o treinamento espera. Esse processo leva tempo, mas os intervalos medidos são curtos: cerca de 5 unidades adimensionais em tarefas simples de borda e cerca de 30 no TinyStories. Trata-se de unidades da dinâmica dos osciladores, não de segundos ou minutos. O custo energético real depende do material e do circuito utilizados, sendo impossível fornecer uma figura absoluta sem especificar o substrato.

A estabilização não é apenas uma média estatística. Verificações numéricas acompanharam milhares de trajetórias em modelos TinyStories treinados. Na dimensão 2 dos osciladores, 84,3% atingiram o estado alvo e 11,7% apresentaram falhas antipodais aparentes. Na dimensão 8, a convergência subiu para 94,9%, com apenas 3,4% de falhas. Na dimensão 32, chegou a 98,3%, restando só 0,81%. Cada modelo foi testado em 57.900 trajetórias vindas de sequências de validação. Quanto maior a dimensão, menos inícios instáveis permanecem.

O tamanho do hardware segue a dimensão dos osciladores. Em duas dimensões, apenas os osciladores livres contam como elementos dinâmicos. As âncoras são pontos fixos de forçamento aprendidos e não adicionam partes móveis. A configuração de detecção de palavras-chave exige 98 osciladores de fase bidimensionais no total. Um modelo causal estilo WikiText-2 na dimensão 32 precisaria de cerca de 6.200 osciladores multidimensionais, caso o substrato suporte essa arquitetura. O hardware de osciladores bidimensionais é comparativamente maduro, presente em ressonadores mecânicos, junções Josephson, dispositivos MEMS e circuitos elétricos LC. Já o hardware de dimensões superiores é menos consolidado: alguns sistemas com ordem multidirecional intrínseca podem ser compatíveis em princípio, mas as demonstrações práticas ainda estão abertas. O alvo imediato de implantação é, portanto, a dimensão 2. Dimensões superiores são atualmente realizadas apenas em software.

As economias surgem apenas onde a atenção por osciladores difere do softmax: na formação dos pesos. Todos os demais cálculos do transformador permanecem idênticos e ficam fora da conta. O custo de gravar os valores de acoplamento em um array físico também é excluído, pois depende do dispositivo específico. As contagens seguem uma convenção de primeira ordem: uma exponencial equivale a dez operações de multiplicação-adicionamento. Todas as outras valem uma unidade. Mover mais da etapa de formação dos pesos para o hardware gera reduções maiores em tarefas de borda. Na detecção de palavras-chave e na concordância sujeito-verbo, a redução passa de menos de 2× em uma implementação totalmente digital para cerca de 12× quando apenas a não linearidade do acoplamento permanece digital. O TinyStories é a exceção: na dimensão 8 dos osciladores, o custo da leitura domina. A versão osciladora totalmente digital tem um fator de redução de 0,6, ou seja, usa mais operações contadas que o softmax. Quando a equalização se torna física, o fator sobe para cerca de 1,1, aproximando-se da paridade. Se a leitura e a soma/divisão afim também forem físicas, ele atinge 4×.

A grande redução observada em tarefas de borda assume acoplamento ReLU. Os modelos treinados usam softplus. Com essa não linearidade, a redução no número de operações é muito menor, cerca de 1,2×. Essas contagens são estimativas de primeira ordem e podem variar conforme kernels fundidos, quantização, streaming e detalhes do dispositivo. Em uma implementação física, a equalização não possui custo em operações digitais. Seu preço é o tempo.

A promessa e o custo da atenção física

A proposta dos osciladores vai além de um truque adicional para a atenção. Ela transfere parte da etapa mais pesada do transformador para hardware que se estabiliza por conta própria. Em vez de calcular exponenciais para cada par consulta-chave, os estados físicos derivam em direção a uma orientação ponderada. Esse movimento substitui cálculos digitais pelo tempo. Para tarefas pequenas, as economias parecem reais. A detecção de palavras-chave e a concordância sujeito-verbo podem apresentar grandes reduções no número de operações quando o acoplamento não linear é tratado fisicamente. Os números são contagens de primeira ordem, não faturas de energia. Ainda assim, eles apontam para uma rota em que a atenção fica mais barata porque deixa de ser puramente aritmética.

A parte difícil é a capacidade. A atenção por osciladores tem um limite direcional definido pela sua dimensão. Os modelos treinados se aproximam desse limite, mas não o ultrapassam. Adicionar deslocamentos de posição aprendidos, ganhos por cabeça ou mais cabeças com largura fixa não elimina a diferença no modelamento de linguagem. O recurso que falta é o posto (rank), e não outra alavanca para ajustar. Um modelo softmax treinado sob uma restrição de baixo posto correspondente perde muito menos do que um modelo cortado após o treinamento. Essa comparação isola o gargalo: a atenção precisa de direções independentes suficientes para representar o que ela vê.

Isso cria tanto oportunidade quanto obstáculo. O hardware de osciladores bidimensionais é maduro. Ressonadores mecânicos, junções Josephson, dispositivos MEMS e circuitos LC já podem suportar estados de fase. Tais sistemas podem atender bem a tarefas estreitas e de baixo posto. Ajustar a leitura pode melhorar a precisão sem alterar o limite. A robustez à incompatibilidade do acoplamento e ao desordem de frequência adiciona confiança prática. Mas o modelamento de linguagem exige mais direções. O hardware de osciladores de dimensões superiores é menos estabelecido. Os custos de leitura podem apagar as economias se permanecerem digitais. A máscara também altera as matrizes finais de atenção, então a história limpa de baixo posto se aplica antes dessa etapa.

A questão maior não é se os osciladores conseguem imitar a atenção. Eles já o fazem. O teste real é se os substratos físicos podem fornecer estados direcionais suficientes, estabilização rápida e leitura barata na escala que os modelos de linguagem precisam. Se não puderem, a atenção por osciladores permanece uma ponte engenhosa para tarefas pequenas. Se puderem, ela pode transformar parte da inferência em algo mais próximo da física do que do software.