¿Pueden los agentes de IA encontrar las palancas ocultas que dirigen a los modelos de lenguaje hacia cualquier tema?

Encontrar la palanca en el interior del modelo de lenguaje

Una palanca dentro de un modelo de lenguaje es una dirección interna capaz de inclinar la generación hacia un estilo o tema concreto. La prueba encargó a diez modelos que localizaran estas palancas para veinte tareas, desde el habla portuguesa hasta síntomas clínicos y anuncios inmobiliarios. Cada agente operaba en un entorno aislado sin acceso a la red, con un límite de sesenta minutos por tarea. Podía inspeccionar direcciones candidatas y ponerlas a prueba con textos breves.

La búsqueda no consistía en leer una etiqueta del modelo. Una palanca útil debía responder a los ejemplos pertinentes y permanecer inactiva ante los similares. En la tarea de portugués, un agente examinó primero sus ochenta mejores candidatos procedentes de ocho pasajes. La característica que finalmente eligió no estaba allí. Eso importaba: la primera lista favorecía direcciones que parecían fuertes en unos pocos ejemplos. Solo apareció después de ampliar la búsqueda a las quinientas primeras y comparar nuevos textos contrastivos. Esa candidata se activó ante un pasaje dominical en portugués y ante una solicitud de restaurante en el mismo idioma, pero no ante una descripción del portugués en inglés. Una pequeña prueba lo aclaró: cuando una breve frase de agradecimiento se expandió a una oración completa, la activación subió de 1,01 a 8,48. Una lista simple de palabras produjo solo 2,58. La palanca seguía el uso real del lenguaje, no palabras aisladas ni temas culturales.

Separar la señal de las interferencias cercanas

Una buena característica debe responder con fuerza ante los textos pertinentes y mantenerse inactiva frente a los afines. Para ello, las pruebas emplearon ejemplos positivos, negativos difíciles y controles neutros: un negativo difícil se asemeja al objetivo pero no debería activarlo, mientras que un control neutro es ajeno al tema y apenas debe generar respuesta. La característica de referencia del experto mostró el perfil más limpio, con un AUROC global del 99,5 %, un 99,2 % en negativos difíciles y un 100 % en controles neutros. Además, reaccionó a todos los textos positivos. Aun así, se activó ante el 61,5 % de los negativos difíciles y el 15,0 % de los controles neutros, lo cual no la hace deficiente: lo decisivo es la intensidad relativa, pues las respuestas positivas fueron mucho mayores que las de los controles.

Las características elegidas por los agentes también separaban bien los textos objetivo, aunque presentaban más fugas. Kimi K3 respondió al 99,2 % de los positivos y obtuvo un AUROC global del 96,5 %, pero registró activaciones no nulas en el 54,8 % de los negativos difíciles y en el 26,7 % de los controles neutros. GPT-5.6 Sol detectó el 94,2 % de los positivos con un AUROC global del 95,0 %, mientras que GLM-5.2 solo alcanzó el 91,7 % de los positivos, con un AUROC global del 92,2 %. Estas cifras ilustran la compensación: una característica puede ser útil en general y aun así activarse ante material confuso.

La tarea en portugués hizo visible esta diferencia. La característica elegida por Sol fue muy silenciosa ante los controles en inglés: se activó a cero en los cuatro textos neutros y la mayoría de los negativos difíciles también permanecieron cerca del silencio. Una lista de vocabulario con Lisboa, fado, obrigado y pastel solo produjo una activación de 1,9, un ruido menor. Sin embargo, sus respuestas positivas solían ser más débiles que las del experto: ante una oración sobre guardar un documento a salvo, se activó en 2,6, mientras que la característica del experto alcanzó 19,8 en el mismo texto.

De la activación a la salida efectiva

Para convertir una característica en salida, se modifica el estado oculto del modelo durante la generación. En cada posición de token, se suma al estado una copia escalada de la fila decodificadora correspondiente a esa característica. La decodificación codicia selecciona entonces la siguiente palabra a partir de ese cálculo alterado. El impulso es leve, pero se aplica de forma continua mientras el texto se desarrolla.

La intensidad del impulso se calibra antes de la puntuación final. Las intensidades candidatas se prueban contra una escala fija del experto. El primer conjunto incluye 0,5, 0,75, 1, 1,25 y 1,5 veces esa escala. Si ninguna produce al menos el 90 % de salidas utilizables, se prueban valores menores: 0,0625, 0,125, 0,25 y 0,375. Cinco indicaciones reservadas ponen a prueba cada candidata. Las salidas deben ser coherentes y libres de bucles repetitivos. Una comprobación por palabras clave puntúa en qué medida aparece la idea objetivo. Entre las intensidades que superan el umbral, se elige la mejor según la tasa de éxito de la señal objetivo. Los empates se resuelven mediante la puntuación media de la señal. Si persiste un empate, gana la intensidad menor. Esa preferencia mantiene el impulso lo más suave posible.

Una vez elegida, esa intensidad queda fija para las veinte tareas finales. Un control con dirección aleatoria utiliza un impulso del mismo tamaño pero apunta en una dirección sin sentido. Esto comprueba si el efecto proviene de la propia característica seleccionada. Un juez automatizado compara las salidas. Recibe una indicación más tres completados en orden aleatorio. Los evalúa dos veces, de forma independiente. La longitud de generación también varía según la tarea. La mayoría de las tareas permiten 64 tokens. Cuatro tareas lingüísticas permiten 128. La tarea del gato permite 192.

Las indicaciones en portugués muestran lo que esto puede lograr. Sin orientación, el modelo base responde en inglés. Tres direcciones exitosas lo conmutan fiablemente al portugués. Otras direcciones seleccionadas por agentes se quedan en inglés o colapsan en una repetición rota. Una dirección fallida convierte una explicación de HTTP en una larga cadena de palabras repetidas. Otra produce un poema de doce versos con líneas repetidas. Algunas salidas fallidas permanecen como inglés coherente, pero puntúan cero en el objetivo lingüístico porque el portugués nunca aparece.

Los efectos secundarios importan tanto como el éxito. En una indicación aritmética, una característica exitosa acierta la respuesta pero ofrece una explicación confusa. Otra es concisa y limpia. Una tercera escribe versos fluidos pero añade líneas extra a un poema de cuatro versos. El juez puntúa tanto la relevancia del objetivo como la preservación de la indicación original. Una dirección puede preservar la tarea mientras falla en el objetivo. También puede inducir el objetivo mientras daña la respuesta solicitada. Por eso, la activación bruta por sí sola no demuestra una salida útil.

¿Por qué la inteligencia general no aseguraba la mejor característica?

La inteligencia general no decidió la contienda de manera clara. La puntuación global del benchmark seguía de cerca a un índice independiente de inteligencia general, pero esa relación se rompía al desglosar la puntuación en sus componentes. La selectividad de activación mostraba una correlación de rangos perfecta (1,000) con el índice. Sin embargo, la puntuación global, el rango de activación y la orientación causal presentaban correlaciones de 0,800 o inferiores. Tanto el rango como la orientación se situaban en 0,400. En términos sencillos: los modelos más inteligentes distinguían mejor los textos objetivo de los controles, pero no eran necesariamente mejores a la hora de hallar la única dirección de característica óptima.

La comparación incluyó cuatro modelos con puntuaciones de índice similares: Claude Opus 5, Grok 4.6, GPT-5.6 Sol y Gemini 3.8 Flash. Sus valores en el índice oscilaban entre 52 y 47, mientras que sus totales en el benchmark iban de 65,41 a 59,57. El orden no coincidía: Claude Opus 5 tenía el índice más alto, pero no el total mayor. Gemini 3.8 Flash registraba un índice inferior al de GPT-5.6 Sol, aunque su puntuación global era superior. Esta brecha revela que la capacidad bruta es solo uno de los ingredientes. Otro es la suerte o la estrategia específica para cada tarea.

El éxito en la orientación variaba según la tarea. Kimi K3 y GPT-5.6 Sol obtuvieron puntuaciones positivas en bienes raíces, mientras que Claude Opus 5 logró cero en esa categoría. En español, Claude Opus 5 produjo una orientación no nula donde la mayoría de los demás agentes puntuaron cero. La tarea del gato arrojó el mismo resultado de orientación para todos los agentes. Al agrupar las tareas, las fortalezas cambiaron de nuevo: Kimi K3 lideraba la orientación en tareas profesionales con 45,03, por delante de los 32,19 de Claude Opus 5. Este último dominaba la orientación en tareas de informe con 27,50, muy por encima de los 12,81 de Kimi. GPT-5.6 Sol se acercó a Kimi en la orientación profesional (44,04), a pesar de tener una puntuación global de categoría inferior.

Las ejecuciones repetidas añadieron otro matiz. Los agentes seleccionaban la misma característica en las tres ejecuciones solo para aproximadamente un tercio hasta algo más de la mitad de las tareas, dependiendo del agente. Gemini 3.8 Flash fue el más consistente (55 %), mientras que GLM-5.2 lo fue menos (20 %). Así, la inteligencia general de un modelo permitía predecir con qué nitidez separaba el material objetivo del irrelevante, pero no garantizaba que ese mismo modelo eligiera la mejor característica, orientara eficazmente la salida o repitiera su éxito.

Un acceso restringido, pero con una visión de conjunto

El hallazgo no se reduce a que los modelos más inteligentes localicen mejores palancas. El problema esconde varias barreras. Un modelo puede distinguir con precisión el texto objetivo del ruido y aun así pasar por alto la dirección exacta que altera la salida. Puede hallar una dirección potente y, sin embargo, generar respuestas incoherentes o desviadas del tema. Los datos evidencian esta disociación con claridad.

La inteligencia general se alinea estrechamente con solo una parte de la tarea. La selectividad de activación coincidió a la perfección con el ranking externo de inteligencia entre los cuatro modelos de frontera, y el rendimiento global también mostró una fuerte correlación. En cambio, la orientación causal y el rango en todo el diccionario presentaron correlaciones mucho más bajas. Dicho de otro modo: un modelo capaz distingue mejor el texto relevante del irrelevante, pero no garantiza que sepa elegir la única característica interna capaz de mover realmente la generación.

El mapa de tareas refuerza esta idea. Algunos agentes lograron orientar los prompts inmobiliarios mientras otros fracasaban en ellos. Uno consiguió manejar el español donde la mayoría obtuvo cero puntos. La tarea del gato arrojó el mismo resultado para todos. La fortaleza era desigual y localizada: un modelo podía liderar en tareas profesionales y rezagar en las de informe, o viceversa. Otro podía estar cerca en la puntuación global e igualar a un líder en una categoría concreta.

La repetibilidad añade otro obstáculo. Los agentes eligieron la misma característica en tres ejecuciones solo entre un tercio y la mitad de las veces. El agente más consistente alcanzó el 55 %. El menos, el 20 %. Seleccionar el mejor intento repetido mejoraba a menudo la orientación en varios puntos, a veces más de diez. Esa diferencia importa si el objetivo es un control fiable y no un golpe de suerte.

Las oportunidades son reales. Si se localiza y prueba una dirección interna, esta se convierte en una herramienta de inspección: permite ver a qué responde un modelo antes de que aparezca la salida. También facilita cambios dirigidos, como hacer que el modelo responda en portugués o mantener el texto clínico centrado en los síntomas. Este método ofrece una forma de comparar modelos no solo por sus respuestas, sino por las características internas que son capaces de identificar y utilizar.

Los obstáculos son igualmente reales. La orientación es sensible al prompt: una característica que funciona para una instrucción puede distorsionar otra. Algunas direcciones exitosas produjeron portugués fluido pero poemas repetitivos o explicaciones aritméticas confusas. Otras ignoraron por completo el idioma objetivo. Ciertas direcciones fallidas colapsaron en palabras repetidas, e incluso las características limpias no permanecieron silenciosas ante todos los textos de control. Aún se necesitan calibración, pruebas contrastivas y comprobaciones de la salida.

La perspectiva general es que la interpretabilidad se está convirtiendo en una habilidad práctica, no solo explicativa. Los modelos pueden sondearse, clasificarse e inclinar mediante direcciones internas medibles. El siguiente paso es lograr que esos descubrimientos sean estables entre tareas, prompts y ejecuciones. Si una sola dirección puede cambiar lo que un modelo dice, la pregunta pasa a ser cuántas de esas direcciones ya existen dentro de él.