Un profesor de IA más capaz puede empeorar al alumno en su propio trabajo

El armazón que rodea al modelo puede acabar siendo su auténtica competencia

Un agente de IA es mucho más que los pesos de su modelo. El armazón que lo rodea puede albergar gran parte de la competencia necesaria para la tarea. Un armazón no se limita a un prompt del sistema: incorpora herramientas, ejemplos resueltos, instrucciones reforzadas y ganchos que bloquean acciones incorrectas. Además, codifica convenciones del entorno y recetas de cálculo en varias etapas. En otras palabras, funciona como un programa editable alrededor del modelo.

Esto importa porque el trabajo empresarial depende a menudo de la rutina. La auditoría de nóminas, la aprobación de presupuestos, las alertas de inventario, la detección de anomalías en IoT, la automatización del navegador, la gestión de sitios web y la refactorización de código cuentan con listas de verificación que un profesional seguiría automáticamente. Un armazón bien construido puede suplir esas rutinas ausentes: indica al agente qué calcular primero, qué filtro aplicar y cuándo detenerse. El modelo sigue razonando y actuando, pero el andamiaje da forma a su trayectoria.

La señal más clara es la magnitud del cambio en el rendimiento cuando solo varía el armazón. En un modelo de codificación Qwen más débil, el éxito medio en las pruebas pasó del 29,2 % con el armazón de referencia original al 78,0 % tras la evolución automática. Se trata de una ganancia de 48,8 puntos porcentuales. Los pesos no cambiaron en esa comparación. Lo que cambió fue el programa circundante: nuevas herramientas, recetas más claras y salvaguardias ajustadas mediante pruebas de cambios propuestos en tareas de validación. Solo se conservaron las mejoras.

Esto implica que la competencia aparente puede residir parcialmente fuera del modelo. Un andamiaje puede codificar el conocimiento del dominio como pasos ejecutables, convirtiendo un modelo de uso general en algo que se comporta como un especialista entrenado para una tarea estrecha.

Un andamiaje más eficaz beneficia tanto al novato como al experto

El rendimiento de un agente no lo fija solo el modelo que alberga. También pesa mucho el entorno en el que opera. Ese entorno puede sumar herramientas, ejemplos, reglas y recetas paso a paso para cada tarea. En la práctica, se manejó como un programa editable: se probaron pequeñas modificaciones y solo se mantuvieron las que resultaban útiles.

El impacto fue notable en Qwen3-Coder-30B-A3B-Instruct, un modelo de pesos abiertos más pequeño. Con su configuración inicial, acertaba de media en el 29,2 % de los casos a lo largo de siete tareas empresariales. Tras la evolución del entorno, esa cifra subió al 78,0 %, un salto de 48,8 puntos porcentuales. El modelo no necesitó nuevos pesos para mejorar tanto. Solo requería un mejor marco en el que actuar.

Lo sorprendente llegó después. Se probó con ese mismo entorno evolucionado a Gemini 3.1 Pro Preview, un modelo experto más potente, aunque la configuración había sido diseñada originalmente alrededor del Qwen más débil. Su tasa de éxito media pasó del 84,4 % al 93,6 %, lo que supone un aumento de 15,6 puntos en los valores reportados. El andamiaje no solo remendó las carencias de un aprendiz. También ofreció al experto rutas más directas para resolver tareas difíciles.

Esto ocurrió porque la configuración evolucionada aportaba apoyo concreto, no consejos vagos. Incluía nuevas herramientas, instrucciones reforzadas y recetas de cálculo multietapa. El experto utilizó casi todas esas adiciones en entre el 93,6 % y el 100 % de sus ejecuciones. Una receta que Qwen seguía originalmente solo en el 30,8 % de los intentos fue empleada por el experto en el 94,2 %. Un buen andamiaje eleva a ambos: da al aprendiz la estructura que le falta y permite al experto trabajar con menos rodeos.

Imitar la labor completa de un experto puede desestabilizar a un modelo menos capaz

La solución intuitiva parece sencilla: si un agente de IA potente resuelve bien una tarea dentro de una configuración personalizada, que un agente más pequeño copie sus rutas exitosas. Eso fue lo que ocurrió cuando el modelo Qwen más débil se ajustó fino con ejecuciones completas realizadas por un experto más fuerte bajo un andamiaje mejorado. Su éxito medio en las pruebas cayó del 78,0 % al 63,1 %, una disminución de 14,9 puntos. La pérdida no fue un caso aislado. Apareció en las siete tareas empresariales, incluida la auditoría de nóminas, la aprobación de presupuestos, las alertas de inventario, la detección de anomalías en IoT, la automatización del navegador, la gestión de sitios web y el refactorizado de código. Algunos descensos fueron severos. La auditoría de nóminas cayó 29,9 puntos. La gestión de sitios web bajó 20,3 puntos. La automatización del navegador perdió 16,0 puntos. Incluso el menor descenso, en la detección de anomalías, fue de 4,2 puntos.

La sorpresa es que el experto era genuinamente mejor en el mismo entorno. Imitar a un modelo más fuerte suele ayudar. Aquí perjudicó porque el material copiado incluía más que hechos. Llevaba consigo la forma del experto de moverse por un andamiaje que había sido moldeado alrededor de herramientas, comprobaciones y recetas de cálculo específicas. El modelo más débil aprendió parte de ese comportamiento, pero no lo suficiente para mantener estable su propia planificación. Una segunda verificación con Gemma mostró el mismo patrón en una tarea de automatización web. Su éxito bajo un andamiaje evolucionado subió del 46,7 % al 55,6 %, pero tras copiar trayectorias de expertos cayó al 41,1 %. Eso es 14,5 puntos por debajo de su propia línea base con el andamiaje mejorado y 5,6 puntos por debajo de la configuración predeterminada original. El daño no fue causado por ignorar el nuevo andamiaje. Los modelos más débiles seguían usando muchos componentes añadidos. Lo que se rompió fue su capacidad para convertir el comportamiento copiado del experto en un trabajo paso a paso fiable.

El daño se nota en la pérdida del ritmo, no en la falta de información.

Cuando se entrena al modelo más débil con ejecuciones exitosas del experto, sus fallos no parecen un olvido total. Sigue sabiendo hacer la tarea: localiza las herramientas adecuadas y respeta las reglas añadidas. Lo que falla es el ritmo. El entorno estaba calibrado para un ciclo breve: calcular, verificar una vez y terminar. Tras la imitación, el modelo continúa trabajando más allá de ese punto. En una auditoría de nóminas, generó los totales correctos por departamento. El evaluador incluso vio las cifras justas. Después, emitió la misma vista 29 veces y releía el prompt unas 20 veces. Los errores de herramientas se acumularon sin que enviara nunca una señal de finalización a lo largo de 78 pasos. La ejecución obtuvo cero. Los datos estaban ahí. El ritmo, no.

Las ejecuciones con puntuación cero se agruparon en seis tipos de problemas. La imitación no borró el sentido del dominio: los fallos por conocimiento implícito bajaron del 46,2 % al 44,5 % entre los errores graves. Esa pequeña caída indica que el modelo aprendió algunos hábitos del experto. El daño se concentró en pasos implícitos omitidos y planes rotos.

Un segundo caso ilustra lo mismo. Una tarea web requería un recuento filtrado de reseñas aprobadas. El total correcto era 346. El modelo base aplicó el filtro, leyó la cifra correcta y terminó. Tras la imitación, copió el estilo rápido del experto pero no su competencia: llegó a la cuadrícula de reseñas sin plantearse primero filtrar, leyó el recuento sin filtrar de 351 registros y se detuvo ahí. En otras preguntas similares apareció el mismo atajo. El modelo había aprendido brevedad sin los pasos que hacían segura esa brevedad.

El modelo afinado no ignoró la configuración añadida: usó una receta clave de cálculo en el 76,1 % de las ejecuciones, frente al 30,8 % anterior. El problema no era el uso de herramientas.

El armazón que rodea al modelo puede acabar siendo su auténtica competencia

Un modelo de lenguaje de gran escala suele verse como una entidad única: un conjunto de pesos que sabe algo o no lo sabe. El sistema que lo rodea, el harness, recibe mucha menos atención. Incluye el prompt, las herramientas a las que puede recurrir, los ejemplos que observa, las reglas sobre cuándo detenerse y los controles sobre sus acciones. Esa visión ignora lo que realmente ocurre en la práctica.

El estudio puso a prueba esta idea en siete tareas de tipo empresarial: auditoría de nóminas, aprobación de presupuestos, alertas de inventario, detección de anomalías en IoT, automatización del navegador, gestión de sitios web y refactorización de código. Cada tarea tenía una respuesta correcta clara. No se pidió a los modelos que fueran creativos. Se les exigió realizar el trabajo correctamente.

Un modelo de pesos abiertos más débil, Qwen3-Coder-30B-A3B-Instruct, partió con una tasa de éxito media del 29,2 % bajo el harness original. Es un número bajo para un modelo con treinta mil millones de parámetros. Pero el harness no estaba fijo: se trató como un programa editable. Los cambios propuestos se probaron contra datos de validación y solo se conservaron aquellos que mejoraban el rendimiento.

El resultado no fue una pequeña mejora. El éxito medio en las pruebas subió al 78,0 %, un aumento de 48,8 puntos porcentuales. El modelo no modificó sus pesos en absoluto. Lo que cambió fue el andamiaje a su alrededor: nuevas herramientas, ejemplos resueltos, instrucciones reforzadas, ganchos que bloqueaban acciones incorrectas y recetas de cálculo multietapa.

Esto importa porque redefine en qué es bueno un modelo. La habilidad no reside solo en sus parámetros. También está en la estructura de la tarea tal como se le presenta. El harness puede proporcionar convenciones que el modelo, de lo contrario, tendría que inferir por sí mismo. Puede imponer una secuencia de pasos que impide que el agente se desvíe y hacer explícito el conocimiento implícito del dominio.

El harness evolucionado no fue solo un parche para un modelo débil. Cuando el modelo experto más fuerte, Gemini 3.1 Pro Preview, utilizó el mismo andamiaje evolucionado, su éxito medio subió del 84,4 % al 93,6 %. El experto no ignoró el andamiaje: activó casi todos los componentes añadidos en el 93,6 % al 100 % de sus ejecuciones. Una receta de cálculo de dominio multietapa que el modelo base Qwen usaba solo en el 30,8 % de las ejecuciones fue utilizada por el experto en el 94,2 %.

El harness se convirtió en un activo compartido. Codificó no solo qué hacer, sino cómo hacerlo de una manera que ambos modelos podían seguir. Es un tipo de capacidad diferente a la fuerza bruta del modelo: es conocimiento procedural hecho externo y reutilizable.