Quando un insegnante di IA più intelligente rende lo studente peggiore nel suo stesso lavoro

L’impalcatura attorno al modello diventa spesso la sua vera competenza

Un agente di intelligenza artificiale è molto più dei pesi del suo modello: l’impalcatura circostante può contenere gran parte delle competenze operative. Non si tratta solo di un prompt di sistema. L’harness aggiunge strumenti, esempi praticati, istruzioni rinforzate e meccanismi che bloccano azioni errate. Può anche codificare le convenzioni dell’ambiente e ricette di calcolo in più fasi. In pratica, funziona come un programma modificabile attorno al modello.

Questo aspetto è cruciale perché il lavoro aziendale dipende spesso dalla routine. L’audit della busta paga, l’approvazione dei budget, gli avvisi sulle scorte, il rilevamento delle anomalie IoT, l’automazione del browser, la gestione dei siti web e il refactoring del codice seguono tutti liste di controllo che un professionista applicherebbe automaticamente. Un’impalcatura ben costruita può fornire queste routine mancanti: indica all’agente cosa calcolare per primo, quale filtro applicare e quando fermarsi. Il modello continua a ragionare e ad agire, ma l’impalcatura ne modella il percorso.

Il segnale più forte è quanto cambiano le prestazioni quando varia solo l’harness. Per un modello coder Qwen meno potente, il successo medio nei test è passato dal 29,2% con l’infrastruttura di base originale al 78,0% dopo l’evoluzione automatica: un guadagno di 48,8 punti percentuali. In quel confronto i pesi non sono cambiati. A variare è stato il programma circostante: nuovi strumenti, ricette più chiare e vincoli regolati testando le modifiche proposte su compiti di validazione. Sono stati mantenuti solo i miglioramenti.

Questo significa che la competenza apparente può risiedere in parte al di fuori del modello. Un’impalcatura può codificare la conoscenza di dominio come passi eseguibili, trasformando un modello a uso generale in qualcosa che si comporta come uno specialista addestrato per un compito specifico e limitato.

Un’impalcatura più solida alza il livello di entrambi: dell’apprendista e dell’esperto.

Le prestazioni di un agente non dipendono esclusivamente dal modello che lo anima: conta anche l’ambiente in cui opera. Tale ambiente può integrare strumenti, esempi, regole e procedure dettagliate per il compito specifico. Nel lavoro descritto, è stato trattato come un programma modificabile: le modifiche venivano testate e conservate solo se utili.

L’impatto è stato significativo per Qwen3-Coder-30B-A3B-Instruct, un modello open-weight di dimensioni ridotte. Con la configurazione iniziale, il tasso medio di successo si attestava al 29,2% su sette attività aziendali. Dopo l’evoluzione della struttura, questo valore è salito al 78,0%, con un incremento di 48,8 punti percentuali. Il modello non ha richiesto nuovi pesi per migliorare: gli serviva semplicemente un ambiente operativo più efficace.

La sorpresa è arrivata in seguito. Gemini 3.1 Pro Preview, un modello esperto più potente, è stato testato con la stessa configurazione evoluta, progettata originariamente attorno al modello Qwen meno performante. Il suo tasso medio di successo è passato dall’84,4% al 93,6%, un aumento di 15,6 punti nei valori riportati. L’impalcatura non ha solo colmato le lacune di un apprendista debole: ha anche fornito all’esperto percorsi più diretti per affrontare i compiti complessi.

Ciò è accaduto perché la configurazione evoluta offriva supporto concreto anziché indicazioni vaghe, includendo nuovi strumenti, istruzioni rinforzate e ricette di calcolo multistep. L’esperto ha utilizzato quasi tutte queste aggiunte nel 93,6-100% delle esecuzioni. Una ricetta che Qwen seguiva originariamente solo nel 30,8% dei tentativi è stata impiegata dall’esperto nel 94,2%. Un’impalcatura ben costruita può quindi elevare entrambi i livelli: fornisce all’apprendista la struttura mancante e consente all’esperto di lavorare con meno deviazioni.

Imitare il lavoro completo di un esperto può danneggiare un modello meno potente

La soluzione intuitiva sembra semplice: se un agente di IA potente risolve bene un compito all’interno di una configurazione personalizzata, si lasci a un agente più piccolo di copiare i suoi percorsi di successo. È quanto è accaduto quando il modello Qwen, meno performante, è stato sottoposto a fine-tuning su esecuzioni complete prodotte da un esperto più forte sotto uno scaffold migliorato. Il tasso medio di successo nei test è sceso dal 78,0% al 63,1%, con una perdita di 14,9 punti. La flessione non è stata isolata: si è manifestata in tutti e sette i compiti aziendali presi in esame, tra cui audit della busta paga, approvazione dei budget, allertamento su azioni, rilevamento delle anomalie IoT, automazione del browser, gestione dei siti web e refactoring del codice. Alcuni cali sono stati severi. L’audit della busta paga è sceso di 29,9 punti. La gestione dei siti web ha perso 20,3 punti. L’automazione del browser ne ha persi 16,0. Anche il calo più contenuto, nel rilevamento delle anomalie, è stato comunque di 4,2 punti.

La sorpresa sta nel fatto che l’esperto era effettivamente migliore nello stesso ambiente. Imitare un modello più forte di solito aiuta. In questo caso ha danneggiato perché il materiale copiato includeva più dei semplici fatti: portava con sé il modo in cui l’esperto si muoveva attraverso uno scaffold modellato attorno a strumenti specifici, controlli e ricette di calcolo. Il modello più debole ha appreso parte di quel comportamento, ma non abbastanza da mantenere stabile la propria pianificazione. Un secondo controllo con Gemma ha mostrato lo stesso schema su un compito di automazione web: il suo successo sotto uno scaffold evoluto era salito dal 46,7% al 55,6%, ma dopo aver copiato le traiettorie dell’esperto è sceso al 41,1%. Si tratta di 14,5 punti sotto la sua stessa linea di base con lo scaffold migliorato e di 5,6 punti sotto la configurazione predefinita originale. Il danno non era causato dall’ignorare il nuovo supporto strutturale: i modelli più deboli continuavano a usare molte delle componenti aggiunte. Ciò che si è rotto è stata la loro capacità di trasformare il comportamento dell’esperto copiato in un lavoro affidabile, passo dopo passo.

Il danno si manifesta come una perdita di ritmo, non come un’assenza di dati.

Quando il modello più debole viene addestrato sulle esecuzioni di successo dell’esperto, i suoi errori non somigliano a una memoria vuota. Il lavoro lo conosce ancora: sa richiamare gli strumenti giusti e rispettare le regole aggiunte. A rompersi è il ritmo. L’impostazione circostante era calibrata su un ciclo breve: calcola, verifica una volta, termina. Dopo l’imitazione, però, il modello continua a lavorare oltre quel punto. In un audit della busta paga, ha prodotto i totali corretti per dipartimento. Il valutatore ha persino visto i numeri giusti. Poi ha riemesso la stessa vista 29 volte e ha riletto il prompt circa 20 volte. Gli errori degli strumenti si sono accumulati e, in 78 passaggi, non ha mai inviato un segnale di fine. L’esecuzione ha ottenuto zero punti. I fatti c’erano. Il ritmo no.

Le esecuzioni a punteggio zero sono state classificate in sei tipi di problema. L’imitazione non ha cancellato la comprensione del dominio: gli scivolamenti nella conoscenza implicita sono passati dal 46,2% al 44,5% tra i fallimenti gravi. Quel piccolo calo mostra che il modello ha appreso alcune abitudini dell’esperto. Il danno si è concentrato sui passaggi impliciti mancanti e sui piani rotti.

Un secondo caso conferma lo stesso punto. Un compito web richiedeva un conteggio filtrato delle recensioni approvate. Il totale corretto era 346. Il modello di base ha usato il filtro, ha letto il numero giusto e ha terminato. Dopo l’imitazione, ha copiato lo stile rapido dell’esperto ma non la sua competenza: ha raggiunto la griglia delle recensioni senza mai formare l’obiettivo intermedio di filtrare prima. Ha letto il conteggio non filtrato di 351 record e si è fermato lì. Su altre domande simili è apparsa la stessa scorciatoia. Il modello aveva imparato la brevità, ma non i passaggi che rendevano sicura quella brevità.

Il modello sottoposto a fine-tuning non ha ignorato l’impostazione aggiunta: ha usato una ricetta di calcolo chiave nel 76,1% delle esecuzioni, in aumento rispetto al 30,8%. Il problema non era l’uso degli strumenti.

L’impalcatura attorno al modello diventa spesso la sua vera competenza

Un modello linguistico di grandi dimensioni viene spesso considerato un oggetto monolitico: un insieme di pesi che sa o non sa qualcosa. Il sistema circostante, l’harness, riceve meno attenzione. Comprende il prompt, gli strumenti richiamabili, gli esempi a cui il modello ha accesso, le regole su quando fermarsi e i controlli sulle sue azioni. Questa prospettiva trascura ciò che accade realmente nella pratica.

Lo studio ha verificato questa ipotesi su sette compiti di tipo aziendale: audit della busta paga, approvazione dei budget, allertamento sulle scorte, rilevamento delle anomalie IoT, automazione del browser, gestione dei siti web e refactoring del codice. Ogni compito aveva una risposta corretta univoca. Ai modelli non è stato chiesto di essere creativi, ma di svolgere il lavoro correttamente.

Un modello open-weight meno potente, Qwen3-Coder-30B-A3B-Instruct, partiva con un tasso medio di successo del 29,2% sotto l’harness originale. Per un modello con trenta miliardi di parametri è un numero basso. Ma l’harness non era fisso: veniva trattato come un programma modificabile. Le modifiche proposte venivano testate contro dati di validazione e conservate solo se miglioravano le prestazioni.

Il risultato non è stato marginale. Il successo medio nei test è salito al 78,0%, con un incremento di 48,8 punti percentuali. I pesi del modello sono rimasti invariati. A cambiare è stata l’impalcatura circostante: nuovi strumenti, esempi risolti, istruzioni rinforzate, ganci che bloccavano azioni errate e ricette di calcolo multistep.

Questo aspetto è cruciale perché ridefinisce la competenza di un modello. L’abilità non risiede solo nei parametri, ma anche nella struttura del compito così come viene presentato. L’harness può fornire convenzioni che il modello altrimenti dovrebbe inferire da solo, imporre una sequenza di passi che impedisce all’agente di divagare e rendere esplicita la conoscenza implicita del dominio.

L’harness evoluto non era un semplice rattoppo per un modello debole. Quando Gemini 3.1 Pro Preview, il modello esperto più potente, ha utilizzato la stessa impalcatura evoluta, il suo successo medio è salito dall’84,4% al 93,6%. L’esperto non ha ignorato l’impalcatura: ha attivato quasi tutti i componenti aggiunti nel 93,6-100% dei rollout. Una ricetta di calcolo multistep che il modello Qwen base usava solo nel 30,8% dei casi è stata impiegata dall’esperto nel 94,2%.

L’harness è diventato un asset condiviso. Ha codificato non solo cosa fare, ma come farlo in modo che entrambi i modelli potessero seguirlo. Si tratta di una capacità diversa dalla pura potenza del modello: è conoscenza procedurale resa esterna e riutilizzabile.