Professor de IA mais inteligente deixa aluno pior no próprio trabalho

A estrutura que envolve o modelo pode virar a própria competência dele

Um agente de IA é mais do que os pesos do seu modelo. O “harness” ao redor pode carregar grande parte da competência necessária para a tarefa. Não se trata apenas de um prompt de sistema: ele adiciona ferramentas, exemplos resolvidos, instruções reforçadas e mecanismos que bloqueiam ações inadequadas. Também codifica convenções do ambiente e receitas de cálculo em múltiplas etapas. Em outras palavras, funciona como um programa editável ao redor do modelo.

Isso importa porque o trabalho corporativo depende frequentemente da rotina. Auditoria de folha de pagamento, aprovação de orçamento, alertas de estoque, detecção de anomalias em IoT, automação de navegador, gestão de sites e refatoração de código possuem listas de verificação que um profissional seguiria automaticamente. Um harness bem construído fornece essas rotinas ausentes: indica ao agente o que calcular primeiro, qual filtro aplicar e quando parar. O modelo continua raciocinando e agindo, mas a estrutura molda seu caminho.

O sinal mais forte é a variação no desempenho quando apenas o harness muda. Para um modelo codificador Qwen mais fraco, o sucesso médio nos testes subiu de 29,2% com o harness original de referência para 78,0% após a evolução automática. Isso representa um ganho de 48,8 pontos percentuais. Os pesos não mudaram nessa comparação. O que mudou foi o programa ao redor: novas ferramentas, receitas mais claras e barreiras ajustadas por meio do teste de mudanças propostas em tarefas de validação. Apenas as melhorias foram mantidas.

Isso significa que a competência aparente pode residir parcialmente fora do modelo. A estrutura pode codificar conhecimento de domínio como etapas executáveis, transformando um modelo de uso geral em algo que se comporta como um especialista treinado para uma tarefa específica.

Um andaime mais robusto beneficia tanto o iniciante quanto o especialista

O desempenho de um agente não depende apenas do modelo em seu interior. A configuração ao redor também faz diferença. Essa estrutura pode incorporar ferramentas, exemplos, regras e receitas passo a passo para o trabalho. No experimento, ela foi tratada como um programa editável: pequenas alterações eram testadas, e somente as que traziam benefício eram mantidas.

O impacto foi significativo em um modelo menor de pesos abertos, o Qwen3-Coder-30B-A3B-Instruct. Com a configuração original, sua taxa média de sucesso era de 29,2% em sete tarefas empresariais. Após a evolução da estrutura, esse índice subiu para 78,0%, um salto de 48,8 pontos percentuais. O modelo não precisou de novos pesos para melhorar. Necessitava apenas de um ambiente mais adequado para agir.

A surpresa veio em seguida. Um modelo especialista mais forte, o Gemini 3.1 Pro Preview, foi testado com aquela mesma configuração evoluída, que havia sido construída ao redor do Qwen mais fraco. Seu sucesso médio aumentou de 84,4% para 93,6%, uma elevação de 15,6 pontos nos valores reportados. O andaime não apenas corrigiu as falhas de um aprendiz fraco. Também ofereceu ao especialista rotas mais diretas através das tarefas difíceis.

Isso ocorreu porque a configuração evoluída adicionou suporte concreto, e não conselhos vagos. Ela incluiu novas ferramentas, instruções reforçadas e receitas de cálculo em múltiplas etapas. O especialista utilizou quase todas essas adições em 93,6% a 100% de suas execuções. Uma receita que o Qwen seguia originalmente em apenas 30,8% das tentativas foi empregada pelo especialista em 94,2%. Um bom andaime eleva os dois lados: fornece ao aprendiz a estrutura que lhe falta e permite que o especialista trabalhe com menos desvios.

Imitar integralmente o desempenho de um especialista pode comprometer a performance de modelos menos potentes

A solução intuitiva parece simples: se um agente de IA forte resolve bem uma tarefa dentro de uma configuração personalizada, basta deixar que um agente menor copie seus caminhos bem-sucedidos. Foi exatamente o que ocorreu quando o modelo Qwen mais fraco passou por fine-tuning com base em execuções completas realizadas por um especialista mais forte sob um harness aprimorado. O sucesso médio nos testes caiu de 78,0% para 63,1%, uma redução de 14,9 pontos. A perda não foi isolada. Ela se manifestou nas sete tarefas empresariais testadas: auditoria de folha de pagamento, aprovação de orçamento, alertas de estoque, detecção de anomalias em IoT, automação de navegador, gestão de sites e refatoração de código. Algumas quedas foram severas. A auditoria de folha de pagamento recuou 29,9 pontos. A gestão de sites caiu 20,3 pontos. A automação de navegador perdeu 16,0 pontos. Mesmo a menor queda, na detecção de anomalias, foi de 4,2 pontos.

A surpresa é que o especialista era genuinamente melhor no mesmo ambiente. Imitar um modelo mais forte geralmente ajuda. Aqui, porém, prejudicou porque o material copiado continha mais do que fatos. Ele trazia a forma como o especialista navegava por um harness moldado em torno de ferramentas específicas, verificações e receitas de cálculo. O modelo mais fraco aprendeu parte desse comportamento, mas não o suficiente para manter seu próprio planejamento estável. Uma segunda verificação com Gemma mostrou o mesmo padrão em uma tarefa de automação web. Seu sucesso sob um harness evoluído subiu de 46,7% para 55,6%, mas após copiar trajetórias do especialista caiu para 41,1%. Isso representa 14,5 pontos abaixo da sua própria linha de base com o harness aprimorado e 5,6 pontos abaixo da configuração padrão original. O dano não foi causado pela ignorância do novo andaime. Os modelos mais fracos ainda utilizavam muitos dos componentes adicionados. O que se rompeu foi a capacidade deles de transformar o comportamento copiado do especialista em um trabalho confiável passo a passo.

A falha se manifesta na quebra do ritmo, não na ausência de informações.

Quando o modelo mais fraco é treinado com as execuções bem-sucedidas do especialista, suas falhas não parecem lapsos de memória. Ele ainda conhece a tarefa. Sabe acionar as ferramentas certas e seguir as regras adicionadas. O que se rompe é o ritmo. A configuração ao redor foi ajustada para um ciclo curto: calcular, verificar uma vez e terminar. Após a imitação, porém, o modelo continua trabalhando além desse ponto. Em uma auditoria de folha de pagamento, ele produziu os totais corretos por departamento. O avaliador até viu os números certos. Depois, reemitiu a mesma visualização 29 vezes e releu o prompt cerca de 20 vezes. Os erros das ferramentas se acumularam. Ao longo de 78 etapas, nunca enviou um sinal de término. A execução pontuou zero. Os fatos estavam lá. O ritmo não estava.

As execuções com nota zero foram classificadas em seis tipos de problema. A imitação não apagou o senso do domínio: os erros por conhecimento implícito caíram de 46,2% para 44,5% entre as falhas graves. Essa pequena queda mostra que o modelo aprendeu alguns hábitos do especialista. O dano se concentrou em etapas implícitas ausentes e planos quebrados.

Um segundo caso ilustra o mesmo ponto. Uma tarefa na web exigia uma contagem filtrada de avaliações aprovadas. O total correto era 346. O modelo base usou o filtro, leu o número certo e terminou. Após a imitação, ele copiou o estilo rápido do especialista, mas não sua competência. Chegou à grade de avaliações, nunca formou o subobjetivo de filtrar primeiro, leu a contagem sem filtro de 351 registros e parou ali. Em outras perguntas semelhantes, o mesmo atalho apareceu. O modelo havia aprendido brevidade sem as etapas que tornavam a brevidade segura.

O modelo ajustado não ignorou a configuração adicionada: usou uma receita de cálculo-chave em 76,1% das execuções, subindo de 30,8%. O problema não era o uso das ferramentas.

A estrutura que envolve o modelo pode virar a própria competência dele

Um grande modelo de linguagem costuma ser visto como um objeto único: um conjunto de pesos que sabe algo ou não sabe. O sistema ao redor, o harness, recebe menos atenção. Ele inclui o prompt, as ferramentas que o modelo pode acionar, os exemplos a que tem acesso, as regras sobre quando parar e os controles sobre suas ações. Essa visão ignora o que realmente acontece na prática.

O estudo testou essa ideia em sete tarefas de estilo corporativo: auditoria de folha de pagamento, aprovação de orçamento, alertas de estoque, detecção de anomalias em IoT, automação de navegador, gestão de sites e refatoração de código. Cada tarefa tinha uma resposta certa clara. Os modelos não foram convidados a ser criativos. Foram desafiados a executar o trabalho corretamente.

Um modelo de pesos abertos mais fraco, o Qwen3-Coder-30B-A3B-Instruct, começou com uma taxa média de sucesso de 29,2% sob o harness original. É um número baixo para um modelo com trinta bilhões de parâmetros. Mas o harness não era fixo. Tratou-se dele como um programa editável. As mudanças propostas foram testadas contra dados de validação. Apenas as que melhoraram o desempenho foram mantidas.

O resultado não foi uma pequena alta. O sucesso médio nos testes subiu para 78,0%, um aumento de 48,8 pontos percentuais. Os pesos do modelo permaneceram inalterados. O que mudou foi a estrutura ao redor: novas ferramentas, exemplos resolvidos, instruções reforçadas, ganchos que bloqueavam ações ruins e receitas de cálculo em múltiplas etapas.

Isso importa porque redefine o que um modelo faz bem. A habilidade de um modelo não está apenas nos seus parâmetros. Está também na estrutura da tarefa conforme ela é apresentada a ele. O harness pode fornecer convenções que o modelo teria de inferir sozinho caso contrário. Pode impor uma sequência de passos que impede o agente de se perder. Pode tornar explícito o conhecimento implícito do domínio.

O harness evoluído não foi apenas um remendo para um modelo fraco. Quando o Gemini 3.1 Pro Preview, mais forte, usou a mesma estrutura evoluída, seu sucesso médio subiu de 84,4% para 93,6%. O especialista não ignorou a estrutura. Ele ativou quase todos os componentes adicionados em 93,6% a 100% de suas execuções. Uma receita de cálculo de domínio em múltiplas etapas que o modelo base Qwen usava em apenas 30,8% das execuções foi usada pelo especialista em 94,2%.

O harness tornou-se um ativo compartilhado. Ele codificou não apenas o que fazer, mas como fazer, de uma forma que ambos os modelos podiam seguir. Essa é uma capacidade diferente da força bruta do modelo. É conhecimento procedural tornado externo e reutilizável.