Robôs conseguem aprender a corrigir falhas em tarefas domésticas sem demonstrações humanas passo a passo

Por que uma xícara no chão não é só um erro de agarramento

Um objeto que escorrega durante uma tarefa doméstica longa pode mascarar três tipos distintos de erro: a escolha da próxima ação incorreta, a perda de parte do cenário ou a execução deficiente de um plano correto, o suficiente para derrubar o item. O desafio reside no fato de que a tarefa doméstica não permanece estática. Os objetivos podem mudar quando o usuário fornece uma nova instrução, enquanto o robô percebe apenas parte do ambiente e sua pegada pode falhar por razões físicas.

Segurar, despejar ou alcançar são tentativas que o mundo pode rejeitar. Cada turno segue uma ordem causal fixa: o agente envia a ação antes de o mundo mudar e o feedback chegar. Somente depois disso o robô recebe a próxima observação. O feedback decorre do estado efetivamente alcançado após a execução, não da validade lógica da ação escolhida. Um bom plano ainda pode resultar em falha devido à execução física, enquanto um mau plano às vezes gera um feedback plausível se o mundo acaso se mover de forma esperada.

A tarefa oculta possui um objetivo e regras ativas que mudam apenas quando chega uma nova instrução. O feedback das ferramentas atualiza o conhecimento sobre o mundo, mas não altera em si o objetivo ou as regras. Alguns atributos estruturados são mantidos pelo sistema, totalmente observáveis e atualizados deterministicamente a partir de ações e eventos. O benchmark simulado contém 279 tarefas retidas em quatro cenários domésticos: fazer café, triagem de armazém, lavanderia e triagem por cor. As tarefas variam de 3 a 18 ações de alto nível, de modo que um único erro inicial pode ocorrer dentro de uma cadeia muito mais longa.

Um conjunto fixo de recuperação com 60 tarefas injeta erros de execução, como detecções perdidas, pegadas falhas ou feedback de objeto inacessível. A recuperação avalia se o agente ainda consegue completar o subobjetivo ativo após esse erro. Isso separa a reparação local do sucesso da tarefa completa. Um método pode concluir mais etapas perturbadas e ainda assim perder estágios posteriores, pois erros acumulados alteram o que o robô acredita ter feito.

Um treinador com acesso privilegiado sugere correções, que o simulador então verifica

Quando o plano do robô falha na simulação, o sistema não aceita a primeira explicação que recebe. Um treinador com acesso privilegiado analisa a falha usando informações invisíveis para a política em operação, como o objetivo ativo ou uma regra recém-alterada. Ele identifica a decisão anterior onde o problema provavelmente surgiu. O treinador propõe um de dois reparos: substituir a ação suspeita por outro movimento válido de alto nível ou inserir uma etapa de recuperação após o momento da falha.

Cada correção proposta é tratada como uma hipótese, não como uma ordem. O simulador volta ao estado físico exato anterior à falha e reexecuta o candidato sob condições controladas. As perturbações e o ruído das observações são amostrados uma única vez para aquela etapa e mantidos fixos entre os ramos irmãos, garantindo que as diferenças no resultado decorram da ação escolhida e não do acaso. O caminho original falho e cada caminho reparado se expandem em uma pequena árvore de possíveis continuações.

Essa etapa de teste é o que mantém a integridade do treinador. Um reparo pode parecer sensato, mas ainda levar a outra pegada perdida ou a um posicionamento impossível. Na comparação simulada, uma política treinada com esses reparos testados alcançou uma taxa de recuperação de 26,25% em um conjunto fixo de tarefas com erros de execução injetados, cerca de 9,6 pontos percentuais acima da linha de base mais forte baseada em novas tentativas.

Somente os ramos que avançam no processo se tornam dados de treinamento

Um rollout falho não vira material útil para o treinamento automaticamente. Em cada estado alcançado, o sistema avalia várias ações candidatas, sejam elas originadas da própria política ou de uma correção proposta. Para cada candidata, executam-se múltiplas continuações à frente, utilizando a política atual. Cada continuação enfrenta as mesmas incertezas do estágio que foram amostradas uma única vez para todos os ramos irmãos.

A pontuação da candidata depende da frequência com que essas continuações completam o estágio relevante da tarefa. Apenas a ação de melhor desempenho em um estado é mantida como exemplo de treinamento, e isso só ocorre se suas continuações validadas tiverem sucesso pelo menos uma vez. Estados nos quais nenhuma ação disponível leva a qualquer sucesso subsequente são descartados, não usados para o treinamento. Essa regra vincula a supervisão à melhoria observada, em vez de confiar apenas no diagnóstico. Uma resposta gerada pela política pode prevalecer se suas continuações funcionarem melhor do que uma correção proposta.

Para manter a árvore de rollout gerenciável, as trajetórias parciais bem-sucedidas são liberadas estágio por estágio, em vez de serem empurradas através de toda uma tarefa longa. Em cada estágio, mantém-se um conjunto de ramos bem-sucedidos, mas apenas um subconjunto limitado se torna pai para o próximo estágio. Ramos que compartilham decisões anteriores quase idênticas têm sua amostragem reduzida, para que uma escolha inicial não domine. Se os estágios posteriores ficarem sem pais viáveis suficientes, o limite é relaxado e mais ramos de etapas anteriores continuam. Isso evita tanto a ramificação exponencial quanto o colapso prematuro em uma única trajetória.

Esse filtro ajuda a explicar por que o sistema atinge a melhor taxa média de recuperação na simulação, com 26,25%. Ele supera a linha de base mais forte por cerca de 9,6 pontos percentuais, utilizando um modelo de rollout menor. A mesma política também registra 16,79% de sucesso cumulativo e completa 30,74% dos objetivos antes da primeira falha irrecuperável. O sucesso absoluto em horizonte longo permanece baixo para todos os métodos, porque os erros se acumulam ao longo de sequências de até 18 ações de alto nível. A observação parcial e a incerteza na execução fazem de cada passo um ponto onde pequenos erros podem se espalhar.

Um agarramento que falhou e foi verificado duas vezes vira dado de treinamento

O principal aprendizado é que robôs conseguem aprender com erros desde que esses erros sejam verificados antes de virarem dados de treinamento. Um treinador oculto identifica a decisão equivocada e propõe um pequeno reparo. Em seguida, o sistema reproduz aquele momento na simulação para avaliar se o ajuste funciona. Esse teste converte suposição em evidência. Como apenas as correções que melhoram o progresso posterior sobrevivem ao filtro, a política aprende com falhas que ela pode plausivelmente enfrentar novamente.

O trabalho doméstico ilustra por que a recuperação vale mais do que uma execução impecável: tarefas longas contêm pequenas interrupções, como objetos não detectados, agarramentos falhos ou mudanças nas regras. Um robô que se recupera de uma dessas interrupções consegue concluir mais da tarefa, mesmo que ainda falhe no final. Os resultados simulados mostram esse padrão, com melhor recuperação e progresso mais longo antes de uma parada irreversível. Em hardware real, os ganhos diminuem porque a percepção e o agarramento continuam gerando novos erros que nenhum plano de alto nível consegue absorver por completo.

A oportunidade está em um caminho de treinamento que cresce a partir de definições compactas de tarefas, em vez de horas de gravação humana. O obstáculo é que a validação ainda depende da simulação, de informações ocultas ou de uma maneira de voltar a um estado anterior. Se sistemas futuros puderem verificar reparos no mundo físico sem acesso privilegiado, os dados de falha podem se tornar uma fonte constante de melhoria em vez de uma pilha de exemplos confusos.