Estudo avalia agentes que descobrem tarefas
Um preprint de 9 de novembro apresenta o AutoBuddy-Bench, uma avaliação de agentes que precisam descobrir e executar tarefas de trabalho.
- O AutoBuddy-Bench testa descoberta e execução de tarefas em um ambiente de trabalho simulado.
- A avaliação cobre 120 tarefas e 17 modelos de base.
- Os resultados separam falhas de descoberta das falhas de execução e precisam ser lidos dentro do ambiente simulado.
Contexto e análise do Noosigma AI
Resumo e contextualização editorial elaborados a partir da fonte indicada. Alegações e resultados atribuídos à organização são relatos da própria fonte; não representam validação independente do Noosigma AI.
A simulação reúne mensagens, arquivos, registros e sistemas de uma organização fictícia para que o agente identifique obrigações pendentes, conecte cada tarefa às suas fontes e aja no sistema correspondente.
O que isso muda
Em 120 tarefas com 17 modelos de base, os pesquisadores observaram que modelos menos capazes falhavam mais ao encontrar tarefas. Nos modelos mais fortes, os erros se concentravam na execução, com frequência em operações de sistemas empresariais.
Os autores concluem que descobrir uma obrigação e concluí-la são capacidades distintas. O benchmark usa uma organização simulada e não mede diretamente o desempenho em empresas reais. Fonte: arXiv, 9 de novembro de 2026.