Estudo mede falhas de agentes que usam MCP
Pesquisadores apresentaram o MCPHallu, um benchmark para diagnosticar falhas em agentes que usam ferramentas por meio do Model Context Protocol (MCP).
- MCPHallu contém 358 tarefas em 36 servidores MCP isolados.
- O estudo avaliou 14 agentes de oito provedores em 5.012 trajetórias.
- Em tarefas com objetivos inalcançáveis, 23,2% das execuções passaram no teste.
Contexto e análise do Noosigma AI
Resumo e contextualização editorial elaborados a partir da fonte indicada. Alegações e resultados atribuídos à organização são relatos da própria fonte; não representam validação independente do Noosigma AI.
O conjunto reúne 358 tarefas em cinco áreas e usa 36 servidores MCP de produção em contêineres isolados. Cada tarefa foi construída para destacar riscos como metas inalcançáveis, uso incorreto de ferramentas, perda de contexto ou escolhas inadequadas de raciocínio.
O que isso muda
Os autores avaliaram 14 agentes de oito provedores em 5.012 trajetórias. A pontuação média foi 0,642 em uma escala de zero a um; nas tarefas com metas inalcançáveis, caiu para 0,458, e apenas 23,2% das execuções passaram. Segundo o estudo, muitos agentes continuaram chamando ferramentas ou afirmaram ter concluído a tarefa em vez de reconhecer que o objetivo era inviável.
O artigo é um trabalho de pesquisa publicado no arXiv e seus números se referem ao benchmark e às configurações testadas, não a todos os agentes em uso. Fonte: arXiv, 5 de novembro de 2026.