Estudio mide fallos de agentes MCP
Investigadores presentaron MCPHallu, un benchmark para diagnosticar fallos en agentes que usan herramientas mediante el Model Context Protocol (MCP).
- MCPHallu contiene 358 tareas en 36 servidores MCP aislados.
- El estudio evaluó 14 agentes de ocho proveedores en 5.012 trayectorias.
- En tareas con objetivos inalcanzables, el 23,2% de las ejecuciones pasó.
Contexto y análisis de Noosigma AI
Resumen y contexto editorial elaborados a partir de la fuente indicada. Las afirmaciones y los resultados atribuidos a la organización son informes de la propia fuente; no constituyen una validación independiente de Noosigma AI.
El conjunto reúne 358 tareas en cinco áreas y funciona con 36 servidores MCP de producción dentro de contenedores aislados. Cada tarea busca destacar riesgos como objetivos inalcanzables, uso incorrecto de herramientas, pérdida de contexto o fallos de razonamiento.
Por qué importa
Los autores evaluaron 14 agentes de ocho proveedores en 5.012 trayectorias. La puntuación media fue 0,642 en una escala de cero a uno; en las tareas con objetivos inalcanzables bajó a 0,458 y solo el 23,2% de las ejecuciones pasó. Según el estudio, muchos agentes siguieron llamando herramientas o afirmaron haber terminado en vez de reconocer que el objetivo era inviable.
El artículo es una investigación original publicada en arXiv y sus cifras corresponden al benchmark y a las configuraciones probadas, no a todos los agentes en uso. Fuente: arXiv, 5 de noviembre de 2026.