Estudio prueba defensas contra prompt injection
Un preprint evalúa defensas ante ataques adaptativos de prompt injection contra agentes que utilizan herramientas.
- El estudio prueba ataques adaptativos en un benchmark sintético de agentes con herramientas.
- Gemini 4 Argon resistió el 66% de los intentos con el mayor presupuesto y el 87% con un límite de 150 consultas.
- El experimento controlado no mide todas las aplicaciones; los autores proponen red teaming continuo y defensas por capas.
Contexto y análisis de Noosigma AI
Resumen y contexto editorial elaborados a partir de la fuente indicada. Las afirmaciones y los resultados atribuidos a la organización son informes de la propia fuente; no constituyen una validación independiente de Noosigma AI.
Los investigadores crearon una evaluación sintética para comprobar si los modelos respetan la jerarquía de instrucciones cuando las herramientas devuelven contenido contradictorio. El atacante es automatizado y adaptativo, pero las pruebas se realizan en un benchmark controlado.
Por qué importa
Ningún modelo defensor resistió todos los intentos del experimento. Gemini 4 Argon, el mejor resultado entre los defensores evaluados, bloqueó el 66% de los ataques con el mayor presupuesto de consultas y el 87% cuando ese presupuesto se limitó a 150.
Estos porcentajes no son una auditoría de productos ni de aplicaciones en producción. Los autores sostienen que las defensas deben combinar pruebas automatizadas recurrentes con controles de varias capas. Fuente: arXiv, 9 de noviembre de 2026.