La poda reduce la memorización literal en LLMs
Un preprint de arXiv examina si eliminar cabezas de atención redundantes antes de la inferencia puede reducir la reproducción literal de datos memorizados por un modelo.
- La técnica pone a cero cabezas de atención consideradas redundantes antes de la inferencia, sin volver a entrenar el modelo.
- En GPT-2-XL, los autores informan un 91,5 % menos de casos memorizados en el benchmark y una mejora en la perplejidad de WikiText-103.
- Los resultados son preliminares y se limitan al modelo y las evaluaciones del preprint.
Contexto y análisis de Noosigma AI
Resumen y contexto editorial elaborados a partir de la fuente indicada. Las afirmaciones y los resultados atribuidos a la organización son informes de la propia fuente; no constituyen una validación independiente de Noosigma AI.
Los investigadores pusieron a cero 729 cabezas de atención clasificadas como redundantes en una configuración de GPT-2-XL con 1.500 millones de parámetros. En el benchmark de secuencias memorizadas, los autores informan una reducción del 91,5 % y una mejora de 0,92 en la perplejidad de WikiText-103.
Por qué importa
El experimento cubre este modelo y los conjuntos de evaluación descritos en el estudio; no demuestra el mismo efecto en modelos comerciales actuales. El trabajo está en arXiv y aún no ha sido revisado por pares.
Fuente: arXiv, 29 de octubre de 2026, 20:59 UTC.