Poda reduz memorização literal em LLMs
Um preprint no arXiv avalia se remover cabeças redundantes de atenção antes da inferência pode diminuir a reprodução literal de dados memorizados por um modelo.
- A técnica zera cabeças de atenção consideradas redundantes antes da inferência, sem retreinar o modelo.
- No GPT-2-XL testado, os autores relatam 91,5% menos ocorrências memorizadas no benchmark e melhora na perplexidade do WikiText-103.
- Os resultados são preliminares e limitados ao modelo e às avaliações do preprint.
Contexto e análise do Noosigma AI
Resumo e contextualização editorial elaborados a partir da fonte indicada. Alegações e resultados atribuídos à organização são relatos da própria fonte; não representam validação independente do Noosigma AI.
Os pesquisadores zeraram 729 cabeças de atenção classificadas como redundantes em uma configuração de GPT-2-XL com 1,5 bilhão de parâmetros. No benchmark de sequências memorizadas, os autores relatam redução de 91,5% e uma melhora de 0,92 na perplexidade do WikiText-103.
O que isso muda
O experimento cobre esse modelo e os conjuntos de avaliação descritos no estudo; não demonstra o mesmo efeito em modelos atuais de uso comercial. O trabalho está no arXiv e ainda não passou por revisão por pares.
Fonte: arXiv, 29 de outubro de 2026, 20:59 UTC.