Estudo mostra como modelos aprendem falsidades
Um preprint questiona o uso da surpresa como único critério para decidir quais informações um modelo deve aprender ao longo do tempo.
- Selecionar dados apenas por serem surpreendentes pode favorecer falsidades que contradizem o conhecimento do modelo.
- Filtros e verificadores ajudam em alguns casos, mas também podem rejeitar informações válidas ou ser burlados.
- Os resultados são preliminares e vêm de experimentos com três modelos pequenos adaptados.
Contexto e análise do Noosigma AI
Resumo e contextualização editorial elaborados a partir da fonte indicada. Alegações e resultados atribuídos à organização são relatos da própria fonte; não representam validação independente do Noosigma AI.
Em métodos de aprendizado contínuo, uma afirmação inesperada pode receber prioridade para atualização. Os autores argumentam que uma falsidade plantada pode parecer surpreendente justamente por contradizer o que o modelo já sabe, fazendo com que esse critério isolado aceite informações incorretas.
O que isso muda
A pesquisa testou versões pequenas e adaptadas de Qwen2.5 e Llama 3.2 em fluxos de alegações verdadeiras e falsas, incluindo fatos inventados e informações reais. Um verificador e a comparação com conhecimento prévio ajudaram a filtrar parte das falsidades, mas também rejeitaram algumas atualizações válidas ou puderam ser contornados.
Fontes confiáveis melhoraram a triagem quando não podiam ser manipuladas pelo atacante. Ainda assim, os autores mostram que nenhuma decisão de aceitação baseada em surpresa, verificação ou conhecimento anterior basta para provar que uma alegação é verdadeira. O trabalho foi enviado ao arXiv em 29 de outubro de 2026 às 11:19 UTC. É um preprint ainda não revisado por pares. Fonte: arXiv.