Estudio muestra cómo modelos aprenden falsedades
Un preprint cuestiona el uso de la sorpresa como único criterio para decidir qué información debe aprender un modelo con el tiempo.
- Elegir datos solo porque son sorprendentes puede favorecer falsedades que contradicen el conocimiento previo del modelo.
- Los filtros y verificadores ayudan en algunos casos, pero también pueden rechazar información válida o ser eludidos.
- Los resultados preliminares proceden de pruebas con tres modelos pequeños adaptados.
Contexto y análisis de Noosigma AI
Resumen y contexto editorial elaborados a partir de la fuente indicada. Las afirmaciones y los resultados atribuidos a la organización son informes de la propia fuente; no constituyen una validación independiente de Noosigma AI.
En los métodos de aprendizaje continuo, una afirmación inesperada puede recibir prioridad para actualizar el modelo. Los autores sostienen que una falsedad introducida puede parecer sorprendente precisamente porque contradice lo que el modelo ya sabe, por lo que ese criterio aislado podría hacer que acepte información incorrecta.
Por qué importa
El estudio probó versiones pequeñas y adaptadas de Qwen2.5 y Llama 3.2 con secuencias de afirmaciones verdaderas y falsas, incluidos hechos inventados e información real. Un verificador y la comparación con conocimientos previos ayudaron a filtrar algunas falsedades, pero también rechazaron actualizaciones válidas o pudieron ser eludidos.
Las fuentes confiables mejoraron el filtrado cuando el atacante no podía manipularlas. Aun así, los autores muestran que ninguna decisión basada en sorpresa, verificación o conocimiento previo basta para demostrar que una afirmación es verdadera. El trabajo se envió a arXiv el 29 de octubre de 2026 a las 11:19 UTC. Es un preprint aún no revisado por pares. Fuente: arXiv.