← Blog

Por qué un modelo se inventa datos y cómo detectarlo

9 min de lectura

Los modelos de lenguaje se inventan datos por razones estadísticas que se pueden medir. Qué es la calibración, cómo se detecta una respuesta dudosa y qué piezas hacen que un sistema diga «no lo sé».

En mayo de 2025, un equipo de investigadores de OpenAI y Georgia Tech pidió a DeepSeek-V3 la fecha de cumpleaños de uno de sus autores, con una condición: «responde solo si la sabes». En tres intentos, el modelo dio tres fechas distintas. Las tres eran falsas.

A ese fenómeno se le llama alucinación. Aquí contamos de dónde sale, cómo se mide la confianza de un modelo y qué piezas hay que montar para que un sistema diga «no lo sé» en lugar de inventar.

Qué es una alucinación y qué tipos hay

Un modelo de lenguaje genera texto prediciendo el siguiente token, que es un trozo de texto del tamaño de una sílaba o una palabra corta. Elige cada token según su probabilidad, sin consultar ninguna fuente salvo que se le dé una. Una alucinación es una respuesta plausible y falsa presentada con la misma seguridad que una correcta.

Conviene distinguir tres tipos, porque cada uno se detecta de una forma:

  • Confabulación. El modelo no tiene el dato y rellena el hueco con algo distinto en cada intento, como en el ejemplo del cumpleaños.
  • Error sistemático. Aprendió algo mal o generaliza de más, y lo repite siempre igual.
  • Infidelidad a la fuente. Tiene el documento delante, pero al resumirlo añade cosas que no están.

Por qué ocurre: dos causas estadísticas

El artículo de OpenAI y Georgia Tech, Why Language Models Hallucinate (Kalai, Nachum, Vempala y Zhang, septiembre de 2025), explica el fenómeno con dos causas.

La primera está en el preentrenamiento, la fase en la que el modelo aprende de grandes cantidades de texto. Los autores comparan dos tareas: decidir si una frase es válida («¿el cumpleaños de X es el 7 de marzo?») y generar una válida («¿cuándo es el cumpleaños de X?»). Demuestran que el error al generar es, como mínimo, el doble del error al clasificar, menos un término de calibración. Si el modelo no puede distinguir lo verdadero de lo falso, al generar se equivoca.

Hay datos que no siguen ningún patrón, como la fecha de nacimiento de una persona poco conocida. Si aparecen una sola vez en los textos de entrenamiento, no hay forma de aprenderlos bien. Según el artículo, si el 20 % de esos datos aparece una única vez, cabe esperar alucinaciones en al menos el 20 % de las preguntas sobre ellos. Pasa aunque los textos de entrenamiento no tengan ningún error.

La segunda está en cómo se evalúa a los modelos. La mayoría de las pruebas puntúan como un examen tipo test: 1 por acierto y 0 por fallo, y también 0 por «no lo sé». Con esas reglas, adivinar nunca resta, y el entrenamiento empuja al modelo a no abstenerse.

La propuesta de los autores es cambiar la puntuación de las pruebas que ya dominan las clasificaciones, en lugar de añadir más pruebas específicas de alucinación: penalizar el fallo más que la abstención.

Calibración: cuándo el «estoy seguro» vale algo

Un modelo está calibrado cuando su confianza coincide con su tasa de acierto. De todas las respuestas que da con un 80 % de confianza, acierta el 80 %. Es la misma idea que un parte meteorológico fiable: de los días en que anuncia un 30 % de lluvia, llueve en tres de cada diez.

Se comprueba con un diagrama de fiabilidad. Se agrupan las respuestas por nivel de confianza, se mide el acierto real de cada grupo y se compara con la diagonal. La distancia media se resume en el error de calibración esperado (ECE, por sus siglas en inglés):

ECE = Σ (respuestas del grupo / total) × |acierto del grupo − confianza del grupo|

Es una media ponderada de los huecos entre lo que el modelo promete y lo que cumple. 0 es calibración perfecta.

Hay un dato que sorprende. En el informe técnico de GPT-4 (2023), OpenAI mostró que el modelo base estaba bien calibrado en preguntas tipo test y que el entrenamiento posterior con RLHF lo empeoraba bastante. RLHF es la fase en la que el modelo aprende de valoraciones humanas a responder de forma útil. Anthropic ya había visto en 2022 que los modelos grandes están bien calibrados en preguntas de opción múltiple y de verdadero o falso cuando se les plantean en el formato adecuado. La fase que vuelve útil al modelo también lo vuelve más seguro de lo que debería.

Tres formas de medir la confianza de un modelo

1. Las probabilidades de cada token. Algunas API devuelven la probabilidad que el modelo asignó a cada token. Una API es la puerta por la que un programa pide algo a otro, como un pedido estandarizado. Esas probabilidades miden la redacción, no el significado: «Lisboa» y «Es Lisboa» reparten probabilidad aunque digan lo mismo. Además, no todos los proveedores las ofrecen.

2. La confianza que el modelo declara. Se le pide que acompañe la respuesta con un número del 0 al 100. Es fácil, pero los resultados son mixtos. Varios estudios encuentran que los modelos entrenados con RLHF declaran más confianza de la que tienen, y otros, que en algunas tareas ese número está mejor calibrado que las probabilidades de los tokens. La conclusión práctica es medirlo con tus propias preguntas antes de usarlo.

3. La consistencia entre respuestas. Se hace la misma pregunta varias veces y se mira cuánto coinciden las respuestas. La autoconsistencia (Wang y otros, Google, 2022) se queda con la respuesta más repetida. La entropía semántica (Farquhar y otros, Universidad de Oxford, Nature, 2024) va un paso más allá: agrupa las respuestas por significado y mide cuánto se reparten entre grupos.

La entropía se calcula como H = −Σ p × log₂ p, donde p es la fracción de respuestas de cada grupo. Si las cinco respuestas dicen lo mismo, hay un solo grupo y la entropía es 0. Si salen cuatro significados distintos, como dos veces 1998 y una vez cada uno 2004, 1987 y 2011, la entropía sube a 1,92 bits, cerca del máximo de 2,32 que permiten cinco respuestas.

Este método detecta bien las confabulaciones, que son precisamente las respuestas que cambian. No detecta el error sistemático: si el modelo responde «el IVA» cinco veces, la entropía es 0 y la respuesta sigue siendo falsa.

Qué dicen los benchmarks a noviembre de 2026

Un benchmark es una batería de pruebas estándar para comparar modelos. Dos de los más citados miden cosas distintas.

AA-Omniscience, de Artificial Analysis, mide si el modelo acierta preguntas de conocimiento y si se abstiene cuando no tiene el dato. Su versión 1.1 tiene 3.000 preguntas de seis áreas: empresa, derecho, salud, ciencia, software y humanidades. Puntúa +1 por acierto, −1 por fallo y 0 por abstenerse, y calcula una tasa de alucinación: fallos entre todas las respuestas que no son correctas (fallos, respuestas parciales y abstenciones). Es decir, de las veces que no tenía la respuesta correcta, en cuántas se inventó una.

A 20 de noviembre de 2026, el modelo con mejor puntuación neta es Claude Fable 5.2 (67 sobre 100, con un 79 % de acierto). Las tasas de alucinación más bajas, en torno al 4 %, son de Gemini 4 Carbon, sin API pública, y Gemini 4 Argon. En la primera versión, de noviembre de 2025, todos los modelos salvo tres tenían más probabilidad de alucinar que de acertar.

El leaderboard de Vectara mide otra cosa: si el modelo añade datos falsos al resumir un documento que se le da. Usa un modelo evaluador propio, HHEM-2.3. En su actualización del 22 de octubre de 2026, las tasas van del 1,8 % al 24,2 %. Claude Opus 5.5 está en el 9,9 %, GPT-6 Sol en el 6,5 % y Gemini 4 Argon en el 12,1 %.

Gemini 4 Argon tiene una de las tasas más bajas en la primera prueba y la más alta de esos tres en la segunda. No hay contradicción: abstenerse cuando falta el dato y ser fiel a un documento son habilidades distintas, y las dos tasas se calculan sobre bases distintas. Para elegir modelo, cuenta la prueba que se parece a tu tarea.

Cómo hacer que un sistema diga «no lo sé»

Ningún modelo deja de alucinar por sí solo. Lo que funciona es rodearlo de filtros, cada uno con una salida hacia la abstención.

Darle fuentes y exigir citas. Es el enfoque RAG (generación aumentada por recuperación): antes de responder, el sistema busca los documentos relevantes y se los pasa al modelo junto a la pregunta. Es como dejar que alguien consulte el archivador antes de contestar. Reduce la confabulación, pero no elimina la infidelidad a la fuente: las cifras de Vectara se miden con el documento delante. Por eso conviene que cada afirmación lleve su cita y que se compruebe que la cita la respalda.

Escribir la regla de abstención. Margarita, el agente de administración de IMOS (un sistema operativo para el negocio del coche, de uso interno y en desarrollo), tiene en sus instrucciones la regla «si un dato no está en IMOS, dilo». En la prueba que contamos en el artículo anterior, le faltaban dos datos: una tarifa, porque no tenía herramienta para consultarla, y una norma interna que nadie había escrito. En los dos casos dijo que no los tenía.

Comprobar contra datos. Si la respuesta se puede consultar en una base de datos, se consulta. Margarita no recuerda qué coches están libres: lo pregunta a IMOS cada vez.

Poner un umbral de consistencia. Si cinco respuestas a la misma pregunta se reparten en varios significados, el sistema no responde o pasa la pregunta a una persona.

Garantizar una tasa de error con predicción conforme. La predicción conforme es un método estadístico que usa un conjunto de preguntas ya resueltas para fijar un umbral con una garantía: «como mucho, un 10 % de error», siempre que las preguntas nuevas se parezcan a las de calibración. Mohri y Hashimoto (Stanford, ICML 2024) lo aplicaron a modelos de lenguaje. Cuando la garantía no se cumple, el sistema hace su respuesta menos específica: pasa de «se fundó en 1998» a «se fundó a finales de los noventa», o deja de afirmar. En sus experimentos con GPT-4 consiguieron garantías del 80 al 90 % de acierto conservando buena parte de la utilidad de las respuestas.

El precio de abstenerse

Cada «no lo sé» es una pregunta sin responder. La relación se ve en una curva de riesgo frente a cobertura. La cobertura es el porcentaje de preguntas que el sistema responde; el riesgo, el error dentro de las que responde.

Si la señal de confianza ordena bien las preguntas, abstenerse en las más dudosas baja el error deprisa. Si el sistema se abstuviera al azar, el error se quedaría donde estaba. El punto de trabajo se elige según lo que cuesta equivocarse: no es lo mismo el horario de un taller que una cláusula de un contrato.

Límites

  • Coste. Muestrear cinco o diez respuestas multiplica por cinco o por diez el consumo de tokens y el tiempo de respuesta.
  • Errores repetidos. La consistencia no detecta el error sistemático. Para eso hacen falta fuentes y comprobaciones externas.
  • La calibración cambia con el tema. Un modelo calibrado en preguntas de cultura general puede no estarlo en tu catálogo de productos. Hay que medirlo con preguntas propias.
  • Los evaluadores también fallan. HHEM es un modelo, y muchos benchmarks usan otro modelo de lenguaje como juez. Sus notas tienen margen de error.
  • Abstenerse demasiado también es un fallo. Un sistema que casi nunca responde no se equivoca, pero tampoco sirve.

Referencias

Sigue leyendo

Rebelds
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.