OpenAI lo admite: ChatGPT alucina mucho, y más si es un modelo de pago

Los chats conversacionales de inteligencia artificial, como ChatGPT o Gemini han caído como una bendición para muchas personas, tanto a nivel laboral como personal. Sin embargo, estas IAs esconde

La tesis principal del estudio es que los modelos alucinan no porque sean inherentemente propensos a la fantasía, sino porque los procedimientos de entrenamiento y evaluación les recompensan por adivinar en lugar de admitir la incertidumbre.

El análisis de las causas se realizó en dos fases del ciclo de vida de un modelo:

1. Fase de entrenamiento: los errores surgen por presiones estadísticas.
2. Fase de evaluación: los errores persisten por un diseño de prueba deficiente.n un peligroso doble filo: las alucinaciones. Este fenómeno se produce cuando la IA genera información que parece plausible y convincente, pero que es más falsa que billete de 6 euros.Aunque este error puede ser inofensivo en conversaciones informales, se convierte en un riesgo inaceptable en campos de alto riesgo como la medicina o el derecho. Un estudio de OpenAI y el Georgia Institute of Technology ha revelado la verdad detrás de este comportamiento: los modelos alucinan no porque estén diseñados para hacerlo, sino porque su sistema de entrenamiento y evaluación los recompensa por ello.Esto se da con más frecuencia en los modelos avanzados (o sea, si pagas es probable que recibas respuestas más mentirosas).
   

   Por qué miente la IA

Causa 1: Presiones estadísticas durante el entrenamiento

A un nivel muy básico, los modelos de IA aprenden a predecir la siguiente palabra en una secuencia, una tarea que puede verse como una serie de decisiones binarias. El modelo está constantemente intentando clasificar si una afirmación es válida o no basándose en los miles de millones de datos con los que ha sido entrenado.

Sin embargo, cuando se encuentra con información muy específica, rara o que no tiene un patrón claro (por ejemplo, el año exacto en que nació un personaje histórico poco conocido, mencionado solo una vez en un texto), el modelo se encuentra en un dilema. No tiene suficientes datos para distinguir si esa información es un hecho aislado o un simple error. En esta situación, las presiones estadísticas lo empujan a generar una respuesta que suena correcta, incluso si es incorrecta.

Según el estudio, la IA no está «inventando» de forma maliciosa, sino que está cometiendo un error de clasificación que es un subproducto natural del proceso de aprendizaje. Es como un estudiante que, al no tener una regla clara, se ve forzado a adivinar la respuesta en un examen.

Causa 2: La epidemia de la evaluación

Aquí es donde el estudio se vuelve más crítico y lo llama una causa «socio-técnica». La forma en que se miden los modelos de lenguaje en la industria, a través de benchmarks (exámenes de referencia), es el principal motor de las alucinaciones. Estos exámenes están diseñados para premiar la precisión binaria: una respuesta es correcta (1 punto) o incorrecta (0 puntos). No hay un punto intermedio.

Si un modelo se enfrenta a una pregunta difícil y dice «No lo sé», su puntuación es de cero. Si en su lugar se arriesga, incluso con una respuesta que parece plausible, tiene la posibilidad de acertar y obtener un punto. El modelo, al estar optimizado para maximizar su puntuación, «aprende» que es mejor adivinar que abstenerse. Este incentivo crea un ciclo vicioso en el que la falta de fiabilidad se premia indirectamente. El estudio describe esto como una «epidemia de penalizar la incertidumbre» que ha moldeado el comportamiento de la IA.

Las IAs más avanzadas son las más mentirosas

Según el estudio, los modelos más avanzados alucinan más. Por ejemplo, en el conjunto de datos de preguntas y respuestas sobre personas (PersonQA), un modelo avanzado de OpenAI llegó a inventarse respuestas el 33% de las veces, duplicando la tasa de su versión anterior. El modelo más pequeño, o4-mini, obtuvo un resultado aún peor, con un 48 %. Y eso a pesar de que ambos modelos mostraron mayores habilidades matemáticas.

Esto sugiere que a medida que los modelos se vuelven más inteligentes en ciertas tareas, también se les incentiva a ser más audaces y menos cautelosos, lo que los lleva a generar más afirmaciones falsas pero convincentes. La principal conclusión del estudio es que las alucinaciones no son un fallo insondable, sino la consecuencia lógica de un sistema que penaliza la honestidad.

Esta afirmación la podemos constatar desde Marketing4ecommerce, ya que solemos utilizar ChatGPT de pago para varias tareas. De hecho, hemos creado varios GPTs para distintas tareas específicas y hemos notado que, con el paso del tiempo, en vez de mejorar con el aprendizaje, estos modelos se vuelven cada vez más imprecisos y se van alejando de las directivas iniciales.

Hay que cambiar las reglas del juego

El estudio propone una solución que va más allá de construir modelos más grandes y complejos. La respuesta no reside en la tecnología, sino en la filosofía de evaluación. Los investigadores argumentan que, en lugar de crear nuevos exámenes específicos para detectar alucinaciones, la industria debería cambiar las reglas de los exámenes existentes.

La propuesta es modificar la forma en que se califica a los modelos para que la honestidad sea recompensada. Las nuevas métricas de evaluación deberían seguir un sistema más sofisticado que el simple «todo o nada»:

• Penalizar errores seguros: un modelo que da una respuesta incorrecta con alta confianza debería ser penalizado, restándole puntos.
• Recompensar la incertidumbre: un modelo que dice «no lo sé» cuando la respuesta es incierta debería recibir un crédito o, al menos, no ser penalizado con un cero.

Esta es la misma lógica que se aplica en algunos exámenes de opción múltiple donde las respuestas incorrectas restan puntos, lo que anima a los estudiantes a dejar la pregunta en blanco si no están seguros. Al hacer este cambio, se puede guiar a la industria a desarrollar modelos que no solo sean más precisos, sino también más confiables y honestos sobre sus propias limitaciones.

Nuestro friendly consejo: nunca confíes en una IA.

Foto: Nano Banana

[…]

La entrada OpenAI lo admite: ChatGPT alucina mucho, y más si es un modelo de pago se publicó primero en Marketing4eCommerce.