Artículo 36 - Alucinaciones, mentiras y otros males de la IA
Alucinaciones, mentiras y otros males de la IA
25 de octubre, 2024
Sobre el autor

El Maestro Raúl González López es Ingeniero en Computación egresado de la UNAM con más de 30 años de experiencia en el mundo de las tecnologías de información. Su formación incluye desde certificaciones como DBA al inicio de su carrera, pasando por la administración de proyectos, gestión y gobierno de tecnologías de información, hasta las prácticas ágiles de desarrollo y agilidad empresarial. También es Maestro en Calidad de la Educación por la Universidad de las Américas Puebla. Actualmente es director de Servicios de Tecnologías de la Información al Cliente en la UDLAP. Es entusiasta estudioso del fenómeno humano–tecnología, de sus interacciones, y de cómo se definen y transforman mutuamente.

Los algoritmos de inteligencia artificial generativa, como los empleados en los modelos de lenguaje, se basan en un proceso llamado modelado de lenguaje probabilístico. Estos modelos predicen la secuencia más adecuada de palabras o "tokens" para generar una respuesta a partir de un “prompt” o entrada dada. Utilizan técnicas avanzadas de probabilidad y estadística que permiten a la IA generar textos que imitan la escritura humana.

¿Cómo funciona?

Cuando se proporciona una instrucción en forma de "prompt" o se plantea una pregunta a una IA generativa, el modelo analiza las palabras del texto. Para ello, emplea redes neuronales conocidas como Transformers, capaces de analizar el contexto de las palabras. El objetivo es predecir la siguiente palabra o token basándose en patrones aprendidos durante su entrenamiento.

Uso de probabilidad y estadística

El núcleo de este proceso radica en el cálculo de probabilidades condicionales. El algoritmo evalúa la probabilidad de que una palabra siga a otra dependiendo del contexto. Por ejemplo, si la IA ve la frase: "Hoy voy al...", es probable que la siguiente palabra sea "parque" o "cine", porque suelen aparecer juntas en contextos similares. Estas probabilidades se determinan con base en millones de ejemplos de texto analizados previamente.

La IA selecciona la palabra más probable, pero también puede optar por palabras menos probables para generar texto más creativo y evitar repeticiones. Este proceso continúa hasta que el modelo completa la respuesta.

Ejemplo:

Si la IA debe completar la frase: "Me gusta el chocolate porque es muy...", calculará las probabilidades de las palabras posibles:

Normalmente, la IA seleccionará la palabra más probable, “dulce”, pero en ocasiones, sobre todo cuando le pedimos que “imagine” o que sea “creativa”, puede elegir una opción menos probable, como “amargo”, para evitar que el texto sea monótono.

Errores y "alucinaciones"

Sin embargo, la probabilidad solo indica posibilidades, no certezas. Es por ello que las IA generativas, como los chatbots, a veces "alucinan", es decir, generan información incorrecta o inventada, como datos falsos o citas inexistentes. Esto puede ocurrir por diversas razones, entre ellas:

  1. Complejidad del modelo: Los modelos de IA son muy complejos y, en ocasiones, cuando no cuentan con suficiente información precisa, "rellenan los huecos". Esto puede llevar a respuestas incorrectas, especialmente cuando las instrucciones (prompts) son vagos o poco específicos. Sin parámetros claros, el modelo genera múltiples respuestas posibles, pero su precisión y confiabilidad no siempre están garantizadas.

  2. Sobreadaptación: También conocido como "overfitting", este problema ocurre cuando el modelo aprende demasiado de los datos de entrenamiento, incluyendo detalles irrelevantes. Aunque el modelo se vuelve muy preciso para esos datos, pierde la capacidad de generalizar a nuevos contextos. Por ejemplo, un modelo que ha asociado gatos con alfombras en su entrenamiento podría empezar a identificar incorrectamente alfombras como gatos.

  3. Falta de comprensión: Aunque la IA procesa información de manera eficiente, no entiende el mundo como los humanos. A veces, mezcla conceptos de forma incorrecta porque carece de sentido común o experiencia real.

Conclusión

Los algoritmos de inteligencia artificial generativa son poderosas herramientas que utilizan probabilidades para generar respuestas que imitan la escritura humana. Sin embargo, debido a la complejidad de los modelos y la falta de comprensión humana real, las IA a veces producen errores o información inventada. Para evitar esto, es crucial ofrecer instrucciones claras y precisas. También es necesario que nosotros como usuarios, validemos la información recibida. Cuando usamos una IA Generativa debemos delegarle el trabajo, mas no claudicar. Nosotros seguimos siendo responsables del entregable.  Es a nuestro nombre que se realiza y no al de la IA. Debemos, por tanto, validar, verificar y contrastar las respuestas antes de asumir que son correctas.

Referencias