Ir al contenido
WikiMundo

Alucinación (inteligencia artificial)

🔍
✏️ Editar🕓 Historial🔗 Enlaces
Alucinación (IA)
Tipo de fenómeno Error de modelo de lenguaje
Campo Inteligencia artificial
Año de acuñación del término c. 2018
Modelos afectados LLMs, modelos de traducción automática, chatbots, sistemas de generación de texto, modelos multimodales
Sinónimos Confabulación (en algunos contextos), invención, alucinación artificial

1. Resumen[editar]

En el ámbito de la inteligencia artificial, particularmente en los modelos de lenguaje de gran tamaño (LLM por sus siglas en inglés), el término alucinación describe el fenómeno por el cual un sistema genera información que no es fiel a los datos de entrada, a su base de conocimiento entrenada, o a hechos verificables de la realidad. La información producida puede ser gramaticalmente correcta y semánticamente coherente, pero contener imprecisiones fácticas, contradicciones, eventos inventados, fechas erróneas, citas falsas o referencias a entidades que no existen. A diferencia de un simple error de cálculo o una laguna de conocimiento, la alucinación se caracteriza por la aparente confianza con la que el modelo presenta el dato incorrecto como cierto, lo que representa un desafío central para la fiabilidad y despliegue seguro de estas tecnologías.

El término fue tomado prestado de la psiquiatría y la neurología, donde una alucinación es una percepción sensorial sin un estímulo externo real que la provoque. La metáfora subraya la desconexión entre la “experiencia” del modelo (el texto que genera) y la “realidad” del corpus en el que se basa. La comunidad investigadora ha identificado este problema como una de las principales barreras para la adopción de IAs generativas en campos de alto riesgo como la medicina, el derecho, el periodismo y la educación.

Las causas de la alucinación son múltiples y se investigan activamente. Incluyen sesgos en los datos de entrenamiento, la naturaleza probabilística de la generación de texto (que no razona, sino que predice el siguiente token más plausible), las limitaciones del contexto de entrada, la falta de una base de conocimiento factual externa durante la inferencia, y los incentivos implícitos durante el ajuste fino que priorizan la fluidez y el compromiso con las instrucciones del usuario por encima de la exactitud verificable.

Empresas como OpenAI, Google DeepMind, Meta AI y Anthropic, así como grupos de investigación académicos, trabajan en métodos de mitigación que incluyen la generación aumentada por recuperación (RAG, por sus siglas en inglés), el ajuste fino con datos de alta calidad, el aprendizaje por refuerzo con retroalimentación humana (RLHF), la verificación encadenada de hechos, y la integración de herramientas externas como calculadoras o intérpretes de código para reducir las invenciones en dominios factuales y matemáticos.

El concepto ganó atención masiva con el lanzamiento público de ChatGPT por OpenAI en noviembre de 2022. La facilidad con la que el sistema inventaba referencias académicas, biografías de personajes históricos y explicaciones pseudocientíficas se convirtió en un tema viral en redes sociales y en la prensa global. Desde entonces, la “tasa de alucinación” se ha convertido en una métrica estándar, aunque controvertida, para comparar el rendimiento de distintos modelos de lenguaje.

2. Definición y terminología[editar]

No existe una definición única y universalmente aceptada de “alucinación” en IA, pero la esencia común a todas las formulaciones es la generación de información no soportada por los datos de entrenamiento o el contexto.

En la literatura técnica, se distinguen varias categorías de alucinación. Las alucinaciones intrínsecas son aquellas en las que la salida generada contradice directamente la fuente de información proporcionada al modelo (por ejemplo, en una tarea de resumen de un texto dado). Las alucinaciones extrínsecas son aquellas que no pueden ser verificadas ni refutadas a partir de la información de entrada o de la ventana de contexto, pero que entran en conflicto con el conocimiento factual del mundo. Dentro de estas, algunas son fácilmente refutables (como una fecha histórica incorrecta) y otras son más difíciles de verificar sin un motor de búsqueda externo.

El término confabulación es a veces preferido en neurología computacional y por algunos investigadores de IA para enfatizar el paralelismo con el síndrome neuropsicológico humano en el que un paciente llena vacíos de memoria con narrativas ficticias pero coherentes, sin intención de engañar. Sin embargo, en la práctica mediática y empresarial, “alucinación” se ha impuesto como el estándar de facto para describir el fenómeno.

Es fundamental diferenciar la alucinación de otros fallos de los sistemas de IA. No es un error sintáctico o gramatical; la salida alucinada suele ser perfectamente fluida. Tampoco es un sesgo en el sentido estricto, aunque los sesgos pueden aumentar la probabilidad de ciertos tipos de alucinación. Tampoco es desinformación programada intencionalmente, aunque un actor malicioso podría explotar sistemas propensos a alucinar para producirla. La alucinación emerge como una propiedad no deseada de la arquitectura y el proceso de entrenamiento de los modelos generativos actuales.

3. Causas técnicas[editar]

Las causas de la alucinación en modelos de lenguaje son múltiples, interrelacionadas y, en parte, inherentes a la arquitectura de los sistemas actuales. La investigación identifica los siguientes factores principales:

3.1. Compresión de información durante el entrenamiento[editar]

Durante la fase de preentrenamiento, el modelo se ve obligado a comprimir terabytes de texto de la web en sus parámetros (cientos de miles de millones de números). Esta compresión es con pérdida, inevitablemente. El modelo no memoriza cada hecho, sino que aprende representaciones estadísticas de patrones, correlaciones y estructuras. Cuando se le interroga por un hecho poco frecuente o una combinación de conceptos escasamente representada, la salida más probable según sus distribuciones estadísticas puede ser una reconstrucción imperfecta de la realidad, es decir, una alucinación.

3.2. Naturaleza probabilística de la generación[editar]

Los modelos autorregresivos como GPT-4, Claude de Anthropic o Gemini de Google generan texto token por token, prediciendo en cada paso cuál es el siguiente token más probable dado el contexto previo. No “razonan” en un sentido deductivo humano. Pueden construir una oración lógicamente impecable que comienza con “La capital de Francia es” y continuar con “Berlín” si, en el espacio latente del modelo, una confabulación de secuencias hace que “Berlín” sea estadísticamente plausible después de una secuencia no monitoreada. El muestreo de temperatura más alto, que favorece la creatividad, incrementa la probabilidad de alucinaciones al alejar al modelo de los caminos de mayor probabilidad factual.

3.3. Datos de entrenamiento ruidosos y contradictorios[editar]

La web contiene enormes cantidades de información errónea, contradictoria, desactualizada y sesgada. Si el conjunto de datos de entrenamiento no está perfectamente curado —y ningún conjunto de escala web lo está—, el modelo aprende de fuentes que se contradicen entre sí. Aprenderá, por ejemplo, que la misma persona nació en fechas diferentes según la base de datos consultada. En esos casos, el modelo puede “promediar” o “inventar” una respuesta que no coincide con ninguna de las fuentes.

3.4. Limitaciones del contexto[editar]

Aunque los modelos modernos tienen ventanas de contexto de cientos de miles de tokens, la atención sobre fragmentos muy largos no es perfecta. Cuando se le pide que opere sobre un texto extenso (por ejemplo, resumir un libro o analizar un contrato de 200 páginas), el modelo puede “olvidar” información clave del principio del documento y rellenar esos huecos de memoria contextual con alucinaciones que parecen coherentes pero que no están en el texto original.

3.5. Sesgo de exposición durante el ajuste fino[editar]

El ajuste fino supervisado (SFT, por sus siglas en inglés) y el RLHF enseñan al modelo a ser servicial, a seguir instrucciones, a ser creativo y a mantener un tono conversacional. Este proceso puede penalizar respuestas como “No lo sé” o “No tengo esa información”, empujando al modelo a dar siempre una respuesta, incluso cuando no tiene una base factual sólida. El modelo aprende que generar una respuesta plausible pero inventada es a menudo preferible, desde la métrica de recompensa, a admitir ignorancia.

4. Tipos de alucinaciones comunes[editar]

Las manifestaciones de la alucinación son extremadamente variadas, pero pueden agruparse en categorías recurrentes observadas en la práctica.

4.1. Invención de entidades y eventos[editar]

El modelo genera nombres de personas, empresas, productos o proyectos que no existen. Por ejemplo, inventa un artículo con título, autores y DOI en un campo científico real, o describe una supuesta ley con un número de artículo falso. También puede crear eventos históricos ficticios, combinando elementos reales en una cronología y narrativa nueva pero falsa.

4.2. Contradicción de la fuente[editar]

En tareas de resumen o respuesta a preguntas basadas en un texto dado, el modelo afirma algo directamente contrario a lo que dice la fuente. Puede atribuir una cita a una persona que en el texto dice lo contrario, o resumir la posición de un autor invirtiendo su significado.

4.3. Errores factuales sutiles[editar]

En lugar de una invención completa, el modelo distorsiona un dato real: cambia un año por otro cercano, confunde el orden de los eventos en una biografía, atribuye un premio a un destinatario incorrecto, fusiona los currículos de dos personas en uno solo. Estos errores son especialmente peligrosos porque son difíciles de detectar para un lector no experto que confía en la autoridad aparente del texto.

4.4. Alucinaciones matemáticas y de código[editar]

Los modelos de lenguaje no son calculadoras. Pueden realizar razonamientos paso a paso impresionante y, en el penúltimo paso, cometer un error aritmético básico, generando un resultado final completamente incorrecto. De igual manera, pueden generar fragmentos de código en lenguajes de programación que sintácticamente parecen correctos pero que invocan funciones inexistentes o contienen vulnerabilidades lógicas.

4.5. Alucinaciones multimodales[editar]

En modelos que procesan imágenes y texto, como GPT-4V o Gemini, las alucinaciones pueden tomar la forma de descripciones de objetos, colores o textos que no están presentes en la imagen proporcionada. Por ejemplo, pueden leer un cartel en una foto donde no hay ningún texto, o identificar erróneamente un animal con un grado de detalle falso.

5. Consecuencias y riesgos[editar]

La propensión a alucinar tiene consecuencias que van desde lo anecdótico hasta riesgos sistémicos, según el dominio de aplicación.

En el ámbito legal, un abogado que utilizó ChatGPT para preparar un escrito judicial presentó citas de jurisprudencia inventadas por el modelo, lo que resultó en sanciones profesionales para el letrado y una notoriedad mediática del caso en 2023. El uso de sistemas de IA generativa en la redacción de contratos, informes periciales o sentencias sin verificación humana introduce un riesgo de falsificación de fuentes.

En medicina y salud, un chatbot que alucina síntomas, interacciones farmacológicas o dosis puede causar un daño directo si un paciente o incluso un profesional sanitario confía ciegamente en la información. La OMS y otras organizaciones han emitido advertencias sobre la necesidad de regular el uso de IAs conversacionales en contextos de salud.

En el periodismo y la información pública, las alucinaciones pueden acelerar la propagación de noticias falsas. Un redactor que pide a un modelo un resumen de un evento reciente y recibe una versión con detalles inventados, pero con un tono de alta credibilidad, puede publicar información errónea con aparente respaldo editorial.

En la educación, los estudiantes que utilizan asistentes de IA para investigar pueden incorporar datos falsos en sus trabajos académicos sin ser conscientes de ello, erosionando la integridad del proceso de aprendizaje y evaluación.

En la experiencia de usuario y la reputación empresarial, los chatbots de atención al cliente que prometen acciones que no pueden cumplir (devoluciones, excepciones a la política, características de producto inexistentes) generan expectativas falsas y exponen a las empresas a reclamaciones y sanciones por publicidad engañosa.

6. Estrategias de detección y mitigación[editar]

La mitigación de las alucinaciones es una de las áreas más activas de investigación en IA y se aborda desde múltiples frentes.

6.1. Generación aumentada por recuperación (RAG)[editar]

La estrategia RAG (Retrieval-Augmented Generation) consiste en no confiar solo en el conocimiento paramétrico del modelo. Antes de generar una respuesta, el sistema consulta una base de datos vectorial, un motor de búsqueda o un repositorio documental actualizado. Los fragmentos recuperados se insertan en el contexto del modelo con la instrucción de basar su respuesta exclusivamente en esa información. Esto reduce drásticamente las alucinaciones factuales, aunque no las elimina por completo: el modelo aún puede malinterpretar los fragmentos recuperados.

6.2. Verificación encadenada y descomposición de preguntas[editar]

Técnicas como la “cadena de verificación” (Chain-of-Verification) instruyen al modelo para que, tras generar una primera respuesta, realice una serie de preguntas de verificación sobre los hechos clave, las responda utilizando búsquedas o razonamiento, y corrija la salida original en consecuencia. Otras aproximaciones descomponen una consulta compleja en sub-consultas factuales más simples que son menos propensas a la confabulación.

6.3. Ajuste fino con penalización de alucinaciones[editar]

Se han desarrollado conjuntos de datos específicos donde se etiquetan alucinaciones en las respuestas de los modelos, y se utiliza esa retroalimentación para un ajuste fino que penalice explícitamente la generación de información no atribuible. Técnicas como el aprendizaje contrastivo entrenan al modelo para distinguir entre una respuesta respaldada por la evidencia y una alucinación.

6.4. Uso de herramientas y verificación de salida[editar]

Integrar calculadoras, intérpretes de código (como Python) y motores de búsqueda directamente en el flujo de inferencia permite al modelo delegar tareas que no puede realizar de forma fiable internamente. Por ejemplo, ante una pregunta matemática, el modelo puede generar y ejecutar código para calcular el resultado en lugar de predecir el token numérico. La verificación post-hoc con sistemas externos de comprobación de datos es otra línea prometedora, aunque costosa computacionalmente.

6.5. Transparencia y diseño de interacción[editar]

A nivel de producto, muchas implementaciones han adoptado interfaces que no ocultan la incertidumbre. Muestran las fuentes de las que se extrajo la información, etiquetan las respuestas con un grado de confianza, y animan al usuario a verificar la información crítica de forma independiente. Un diseño que no presiona al modelo a siempre responder, y que permite un “no lo sé” o “necesito buscar más información”, es en sí mismo una estrategia de mitigación.

7. Ejemplos notables de alucinación en la historia reciente[editar]

El fenómeno, aunque intrínseco a la tecnología, se ha visibilizado a través de casos concretos ampliamente difundidos:

  • Las citas legales ficticias de 2023: En el caso Mata v. Avianca[sin verificar], un abogado en Nueva York, EE.UU. presentó un documento con más de media docena de decisiones judiciales inventadas por ChatGPT. El juez del caso, al no encontrar los precedentes, inició un proceso de sanciones que culminó con una multa a los abogados implicados y una amplia cobertura mediática sobre los peligros de la IA en la abogacía.
  • La “piedra del estómago” de la vida diaria: Durante demostraciones tempranas de los modelos, se volvieron virales ejemplos como la recomendación médica de ingerir una piedra pequeña al día para la salud digestiva, una alucinación generada a partir del patrón de textos de remedios caseros mezclados con metáforas no literales.
  • Biografías falsas de personajes públicos: Numerosas figuras han reportado que chatbots asignan a sus biografías cargos que nunca ocuparon, familiares inexistentes o logros académicos ficticios. Esto ha generado debates sobre el derecho de rectificación en entornos generativos.
  • Referencias académicas fabricadas: Investigadores han rastreado la aparición de artículos científicos con referencias bibliográficas inventadas por modelos de lenguaje, incluyendo autores falsos con apellidos y afiliaciones convincentes, en preprints y repositorios no sometidos a revisión por pares.

El término “alucinación” ha trascendido el discurso técnico y se ha instalado en el lenguaje cotidiano. En redes sociales, foros como Reddit y comunidades en español, los usuarios comparten capturas de pantalla con las invenciones más disparatadas de los chatbots, en una mezcla de humor y advertencia. Es común encontrar compilaciones con títulos como “Las peores alucinaciones de la IA” que incluyen desde invenciones de especies animales hasta declaraciones políticas falsas.

La popularización del concepto ha provocado un cierto nivel de desconfianza instructiva entre los usuarios, que aprenden a no tomar las respuestas de los modelos como verdades absolutas. Sin embargo, también ha surgido una variante de riesgo opuesto: el escepticismo total hacia cualquier información generada por IA, incluso cuando esta es correcta y verificada, desacreditando una herramienta útil en entornos controlados. La alfabetización digital y la formación en prompting crítico se han identificado como necesidades educativas urgentes en el mundo hispanohablante.

La metáfora psiquiátrica “alucinación” también ha sido objeto de debate por su carga estigmatizante. Organizaciones de salud mental han señalado que asociar involuntariamente a las personas que experimentan psicosis con máquinas “defectuosas” puede reforzar estereotipos injustos. Algunos investigadores abogan por adoptar “confabulación” o incluso neologismos como “generación factualmente incorrecta (FGI)”, aunque el término original sigue siendo el más ampliamente reconocido.

En el ámbito del entretenimiento, la serie Black Mirror y otras producciones de ciencia ficción han explorado escenarios de desinformación masiva catalizada por IA generativa, llevando el concepto de alucinación artificial a un plano distópico. La noción de una IA que no miente, sino que sinceramente “ve” una realidad alternativa, conecta con debates filosóficos sobre la naturaleza de la verdad y la percepción.

9. Presencia y discusión en el mundo hispanohablante[editar]

La comunidad tecnológica de habla hispana ha abordado la alucinación desde múltiples ángulos. Medios especializados como Xataka México, Hipertextual y FayerWayer han dedicado portadas a explicar el concepto y ofrecer guías para identificar información falsa generada por ChatGPT, Gemini y Copilot. En foros y comunidades de Telegram y Discord de desarrolladores latinoamericanos, los debates sobre RAG, cuantización de modelos y ajuste fino contra alucinaciones son frecuentes.

En el ámbito académico, congresos y redes de investigación iberoamericanas han incluido talleres específicos sobre fiabilidad, veracidad y mitigación de alucinaciones en modelos de lenguaje, y grupos universitarios de España y de América Latina publican sobre el tema en revistas y repositorios de preprints.

La preocupación por la alucinación también ha llegado al sector público. En España, la Agencia Española de Protección de Datos (AEPD) ha publicado guías sobre el uso de IA en el tratamiento de datos personales que mencionan los riesgos de las decisiones automatizadas basadas en información incorrecta. En América Latina, las discusiones sobre regulación de IA en países como Chile, Brasil y Argentina incluyen la transparencia algorítmica y la responsabilidad por los contenidos generados como ejes centrales, directamente vinculados al problema de la alucinación.

Algunas startups hispanohablantes están desarrollando soluciones especializadas en reducción de alucinaciones para el mercado hispanohablante, incluyendo ajuste fino contra las particularidades del español y modismos regionales, donde los modelos globales a menudo tropiezan produciendo regionalismos artificiales o incoherencias culturales.

10. Relación con la desinformación y el ecosistema informativo[editar]

La alucinación no es desinformación en estado puro, porque no hay intencionalidad. Pero se convierte en un vector de desinformación cuando sus salidas no verificadas se incorporan a ecosistemas informativos humanos o automatizados. Un mal actor puede inducir deliberadamente alucinaciones mediante prompts adversarios diseñados para que el modelo propague un bulo concreto con apariencia de neutralidad.

De manera más sutil, la presencia de herramientas de IA generativa en la redacción de contenidos web está creando un efecto de contaminación del ecosistema informativo digital. Si un modelo alucina un dato, y esa salida se publica en un blog o foro indexado por motores de búsqueda, ese dato puede ser posteriormente absorbido como parte del corpus de entrenamiento de futuras versiones de modelos, creando un ciclo de retroalimentación de alucinaciones que se auto-referencian y se auto-validan. Investigadores han bautizado este riesgo como “colapso del modelo” (model collapse) cuando la proporción de datos sintéticos no verificados crece excesivamente.

Las plataformas de verificación de hechos (fact-checking) en español, como Maldita.es en España o Chequeado en Argentina, han incorporado secciones dedicadas a desmentir contenidos generados por IA, incluidas alucinaciones que se viralizan en WhatsApp o redes sociales. Su labor es cada vez más compleja, porque el formato de la alucinación —texto fluido, aparentemente bien articulado— resulta especialmente convincente para audiencias no especializadas.

11. Futuro de la investigación y desafíos abiertos[editar]

La eliminación completa de las alucinaciones se considera, por muchos investigadores, un problema fundamentalmente no resuelto e incluso posiblemente inherente a la arquitectura de los LLMs probabilísticos. Mientras el proceso de generación sea estadístico y no esté anclado en una comprensión semántica del mundo, la posibilidad de que el modelo fabrique detalles será difícil de erradicar por completo.

Líneas de trabajo a largo plazo incluyen el desarrollo de arquitecturas neuro-simbólicas que combinen redes neuronales con motores de razonamiento lógico y bases de conocimiento estructuradas; modelos que mantengan un modelo interno explícito del estado del mundo que se actualice con cada interacción y contra el cual se verifiquen las declaraciones; y sistemas que puedan atribuir cada afirmación factual a una fuente, generalizando el concepto de RAG a un principio de diseño central. La comunidad investigadora coincide en que, a corto y medio plazo, la combinación de modelos más potentes con sistemas externos de verificación y diseños de interacción más honestos sobre la incertidumbre es la vía más prometedora para convivir con una tecnología que no dejará de alucinar por completo en el futuro inmediato.

Mientras tanto, la educación del usuario sigue siendo la defensa más importante. Comprender que un chatbot de IA generativa no es un oráculo, sino un simulador estadístico de lenguaje con una inmensa capacidad para sonar convincente, es la vacuna más eficaz contra los efectos de las alucinaciones artificiales.