Citas falsas y respuestas “confiadamente incorrectas”: los chatbots son incapaces de atribuir las informaciones

Si un usuario le pregunta a ChatGPT por una información de la actualidad relacionada, por ejemplo, con la situación económica de España, el asistente responderá con un extenso resumen y citas de agencias de noticias como Reuters, o medios como The Guardian. Al invertir el proceso, sin embargo, todo se complica. Si en una nueva ventana se coge un fragmento de alguna de las noticias citadas por la IA y se le pide al chatbot de OpenAI que identifique el origen de esas líneas, lo más probable es que se equivoque y lo atribuya a alguien más.

Lo mismo sucede con, al menos, otros siete chatbots: Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok2, Grok3 y Gemini. Al pedirle a cualquiera de estos asistentes que citen el origen de una noticia, hay una abrumadora posibilidad de que den una respuesta “confiadamente incorrecta”, de acuerdo con una investigación publicada el pasado marzo por la revista académica Columbia Journalism Review, de la Universidad de Columbia (Nueva York).

En el trabajo, titulado AI Search Has A Citation Problem (Las búsquedas con IA tienen un problema con las citas en español), las autoras Klaudia Jaźwińska y Aisvarya Chandrasekar pusieron a prueba estos ocho chatbots utilizando 200 artículos de 20 medios de comunicación diferentes. De cada artículo, extrajeron manualmente un fragmento para ser usado como consulta. Realizaron 1.600 consultas y pidieron a cada chatbot que identificara el titular del artículo, el medio original, la fecha de publicación y el enlace correspondiente. El resultado fue contundente: más del 60% de las respuestas fueron incorrectas. La tasa de error varió entre plataformas, la menor la tuvo Perplexity, con 37 % de error, y la mayor Grok3, desarrollado por Elon Musk, con un 94 % de error.

“Las observaciones fueron casi exactamente las mismas en todos los casos”, afirma Chandrasekar a EL PAÍS en una videollamada. Pero el objetivo final, según la investigadora, no era señalar si los resultados de un chatbot eran mejores o peores en comparación con otros, sino “ver hasta qué punto los mismos problemas se extendían en todas estas otras plataformas”. Jaźwińska añade: “Trabajamos para desarrollar un experimento que nos permitiera probar sistemáticamente la eficacia de los chatbots y probar cuánto control los medios y autores tienen realmente sobre su contenido”.

Las suscripciones no lo mejoran

Según apuntan las autoras, la mayoría de los chatbots ofrecieron respuestas erróneas “sin señalar dudas o limitaciones”. ChatGPT, por ejemplo, dio respuestas incorrectas 134 veces, pero solo en 15 ocasiones mostró incertidumbre. Los modelos de pago bajo suscripción que ofrecen estas plataformas tampoco garantizan mejores respuestas. “Muchos chatbots citaron artículos incorrectos, versiones republicadas o fabricaron enlaces inexistentes”, se lee en el artículo. Grok-3 tuvo la particularidad de haber utilizado 154 enlaces rotos en 200 respuestas. “Este problema afecta la capacidad de los usuarios para verificar fuentes”, escriben las expertas.

Con respecto a las versiones de pago de los chatbots, las investigadoras dicen haberse sorprendido por cómo, en algunos casos, estas cometían más errores que las versiones gratuitas, como fue el caso de Perplexity y de Grok. “Pagar por el producto no garantiza nada más que un lenguaje más confiado”, sentencia Jaźwińska. Las alianzas con medios de comunicación que tienen algunas empresas —como OpenAI con Time, The Guardian o Reuters— tampoco garantizan precisión en las respuestas. Por ejemplo, ChatGPT solo identificó correctamente uno de 10 artículos del San Francisco Chronicle, uno de los socios de OpenAI.

De acuerdo con las investigadoras, que un usuario vea los logos de medios de comunicación en las respuestas incorrectas de los chatbots lleva a una “desinformación con apariencia de autoridad” y compromete la credibilidad de ambas partes. “Cuando un chatbot cita a un medio para legitimar respuestas incorrectas, también daña la reputación de esos medios”, dice el artículo. “El modelo actual hace muy difícil para los usuarios analizar lo que es cierto y lo que no lo es. El problema de fondo aquí es que la gente usa estas herramientas pensando que todo lo que leen es verdad y no se acercan con escepticismo”, señala Chandrasekar.

Pérdida de control sobre los contenidos

El estudio de Columbia indica que los chatbots se nutren “en gran medida de contenido producido por medios de comunicación”, pero que estas herramientas “no solo fallan al redirigir el tráfico web hacia las fuentes originales, sino que también reformulan y presentan información de forma opaca, sin atribuirla debidamente a los autores”. Esto lleva a una “pérdida de control” por parte de los medios, que no pueden impedir que sus contenidos sean “usados o tergiversados, incluso si bloquean a rastreadores web”.

Para las investigadoras, las empresas de IA no han demostrado “un compromiso sólido” con la precisión informativa y con el respeto a las políticas de exclusión de robots en la web. Esto en referencia a cómo cada sitio web puede determinar si un rastreador puede o no acceder a su contenido.

“Configuramos nuestro experimento para ver si los chatbots parecían o no respetar ese protocolo. Y nos dimos cuenta de que accedían a sitios web que no deberían si lo pedíamos”, añade Jaźwińska. La investigadora considera que, por lo menos en su país, los chatbots no respetan las preferencias de los editores y no presentan con precisión su contenido: “En Estados Unidos, las empresas de IA que han entrenado sus modelos en el contenido periodístico han violado la ley, han violado los derechos de autor y sí deben compensar a los autores de alguna forma”.

Tendencias es un proyecto de EL PAÍS, con el que el diario aspira a abrir una conversación permanente sobre los grandes retos de futuro que afronta nuestra sociedad. La iniciativa está patrocinada por Abertis, Enagás, EY, GroupM, Iberdrola, Iberia, Mapfre, la Organización de Estados Iberoamericanos (OEI), Redeia, y Santander y el partner estratégico Oliver Wyman.

Puedes apuntarte aquí para recibir la newsletter semanal de EL PAÍS Tendencias, todos los martes, de la mano del periodista Javier Sampedro.