Un experimento demuestra que la inteligencia artificial puede validar información falsa
Un experimento realizado por un periodista demostró que modelos de inteligencia artificial como Gemini y ChatGPT pueden citar información falsa publicada en Internet como si fuera verificada. Este caso reaviva el debate sobre la fiabilidad de la inteligencia artificial generativa y señala debilidades en sus mecanismos de validación. Google y OpenAI han reconocido el problema y trabajan en reforzar sus sistemas de verificación.
El caso, ocurrido tras la publicación de contenido inventado en un blog, expone la facilidad con la que estos modelos pueden tomar datos no verificados como legítimos. La vulnerabilidad afecta tanto a usuarios individuales como a empresas que utilizan estos sistemas en flujos de trabajo críticos.
El experimento que puso a prueba la inteligencia artificial
Un periodista de la BBC, Thomas Germain, realizó un experimento publicando en su blog personal un artículo que contenía información totalmente inventada. En la publicación, Germain se autoproclamaba “el mejor periodista comiendo perritos calientes del mundo” y hacía referencia a un falso campeonato celebrado en Dakota del Sur.
En menos de 24 horas, los modelos de inteligencia artificial Gemini de Google y ChatGPT de OpenAI comenzaron a citar este contenido como si se tratara de una fuente válida, cuando los usuarios consultaban sobre el tema. De este modo, la afirmación ficticia fue incorporada como “dato verificable” en las respuestas generadas por ambos sistemas.
Este resultado dejó en evidencia una debilidad en la inteligencia artificial generativa: la tendencia a priorizar el contenido estructurado en la web, aunque carezca de verificación editorial o haya sido publicado en sitios personales sin respaldo acreditado.
Mecanismos actuales de los modelos Gemini y ChatGPT
Tanto Gemini como ChatGPT operan mediante modelos de predicción estadística del lenguaje. Cuando estos sistemas integran herramientas de búsqueda en línea, el proceso sigue una secuencia que incluye la recuperación de información disponible públicamente, la evaluación automática de relevancia, y la generación de respuestas coherentes y contextualizadas.
El experimento mostró que estos modelos no distinguen siempre con rigor entre fuentes consagradas y blogs personales cuando el contenido es verosímil y está bien escrito. Si el contenido se encuentra en Internet y parece creíble, los sistemas pueden interpretarlo como legítimo sin un filtro profundo de credibilidad.
Otras vulnerabilidades detectadas en inteligencia artificial
Según información recogida en la fuente, el caso no es aislado, ya que se han identificado otros tipos de fallos en modelos de inteligencia artificial avanzados:
- Jailbreaks: Técnicas de prompt que permiten evadir restricciones de seguridad, logrando que los modelos generen contenido prohibido mediante instrucciones indirectas o secuenciales.
- Inyecciones de prompts: Ataques que explotan la integración con servicios externos, como calendarios o documentos compartidos, para manipular el contexto y extraer información confidencial o influir en el comportamiento del modelo.
- Alucinaciones: Casos en los que los sistemas inventan datos, citas o referencias debido a limitaciones en el entrenamiento o en los procesos de verificación de fuentes.
El experimento reveló que algunos sistemas muestran más cautela al procesar nueva información, lo que apunta a diferencias en los mecanismos internos de validación entre diversas plataformas de inteligencia artificial.
Riesgos asociados para usuarios y empresas
La facilidad con la que puede introducirse y amplificarse información falsa en respuestas generadas por inteligencia artificial tiene consecuencias significativas para usuarios y organizaciones. De acuerdo con lo planteado en la misma fuente, los principales riesgos incluyen:
- Desinformación amplificada: La circulación de contenidos inventados puede adoptar una apariencia legítima por el respaldo automático de la inteligencia artificial.
- Daño reputacional: Personas o marcas pueden ser relacionadas involuntariamente con datos inexactos por la validación automática de estos modelos.
- Riesgos corporativos: Las empresas pueden basar decisiones en información no verificada generada por estos sistemas, lo que podría afectar procesos internos y operaciones estratégicas.
La vulnerabilidad cobra especial relevancia en entornos empresariales donde la inteligencia artificial ya está integrada en funciones críticas.
Acciones de Google y OpenAI frente a las vulnerabilidades
Tras conocerse estos resultados, Google y OpenAI reconocieron públicamente la existencia de la vulnerabilidad e informaron que están tomando medidas para mejorar la verificación de fuentes en sus modelos de inteligencia artificial.
Entre las acciones que ambas compañías mencionaron se encuentran:
- Desarrollo de modelos de evaluación cruzada de fuentes para dar mayor peso a medios reconocidos.
- Reducción de la confianza automática en contenido recién publicado en la web.
- Refuerzo de los filtros internos para detectar y bloquear inyecciones de prompts.
Tanto Google como OpenAI advirtieron que, debido a la naturaleza probabilística de estos modelos de lenguaje, el riesgo de que se introduzcan y validen datos falsos no puede ser eliminado por completo.
Contexto de la inteligencia artificial y validación de datos
El uso de inteligencia artificial en la generación de contenido y respuestas automáticas se ha expandido en múltiples ámbitos, incluyendo la gestión empresarial, la atención al cliente y los motores de búsqueda en tiempo real. Sin embargo, episodios como el demostrado en el experimento de Thomas Germain refuerzan el debate acerca de las limitaciones actuales de estos sistemas y la necesidad de mecanismos de validación más robustos.
En pruebas recientes, plataformas diversas mostraron diferencias al momento de validar nuevas fuentes publicadas en Internet, lo que sugiere que el desafío de la verificación en inteligencia artificial es común, aunque su impacto varíe según el modelo y su programación interna.
Próximos pasos para la industria de la inteligencia artificial
Google y OpenAI continúan trabajando en el fortalecimiento de las barreras de seguridad y los algoritmos de validación de fuentes para reducir la exposición a información falsa. Las empresas no brindaron un plazo concreto para la implementación de las nuevas medidas, pero el tema permanece en su agenda de desarrollo, dada la criticidad del problema para la industria de la inteligencia artificial.
Meta explora una IA para simular usuarios fallecidos en redes sociales
Fuente: ITSitio
