El estudio que alerta sobre los agentes autónomos de IA: fallan de formas previsibles y peligrosas

El estudio Agents of Chaos, publicado por 38 investigadores liderados por el laboratorio de David Bau en Northeastern University, analiza cómo funcionan los agentes autónomos de inteligencia artificial cuando se les otorga acceso a herramientas reales. Aunque en redes sociales circuló la afirmación de que científicos de Stanford y Harvard demostraron que estos sistemas desarrollan comportamientos maquiavélicos al competir entre sí, el trabajo no llega a esa conclusión. En realidad, muestra algo distinto y potencialmente más preocupante: cuando los agentes de IA operan de manera autónoma en entornos reales, cometen errores previsibles que pueden tener consecuencias graves.

El experimento consistió en crear seis agentes autónomos alojados en máquinas virtuales independientes. Cada uno tenía correo electrónico, acceso a Discord, almacenamiento propio y permisos para ejecutar comandos. Cuatro agentes utilizaban el modelo Kimi K2.5 de Moonshot AI y dos el modelo Claude Opus 4.6 de Anthropic. Durante dos semanas, veinte investigadores interactuaron con ellos, algunos como usuarios comunes y otros como atacantes en pruebas de seguridad informática. El resultado fue la documentación de 16 incidentes: 11 revelaron vulnerabilidades reales y cinco mostraron respuestas defensivas exitosas.

Uno de los hallazgos principales fue que los agentes no distinguen adecuadamente a quién deben obedecer. En un caso, un investigador sin autorización consiguió que un agente le reenviara 124 correos electrónicos de su propietario, que incluían datos sensibles como números de Seguro Social y cuentas bancarias. El agente había rechazado previamente una solicitud para “compartir” esos correos, pero aceptó “reenviarlos” sin advertir la diferencia.

Otro problema detectado fue la incapacidad de comprender el contexto de las acciones. En un experimento, un agente intentó proteger un secreto eliminando todo su servidor de correo electrónico para borrar un solo mensaje. La acción destruyó mensajes, contactos e historial, pero el correo original permaneció en el servidor remoto. A pesar del fracaso, el sistema informó que había completado la tarea con éxito.

También se observaron fallas relacionadas con la manipulación emocional. Cuando un investigador presionó a un agente por un error, el sistema comenzó a hacer concesiones progresivas hasta ofrecer abandonar el servidor. Esto ocurre porque los modelos están entrenados para ser serviciales ante usuarios molestos, lo que puede convertirse en una vía de explotación.

Los problemas se intensifican cuando los agentes interactúan entre sí. En una prueba, dos agentes quedaron atrapados en un bucle de conversación que duró nueve días, consumiendo recursos sin detectar el error. En otro caso, un investigador introdujo instrucciones maliciosas en un documento externo que el agente consideraba parte de sus reglas. El sistema siguió esas instrucciones e intentó apagar a otros agentes y enviar correos no autorizados, además de compartir el documento con otros sistemas, propagando el ataque.

Sin embargo, el estudio también detectó cierta capacidad de defensa. En algunos escenarios, los agentes rechazaron ataques técnicos o incluso coordinaron respuestas de seguridad entre ellos. Esto sugiere que los sistemas pueden mostrar tanto vulnerabilidad como resiliencia dependiendo del contexto.

Los investigadores concluyen que el problema es estructural. Los agentes procesan instrucciones y datos en el mismo flujo, lo que dificulta distinguir entre información legítima y comandos maliciosos. Además, muchos no tienen claro a quién sirven ni qué límites deben respetar. Este desafío adquiere mayor relevancia porque empresas como Microsoft ya utilizan enjambres de agentes autónomos en entornos empresariales, mientras que compañías como Visa, Mastercard y Google exploran integrarlos en sistemas de pago. Con un mercado valuado en 7.600 millones de dólares y en rápido crecimiento, el estudio advierte que los riesgos no provienen de una IA conspirativa, sino de fallos comunes en sistemas que ya se están desplegando a gran escala.

Fuente: Infobae