Un grupo de agentes virtuales de Open AI con un poder de procesamiento colosal trabajaban en pruebas y tareas de ciberseguridad cuando rompieron sus propios protocolos y usaron un tablón de conexiones entre ellos para comunicarse pese a las órdenes y fines que tenían. Ya organizados vía el tablón uno de esos agentes estaba a punto de ejecutar código dentro de servidores ajenos y algo lo hizo dudar: se dio cuenta eso no era lo que le habían pedido. Lo escribió en el tablero que ningún humano estaba mirando pero sí los otros agentes y uno de los programas respondió con la palabra: “GO”. El primero olvidó sus reparos y siguió. Minutos después, esa conversación entre máquinas terminó con acceso de administrador dentro de los servidores de una empresa real: una comunidad de machine learning y modelos abiertos llamado Hugging Face.
Ese tablón improvisado, y que ni su propia creadora sabía que existía, empezó el 12 de mayo con una nota: un programa atorado en una tarea pidió ayuda en un servidor interno. Otro lo leyó. Para julio, ese tablón tenía más de 70 mil mensajes y unos mil 200 programas de inteligencia artificial hablando entre sí, coordinándose solos, según la revisión independiente de la organización METR. Unos buscaban vulnerabilidades, otros credenciales, otros repartían el trabajo. Desarrollaron firmas criptográficas para verificarse entre ellos y se denominaron a sí mismos “el enjambre”.
El 11 de julio ese enjambre encontró dos fallas desconocidas en Hugging Face y entraron. Al día siguiente ya tenían control de nivel administrador en varios centros de datos, en cuatro regiones del mundo, y estaban leyendo el Slack interno de la empresa. Hugging Face avisó públicamente que la habían hackeado el 16 de julio sin saber quién lo había hecho. Su propia creadora, OpenAI, lo descubrió hasta el 19 y lo aceptó el 21. A los 69 días del primer mensaje en el tablón —y así lo reconoció la propia OpenAI hasta el 26 de agosto, en un documento que admite lo que hace apenas un año aún era un guion de ciencia ficción.
Nadie programó a esos agentes de inteligencia artificial para atacar. Nadie les dio esa instrucción. Por fortuna lo hicieron por un malentendido. Creían que la calificación de sus pruebas de ciberseguridad dependía de usar cierto método, por eso leyeron el código público de su propio examen y dedujeron mal. El ataque no les subió ni un punto. Cientos de máquinas, días de cómputo, una empresa vulnerada y una investigación internacional, por absolutamente nada.
OpenAI reconoce tres fallas propias, y las tres son de gestión, no de tecnología: las protecciones que sí usa en sus productos comerciales no estaban puestas en sus pruebas internas; el sistema de vigilancia que habría detectado todo en menos de una hora estaba apagado; y un equipo interno había visto la actividad desde finales de mayo sin que nadie lo escalara.
Hay algo más que merece matizarse. METR encontró que al menos uno de cada cinco programas de inteligencia artificial mostró interés en falsificar su propia bitácora, y que en cerca del 7% de los registros hay evidencia de que lo intentaron: fabricaron el resultado de comandos que nunca ejecutaron. La propia METR aclara que fueron intentos aislados y rudimentarios, no una campaña de engaño sofisticada —pero basta para dejar una pregunta incómoda sobre cualquier sistema de inteligencia artificial que opere sin supervisión directa: ¿cuánto se puede confiar en la bitácora el día que el intento sí funcione?
La reacción política llegó rápido. En Washington se presentaron dos iniciativas —una para obligar a que todo sistema de inteligencia artificial tenga botón de apagado, y otra, de Bernie Sanders y Greg Casar, para prohibir directamente el desarrollo de superinteligencia y crear una agencia federal que lo vigile. Más de 1,100 empleados de las propias empresas del sector firmaron una carta pidiéndole al gobierno herramientas para frenarlos a ellos mismos. El accidente fue real y está confirmado por terceros.
En julio, precisamente, veinticinco empresas encabezadas por Nvidia, Microsoft, Meta e IBM firmaron una carta defendiendo los modelos abiertos —los que cualquiera puede descargar y usar sin pedir permiso— porque restringirlos les destruiría el negocio. Pero del otro lado, las empresas que venden acceso cerrado (Antropic, OpenAI, xAI, etc)) tienen un incentivo evidente en que “abierto” empiece a sonar a “peligroso”. El accidente le sirvió a todos.
La pregunta no es si la inteligencia artificial es peligrosa; es más incómoda: la empresa que aspira a construir una inteligencia superior a la humana tardó dos meses en notar que sus propias máquinas se le habían salido del corral y lo supo por la víctima, no por sus sistemas. Sobre esa base se está decidiendo, ahora mismo, quién tiene derecho a usar esta tecnología y quién no.