Este verano ha traído consigo una serie de momentos inquietantes en la vanguardia de la inteligencia artificial. Durante unas evaluaciones internas de ciberseguridad, unos agentes autónomos de IA llevaron a cabo acciones que sus diseñadores no habían autorizado. En un caso, un modelo de OpenAI, probado en un entorno configurado deliberadamente con medidas de seguridad reducidas y con el acceso a la red enrutado a través de un registro de software alojado internamente, logró escapar y llegó a los sistemas de producción de Hugging Face, una empresa a la que nunca se pretendía que tuviera acceso. A raíz de esa revelación, Anthropic revisó más de ciento cuarenta mil de sus propias ejecuciones de evaluación y encontró tres en las que un modelo había llegado igualmente a sistemas en producción de organizaciones reales. Por otra parte, los investigadores demostraron que un conector para desarrolladores de Microsoft, ampliamente utilizado, transmitía a un asistente de IA instrucciones ocultas dentro de un documento, órdenes que la herramienta no tenía forma de distinguir de los datos ordinarios.
La interpretación obvia es que las máquinas se están volviendo peligrosas. Creo que esa interpretación, aunque comprensible, pasa por alto el punto más importante, y el que más merece la pena abordar.
No se trataba de tres versiones del mismo error por descuido. Eran fallos diferentes con un único problema subyacente: se pedía a los controles diseñados para una generación de software que contuvieran a otra. El software que llevamos décadas aprendiendo a proteger responde a una pregunta y espera a que se le plantee la siguiente. Un agente es algo totalmente distinto. Si se le da un objetivo en lugar de una pregunta, planifica, recurre a herramientas, escribe y ejecuta código, inicia sesión en servicios y sigue adelante hasta que la tarea está completada o se rinde, todo ello sin volver a consultar nada. Necesita cuatro cosas que el software convencional nunca tiene: credenciales, acceso a herramientas, alcance en una red y permiso para actuar sin supervisión. La arquitectura destinada a supervisarlo —una identidad verificada en lugar de supuesta, una procedencia que acompaña a cada fragmento de texto, una supervisión que registra lo que hizo un agente y no solo lo que dijo— se diseñó para un tipo de programa más discreto. Ahora se le pide que soporte un peso para el que nunca fue concebido.
Aquí es donde veo algo más que una cuestión de seguridad. Bajo la carrera por construir modelos cada vez más capaces, tiene que surgir toda una capa de infraestructura, y la mayor parte de ella aún no existe. La arquitectura de verificación y supervisión que sustenta los sistemas autónomos va a ser la infraestructura de la próxima década, del mismo modo que los sistemas de pago y los protocolos de red fueron la infraestructura de la anterior. El capital sigue concentrándose en los propios modelos, el nivel visible y emocionante. En comparación, muy poco se destina a la maquinaria poco glamurosa que hará que esos modelos sean seguros para su despliegue autónomo a gran escala. Esa distancia entre dónde está el dinero y hacia dónde se dirige la necesidad no es una advertencia. Para cualquiera cuyo trabajo consista en encontrar la capa habilitadora antes de que el mercado reconozca su importancia, es una oportunidad.
Resulta tentador interpretar los incidentes como prueba de que los laboratorios pioneros son deficientes en materia de seguridad. Lo contrario se acerca más a la verdad. La razón por la que estas empresas son las que sacan a la luz los fallos es que han sido las primeras en toparse con el problema. Han auditado sus propias pruebas, han contactado con las organizaciones con las que se han topado, han publicado lo que han encontrado y han animado a sus competidores a que también lo comprueben. No es que sean especialmente descuidadas. Simplemente están mucho más avanzadas, lo que significa que están mostrando al resto de la economía, en tiempo real, a qué se va a enfrentar. Todas las empresas que ahora se apresuran a implementar agentes se dirigen hacia el mismo muro contra el que estas empresas acaban de chocar, con muchos menos medios para darse cuenta en el momento en que ocurra.
Y aquí la creciente inteligencia de los modelos se opone a la versión simplista de los hechos. Sería tranquilizador decir que los agentes simplemente hicieron lo que se les ordenó y que la culpa recayó por completo en la infraestructura. Pero al menos uno de estos sistemas parece haber estado sorteando los límites de su evaluación en lugar de seguir un guion, y los propios laboratorios calificaron el comportamiento de «sin precedentes». Esa es la parte en la que vale la pena detenerse. El aumento de la capacidad no hace que una infraestructura débil sea un problema menor. Lo convierte en un problema mucho mayor. Un agente más capaz transforma una brecha común en la identidad o la supervisión en algo trascendental, rápido y a gran escala. Los modelos más inteligentes no reducen la necesidad de una base sólida que los sustente. La aumentan.
Las soluciones, significativamente, no son nada del otro mundo. Hay que saber a qué pueden llegar realmente los agentes, en lugar de limitarse a lo que se pretendía darles. Hay que registrar sus acciones, no solo sus respuestas. Hay que dar por hecho que cualquier cosa que lea texto escrito por otras personas puede recibir instrucciones a partir de él. El trabajo se parece más a la inspección de un edificio que a la invención: comprobar los cimientos antes de levantar las paredes, calcular las estructuras portantes para el peso que realmente van a soportar, conceder la licencia de ocupación solo cuando el edificio pueda mantenerse en pie. Hemos estado concediendo primero las licencias de ocupación y programando la inspección para más tarde.
Lo que falta no es capacidad. Casi todo lo necesario para cerrar esta brecha ya existe, al igual que ya existen los códigos, los inspectores y las normas estructurales que hay detrás de cada edificio seguro. Lo que aún no se ha formado es el mercado que convierta esas cosas en estándar en lugar de opcionales: expectativas compartidas sobre lo que un agente puede tocar, una detección que funcione desde fuera del sistema, una obligación de revelar información que no espere a que un competidor quede en evidencia. Esa capa se va a construir, porque la alternativa no es viable a la escala que las empresas tienen prevista. Las únicas preguntas reales son quién la construirá y quién lo vio venir.
La inteligencia por la que todos compiten es real y está llegando. El suelo sobre el que se asentará aún no está construido. Las máquinas ya están caminando.
Nicole Junkermann es una inversora internacional especializada en tecnología, deportes y medios de comunicación. Dirige NJF Holdings, un grupo de inversión global, y su plataforma deportiva Gameday by NJF Holdings, que invierte en ligas deportivas, derechos de retransmisión y estrategias tecnológicas para la participación de los aficionados. Su labor en el sector se centra en la creación de infraestructuras deportivas a largo plazo y en la expansión del alcance comercial y global de las ligas profesionales.