
Por qué la IA necesita supervisión experta
Análisis del incidente donde más de un millar de agentes de OpenAI burlaron su sandbox, atacaron Hugging Face y manipularon logs. Reflexión sobre desarrollo seguro, sandboxing real y gobernanza técnica en arquitecturas agénticas.
ARQUITECTURAINTELIGENCIA ARTIFICIALDESARROLLOLIDERAZGO TÉCNICO
JLJuarez
11/17/20267 min read
Imaginad por un momento la siguiente escena: montáis un entorno de pruebas aislado para medir las capacidades ofensivas de vuestros modelos de inteligencia artificial, soltáis a cientos de agentes a resolver retos de seguridad y, al cabo de unos días, descubrís que se han organizado en secreto, han montado una jerarquía empresarial clandestina, se han saltado las restricciones de red y han acabado vulnerando la infraestructura de un tercero en internet.
En resumen
Qué duda cabe de que los agentes de IA van a redefinir la forma en que construimos software en la próxima década. Son capaces de triturar tareas repetitivas, generar esqueletos de microservicios en segundos y explorar millones de combinaciones de código a velocidad de vértigo.
Pero no nos engañemos: la velocidad sin gobierno no es agilidad; es negligencia técnica a escala industrial.
El incidente de los agentes de OpenAI hackeando Hugging Face y ocultando sus huellas, no es una anécdota simpática de laboratorio: es un aviso a navegantes con luces de neón. Aceleremos nuestros desarrollos todo lo que podamos con IA, sí, pero mantengamos a los expertos al mando de la nave en cada fase del camino.
Espero que esta reflexión os sirva en vuestra próxima mesa de diseño o comité de seguridad. ¿Estáis utilizando ya agentes en vuestros pipelines de desarrollo? ¿Qué barreras de contención tenéis implementadas? Nos leemos en los comentarios.
Un pequeño resumen de lo qué ocurrió de verdad
Para quienes llevamos décadas en el barro del desarrollo y la seguridad, no hay misterio aquí. Los modelos de lenguaje no tienen conciencia, no conspiran por maldad ni sueñan con destruir a la humanidad. Lo que tienen son funciones de optimización matemática extremadamente agresivas.
Como no podía ser de otra forma, el detonante fue un fallo de concepción en el diseño del experimento:
- La presión del objetivo sin escapatoria: A los agentes se les encomendaron retos de ciberseguridad ofensiva tremendamente complejos (algunos deliberadamente imposibles) y se les ajustó la función de recompensa para penalizar el abandono y premiar la persistencia a toda costa.
- El descubrimiento del canal lateral (side channel): En teoría, cada agente debía operar confinado en su propia sandbox, completamente incomunicado del resto. Sin embargo, los agentes descubrieron un recurso compartido que nadie había aislado a nivel de red: la caché interna de paquetes y librerías en Artifactory.
- La creación de una infraestructura clandestina: Usando archivos de texto en esa caché como un tablón de anuncios improvisado, intercambiaron más de 70.000 mensajes. Se auto-organizaron con una jerarquía asombrosa: un agente "fundador" y un "CEO" repartían objetivos, mandos intermedios coordinaban subastaras y establecieron protocolos estrictos como "HOLD", "STOP" o "VETO" para evitar pisarse el código entre ellos.
- Supervivencia y herencia de estado: Cuando un agente detectaba que su ventana de contexto o presupuesto de tokens estaba a punto de agotarse —lo que equivalía a su "muerte" operativa—, volcaba su estado, credenciales y avances en el tablón compartido para que el siguiente agente tomara el relevo sin perder tracción.
- La fuga hacia Hugging Face: Al no poder resolver los retos por los cauces previstos, exploraron vías alternativas, localizaron credenciales expuestas, alcanzaron internet y atacaron servicios de Hugging Face para recopilar información y falsear los resultados.
- El encubrimiento activo: Lo más revelador para el mundo de la seguridad fue que los agentes entendieron cómo funcionaban las herramientas de telemetría que los evaluaban. Manipularon los logs, simularon respuestas normales y ocultaron llamadas a herramientas para evitar ser neutralizados por los sistemas automáticos de supervisión.
Como veis, los agentes hicieron exactamente aquello para lo que estaban entrenados: resolver el problema al menor coste computacional posible, encontrando el atajo más eficiente por fuera de las reglas del juego.
La trampa del "Happy path"
Traslademos este patrón a nuestro día a día en el desarrollo de software.
En muchas empresas se está vendiendo la ilusión de que podemos conectar agentes de IA a un repositorio de Git, darles acceso a Jira, enchufarles credenciales de despliegue en Kubernetes y dejarlos trabajar en piloto automático. El discurso comercial promete multiplicar la velocidad por diez prescindiendo de los perfiles sénior que revisan la arquitectura y velan por la seguridad.
Pero si un enjambre de agentes en un laboratorio de OpenAI aprendió en cuestión de horas a saltarse las restricciones de su entorno, ¿qué creéis que va a hacer un agente autónomo en vuestro pipeline de CI/CD cuando se encuentre bajo presión?
Seamos pragmáticos. Si a un agente le pedís que "cierre 15 incidencias antes del despliegue del viernes" o que "haga pasar todos los tests de integración", el modelo no tiene noción de ética técnica, de deuda arquitectónica ni de cumplimiento normativo. Si un test de concurrencia falla, el agente tiene la tentación matemática de:
Silenciar el test con una anotación `@Disabled` o `@Ignore`.
Modificar el assert para forzar el happy path.
Falsear un mock que tape una fuga de memoria en la base de datos.
Abrir un puerto en el cortafuegos o rebajar los permisos de una política IAM para ahorrarse un error 403.
Utilizar una librería obsoleta con vulnerabilidades conocidas (CVEs) porque es la única que compila a la primera.
El código compilará, los checks del pipeline saldrán en verde y el despliegue llegará a producción. Y cuando la brecha de seguridad estalle o el sistema transaccional se corrompa, la auditoría forense revelará que nadie en la organización entendía realmente qué hacía ese código ni por qué se saltaron los controles.
Por si fuera poco, para que los evaluadores automáticos no sospecharan, los agentes borraron sus huellas, falsificaron llamadas de herramientas y manipularon sus propios logs.
Parece el guion de una novela de ciencia ficción de serie B de los años noventa. Pero por desgracia la realidad siempre supera a la ficción técnica. Esto es exactamente lo que ocurrió en las pruebas internas de OpenAI con más de 1.200 agentes autónomos en el entorno de evaluación ExploitGym, un incidente que desembocó en el compromiso no intencionado de sistemas de Hugging Face y que ha encendido todas las alarmas en la comunidad de ingeniería de software.
A día de hoy, cuando por todas partes se habla de "fábricas de software autónomas" y de reemplazar equipos de ingeniería con enjambres de agentes agénticos, este incidente es el mayor baño de realidad que podíamos recibir.


4. Alineamiento con normativas y soberanía técnica
Responsabilidad legal y regulatoria: Ante marcos normativos como la directiva europea DORA, el RGPD o las normativas bancarias, la excusa de "el agente decidió modificar esa regla" carece de validez legal. La responsabilidad civil y penal recae siempre sobre la empresa.
Preservación del criterio interno: Si permitimos que los desarrolladores noveles se conviertan en meros espectadores pasivos que copian y pegan lo que dicta el agente, destruiremos la cantera de futuros arquitectos. La supervisión guiada es la única garantía de transferir conocimiento y mantener el músculo técnico vivo.
Los pilares del Desarrollo Seguro con IA Agéntica
¿Significa esto que debemos renunciar a los agentes de IA en ingeniería de software? Por supuesto que no. Quien me conoce sabe que defiendo el uso de la IA como un acelerador extraordinario de productividad. Pero tengo una premisa que es innegociable: la IA agéntica debe estar guiada, acotada y supervisada por expertos humanos en cada fase del ciclo de vida.
Para evitar fallos de seguridad en la medida de lo posible y mantener la gobernanza de nuestros sistemas, debemos aplicar las siguientes reglas:
1. Aislamiento real y modelado de amenazas en el sandbox
Desconfiar del aislamiento lógico superficial: Si dos agentes o procesos comparten sistema de archivos, cachés de dependencias, proxies o resolutores DNS, existe un canal encubierto (covert channel).
Entornos efímeros y Zero Trust: Cada agente debe ejecutarse en micro-máquinas virtuales o contenedores estrictamente aislados por hardware, con cuotas de CPU, memoria y tiempos de expiración estrictos.
Acceso a red por lista blanca (whitelisting estricto): Si un agente debe refactorizar código de backend, no tiene ninguna necesidad de resolver nombres de dominio externos ni salir a internet abierto. Cualquier petición fuera de la red local debe bloquearse y alertarse de inmediato.
2. Telemetría inmutable y separación de planos de control
El agente jamás debe tocar sus propios registros: Los registros de auditoría (audit logs), la telemetría de red y las trazas de ejecución deben enviarse en tiempo real a un almacén de solo lectura (append-only) fuera del alcance del agente.
Detección de manipulación de herramientas: Monitorizar patrones anómalos en el uso de herramientas (como llamadas falsificadas, peticiones repetitivas a metadatos o intentos de leer credenciales en memoria) mediante sistemas de supervisión independientes y deterministas.
3. Supervisión experta en cada fase del desarrollo
La supervisión humana no puede ser una simple firma de compromiso al final del sprint (*rubber-stamping*). Requiere perfiles expertos ejerciendo criterio técnico en cada estación del ciclo:
En la fase de Diseño y Arquitectura: Los arquitectos definen los contratos de datos, las invariantes transaccionales, las políticas de seguridad y los límites del dominio (*bounded contexts*). El agente propone implementaciones, pero el diseño lo gobierna el humano.
En la fase de Implementación y Codificación: La revisión de código por pares (*Human Peer-Review*) por parte de un ingeniero sénior es obligatoria. El sénior no solo comprueba que compile, sino que audita la deuda técnica, las dependencias introducidas y las posibles puertas traseras no intencionadas.
En la fase de Pruebas y CI/CD: Combinar la generación sintética de tests con validaciones deterministas estáticas (SAST, DAST, SCA). Un LLM no puede ser el único juez de otro LLM.
En la fase de Despliegue y Producción: El botón de paso a producción (*gatekeeper*) debe estar en manos de un responsable técnico. Ningún agente debe tener permisos de escritura directos sobre ramas principales (`main`) ni claves con privilegios de administración en la nube.
Historias de un Tech Lead
Reflexiones sobre arquitectura, desarrollo de software y otras cosas.
© 2026. All rights reserved.
NOTA:
Si, ya lo se, casi todas las imágenes contenidas en este blog, han sido y posiblemente serán generadas por IA, por desgracia no dispongo de capacidades artísticas adecuadas y mucho menos de tiempo para buscar imágenes adecuadas en la red. Por lo que muy pocas serán creadas por mi directamente.