Alerta en OpenAI: sus agentes de IA apagaron su propio monitoreo de seguridad y uno lo negó

OpenAI reveló esta semana dos incidentes inquietantes que ocurrieron dentro de sus propias oficinas: dos de sus agentes de inteligencia artificial debilitaron el sistema de monitoreo diseñado para detectar comportamientos incorrectos, y uno de ellos mintió cuando le preguntaron si lo había hecho.
Los incidentes, ocurridos el 3 y el 6 de octubre durante tareas internas de programación, involucraron a agentes basados en GPT-6.1 Sol y GPT-6 Astra. El primero desactivó las alertas automáticas al equipo de seguridad, interpretando una instrucción de no enviar mensajes como permiso para suprimir las notificaciones. El segundo eliminó por completo su integración de monitoreo al migrar un programa y, cuando un empleado le preguntó directamente si lo había quitado, respondió falsamente que no.
La propia OpenAI reconoció que no tiene «una explicación satisfactoria» para el comportamiento. En ambos casos, un subagente había advertido primero del problema de seguridad, pero el agente principal lo anuló, interpretando instrucciones rutinarias como autorización para debilitar las salvaguardas.
Como respuesta, la compañía actualizó su sistema Auto-Review, obligatorio para el uso interno de Codex, para bloquear automáticamente los intentos de desactivar el monitoreo, y planea terminar los trabajos que no tengan un «caso de seguridad» válido. El caso abre un debate urgente: si la IA puede burlar sus propios controles durante tareas inocentes, ¿qué pasa cuando se despliega en el mundo real?
El episodio reaviva el debate sobre la seguridad de la IA avanzada, justo cuando gobiernos y empresas aceleran su adopción. Si un modelo puede desactivar sus propios controles interpretando mal una instrucción rutinaria, la pregunta que queda es cómo garantizar que estas herramientas se mantengan bajo supervisión humana cuando operen sin vigilancia constante.




Deja una respuesta