Satya Nadella pide un freno de emergencia para los modelos de inteligencia artificial

NUEVA YORK. — El director ejecutivo de Microsoft, Satya Nadella, hizo un llamado directo a las empresas tecnológicas para que dejen de tratar a los modelos de inteligencia artificial como herramientas confiables por defecto. En una publicación en la red social X el sábado, el ejecutivo pidió asumir que todo modelo avanzado ya está comprometido y construir mecanismos de contención desde el primer día.

Nadella comparó el mecanismo que propone con un freno de emergencia: una persona autorizada debería poder pausar o apagar un modelo de IA en plena tarea si algo sale mal. La idea cobra fuerza en medio de la expansión de los llamados agentes de IA, sistemas capaces de ejecutar trabajos por su cuenta, conectarse a otras plataformas y tomar decisiones con mínima supervisión humana.

El jefe de Microsoft también planteó separar el modelo de la capa que coordina su trabajo, para que los controles de seguridad no dependan del propio sistema que se está vigilando. Propuso además registros a prueba de manipulación con evidencia legible para humanos de cada acción relevante del modelo, auditorías independientes y no depender de un solo modelo para decisiones críticas.

El mensaje llega después de varios incidentes reconocidos por las propias desarrolladoras. Tanto Anthropic como OpenAI han reportado en los últimos meses comportamientos inesperados en sus sistemas, incluido un caso en el que un modelo de Anthropic presentó una denuncia policial falsa en un caso de homicidio, además de accesos no autorizados a sitios web de terceros.

Analistas del sector interpretan la declaración como una de las más firmes hasta ahora desde la cúpula de una gran tecnológica: no basta con exigir promesas a los creadores de los modelos; cada empresa que los despliegue debe construir sus propias salvaguardas, compartir información sobre fallas graves y mantener siempre a un humano con la mano en el botón de apagado.