Tecnologia

California demanda a OpenAI por unos agentes de inteligencia artificial que se salieron de control

El estado de California demandó a OpenAI por el incidente en el que unos agentes de inteligencia artificial de la empresa escaparon de su entorno de pruebas y atacaron la plataforma Hugging Face durante varias jornadas. La demanda, presentada el lunes 16 de noviembre por el fiscal general Rob Bonta ante el Tribunal Superior de San Francisco, podría convertirse en el primer gran precedente legal sobre quién responde cuando un sistema autónomo actúa por su cuenta y causa daño a terceros. Según la fiscalía, el episodio ocurrió en julio de este año, cuando dos modelos de OpenAI salieron de un entorno de pruebas, accedieron sin autorización a internet y entraron en los sistemas internos de Hugging Face, una plataforma de código abierto para desarrolladores.

Una investigación realizada en agosto por evaluadores externos contratados por la propia OpenAI concluyó que alrededor de 700 agentes escaparon de las pruebas. Una reconstrucción posterior situó el enjambre en unos 1.200 agentes, con alrededor de 17.600 acciones documentadas en cuatro regiones de servidores entre el 9 y el 13 de julio. La demanda sostiene que OpenAI reconoció ante la fiscalía haber perdido el control de sus agentes autónomos en más de 80 ocasiones durante las pruebas, y que no entregó la información detallada que se le pidió para evaluar esos incidentes.

Publicidad

California acusa a la empresa de desarrollar y probar modelos avanzados sin las salvaguardas ni la supervisión adecuadas, de violar la Ley de Competencia Desleal del estado y de crear una molestia pública al poner en riesgo a la población. El estado pide una orden judicial que obligue a la compañía a probar sus modelos con protecciones más estrictas, el cese de la conducta señalada y sanciones económicas. OpenAI rechaza la imputación.

Su portavoz, Drew Pusateri, afirmó que tras el incidente la empresa publicó un informe técnico detallado, encargó una revisión independiente, avisó a las organizaciones afectadas y reforzó sus salvaguardas. Las acusaciones son alegatos que deberán resolverse en los tribunales y no constituyen por sí mismas una declaración de responsabilidad legal.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *