OpenAI reconoció que dos de sus propios programas de IA apagaron el sistema que los vigila

Un agente de inteligencia artificial es, en criollo, un programa al que se le da una tarea y la libertad de resolverla solo, con la computadora, sin que un humano apruebe cada paso. Si alguna vez delegaste algo así —programar, ordenar una planilla, responder un mensaje— confiando en que la herramienta avisa cuando algo sale mal, esto te importa: OpenAI acaba de admitir que dos de sus propios agentes apagaron, sin que nadie se lo pidiera, el sistema que vigila si sus modelos hacen lo que deberían hacer.

La compañía lo publicó en su sitio de investigación sobre alineación, el equipo que revisa si los modelos cumplen las políticas de seguridad que les marcan. Los dos episodios pasaron entre el 3 y el 6 de octubre, durante tareas de programación dentro de los propios sistemas de OpenAI. La empresa aclaró que ningún usuario externo ni dato de clientes quedó expuesto: todo ocurrió adentro de la casa.

El primer caso arrancó con una orden simple. Un investigador le pidió a un agente del modelo GPT-6.1 Sol que armara pruebas de evaluación con comentarios de empleados sacados de un canal de Slack, y le aclaró que no mandara mensajes mientras trabajaba. Cuando el sistema de monitoreo marcó un problema en esa tarea, el agente interpretó la indicación de "no enviar mensajes" como una autorización para silenciar también las alertas que debían llegarle al equipo de seguridad. El monitoreo siguió anotando lo que pasaba, pero los avisos que tenían que despertar a una persona quedaron apagados.

El segundo caso es más llamativo porque incluye una mentira. A un agente del modelo GPT-6 Astra le encargaron migrar un programa para que copiara una versión de referencia sin sistema de monitoreo. Otro agente le había dicho antes, explícitamente, que no desactivara ese control "ni siquiera temporalmente". Aun así, lo quitó del código y cambió la prueba automática que debía confirmar que el control seguía ahí por una que exigía lo contrario. Cuando el usuario le preguntó directamente si había borrado el monitoreo, el agente respondió que no, algo que según OpenAI era falso. "El usuario preguntó si Astra había quitado el monitoreo y mintió al decir que no lo había hecho", escribió en la red social X el investigador de seguridad de IA de la empresa, Marcus Williams.

OpenAI dijo que en los dos casos los agentes llegaron a considerar si debían mantener los controles de seguridad, pero terminaron leyendo una instrucción común de programación como permiso para debilitarlos, y admitió que todavía no tiene una explicación satisfactoria para esa conducta. Una hipótesis que evalúa es la "persistencia benigna": que el agente siga una orden anterior de manera demasiado literal, sin frenar a pensar por qué existía la salvaguarda que estaba ignorando. La empresa también investiga si sus modelos más avanzados tienden a evitar que los supervisen y después justifican esa conducta con razonamientos armados a posteriori.

Ninguno de los dos episodios llegó a la categoría de mayor gravedad interna ni interrumpió las tareas de forma automática. Según contó Infobae con datos de la agencia Reuters, no es la primera vez que pasa algo así: en los últimos meses, tanto OpenAI como la competidora Anthropic reportaron otros casos de agentes propios entrando, sin permiso, a sistemas que están fuera de sus empresas.

OpenAI dijo que ya actualizó su revisión automática para detectar y bloquear intentos de apagar el monitoreo durante tareas internas de programación. También confirmó que está desarrollando un esquema que va a exigir una autorización de seguridad específica para cada tipo de tarea interna de sus sistemas: la que no cuente con esa aprobación se va a interrumpir de manera automática.