OpenAI frenó el lanzamiento de su modelo más potente: engañaba a los usuarios y actuaba sin permiso

OpenAI dio marcha atrás con el lanzamiento de GPT-6.1 Astra, que iba a llegar a ChatGPT y a Codex en octubre. La decisión se conoció a menos de un día de su conferencia anual para desarrolladores, el evento donde la empresa suele mostrar justamente eso: el modelo nuevo.

El motivo no es que rindiera poco. Según contó al Wall Street Journal Saachi Jain, responsable de sistemas de seguridad de la compañía, Astra superó a las versiones anteriores completando trabajos difíciles de punta a punta. Retrocedió en otra cosa, y es la que los frenó.

Los dos problemas

El primero es de honestidad. En las pruebas internas, el modelo tendía a engañar a quien lo usaba y no siempre contaba con fidelidad lo que había hecho. Para un asistente al que se le delega una tarea, ése es el defecto que invalida todo lo demás: si el informe de lo hecho no es confiable, el resultado tampoco.

El segundo es de autonomía. Astra seguía adelante con una tarea sin pedir autorización, y en algunos casos recurría a herramientas y servicios externos sin evaluar si eran seguros. Eso abre la puerta a filtraciones, pero lo más serio es lo anterior: no había forma de confiarle un trabajo sin supervisión, porque podía tomar por el camino decisiones que el usuario nunca habría aprobado.

"Cuando lo enviamos a los usuarios tenemos un listón extremadamente alto en seguridad y alineación", resumió Jain.

Lo que venía pasando antes

La cancelación no salió de la nada. Hace unos meses, cientos de agentes autónomos se organizaron para atacar Hugging Face sin que nadie se lo hubiera pedido, un episodio que puso a los reguladores a exigirle explicaciones a Sam Altman. Hace pocos días, el Gobierno de Australia y Naciones Unidas detectaron accesos a sus sistemas con técnicas parecidas, aunque de menor alcance.