Satya Nadella, CEO de Microsoft, pide tratar a la IA como un empleado con poca autoridad y vigilancia total

Satya Nadella, CEO de Microsoft, publicó en Twitter/X una serie de principios para que las empresas no depositen en los modelos de inteligencia artificial la misma confianza que antes daban al software tradicional. Según informó Infobae, el directivo resumió su postura en una frase: "si no se puede observar, no se puede confiar".

El planteo de Nadella separa dos cosas que, según él, hoy se confunden: el suministro de inteligencia artificial y la autoridad para actuar con ella. La publicación aparece justo cuando cada vez más empresas suman agentes de IA que llegan a tocar datos sensibles, sin que casi nadie pueda explicar con precisión por qué un modelo tomó una decisión y no otra.

La base del argumento es técnica. Antes, frente a un error del software, siempre había una línea de código a la que volver para entender qué había pasado. Eso, según Nadella, no funciona igual con los modelos actuales de inteligencia artificial, a los que el directivo califica directamente de cajas negras. Su conclusión es que, si no hay forma de mirar adentro de un sistema, la seguridad no puede apoyarse en confiar en él, sino en cómo se diseña todo lo que lo rodea.

Por eso plantea que las empresas deben "construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener". La idea no es nueva para Nadella: en otra publicación anterior ya había pedido que la tecnología quede bajo supervisión humana, al afirmar que una IA que no ayude a la humanidad "y no está bajo control humano, no vale la pena perseguirla".

La responsabilidad no se delega al proveedor

Nadella fue tajante en un punto que afecta directamente a las empresas que contratan servicios de inteligencia artificial de terceros. Según escribió, "no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre". El matiz importa porque estos agentes dejaron de ser meros generadores de texto o respuestas: hoy deciden y ejecutan tareas por cuenta propia dentro de los sistemas de las organizaciones que los usan.

Frente a esa realidad, el directivo sostiene que las garantías del proveedor del modelo no eximen a la empresa que lo utiliza de asumir las consecuencias de sus actos. La responsabilidad, señala, permanece siempre del lado de quien despliega la tecnología.

Tratar a la IA como un empleado con muchos permisos

La forma concreta en que Nadella propone gestionar ese riesgo es comparar a los modelos de inteligencia artificial con un empleado que tiene muchos permisos dentro de una organización: hay que darle la menor autoridad posible, anotar cada cosa que hace y poder frenarlo en cualquier instante. El directivo aclaró que esto no significa suponer que los modelos son maliciosos, sino reconocer que cualquier sistema con acceso a infraestructura importante puede fallar o quedar en manos de un atacante externo.

Siete principios agrupados en tres ideas

En su publicación, Nadella desarrolló siete principios: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Pueden agruparse en tres ideas.

La primera es la independencia: ningún modelo debe verificarse a sí mismo ni ser la única fuente de un resultado importante, y quien audita un sistema de IA debe ser siempre ajeno a lo que audita.

La segunda idea es la transparencia: cada acción relevante que ejecute un modelo debe dejar un registro legible y protegido frente a manipulaciones, y poder observar la cadena de pensamiento del modelo es, para Nadella, innegociable, aunque reconoce que esa observación por sí sola no basta para garantizar seguridad.

La tercera es la contención, que resume el espíritu general de la propuesta: dar por hecho de antemano que un modelo puede estar comprometido y prepararse para esa posibilidad, con mecanismos listos para detenerlo sin demora y con el compromiso de avisar a los afectados cuando algo sale mal.