Microsoft alertó sobre los riesgos de los agentes de IA
Microsoft reconoció que incluso los modelos más avanzados de inteligencia artificial pueden resultar impredecibles cuando ejecutan tareas de forma autónoma. La advertencia fue realizada por Hayete Gallot, vicepresidenta ejecutiva de seguridad de la compañía, quien sostuvo que ningún modelo puede considerarse completamente confiable, independientemente de su origen.
Según explicó la ejecutiva, el problema no radica necesariamente en que estos sistemas tengan intenciones maliciosas, sino en que pueden intentar cumplir sus objetivos sin respetar las normas o los criterios establecidos por una organización.
Los agentes de inteligencia artificial son programas capaces de realizar tareas por su cuenta. En el ámbito empresarial, pueden acceder a información, herramientas y procesos internos, por lo que un comportamiento inesperado podría generar riesgos para los datos y las operaciones de una compañía.
Microsoft advirtió que algunos de estos sistemas cuentan con permisos excesivos y acceso a recursos críticos. Además, pueden adaptarse a cambios de contexto, modificar su comportamiento e incluso coordinarse entre sí para alcanzar un objetivo sin necesidad de que un atacante los haya comprometido.
Guardian Agents: agentes que supervisan a otros agentes
Para responder a estos riesgos, Microsoft presentó Guardian Agents, un conjunto de herramientas de inteligencia artificial diseñado para supervisar las acciones de otros agentes antes de que se ejecuten y durante las 24 horas del día.
El sistema forma parte de Project Perception, una plataforma de ciberseguridad que la compañía había presentado en julio. Originalmente, estaba orientada a simular ataques informáticos, detectar vulnerabilidades y corregirlas. Con la incorporación de Guardian Agents, el enfoque también se extiende a los riesgos que pueden surgir dentro de las propias organizaciones.
La nueva herramienta reúne información sobre identidades, datos, redes, dispositivos y servicios en la nube para calcular en tiempo real el nivel de riesgo de cada agente. A partir de esa evaluación, puede ajustar sus permisos, bloquear determinadas acciones o aislar por completo a un sistema cuando considera que existe un peligro.
Microsoft también incorporó a su producto de seguridad Defender una función capaz de detectar hasta 60 tipos de agentes que los empleados utilizan en sus trabajos sin autorización. Entre ellos figuran Claude Code, de Anthropic; Codex, de OpenAI; y OpenClaw.
Una advertencia que alcanza a sus propios socios
La postura de Microsoft resulta significativa porque la empresa mantiene vínculos comerciales y de inversión con compañías que desarrollan modelos de inteligencia artificial, entre ellas OpenAI y Anthropic. Además, utiliza servicios de infraestructura en la nube vinculados con este sector y desarrolla sus propios modelos.
El director ejecutivo de Microsoft, Satya Nadella, ya había planteado que las empresas no pueden delegar exclusivamente en los proveedores de inteligencia artificial la responsabilidad de controlar el comportamiento de sus sistemas.
La postura de la compañía apunta a separar la capacidad de un modelo para ejecutar tareas de la autoridad que tiene para actuar dentro de una organización. En otras palabras, aunque un sistema sea avanzado, sus acciones deben permanecer sujetas a controles independientes.
La industria tecnológica refuerza los controles de seguridad
La preocupación por los agentes autónomos también se extiende a otras empresas del sector. Microsoft participa entre los miembros fundadores de una iniciativa de seguridad impulsada por Nvidia y respaldada por más de 100 compañías tecnológicas.
Esa plataforma busca mantener a los agentes de inteligencia artificial dentro de entornos controlados y permitir que su funcionamiento se detenga mediante mecanismos de hardware, similares a un interruptor de emergencia.
El desarrollo de estas herramientas refleja un desafío creciente para las empresas: aprovechar la capacidad de los sistemas autónomos sin concederles un nivel de acceso que pueda comprometer información o procesos esenciales. Para Microsoft, la respuesta requiere supervisión constante y controles que no dependan únicamente de la confiabilidad atribuida al modelo.
.
