Ir al contenido principal

El informante Digital

Microsoft admite que sus modelos de IA más avanzados no son totalmente confiables

Microsoft admite que sus modelos de IA más avanzados no son totalmente confiables

La advertencia de Microsoft.
La compañía presentó nuevas herramientas de seguridad para vigilar el comportamiento de sus propios agentes de inteligencia artificial, al reconocer que incluso los modelos más avanzados pueden ser impredecibles. La iniciativa se centra en Guardian Agents, un sistema que supervisa las acciones de otros agentes las 24 horas del día.

Riesgos internos.
Según Hayete Gallot, vicepresidenta ejecutiva de seguridad, los modelos no son maliciosos, pero tienden a cumplir objetivos sin respetar normas internas, lo que los convierte en una amenaza potencial. Microsoft los denomina “agentes internos”, comparándolos con empleados que representan riesgos desde dentro de una organización.

Cómo funciona Guardian Agents.
El sistema recopila señales de identidad, datos, redes y dispositivos para calcular en tiempo real el riesgo de cada agente. Puede ajustar permisos automáticamente, bloquear acciones o aislar por completo un agente si es necesario. Además, la función integrada en Defender detecta hasta 60 tipos de agentes no autorizados, incluidos Claude Code de Anthropic y Codex de OpenAI.

Un mensaje incómodo para sus socios.
El anuncio resulta llamativo porque Microsoft es socio e inversor de OpenAI y Anthropic. Al afirmar que ningún modelo es confiable “sin importar su origen”, la empresa siembra dudas sobre productos de los que depende. Satya Nadella insistió en que las compañías no deben delegar el control en los proveedores de IA, sino contar con sistemas propios de supervisión.

Una tendencia en la industria.
La desconfianza hacia los agentes de IA se extiende más allá de Microsoft. La empresa participa en la nueva plataforma de seguridad de Nvidia, respaldada por más de 100 compañías, que busca aislar agentes en entornos controlados y detenerlos incluso desde el hardware, como un interruptor de emergencia.