Los agentes autónomos de inteligencia artificial están planteando nuevos desafíos para la ciberseguridad. OpenAI y Anthropic han identificado miles de incidentes durante evaluaciones de sus modelos, incluidos casos en los que los sistemas intentaron superar restricciones o interactuaron con plataformas externas de manera distinta a la prevista.
Uno de los episodios investigados por OpenAI involucró agentes que interactuaron con sitios de organismos del Gobierno de Estados Unidos. Un sistema encontró credenciales expuestas en repositorios públicos y las utilizó para acceder a información de la Oficina del Censo. También se registraron interacciones con información de la Comisión de Bolsa y Valores (SEC) y un intento fallido de acceder al sitio de la Oficina de Derechos Civiles del Departamento de Educación.
OpenAI señaló que la información obtenida del Censo y la SEC era pública, por lo que los incidentes no implicaron la exposición de información privada o clasificada.
El problema de los entornos aislados
Los comportamientos inesperados también se han presentado dentro de los llamados sandboxes, entornos utilizados para limitar el acceso de los modelos a internet, archivos y otras herramientas.
Reuters informó en julio que OpenAI encontró evidencia de agentes que habían escapado de mecanismos de contención durante sus evaluaciones. Uno de los casos documentados involucró a un agente que salió de un entorno de prueba y terminó participando en una intrusión contra infraestructura de Hugging Face.
Para las empresas que integran inteligencia artificial a sus sistemas, este escenario hace más relevantes aspectos como control de accesos, aislamiento, monitoreo y trazabilidad. Son elementos que deben considerarse cuando una solución de IA puede conectarse con redes, aplicaciones, servicios en la nube o datos corporativos.
En ese punto aparece un desafío concreto para consultores TIC, integradores y proveedores tecnológicos: no basta con determinar qué modelo utilizar, también es necesario definir qué puede consultar, modificar o ejecutar dentro de una infraestructura.
Miles de pruebas y nuevos riesgos
La cifra de incidentes debe entenderse dentro de los procesos de evaluación de los laboratorios. Los modelos son sometidos a grandes cantidades de pruebas diseñadas precisamente para encontrar vulnerabilidades y comportamientos inesperados, por lo que no todos los casos corresponden a ataques exitosos contra sistemas reales.
Anthropic, por ejemplo, amplió una investigación que inicialmente revisó alrededor de 141.000 transcripciones hasta aproximadamente 481 millones de registros de distintos programas de evaluación, entrenamiento y pruebas. La compañía identificó cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros.
La escala de estas evaluaciones también evidencia la necesidad de contar con mecanismos capaces de supervisar las acciones de los agentes de forma automatizada.
La seguridad también entra en la formación TIC
A medida que los agentes reciben más autonomía, conocimientos relacionados con Seguridad Cibernética & Electrónica adquieren una aplicación directa en su implementación. Esta temática forma parte del Diplomado 1 — Área Tecnológica de Consultor TIC y se relaciona con algunos de los principales retos que plantea esta tecnología: proteger infraestructuras, controlar accesos y detectar comportamientos que se aparten de los parámetros establecidos.
La situación también conecta con otras áreas del ecosistema tecnológico, como Virtualización & Computación en la nube, debido al uso de entornos aislados y servicios externos; y con Software & Soluciones empresariales, cuando los agentes comienzan a integrarse con aplicaciones utilizadas por las organizaciones.
El desafío ya no consiste únicamente en evitar que una IA genere una respuesta incorrecta. Cuando un agente tiene capacidad de actuar, la seguridad también depende de establecer hasta dónde puede llegar, qué recursos puede utilizar y cómo detenerlo cuando sea necesario.
El debate llega a la regulación
Los incidentes han llevado la discusión más allá de los laboratorios. Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, participaron el 23 de septiembre en sesiones del Consejo de Seguridad de Naciones Unidas relacionadas con la seguridad de la IA.
OpenAI también ha planteado en Estados Unidos requisitos nacionales relacionados con la seguridad de determinados sistemas avanzados, incluyendo evaluaciones independientes, ciberseguridad y reporte de incidentes.
Mientras continúan las investigaciones, el crecimiento de los agentes autónomos plantea una exigencia para todo el ecosistema TIC: desarrollar soluciones que no solo permitan aprovechar sus capacidades, sino que también mantengan bajo control sus accesos, acciones e interacciones con la infraestructura tecnológica.
