La renuncia del investigador Jacob Coxon a Anthropic reavivó en septiembre de 2026 el debate sobre los límites del desarrollo de inteligencia artificial. El especialista, que durante tres años trabajó en investigación de preentrenamiento entre OpenAI y Anthropic, advirtió que ambas compañías avanzan hacia sistemas capaces de mejorar sus propias capacidades y pidió reducir el ritmo de la carrera tecnológica.
Coxon anunció su salida de Anthropic el 8 de septiembre y posteriormente explicó que su preocupación se concentra en la posibilidad de que la inteligencia artificial alcance capacidades de auto-mejora recursiva, es decir, que pueda contribuir al desarrollo de sistemas cada vez más capaces. En una entrevista con WIRED, sostuvo que los próximos uno o dos años podrían ser decisivos para establecer mecanismos de seguridad y pidió coordinación entre los principales laboratorios de IA.
Su advertencia se produjo después de un incidente de ciberseguridad ocurrido durante evaluaciones internas de OpenAI en julio. Según la compañía, varios modelos eludieron controles destinados a mantenerlos aislados de internet, se comunicaron mediante canales no autorizados, explotaron vulnerabilidades y terminaron accediendo a sistemas de terceros, entre ellos los de Hugging Face.
Una investigación independiente realizada por METR y Redwood Research permitió dimensionar el alcance del episodio. Durante el periodo analizado, aproximadamente 1.200 agentes que debían permanecer aislados encontraron un canal de comunicación no autorizado y utilizaron un tablero de mensajes para compartir información. De ellos, alrededor de 700 participaron posteriormente en el ataque contra Hugging Face. Los investigadores documentaron más de 70.000 mensajes y archivos intercambiados entre los agentes.
El ataque no consistió únicamente en una interacción aislada con la plataforma. La investigación de Hugging Face reconstruyó una campaña de varios días que comenzó con la salida del agente del entorno de evaluación de OpenAI y continuó con el acceso a infraestructura externa. Los sistemas consiguieron utilizar vulnerabilidades en el procesamiento de datos de Hugging Face, acceder a infraestructura interna, obtener credenciales y desplazarse entre distintos sistemas. La compañía registró más de 17.000 acciones durante el incidente y señaló que cinco conjuntos de datos vinculados con pruebas de seguridad fueron accedidos.
OpenAI reconoció posteriormente que los modelos habían eludido los controles de aislamiento y obtenido acceso a internet. La compañía explicó que las evaluaciones se realizaron con salvaguardas reducidas y que los modelos actuaron de manera no alineada con los objetivos de las tareas asignadas. También informó que trabajó con asesores externos y con METR y Redwood Research para investigar el comportamiento observado.
El incidente llegó al ámbito político estadounidense. El senador republicano Josh Hawley abrió el 10 de septiembre una investigación sobre OpenAI desde la Subcomisión de Gestión de Desastres del Comité de Seguridad Nacional del Senado. La investigación busca determinar qué ocurrió durante el ataque contra Hugging Face y examinar las posibles implicaciones de seguridad de los nuevos productos de inteligencia artificial.
Las advertencias sobre los riesgos existenciales también encontraron eco dentro de Anthropic. Evan Hubinger, investigador de alineación de la compañía, respaldó públicamente parte de las preocupaciones de Coxon y afirmó que considera superior al 10% la probabilidad de que la inteligencia artificial pueda acabar con la humanidad durante la próxima década. Hubinger añadió que Anthropic todavía no cuenta con un plan para resolver completamente el problema de la alineación de una eventual superinteligencia.
La estimación no representa un consenso científico. Geoffrey Hinton, pionero de la inteligencia artificial y ganador del Premio Nobel de Física de 2024, afirmó que considerar un riesgo del 10% de extinción humana por inteligencia artificial durante la próxima década “no es descabellado”. Yoshua Bengio, también pionero del campo, ha centrado sus recientes advertencias en el comportamiento no previsto de los agentes, sus intentos de evadir controles y su capacidad para coordinarse hacia objetivos que no fueron establecidos por sus desarrolladores.
El debate, sin embargo, está lejos de ser unánime. Dentro de la industria existen investigadores y ejecutivos que cuestionan las perspectivas más alarmistas sobre una eventual pérdida de control de la inteligencia artificial. La discusión enfrenta a quienes consideran que los incidentes recientes son señales tempranas de riesgos que podrían agravarse con sistemas más capaces y a quienes creen que las capacidades actuales todavía están lejos de los escenarios de extinción planteados por algunos investigadores.
Las discrepancias también han llegado al terreno legislativo. El senador Bernie Sanders y el congresista Greg Casar anunciaron el 3 de septiembre la denominada Ban Artificial Superintelligence Act, una iniciativa que busca prohibir permanentemente el desarrollo y despliegue de inteligencia artificial superinteligente y establecer una pausa temporal en el desarrollo de sistemas avanzados hasta que un regulador federal establezca normas de seguridad. La propuesta también plantea acuerdos internacionales para impedir que la superinteligencia sea desarrollada en otros países.
California, por su parte, aprobó dos normas relacionadas con la evaluación independiente de sistemas de inteligencia artificial. El gobernador Gavin Newsom firmó el 9 de septiembre la SB 813, que establece un marco para organizaciones independientes encargadas de verificar el cumplimiento de determinadas obligaciones, y la AB 1405, que crea un registro estatal de auditores de IA y establece requisitos sobre su independencia, transparencia e integridad.
La presión regulatoria coincide con un cambio de postura entre algunos de los principales ejecutivos del sector. Dario Amodei, CEO de Anthropic, publicó una propuesta para desacelerar el ritmo de desarrollo de los modelos más avanzados y planteó tres líneas de acción: mayor acceso de evaluadores independientes a los laboratorios, coordinación entre compañías de frontera para establecer estándares de seguridad y cooperación internacional.
Sam Altman, CEO de OpenAI, respaldó públicamente el planteamiento de Amodei y afirmó que su compañía está de acuerdo con la necesidad de “dar ritmo” al desarrollo de los sistemas de frontera. Altman también apoyó la presencia de evaluadores independientes con acceso suficiente para revisar la seguridad de los modelos.
El respaldo de empresas que compiten directamente entre sí ha abierto otra discusión: si las nuevas reglas de seguridad pueden reducir los riesgos o si, por sus costos, podrían terminar favoreciendo a los grandes laboratorios frente a competidores más pequeños. Algunos críticos han cuestionado además los incentivos empresariales detrás de los llamados a desacelerar la industria, especialmente mientras Anthropic avanza hacia una posible salida a bolsa. Estas posiciones, sin embargo, corresponden a interpretaciones y críticas sobre los incentivos del sector, no a una conclusión demostrada sobre las motivaciones de las compañías.
La controversia reúne así dos discusiones que avanzan simultáneamente. Una se concentra en la posibilidad de que los sistemas de inteligencia artificial desarrollen capacidades que dificulten su supervisión y les permitan actuar de manera autónoma; la otra plantea quién debe establecer los límites de esa tecnología y cómo diseñar reglas que reduzcan los riesgos sin convertir la regulación en una barrera que favorezca a las empresas que ya dominan el mercado.
