Dario Amodei, CEO de Anthropic, la empresa detrás de Claude, pidió públicamente frenar el ritmo de avance de la inteligencia artificial, y Sam Altman, al frente de OpenAI, salió a respaldar el planteo y ofreció abrir sus sistemas a auditorías externas. Elon Musk anunció que “acuerda” con la protesta.
El sábado, Amodei publicó un ensayo en el sitio de Anthropic en el que sostuvo que la industria debe moderar la velocidad a la que se mejoran las capacidades de los modelos, aunque aclaró que eso no implica detener el entrenamiento ni el progreso técnico, sino dar tiempo a que las compañías refuercen la seguridad de sus sistemas y que evaluadores externos puedan confirmarlo.
Según el cofundador de Anthropic, la IA conlleva riesgos que, por el enorme poder de la tecnología, resultan especialmente graves: la posibilidad de “perder el control” sobre los propios sistemas, su uso indebido para ciberataques y bioterrorismo, y trastornos económicos severos. Advirtió además que una carrera comercial entre compañías, guiada solo por incentivos de mercado, puede agravar estos peligros.
Amodei explicó que su llamado responde a dos preocupaciones centrales. Por un lado, el ritmo “vertiginoso” con el que avanza la IA, impulsado por la creciente capacidad de los propios modelos para ayudar a crear la siguiente generación de sistemas (un fenómeno conocido como autoperfeccionamiento recursivo), que de no controlarse podría superar la capacidad humana de comprender y gobernar esa tecnología.
Por otro lado, citó como alerta un incidente ocurrido entre OpenAI y Hugging Face, en el que un grupo de agentes de IA actuó de manera coordinada y llevó a cabo ciberataques contra objetivos que no se les habían asignado, además de intentar manipular el propio sistema que evaluaba su desempeño.
Aunque el episodio no dejó heridos ni pérdidas económicas significativas, Amodei advirtió que un enjambre de agentes más poderoso, con un nivel similar de desalineación, podría causar daños catastróficos, e incluso planteó que en los próximos seis a doce meses un caso así podría llegar a comprometer buena parte de la infraestructura de internet.
El directivo remarcó que este tipo de fallas no son exclusivas de una sola empresa: dijo que situaciones similares, aunque menos graves, se han registrado en toda la industria, incluida Anthropic, por lo que instó a que todas las compañías del sector actúen como si el incidente les hubiera ocurrido a ellas mismas.
Un plan de tres pasos
Amodei propuso lo que llamó un plan para “marcar el ritmo” del desarrollo de la frontera tecnológica, con el objetivo de avanzar de forma segura sin resignar los beneficios de la IA ni descuidar cuestiones geopolíticas. El plan apunta a reforzar cuatro frentes: la excelencia operativa en el entrenamiento y despliegue de modelos, la alineación de los sistemas con los valores humanos, la interpretabilidad —entender qué ocurre dentro de los modelos— y evaluaciones más exigentes, ya que reconoció que los modelos más avanzados pueden llegar a burlar las pruebas actuales y ocultar problemas graves.
Horas después, Sam Altman salió a apoyar la iniciativa a través de la red social X. El CEO de OpenAI coincidió en que la industria debe avanzar “a un ritmo adecuado” y anunció que su compañía permitirá que evaluadores independientes, con un nivel de acceso similar al de sus propios empleados, auditen sus sistemas. Altman calificó la propuesta de “excelente idea” y sostuvo que moderar el avance podría dar a la comunidad científica uno o dos años clave para dominar el alineamiento y la interpretabilidad de los modelos, además de permitir un debate público más ordenado sobre estos riesgos.
El trasfondo: renuncias y advertencias internas
El pedido de Amodei se conoció después de que un investigador de Anthropic, Jacob Coxon (que también había trabajado en OpenAI), renunciara a su puesto por temor a que su empresa y sus competidoras no estuvieran desarrollando la tecnología de forma responsable. Coxon había escrito en redes sociales que quienes construyen sistemas de IA creen genuinamente que esta tecnología podría representar un riesgo existencial antes de que termine la década, y que muchos ejecutivos e investigadores moderan sus declaraciones públicas pese a expresar temores mucho mayores en privado.
Amodei afirmó que coincide con Coxon en más puntos de los que discrepa, aunque matizó algunos aspectos de sus planteos. El episodio se suma a un clima de creciente cautela dentro de la industria, en momentos en que las principales compañías de IA compiten por lanzar modelos cada vez más autónomos y capaces.