La firma, con sede en la ciudad estadounidense de San Francisco y desarrolladora de la herramienta Claude, aseguró en un informe que una desaceleración mundial en el desarrollo de IA de última generación sería “probablemente una buena idea”.
Pero advirtió que, si solo una empresa frena, sus rivales podrían simplemente adelantarse en la carrera.
“Creemos que sería bueno para el mundo tener la opción de disminuir o pausar temporalmente el desarrollo de vanguardia de la IA para permitir que las estructuras sociales y la investigación sobre alineamiento sigan el ritmo del avance de la tecnología”, señaló.
Lograr que una suspensión real funcione significaría que múltiples colosos de la IA en varios países, principalmente en China y Estados Unidos, acuerden detenerse de manera unánime, bajo reglas que todos puedan verificar, dijo Anthropic.
“Sin un mecanismo global de coordinación, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras enfrentan presiones competitivas y geopolíticas”, señaló.
Otros actores de la industria y funcionarios de la Casa Blanca han rechazado la posición de esta empresa, al considerar que se enfoca en los peores escenarios y exagera los riesgos para frenar a sus rivales bajo el pretexto de la seguridad.
Aun así, la Casa Blanca ha reconocido el poder del modelo Mythos de la empresa, que no se ha puesto a disposición del público en general debido a sus capacidades de ciberseguridad y que actualmente solo se utiliza en un pequeño número de organizaciones seleccionadas.
Los funcionarios estadounidenses y ejecutivos de las grandes tecnológicas han argumentado además que disminuir el desarrollo de la IA podría ceder una ventaja significativa a China.
Sin embargo, el presidente Donald Trump dijo que en su reciente visita a Pekín se discutió la posibilidad de cooperar con el gigante asiático en asuntos de seguridad de la IA.
Trump también firmó una orden ejecutiva esta semana que permitirá al gobierno realizar evaluaciones preliminares de los modelos de IA más poderosos de empresas estadounidenses antes de su lanzamiento.
Reducción del papel humano
Anthropic comparó el problema con los tratados de control de armas nucleares, pero señaló que sería aun más difícil de abordar, ya que el entrenamiento de la IA es mucho más fácil de ocultar que un silo de misiles, y la tentación de seguir adelante en silencio sería enorme.
La empresa dijo que planea reunir a funcionarios, científicos, grupos de defensa y empresas de IA competidoras en los próximos meses para determinar cómo podría funcionar un sistema de este tipo.
Según Anthropic, datos internos muestran que la IA acelera de manera dramática su propio desarrollo, lo que puede crear un ciclo de retroalimentación que eventualmente lleve a lo que los investigadores llaman “superación recursiva”.
Se trata de la idea de que un sistema de IA pueda enseñarse a sí mismo a ser más inteligente.
“Aún no hemos llegado a ese punto, y la superación recursiva no es inevitable”, señala el informe. Pero podría llegar antes de que la mayoría de los gobiernos e instituciones estén preparados para afrontarla, agregó.
“Las pruebas sugieren que el papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA”, advirtió Anthropic.
