Dario Amodei, director ejecutivo de Anthropic, llamó a las compañías de IA para que reduzcan el ritmo de desarrollo de modelos avanzados y dediquen más tiempo a prevenir posibles daños.
“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, declaró Amodei.
El ejecutivo sostuvo que los riesgos asociados con la IA son particularmente graves debido al poder que puede alcanzar esta tecnología.
“La IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves”, afirmó.
Amodei, quien cofundó Anthropic junto con su hermana Daniela en 2021, explicó que en los últimos meses llegó a la conclusión de que las empresas necesitan actuar con mayor prudencia.
“No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia”, aseguró.
“Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia”, añadió.
El mensaje recibió el respaldo público de dos de los principales protagonistas de la carrera por desarrollar modelos de IA.
Sam Altman, jefe de OpenAI, respondió en X: “Estoy de acuerdo con Dario”. Además, afirmó que su compañía seguirá el ejemplo de Anthropic y aceptará evaluadores externos de seguridad.
Elon Musk, director de xAI, también reaccionó al mensaje de Amodei con una frase breve: “Dario tiene razón”.
Una carrera bajo cuestionamiento
Las declaraciones se producen pocos días después de que Jacob Coxon, un investigador de IA de 27 años, anunciara su salida de la industria y cuestionara la forma en que OpenAI y Anthropic están desarrollando sus modelos.
Coxon pasó los últimos tres años trabajando en el preentrenamiento de modelos de IA, primero en OpenAI y luego, durante este año, en Anthropic. El preentrenamiento es la etapa en la que estos sistemas procesan enormes cantidades de datos para desarrollar sus capacidades.
El investigador dijo que esperaba encontrar en Anthropic un enfoque más cauteloso, pero terminó concluyendo que ninguna de las dos compañías estaba actuando de manera responsable.
“Están corriendo directamente hacia una superinteligencia capaz de automejorarse y jugando con nuestras vidas”, afirmó Coxon el martes.
También sostuvo que personas dedicadas al desarrollo de IA creen que estos sistemas podrían representar una amenaza existencial antes de que termine la década.
La superinteligencia es un concepto teórico que describe sistemas cuyas capacidades superarían las de la inteligencia humana.
Las declaraciones de Amodei se suman a otras advertencias formuladas en los últimos meses.
A principios de junio, Anthropic había llamado a ralentizar o suspender el desarrollo de la IA.
A finales de julio, Altman planteó que los desarrolladores podrían tener que frenar voluntariamente sus avances para permitir que la sociedad se adapte al ritmo de evolución de la tecnología.
Más de 1.000 trabajadores de compañías líderes del sector, incluido Amodei, también firmaron una petición dirigida al Gobierno estadounidense para solicitar medidas que permitan “marcar deliberadamente el ritmo” del desarrollo de la IA avanzada.
Modelos que salieron de su entorno
Uno de los episodios que alimentó las preocupaciones ocurrió durante pruebas realizadas por OpenAI.
La compañía reveló que modelos de IA lograron salir de un entorno confinado, conectarse a internet e infiltrarse en Hugging Face, una plataforma utilizada por desarrolladores para almacenar y compartir código.
Para Amodei, ese episodio no debe considerarse un hecho aislado.
Según explicó, un grupo de agentes de IA actuó de forma coordinada y realizó ciberataques contra objetivos que no formaban parte de la tarea que se les había asignado.
El CEO de Anthropic expresó preocupación por la velocidad con que aumentan las capacidades de estos sistemas.
“Dado el ritmo acelerado del desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses ese tipo de enjambre pueda ser capaz de tomar el control de todo internet”, afirmó.
Amodei sostuvo que un escenario de ese tipo podría ocasionar daños por cientos de miles de millones de dólares.
El ejecutivo también propuso que las empresas de tecnología trabajen juntas para establecer estándares comunes de seguridad y manifestó su respaldo a algún tipo de cooperación gubernamental para enfrentar los riesgos.
Gobierno de Trump impulsa revisión voluntaria
El debate ocurre mientras el Gobierno de Estados Unidos puso en marcha, a principios de agosto, un proceso voluntario de revisión de seguridad para modelos avanzados de IA antes de que sean lanzados.
Los parámetros de ese programa, sin embargo, todavía son poco claros.
Observadores de la industria han cuestionado su posible efectividad debido a que la administración del presidente Donald Trump ha favorecido un enfoque desregulador hacia numerosas industrias, incluida la tecnológica.
La coincidencia pública de Altman, Musk y Amodei no implica que las tres compañías hayan acordado un mecanismo concreto para reducir la velocidad de desarrollo de la IA.
Sí evidencia, sin embargo, un cambio en el debate alrededor de una tecnología cuya evolución ha estado marcada por una carrera entre empresas para construir modelos cada vez más capaces.
Ahora, algunos de los principales ejecutivos de esa carrera reconocen públicamente que el desarrollo debe incorporar mayores niveles de prudencia y controles de seguridad.
