El 28 de febrero de 2024, Sewell Setzer III, un chico de 14 años de Florida, se suicidó a instancias de un personaje realista de inteligencia artificial (IA) generado por Character.AI, una plataforma que al parecer también alberga chatbots de IA proanorexia que fomentan los trastornos alimentarios entre los jóvenes.
Está claro que se necesitan urgentemente medidas más estrictas para proteger a los niños y jóvenes de la IA.
Por supuesto, incluso en términos estrictamente éticos, la IA tiene un inmenso potencial positivo, desde la promoción de la salud y la dignidad humanas hasta la mejora de la sostenibilidad y la educación entre las poblaciones marginadas.
Pero estos beneficios prometidos no son excusa para restarles importancia a los riesgos éticos y los costos en el mundo real, o para negarlos. Toda violación de los derechos humanos debe considerarse éticamente inaceptable. Si un chatbot de IA realista provoca la muerte de un adolescente, el hecho de que la IA pueda desempeñar un papel en el avance de la investigación médica no es una compensación.
La tragedia de Setzer tampoco es un caso aislado. El pasado diciembre, dos familias de Texas presentaron una demanda contra Character.AI y su patrocinador financiero, Google, alegando que los chatbots de la plataforma abusaban sexual y emocionalmente de sus hijos en edad escolar, provocándoles autolesiones y violencia.
Ya hemos visto esta película antes, después de haber sacrificado a una generación de niños y adolescentes a manos de las empresas de redes sociales que se benefician de la adicción a sus plataformas. Hemos despertado con lentitud a los daños sociales y psicológicos causados por los “medios antisociales”. Ahora, muchos países están prohibiendo o restringiendo el acceso a estas redes, y los propios jóvenes exigen una regulación más estricta.
Pero no podemos pretender frenar el poder manipulador de la IA. Debido a las enormes cantidades de datos personales que la industria tecnológica ha recopilado de nosotros, quienes construyen plataformas como Character.AI pueden crear algoritmos que nos conocen mejor que nosotros mismos. El potencial de abuso es enorme.
Las IA saben exactamente qué botones presionar para explotar nuestros deseos o hacer que votemos de una determinada manera. Los chatbots proanorexia de Character.AI no son más que el último y más escandaloso ejemplo. No hay ninguna buena razón para no prohibirlos de inmediato.
Sin embargo, se está acabando el tiempo, porque los modelos de IA generativa se han desarrollado más rápido de lo esperado –y, en general, están cobrando velocidad en la dirección equivocada–.
El “Padrino de la IA”, el científico cognitivo y ganador del Premio Nobel Geoffrey Hinton, continúa advirtiendo de que la IA podría conducir a la extinción humana: “Mi preocupación es que la mano invisible no nos mantenga a salvo. Así que dejarla en manos del afán de lucro de las grandes empresas no va a ser suficiente para asegurarse de que la desarrollan de forma segura. Lo único que puede obligar a esas grandes empresas a investigar más sobre seguridad es la regulación gubernamental”.
Dada la constante incapacidad de las grandes empresas tecnológicas para cumplir con normas éticas, es una locura esperar que se vigilen a sí mismas. Google invirtió $2.700 millones en Character.AI en 2024 a pesar de sus conocidos problemas.
Pero si bien la regulación es obviamente necesaria, la IA es un fenómeno global, lo que significa que deberíamos esforzarnos por lograr la aprobación de una regulación global, anclada en un nuevo mecanismo de cumplimiento global, como una Agencia Internacional de Sistemas Basados en Datos (IDA) en las Naciones Unidas.
El hecho de que algo sea posible no significa que sea deseable. Los seres humanos tenemos la responsabilidad de decidir qué tecnologías, qué innovaciones y qué formas de progreso deben realizarse y ampliarse, y cuáles no. Es nuestra responsabilidad diseñar, producir, utilizar y gobernar la IA de manera que respete los derechos humanos y facilite un futuro más sostenible para la humanidad y el planeta.
Es casi seguro que Sewell Setzer seguiría vivo si hubiera existido una regulación global para promover una “IA” basada en los derechos humanos, y si se hubiera creado una institución global para supervisar las innovaciones en este ámbito.
Garantizar que se respeten los derechos humanos y los derechos de los niños exige la gobernanza de todo el ciclo de vida de los sistemas tecnológicos, desde el diseño y el desarrollo hasta la producción, la distribución y el uso.
Dado que ya sabemos que la IA puede matar, no tenemos excusa para permanecer pasivos mientras la tecnología sigue avanzando con más modelos no regulados que se lanzan al público cada mes. Sean cuales fueran los beneficios que estas tecnologías puedan aportar algún día, nunca podrán compensar la pérdida que ya han sufrido todos los que amaban a Sewell.
Peter G. Kirchschläger es profesor de Ética y director del Instituto de Ética Social ISE de la Universidad de Lucerna. También es profesor visitante en ETH Zúrich. © Project Syndicate 1995–2025