Era Noviembre del 2016. Amazon Web Services, una subsidiaria de la empresa de comercio en línea Amazon, presentaba con bombos y platillos su nuevo servicio llamado Rekognition. Como se muestra en un video de YouTube, el producto es capaz de analizar fotografías o videos y, por medio de aprendizaje profundo computadorizado (deep learning), podría identificar y darle seguimiento a elementos como rostros, objetos o texto. Estaría disponible para el público en general y a un costo muy asequible.
No es ciencia ficción. Dos años después, este servicio ya está a la venta y puede ser integrado fácilmente en apps para identificar celebridades, impedir que contenido inapropiado sea visto por menores, o seguir a un individuo en tomas de vigilancia.
A finales del mes pasado (julio del 2018), la Unión Americana de Libertades Civiles (ACLU, por sus cifras en inglés) detectó un grave problema con Rekognition, al ser utilizado como herramienta policial: el sistema falla en perjuicio de personas de raza negra y en los latinos.
Para evidenciar el error, la ACLU tomó fotografías de miembros del Congreso de los Estados Unidos para que Rekognition detectara a personas con antecedentes policiales. El programa usó su base de datos de 25.000 fotografías y señaló a 28 congresistas como personas que habían cometido un crimen; 11 de ellos eran negros o latinos e incluían al legislador John Lewis, un conocido líder defensor de los derechos civiles estadounidense.
Representantes de la ACLU alzaron la voz para que se impida a los departamentos de policía en Estados Unidos el utilizar Rekognition como herramienta para la búsqueda de sospechosos.
Según reportó el diario inglés The Guardian, Amazon ha mercadeado su producto entre las fuerzas policiales y trabaja activamente con la policía en Orlando, Florida, y en una ciudad del estado de Oregon. El costo de Rekognition para la policía es de $12 al mes (unos ¢6,900).
Amazon se defiende diciendo que su producto puede ser ajustado para que sea mucho más exacto, con un 95% de precisión. La ACLU responde que el producto que se le vende a la policía viene defectuoso de fábrica.
LEA MÁS: Aunque no lo crea, usamos inteligencia artificial todos los días
Fiables
En el campo del reconocimiento facial, se han realizado varios estudios científicos privados donde se demuestra su fiabilidad. Los resultados concluyen que funcionan muy bien para reconocer personas de tez blanca y tiende a fallar con personas de piel más oscura.
El problema radica al parecer en los perjuicios y estigmas que tienen las personas que ingresan los datos a la computadora. Esta acción se realiza con el fin de que las computadoras puedan aprender una tarea específica.
Por eso, si la mayoría de los encargados de ingresar los datos son hombres, blancos, de una cierta edad, y sus superiores son del mismo grupo, estos prejuicios pasarán inadvertidos.
Recientemente se presentó un problema con el software de reconocimiento de imágenes de la empresa Google, donde accidentalmente se etiquetaba a las personas negras con el término “gorila”. También, un software de reconocimiento facial del fabricante de cámaras fotográficas Nikon etiquetaba a las personas asiáticas como “alguien que parpadeaba en una foto”. Igual ocurrió con una aplicación fotográfica del fabricante de hardware HP Inc, la cual presentaba problemas para reconocer a personas de piel oscura.
LEA MÁS: ¿Cómo puede ayudar la inteligencia artificial a mejorar los servicios de salud?
“(El reconocimiento facial) es uno de los problemas más estudiados en el tema del aprendizaje automático y de reconocimiento de patrones”, explica Saúl Calderón, coordinador del grupo Parma (siglas que en inglés de Pattern Recognition and Machine Learning Group) del Tecnológico de Costa Rica (TEC). “Las técnicas modernas de deep learning funcionan bastante bien cuando se cuenta con muchas muestras para entrenar a los equipos”, agrega.
Calderón indica que en el caso del sistema Rekognition aplicado a la función policial, probablemente el sistema trató, sin éxito, de encontrar similitudes entre sujetos a falta de más aprendizaje. “Es una tarea para el que no fue entrenado (de manera apropiada)”, agrega el investigador.
Además, agrega que este tipo de sistemas deberían concebirse como un sistema de apoyo para la toma de decisiones y no como un sustituto del experto. “En tareas tan complejas como estas debe existir la intervención del ser humano”, detalla.