Privacidad Reconocimiento facial: los preocupantes fallos del Gran Hermano algorítmico

La penúltima polémica acerca del reconocimiento facial mediante algoritmos la ha protagonizado Amazon y su controvertido programa Rekognition, un poderoso software de identificación de imágenes que la compañía vende a algunos gobiernos. En un experimento, el software identificó erróneamente a 28 miembros del Congreso de los EEUU como sospechosos policiales.

La ONG Unión de Libertades Civiles de Estados Unidos (ACLU), muy crítica con la venta del uso de esta herramienta a gobiernos (es utilizada, por ejemplo, por cuerpos policiales de Oregón y Florida), ha publicado un experimento, en el que usó esa herramienta sobre una base de datos —que compró al módico precio de 12,33 dólares—de 25.000 imágenes de detenidos en EEUU. Luego, introdujo una a una las fotos de todos los congresistas estadounidenses. El sistema identificó a 28 congresistas como personas con antecedentes policiales con al menos un 80% de probabilidad.

Esta misma semana, tres demócratas identificados en la prueba de la ACLU -el senador Edward Markey, y los representantes Luis Gutiérrez y Mark DeSaulnier- enviaron una carta a Jeff Bezos, director ejecutivo de Amazon, expresando preocupación y preguntando por la exactitud y el uso de la herramienta por parte de las autoridades.

Amazon, naturalmente, resta importancia a este estudio y considera que “el análisis de imágenes y vídeo puede ser un impulso para mejorar el mundo”, como aumentar la seguridad ciudadana. Desde su división de servicios en la nube (Amazon Web Services), un portavoz afirmó a BuzzFeed que dijo que los resultados podrían mejorarse “siguiendo las mejores prácticas" para establecer los umbrales de confianza, es decir, el porcentaje de probabilidad de que Rekognition encuentre una coincidencia.

"Si bien el 80% de confianza es un umbral aceptable para las fotos de perritos calientes, sillas, animales u otros objetos que aparecen en las redes sociales, no sería apropiado para identificar a las personas con un nivel razonable de certeza", dijo el portavoz, que añadió: "Cuando usamos reconocimiento facial para asuntos legales, sugerimos a los clientes establecer un umbral más alto, de al menos el 95% o más". No obstante, la compañía oficialmente recomienda un 80% de confianza para reconocer rostros humanos.

Presiones

Desde mayo, la ACLU y otros grupos de derechos civiles han criticado Rekognition de Amazon dado su funcionamiento “sesgado”: la herramienta podría usarse para atacar injustamente a inmigrantes y personas de color. Es decir, las identificaciones tienen importantes sesgos. Y temen que este software pueda emplearse "para controlar a inmigrantes" o para establecer quién "ha participado en una protesta".

Las presiones parecen haber dado sus primeros frutos. Incluso Microsoft, rival de Amazon que también usa tecnología de reconocimiento facial, ha llegado a pedir al Congreso de EEUU que estudie una posible regulación sobre el reconocimiento facial.

Un número creciente de voces señalan los perniciosos efectos de los sesgos  que pueden contener estos sistemas, la llamada ‘discriminación algorítmica’. Algunos estudios indican que las máquinas pueden amplificar comportamientos discriminatorios o racistas.

En el Reino Unido, por ejemplo, en donde la videovigilancia con tecnologías de reconocimiento facial comenzó a imponerse tras los atentados de Londres de 2005 (con un más que dudoso resultado), las autoridades deberán afrontar una demanda por parte del grupo activista Big Brother Watch, cuyos abogados estiman que estos sistemas  —y especialmente su uso intensivo en la capital en los últimos dos años— violan la Ley de Derechos Humanos, incluido el derecho a la privacidad y la libertad de expresión. Y qué decir de China.

Fiabilidad en cuestión

La identificación facial automática se basa fundamentalmente en la comparación de imágenes mediante algoritmos que “aprenden” a discernir entre dichas imágenes. Y la clave de su efectividad es la selección de los elementos que forman el patrón, y qué valor o peso tiene cada elemento dentro del aprendizaje. Aquí entra también el principal factor de sesgo.

Existen sobre todo dos formas para ‘enseñar’ a una máquina a realizar este proceso: por un lado, la introducción a priori de una amplia base de datos de imágenes sobre la que el programa identifica imágenes por similitud; por otro, el “aprendizaje” de la máquina sin una tutorización previa, en el que se introducen una serie de características y la máquina rastrea imágenes para hallar las que encajen en ese patrón, las cuales han de ser validadas a posteriori. El algoritmo puede ser neutro, pero quizá la selección de imágenes previas o de sus características no.

“Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”

“Avanzar, se ha avanzado en el reconocimiento facial”, reconoce Sergio Carrasco, abogado especializado en tecnología e ingeniero de Telecomunicaciones, que pone como ejemplos las herramientas de este tipo desarrolladas por Facebook o el desbloqueo de móviles, pero apunta que en esos casos funciona al ser “situaciones óptimas”. “Son fotos de frente o de lado en las que se ven todos los rasgos; pero en los casos de videovigilancia, con cámaras en posiciones altas y con una calidad no tan buena, generan falsos positivos en las identificaciones”, comenta. Y, además, pueden ser troleables.

Este experto diferencia entre un falso positivo en una galería fotográfica, que no tiene la menor trascendencia, y un falso positivo en un caso de seguridad ciudadana. “Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”. “Entiendo que se puede utilizar como elemento indiciario, pero siempre tiene que existir una revisión humana”, apunta.

Un ejemplo claro de que el reconocimiento de imágenes por patrones suele fallar es el caso de los vetos de Facebook a fotos de obras de arte que incluyen desnudos, como sucedió recientemente con los cuadros del maestro flamenco Pedro Pablo Rubens. “Es un ejemplo de que todavía el reconocimiento por patrones no es perfecto, ni mucho menos”, sostiene Carrasco.

Finalidad de la actividad

La legitimidad de la captación de las imágenes y de su tratamiento es otro aspecto clave. En el caso de las fuerzas de seguridad, por ejemplo, se puede presuponer que existe esa legitimidad.

Los sistemas de reconocimiento facial y biométricos pueden ser útiles como medida complementaria para ahorrar tiempo a la policía, sobre todo para eliminar parte del trabajo humano a la hora de analizar imágenes, pero sigue siendo necesario el trabajo humano final para eliminar los mencionados falsos positivos que pueden arrojar estos sistemas.

Y aun así es lícito preguntarse qué sucede con esos datos; persiste el riego, por ejemplo, de la generación de patrones de comportamiento de esas personas, sostiene Carrasco. “Cómo se almacenan y para qué se utilizan en última instancia son cuestiones clave en este asunto”, afirma este experto.