Gemma Galdón, socia fundadora de Eticas.ai y experta en IA y algoritmos: “La inteligencia artificial se mueve en un ámbito de impunidad”

Gemma Galdón (Mataró, 1976) es socia fundadora de Eticas.ai y experta en analizar los sistemas algorítmicos en los que se basa la inteligencia artificial. Su objetivo es identificar cuándo la tecnología reproduce desigualdades y sesgos sociales. Denuncia la anomalía de la industria tecnológica, con aún pocos marcos de regulación, y reclama la necesidad de mecanismos que permitan asegurar que la IA sea segura, justa y transparente. Hablamos de la tensión entre innovación y regulación, inteligencia artificial, redes sociales y democracia.

La inteligencia artificial parece ser la nueva cuestión totémica de nuestros días. Grandes portadas y discusiones, pero sin consenso claro sobre su propia definición. ¿Estamos en un punto de inflexión histórico?

Hay una confusión sobre qué es y qué no es la inteligencia artificial: confundimos avances tecnológicos y capacidades técnicas con todo el discurso sobre las potencialidades futuras de estos sistemas. Una cosa es lo que sabemos que hacen, otra muy distinta qué podrán hacer en un futuro. El debate filosófico sobre la substitución de actividades humanas por la inteligencia artificial es interesante, pero no es real en términos de capacidades técnicas actuales. Está construido desde el discurso mediático y político.

¿En qué se basan esos avances tecnológicos?

La inteligencia artificial es fruto de la gran capacidad de recoger enormes cantidades de datos y la mejora de la capacidad de procesarlos. Con los miles de sensores que existen o con el uso diario de nuestros móviles generamos mucha información. Se recoge, se procesa y se parametriza; y aquí entra la inteligencia artificial: un sistema de recogida masiva de datos, identificación y reproducción de patrones. Esto tiene muchas potencialidades, pero no dejan de ser limitadas. El relato sobre la inteligencia artificial tiene que ser técnico y no de marketing, nos tenemos que relacionar con esta tecnología como lo que es: un artefacto técnico, y no como una cosa mágica que no entendemos.

“El debate filosófico sobre la substitución de actividades humanas por la inteligencia artificial  es interesante, pero no es real en términos de capacidades técnicas actuales”.

¿Cómo regulamos algo que no entendemos?

Legislar tiene que servir para asegurarnos de que estas tecnologías son justas. Aquí entramos en terrenos donde hay poca claridad sobre qué medir y cómo medirlo. A menudo las exigencias de transparencia y responsabilidad algorítmica son genéricas por falta de conocimiento del propio regulador, que simplemente busca una certificación de seguridad en la implementación de sistemas basados en IA. La regulación de la industria aeronáutica, automovilística o médica es mucho más clara. Antes de sacar un medicamento al mercado, pasa controles y ensayos clínicos para asegurar sus efectos principales deseados y secundarios. Ahora bien, como la inteligencia artificial se crea en esta suerte de áurea mágica y no regulable o que no conviene regular, aunque tiene un riesgo evidente, se mueve en un espacio de impunidad y desarma a los reguladores que quieren inspeccionar estos sistemas.

En Europa tenemos la Ley de Inteligencia Artificial, ¿cuál es el símil en Estados Unidos y cuáles son las diferencias?

Durante mucho tiempo en Estados Unidos ha imperado la idea absurda de que la regulación limita la innovación. Todos nos beneficiamos de la regulación; y la protección que nos brinda es una de las características de los sistemas democráticos. Con la proliferación de la inteligencia artificial, y cuando se ha hecho evidente que estos sistemas pueden tener efectos e impactos no deseados, Estados Unidos se ha empezado a poner las pilas. Europa ha regulado sobre principios, entendiendo que estos sistemas tienen que ser seguros y transparentes. Pero o no se ha atrevido o no ha sido capaz de legislar en términos concretos. En Estados Unidos tenemos una regulación poco garantista en origen y mucho más en destino: si puedes demostrar que un producto te ha perjudicado, los mecanismos que tienes de denuncia y de indemnización son muy potentes. Por lo tanto, si demuestras que por culpa de un algoritmo un adolescente ha acabado con problemas de salud mental o que una mala decisión algorítmica ha hecho que una persona salga de la prisión cuando no tenía que salir, tienes mecanismos legales de reparación. Europa avanza en principios y regulación; Estados Unidos avanza en el ámbito práctico.

Según la 'IA Act', la empresa desarrolladora es quien tiene la responsabilidad de cualificar el potencial riesgo para la sociedad de su propio producto. ¿Esta evaluación de riesgo no debería recaer sobre otro actor? ¿Dónde queda la auditoría algorítmica en la 'IA Act'?

La IA Act plantea la necesidad de evaluaciones y auditorías, pero deja a discreción de la industria determinar si estas auditorías son internas o externas. Cuando un organismo encargado de la competencia identifique que un procedimiento algorítmico puede estar generando riesgos, tendrá la capacidad de exigir una serie de acciones y de verificar qué auditorías se han realizado, o realizar estas auditorías desde una posición externa. Por ejemplo, si desde las autoridades educativas se identifica que un algoritmo utilizado en las escuelas está limitando posibilidades, estigmatizando o creando impactos injustos, tendrá la capacidad de intervenir y exigir que las empresas desarrolladoras demuestren que han hecho las cosas bien. La IA Act pone la pelota en el tejado de muchas organizaciones, entre ellas las del sector de la auditora algorítmica. Ahora el trabajo es nuestro para asegurar que esta auditoría externa queda regulada y amparada en la IA Act.

“La industria ha demostrado una incapacidad brutal para abordar proactivamente el problema de los riesgos asociados a la inteligencia artificial”.

¿Qué motivaciones podría tener una empresa desarrolladora o implementadora de IA para pedir auditorías externas?

Las empresas pueden tener interés en una validación externa al no tener la capacidad interna de hacer auditoría propia, o al querer la garantía adicional de validación externa de sus buenas prácticas. Esto pasa a menudo en auditorías financieras, en las que muchas entidades se auditan por un tema de control, de reputación y de garantías adicionales, pese a no tener obligación. Desde el sector de la auditoría algorítmica hemos creado la Asociación Internacional de Auditores Algorítmicos, un colegio profesional para organizar el sector y asegurarnos de que hay esta presión para que las auditorías sean externas. También es clave discernir qué mecanismos internos debe cumplir una empresa del sector, ya que la industria ha demostrado una incapacidad brutal para abordar proactivamente el problema de los riesgos asociados a la inteligencia artificial.

¿En qué consisten sus auditorías algorítmicas? ¿Incluyen el impacto ecológico?

Estamos especializadas en auditorías algorítmicas de sesgo y progresivamente queremos incorporar criterios de impacto ecológico con Data Pollution, un programa específico. Auditamos que las decisiones que toma un sistema sean las que teóricamente dice que toma. Por lo tanto, verificamos que la IA hace aquello que dice que hace y sin penalizar, estereotipar ni generar impactos sociales negativos tanto en el ámbito individual como en el colectivo. Nos falta por incorporar la parte de impacto ecológico, en términos de más investigación; y necesitamos también un acuerdo político que establezca cómo medimos este impacto. Faltan consensos que nos permitan empezar a medir e incorporar estas métricas en las auditorías.

¿Qué descubriríamos si se auditaran las redes sociales? Precedentes como Frances Haugen o Cambridge Analytica no son muy alentadores, por mencionar un par de ejemplos.

El problema específico de las redes sociales es optimizar por engagement. El objetivo de las plataformas es que estés el máximo de tiempo en ellas y así veas el máximo de anuncios posibles, su principal fuente de ingresos. Tenemos algoritmos que procesan datos masivos, que identifican y reproducen patrones. Si el patrón es que a contenido más extremo, más gente se queda más tiempo en mi plataforma, la plataforma mostrará contenido lo más extremo posible. Es decir, si no intervenimos de ninguna forma, la misma red social acabará siempre dando más visibilidad a discursos, imágenes y contenido extremo.

¿Y dónde queda la responsabilidad de los desarrolladores?

Ellos dirán que cumplen sus objetivos de negocio, basados en indicadores empresariales y de mercado. Si este mayor engagement es a costa de la salud mental, de estereotipar personas, de hacer perfilado con consecuencias negativas, etc., el desarrollador ni lo sabe. De hecho, no tiene ninguna obligación de hacer seguimiento para incorporar esta información; y esto es lo que es anómalo de la industria tecnológica. Si tú desarrollas un medicamento, antes de lanzarlo al mercado tienes que pasar por ensayos clínicos. En estos ensayos, los biólogos, nuestros desarrolladores, ven cómo funcionan en personas reales y testean posibles cambios, además de hacer un seguimiento de efectos secundarios. Este seguimiento de los impactos no lo tenemos en la industria tecnológica. Nadie les exige a las empresas que sean responsables de estos impactos, solamente se analiza si ha habido un daño flagrante, como en los casos de suicidios. Esto es anómalo en términos democráticos y garantistas.

El legislador no legisla, el desarrollador no es responsable y la industria no asume las consecuencias.

El Estado es responsable de crear mecanismos, regular y legislar para avanzarse a los problemas que puedan surgir y generar obligaciones sobre los actores privados, pero quien está fallando aquí, y mucho, es la industria tecnológica. El cinturón de seguridad no lo desarrolla un burócrata en Bruselas o en Washington: lo desarrolla Volvo y libera la patente porque cree que es un mecanismo tan potente y bueno que tiene que ser universal. Cuando el regulador ve que esto funciona, establece su obligatoriedad. Muchas veces hay una relación de intercambio de conocimiento y de prácticas, para asegurar que cuando la industria descubre formas de hacer las cosas mejor, el regulador las incorpora.

En el Estado español tenemos los ejemplos de VioGén o Veripol, y en Catalunya, RisCanvi. Ley de transparencia en mano, ¿deberíamos tener acceso a la sala de máquinas de estos softwares, a su código?

Si lo que queremos es auditar impacto, es mucho más útil pedir variables y esquemas de datos que pedir código. Sin embargo, tanto las empresas como la Administración pública tienen muchas herramientas para conseguir que a la sociedad civil se le niegue esta petición. Hay que ser más estratégicos cuando se exploran vías legales para buscar transparencia y responsabilidades, y no apuntar solamente al código. Queremos entender la lógica de estos sistemas, acceder a las bases de datos clave, queremos acceder a las variables utilizadas, y con esto podremos reconstruir de forma externa el funcionamiento de un sistema. En Eticas lo hemos hecho con RisCanvi y VioGén.

¿Es recomendable el registro público de algoritmos para reducir los impactos negativos?

Es una iniciativa muy buena, ya que muchas veces la gente no sabe cuándo se produce mediación algorítmica. Por ejemplo, las subvenciones se asignan a partir de inteligencia artificial, o en los procesos de selección hay mediación algorítmica en el primer descarte o selección de currículums. Ahora bien, muchas administraciones públicas no tienen ni idea de dónde se están utilizando algoritmos, y no hay un ente centralizado de supervisión. El registro público facilita la transparencia y el conocimiento de la existencia de estos sistemas, y además comparte algunos datos clave que pueden empoderar a las personas afectadas para reclamar sus derechos.

¿Dónde queda la sociedad civil en el debate por la gobernanza de estos sistemas?

Una de las cuestiones sobre las que se está trabajando en Europa, y sobre todo en Estados Unidos, es la good faith research. Se basa en atacar estos sistemas para inspeccionarlos, no para robar propiedad intelectual ni con fines ilícitos. Por ejemplo, para averiguar el funcionamiento de plataformas como Linkedin o Infojobs. Una buena práctica sería garantizar que los investigadores o la sociedad civil y las organizaciones tengan esta posibilidad sin consecuencias administrativas o penales. Yo me inclinaría por aquí. El papel de la sociedad civil con la inteligencia artificial, como con muchas otras cuestiones, es presionar, trabajar con las personas afectadas, recoger evidencias de mal funcionamiento y uso, y elevar esto a nivel de políticas públicas y a nivel legislativo.

Los sistemas democráticos representativos no pasan por su mejor momento. ¿Cómo utilizamos la tecnología para mejorar nuestras democracias?

La inteligencia artificial y los procesos de decisiones automatizadas abren la posibilidad de una nueva era de la transparencia basada en auditar, inspeccionar, abrir procesos de datos escritos en el código, en analizar los resultados y las métricas. Demostrar que un juez no es imparcial es muy difícil, pero tomar datos de un juzgado y ver tendencias de sesgo puede evidenciar dinámicas oscuras y opacas. La sociedad civil tendría que desarrollar un programa propio en términos de las oportunidades que nos ofrecen las nuevas tecnologías y exigir que la tecnología no se desarrolle solamente a partir de unos intereses determinados. Por ejemplo, ¿qué tecnologías son necesarias para que los trabajadores puedan demostrar horas extras? Tenemos que entender este nuevo mundo, adaptarnos, capacitarnos y asegurar que hay posibilidad de incidencia para desarrollar y realizar el potencial positivo de la inteligencia artificial. ◼