Entrevista a la matemática Cathy O'Neil"Deberíamos asegurarnos de que la ley se aplique frente a los algoritmos destructivos"

La tecnología de la "era de los algoritmos" aumenta y se retroalimenta de los peores prejuicios al generalizar comportamientos, generar modelos y establecer predicciones sobre ellos. Son estas fórmulas quienes deciden cada vez más aspectos de nuestras vidas, bajo una ilusión de neutralidad y objetividad. En este escenario, Cathy O'Neil denuncia el riesgo de perpetuación de sexismo, racismo o clasismo en un contexto de máxima opacidad.

La autora del libro Armas de Destrucción Matemática (Capitan Swing, 2018) es una reputada doctora en matemáticas que quiere que el mundo sea un poco mejor. Su trayectoria vital la ha llevado a desde la academia (Harvard, MIT, Barnard College) al mundo de los fondos de cobertura justo en el momento de la crisis crediticia y el estallido de la burbuja inmobiliaria de la década pasada, y más tarde al activismo social.

Llegado un momento, O'Neil comenzó a preguntarse acerca de los riesgos éticos del 'big data', del uso de las matemáticas y de los algoritmos cada vez más oscuros y complejos que pueden condicionar —y de hecho lo hacen cada vez más— nuestras vidas cotidianas. Su privilegiada trayectoria da una interesante visión global de cómo funcionan estos sistemas y, lo más importante, cómo se podrían evitar sus efectos perniciosos.

La concesión de un crédito, la admisión en una universidad, la concesión de un s eguro, todo queda en manos de análisis cuantitativos que desde su aparente neutralidad terminan perpetuando sesgos que hacen que los afortunados lo sean más y los más oprimidos terminen en el desamparo.

Se trata del lado oscuro de los algoritmos, de las construcciones matemáticas que rigen mediante modelos aparentemente neutrales una parte creciente de nuestra vida social. Y que Cathy O'Neil ha bautizado "Armas de Destrucción Matemática". Y apostilla: "Cómo el Big Data aumenta la desigualdad y amenaza la democracia".

La autora estuvo en Madrid, dentro del ciclo Tech & Society de la Fundación Telefónica, y tuvo unos minutos para charlar con Público sobre algunos de los temas de los que es experta.

Si grabase esta conversación con este teléfono inteligente, ¿le molestaría?

No, en absoluto. No soy una persona pro privacidad, sobre todo porque soy estadounidense y por tanto no tengo interiorizado ese derecho. Lo que tenemos en EEUU es un problema diferente a lo que existe aquí, en Europa. Ustedes tienen mejores protecciones y menos problemas al respecto. Esto no quiere decir que no haya que preocuparse por lo que vaya a pasar en el futuro, pero nuestros problemas con los datos son otros.

"Es irónico que la gente más interesada en los temas de privacidad sean hombres blancos con mucha educación"

De hecho, yo no soy la víctima de estos sistemas injustos. Como persona blanca y educada, experta en tecnología, es ridículo que me preocupe por ello, por mi 'higiene' de datos. Es irónico que la gente más interesada en los temas de privacidad sean hombres blancos con mucha educación y conocimientos en tecnología. No tiene sentido. Es la gente oprimida, realmente, con perfiles demográficos que se consideran desafortunados —negros, mujeres, pobres, las personas que menciono en el libro y que son objetivo de determinadas estrategias— son vulnerables, no son expertos en tecnologías. Ellos son presa fácil, yo no lo soy. Si yo me voy a internet y la publicidad me sugiere productos de cashmere o seda, para mí será una distracción pero no una práctica depredadora.

En su libro destaca las ideas de círculos viciosos, tóxicos, y del concepto de lo escalable. Es decir, las 'armas de destrucción matemáticas' lo son en cuanto a que escalan, son masivas. Son conceptos muy interesantes.

Bien, partamos de la base de que lo importante es que los algoritmos no predicen el futuro, sino que lo hacen para los individuos. Buscan si vas a pagar un préstamo, si vas a ser proactivo, basándose en el comportamiento previo de cada uno. Pero es que no predicen tanto, más bien cambian el futuro, lo modifican y determinan. Se puede usar esa información que se tiene de alguien sobre su historial crediticio para decidir si va a pagar el siguiente préstamo y, por tanto, si se lo van a conceder. Es decir, se va a usar esa información para ver si alguien es una buena apuesta para una compañía determinada. O para decidir si se contrata o no a esa persona.

"Estos sistemas lo que hacen es propagar y retroalimentar los esterotipos que ya existen"

Así que estos sistemas lo que hacen es propagar y retroalimentar los esterotipos que ya existen, como los demográficos. Hacen que quien ha tenido suerte en la vida tenga más suerte y, al contrario, que quien ha tenido menos suerte tenga menos aún. A esto es a lo que me refiero con la escalada.

Asimismo, es importante destacar que confiamos en los algoritmos demasiado. Uno puede pensar: "Hey, no me gusta tu apariencia, no te voy a dar un trabajo". Y como humanos nos parecería injusto, no lo entenderíamos. Sin embargo, como hay un instrumento, una autoridad digamos científica —el algoritmo— detrás de algunas decisiones similares, pues no nos lo cuestionamos. Por eso mismo veo que existe una escalada.

¿Y a quién echamos la culpa? ¿Quién es el responsable de que esto pase?

Tenemos ese sistema injusto que se alimenta de prejuicios racistas, sexistas, aporafóbicas... Parece que con estos sistemas algorítmicos que denuncia los ricos seguirán siendo más ricos y los pobres, cada vez más pobres.

Este tipo de preguntas son muy importantes, pero tenemos que ser conscientes de que ya se han respondido a través de la ley. Es ilegal discriminar por género cuando contratamos a una persona. Uno puede deducir que es sexista porque el mundo es sexista, pero esto no es aceptable, no puede ser, y tenemos algoritmos que están haciendo esto. Frente a esos algoritmos destructivos lo que sugiero es que deberíamos asegurarnos de que la ley se aplique.

Pero usted misma reconoce que los algoritmos son algo oscuro, secreto. Y cuando se dan situaciones como las descritas se tiende a culpar al algoritmo, a la máquina. "Yo no tengo la responsabilidad, es el algoritmo". ¿Pero cómo va a tener la responsabilidad una fórmula matemática? Ni siquiera se puede culpar al creador del algoritmo...

Eso es cierto, pero como científica de datos yo estoy aquí para decir que podemos hacer las cosas mejor. No es imposible hacerlo mejor. Y no es ua excusa, en cualquier caso. Si la empresa X está usando un algoritmo cuyos resultados son sexistas se puede hacer que deje de utilizarlo. La realidad es que se puede mejorar la situación. Algunas compañías hacen como que no lo saben, y lo cierto es que tampoco se les requiere que hagan test sobre esos algoritmos. Claro que primero habría que demostrar con pruebas que lo que están haciendo es ilegal y de esta manera obligarlas a cambiarlo, a mejorarlo.

Parece difícil conseguir que el mundo de los algoritmos sea más transparente. ¿Cómo hacer para que los algoritmos sean más entendibles, menos oscuros, tanto para los ciudadanos como —quizá más importante— para los legisladores?

Son cuestiones diferentes. Por un lado, el Reglamento General de Protección de Datos en Europa tiene una parte que puede ser útil para este fin, pero no se trata de una cuestión únicamente estadística: yo quiero saber por qué no se me ha dado un puesto de trabajo o por qué no se me concede una tarjeta de crédito. Quiero saberlo. Y quizá, si lo sé, dentro de un año puedo hacer algo que mejore mi historial para acceder a esos servicios.

"Yo quiero saber por qué no se me ha dado un puesto de trabajo"

Pero ¿y si el sesgo de la máquina es sexista o contiene otro tipo de prejuicios? Esto es algo que hay que preguntarse. De hecho, los legisladores, los políticos, tienen que preguntárselo y dar una respuesta. Estas preguntas se pueden responder, pero no se están planteando porque los ciudadanos no saben que pueden plantearlas.

Parece pues que nadie sabe cuál es la pregunta adecuada: vemos los resultados pero nadie pregunta por los procesos que, insisto, parecen muy oscuros, poco transparentes.

La gente que trabaja en este ámbito es muy inteligente. Se les pide que optimicen las rentabilidades o los beneficios, pero si tuviesen que optimizar las evidencias o pruebas legales también lo harían. Es decir, que a medida que pedimos rendición de cuentas, los matemáticos encontrarían una manera de hacerlo, de eso estoy segura.

Casi todo lo que habla su libro gira en torno al concepto de la justicia, y me resulta curioso ver a una analista de datos, a una matemática, hablar de este concepto. En este sentido, ¿se puede mejorar la justicia con más transparencia? Para mí, el mundo de los algoritmos que deciden cosas sigue siendo muy oscuro. Parece que buscan las grietas para generar situaciones que, al final, no siguen un sentido de justicia sino de mayor beneficio...

Creo que está usted siendo demasiado distópico...

Es que, tal y como usted lo cuenta, parece que vivimos en una distopía.

Creo que deberíamos centrarnos. Estimo que la legislación europea de protección de datos (que no quiero criticar) no se centra lo suficiente en lo que realmente es dañino: los algritmos que violan nuestros derechos, nuestros derechos humanos. Y realmente hay una lista finita de algoritmos que hacen eso, no son todos. No podemos pedir transparencia absoluta de todos los algoritmos. No podemos reemplazar su trabajo por humanos siempre. Estamos hablando de una lista limitada. Por eso, en mi definición de 'Arma de Destrucción Matemática' se incluyen los algoritmos importantes, relevantes, y que al mismo tiempo pueden generar mucho daño por dicha relevancia.

Yo me centro en cuatro categorías. En primer lugar, las finanzas: todo lo relativo a los seguros, las hipotecas, tarjetas de crédito; después, lo que tiene que ver con la vida cotidiana: tener un empleo, entrar en una universidad, etc. Por otro lado, el sistema de libertad y justicia, cómo te trata y las posibles condenas que puedes recibir. En cuarto lugar, la libertad de información, en cuanto a la microsegmentacion, desinformación, etc.

De estas cuatro categorías, las tres primeras están razonablemente bien reguladas. Tenemos leyes que dicen cómo contratar de forma justa y sin discriminaciones, o cómo conceder un crédito en igualdad de condiciones, etc. Tenemos normas que luchan contra la discriminación y que obligan a respetar los derechos constitucionales, por supuesto aquí en Europa también. Lo que estoy diciendo es que el los próximos cinco o diez años se tiene que aplicar la ley, simplemente.

En cuanto a la cuarta categoría, la libertad de información, todo es un poco más complicado. Y realmente para la democracia solucionar los problemas aquí es algo urgente. Obviamente es el problema más difícil. Quizá se podría haber empezado por haber usado algoritmos más limitados y más pequeños, que nos hubieran permitido entender mejor cómo funcionan estos universos. Y cómo tendría que ser la rendición de cuentas de haber problemas. Arreglar esta categoría en un momento en el que los algoritmos trabajan a toda máquina va a ser duro.

Con respecto a Facebook, por ejemplo, se podría exigir en cada país que grupos de investigadores independientes pudiesen tener acceso a sus datos para realizar experimentos sociales para que sepamos qué efectos puede tener la propaganda y las campañas políticas sobre los procesos democráticos.

¿Sugiere que los gobiernos fuercen de alguna forma a Facebook a aceptar asesoramientos independientes?

Bueno, la propaganda, la falta de información, la manipulación informativa... para estas cuestiones Facebook recibe millones de dólares. Así que un requisito que yo sugeriría para que Facebook operase en un país sería, quizá, dar acceso a investigadores de ciencias sociales para poder experimentar y pubicar resultados sin intervención por parte de Facebook y con total transparencia. Eso sería un gran ejercicio.

O sea, una reflexión tras abordar sus tesis es que no existe la llamada 'neutralidad', al menos en estas herramientas algorítmicas...

No existe la neutralidad. Dejar que las empresas tecnológicas hayan proclamen la neutralidad de sus herramientas y, al mismo tiempo, reciban tanto dinero de campañas políticas para distribuir propaganda, por otro, no se sustenta. O una cosa, o la otra. Por un lado, han recabado dinero porque se dicen capaces de llegar a públicos segmentados e influir en ellos, y por otro le dicen a los usuarios que no tienen responsabilidad alguna porque la tecnología es neutral. No se pueden proclamar las dos cosas.