"Por mucho que lo programes de acuerdo con una base ética, un algoritmo no va a ser justo si el contexto no es justo"

En un momento en el que estamos vigilados, controlados, perfilados y localizados por la tecnología, cabe preguntarse si la ética tiene lugar en los algoritmos que nos gobiernan. Ana Valdivia García, investigadora en el King’s College de Londres, aborda maneras de introducir la justicia y la equidad en los procesos automáticos.

Los países utilizan cada vez con más frecuencia la identificación biométrica para regular los flujos migratorios. Complejos sistemas ocultos nos perfilan y clasifican mientras van a aprendiendo y afinando sus resultados. No obstante, desde la academia ya hay voces que tratan de mejorar esos procesos para que sean más equitativos, más justos y menos sesgados.

Eso es precisamente lo que estudia ahora Ana Valdivia García, matemática e informática, doctora en computación e inteligencia artificial, e investigadora en el prestigioso King’s College de Londres. Hablar con ella es una lección de conocimiento, empatía y compromiso con los más desprotegidos, víctimas propiciatorias del mal uso de la inteligencia artificial que puede perpetuar su precariedad.

Público se ha puesto en contacto con Ana para comprender la necesidad de introducir factores que propicien la equidad en el aprendizaje automático, de modo que estos sistemas puedan ayudar a romper los prejuicios y sesgos en decisiones tan importantes como permitir la libre circulación de las personas más allá de las fronteras.

Hablemos del "aprendizaje automático justo", sin olvidar el contexto en el que se se usan herramientas inteligentes para perfilar a seres humanos. Como usted o yo mismo.

¿Qué es el aprendizaje automático justo?

El aprendizaje automático justo es un campo de estudio dentro de las ciencias de la computación, de la informática, que se centra en diseñar algoritmos que tengan las mismas métricas, la misma precisión, la misma tasa de error al perfilar, por ejemplo, personas con diferentes características demográficas. Es decir, si tenemos por ejemplo una un sistema de reconocimiento facial implementado en caras de diferentes tonos de piel su algoritmo debería ser capaz de detectar las diferentes tonalidades y arrojar para todos ellos un resultado muy similar; de lo contrario diríamos que está discriminando a las personas con un tono de piel determinado, y la tasa de error será mayor.

¿Estamos hablando de una forma de introducir la equidad legal en la inteligencia artificial?

Exacto.

Ahora nos encontramos con que la compañía ClearView regala su ‘software’ de identificación facial a Ucrania para localizar muertos o incluso ‘fichar’ a personas no deseadas en la frontera. ¿Qué le transmite esa noticia?

Creo que es una muestra de los problemas que tiene la llamada "justicia algorítmica" o "equidad algorítmica" a los que nos enfrentamos. En este pasado mes de enero publiqué un artículo sobre el asunto: quienes estamos investigando y diseñando algoritmos más justos tenemos que tener en cuenta que muchas veces, por mucho que el algoritmo sea justo, por mucho que ese algoritmo tenga la misma tasa de error en diferentes grupos demográficos, lo que importa es el contexto.

El contexto en el que se usa es clave no sólo en Ucrania sino en toda en Europa. Llevan años utilizando bases de datos biométricos para identificar a personas migrantes, porque existe la llamada regulación de Dublín, que arrancó en 1993 y que dice que un demandante de asilo tiene que pedir asilo cuando llega a Europa en el primer país al que llega. Ese país es el responsable de su demanda de asilo, es el responsable de esa persona. Esto implica que la mayoría de demandantes de asilo se quedan en el sur de Europa, se quedan en España, en Italia, Grecia, en los países 'de entrada', porque si viajan a Francia ese viaje es ilegal.

Así, para reforzar esta regulación, la Unión Europea desarrolló una base de datos que recoge huellas dactilares de todos los demandantes de asilo para identificarlos en la frontera. Es decir, si a una persona que llega a España, pide el asilo en España y cruza Francia, las autoridades francesas pedirán sus huellas dactilares si lo detecta. El algoritmo mirará que esa persona ha sido registrada previamente en otro país. Si el algoritmo encuentra una similitud con otra huella dactilar, Francia sabrá de dónde viene esa persona y podrá devolverlo.

Es decir, el uso de esta herramienta puede vulnerar un derecho fundamental, como la libre circulación de las personas...

Por eso no se trata sólo que el algoritmo -que es un sistema de instrucciones- sea justo en sí, sino que hay que fijarse en la utilización del mismo como una especie de arma.

¿Hay algún otro campo relacionado que le interese especialmente?

“Me gustaría investigar qué opresiones sociales crea el avance tecnológico genera más allá del código”

Pues sí. Sin duda los datos biométricos en fronteras ahora constituyen un tema muy candente, no sólo por el conflicto de Ucrania sino también por lo que pasó el año pasado, por ejemplo, entre Marruecos y España. Pero los investigadores estamos estamos viendo un enorme interés en el estudio de la tecnología relacionada con la geopolítica. Me gustaría investigar todo eso en profundidad en los próximos años, pero para eso necesito encontrar financiación.

Es decir, por ejemplo: ¿Qué impacto social tiene la inteligencia artificial más allá del algoritmo? Porque es que para construir una inteligencia artificial se necesitan recursos naturales, litio, cobre, etc. En Extremadura hay minas de litio, también las hay en en Chile, por ejemplo. ¿Cómo nos va a afectar la búsqueda de esas materias primas?

Y luego, también, me interesaría medir qué impacto social tiene la inteligencia artificial no sólo antes de montarse, sino también después. ¿Qué pasa con los ordenadores obsoletos, con el hardware desechado, con los servidores que ya no se usan? La basura tecnológica, nuestros residuos electrónicos, normalmente acaban en zonas de África y otros lugares en Asia. Incluso en Europa y en Estados Unidos. Me gustaría investigar qué opresiones sociales crea el avance tecnológico, qué injusticias sociales, genera más allá del código.

Es como salir del código y ver cómo funciona la industria en realidad, o mejor dicho en el mundo real, ¿no?

Siempre ha sido mi motivación. Un ejemplo claro es que para entrenar un algoritmo o una inteligencia artificial necesitas anotadores. De hecho, hemos podido leer una noticia [en El Periódico de España, por Analía Plaza] que hablaba sobre las “galeras” de Google, sobre esas personas que escuchan y anotan lo que le decimos al buscador, y que tienen salarios muy precarios, de 1.000 euros. Y por ese sueldo se ven enfrentadas durante ocho horas al día a escuchar audios. A veces a personas que quieren ver pornografía, o cosas peores. Ese empleo tiene que tener necesariamente unas consecuencias graves para la salud mental de esas trabajadoras. Ésa también es una capa, muy invisible, de la inteligencia artificial.

Iba a preguntar si usted es defensora del código abierto y legible, en aras de mayor transparencia en los procesos. Hay quien dice que es inseguro o que viola la propiedad intelectual. ¿Qué piensa desde el estudio de la inteligencia artificial y del tratamiento de datos?

Es una pregunta muy, muy interesante. Cuando hablamos de código abierto nos referimos a un tema muy amplio. Yo no soy experta en ciberseguridad, pero sí puedo hablar de mi experiencia programando algoritmos que se han aplicado en la vida real. He sido analista de datos en varias compañías en el Reino Unido. Dicho lo cual, imaginemos que un gobierno está utilizando un algoritmo en función de cuyo resultado se va a conceder una ayuda pública, se va a dar más protección a una mujer que ha sufrido violencia de género o se va a etiquetar una denuncia falsa. Quizá no sea necesario acceder a todo el algoritmo, a su código fuente, pero sí sería bueno poder acceder a las métricas, qué tasa de error tiene en las estadísticas de la población… Diferentes conceptos estadísticos nos pueden dar claves importantes a los investigadores y programadores para hacer las cosas mejor.

Pero ¿conocer el código fuente de un programa no seria mejor? Quiero decir, de la misma forma que existen las leyes (y la ignorancia de las normas no impide su cumplimiento), ¿No debería estar accesible también el código fuente de un sistema que aplica determinadas normas?

Sí, sí, totalmente. Totalmente. Yo soy una abogada del código abierto. O sea, todo algoritmo que yo diseño lo tengo publicado en Github, ese repositorio donde podemos publicar todos nuestros códigos. Eso, de hecho, se considera como buenas prácticas porque no sólo estás siendo transparente, sino que también estás diciendo cómo lo has hecho, lo estás enseñando a toda la comunidad. Y además cualquier otro miembro de la comunidad puede alertar de algún error en tu código, para arreglarlo y mejorarlo. Me aparece una práctica de transparencia y rendición de cuentas. Estoy de acuerdo con eso. Pero lo que antes decía es que, si no quieren publicar el código, que es lo que suele pasar, al menos que nos den las métricas.

Sobre la inteligencia artificial y el llamado 'machine learning' suelen surgir preocupaciones a la hora de utilizar reconocimientos biométricos, porque en realidad casi todos los desarrollos que se están haciendo en inteligencia artificial que conocemos se usan para perfilar personas. ¿Ve un conflicto en que, por un lado, la IA busque 'humanizar' las máquinas, hacerlas más 'inteligentes', pero por otro lado para ello necesita realizar una extracción masiva de datos? ¿Y esto cómo encaja con un aprendizaje automático justo? ¿Y qué pasa si no quiero estar ahí, si no quiero aportar mi perfil?

Es una pregunta súper interesante. Esto lo recoge el primer marco legal de la Unión Europea que regula la inteligencia artificial. Dice que las personas tienen que ser conocedoras de cuándo han sido parte de un proceso algorítmico. Se trata de un reglamento que ha sido bastante criticado por tanto activistas como gente en la academia. Por ejemplo, sobre el mencionado uso de sistemas biométricos en las fronteras, el reglamento que toda inteligencia artificial que se aplica a personas vulnerables-personas migrantes también- se va a considerar como un algoritmo de "alto riesgo", y el artículo 83 del mismo dice que todas las bases de datos biométricos que la Unión Europea está utilizando para el control migratorio están exentas de dicha regulación.

Cuando los académicos leímos aquello sobre las bases de datos de "alto riesgo" protegidas, y luego llegamos al artículo 83, nos dimos cuenta de que en este asunto la norma es papel mojado.

"Los algoritmos justos son posibles si la persona siempre tiene la última palabra sobre sus datos"

En cuanto al tema de la privacidad y el perfilado de personas, yo diría que sí es posible desarrollar algoritmos justos partiendo de la base de que la persona siempre tenga la última palabra sobre sus datos, o sea, la persona puede decidir. Y además, que la persona tenga el derecho de elegir si interactuar con una máquina, con un humano o con un sistema mixto. Ojo, que los humanos también tenemos sesgos; a veces se hace una lectura muy humanista de la inteligencia artificial, se quiere darle una percepción de que es racista, de que tiene conciencia propia, y esto no es para nada así. Una máquina con sesgos es una máquina que reproduce los sesgos de sus programadores.

Por último, viendo los desarrollos tecnológicos que nos esperan, más inversivos pero con más capas que nos piden ver cómo funcionan realmente los algoritmos ¿qué se puede hacer para comprobar si el sistema es 'justo'?

Pues vuelvo a lo que he dicho al principio: por mucho que lo programes de acuerdo con una base ética, un algoritmo no va a ser justo si el contexto no es justo. Quizá una pueda estar utilizando un reconocimiento facial que es justo porque no discrimina en función del color de piel, pero lo instalas en las fronteras para hacer devoluciones en caliente.

"La UE usa reconocimiento biométrico porque no cree que la persona que está cruzando la frontera dice la verdad”

Por mucho que el código sea justo, en la práctica puede usarse para fines injustos. Hay que tener en cuenta siempre el contexto y, también en parte, lo que estoy haciendo investigando ahora es también la herencia histórica de estos algoritmos. Por ejemplo, los sistemas biométricos se empezaron a investigar en el siglo XIX por un por un científico británico que se llamaba Francis Galton. Su sistema de identificación se empezó a utilizar enseguida en las colonias inglesas en La India y Egipto, porque decían que los trabajadores podían mentir o cambiarse los nombres, algunos muy complicados y compuestos para que los británicos los comprendieran.

Así comenzó la identificación de personas mediante las huellas dactilares, para que no mintiera, porque la huella dactilar no puede mentir. Naturalmente, aún tenemos esa herencia, ¿no? La Unión Europea usa sistemas biométricos de identificación precisamente para eso, porque no cree la narrativa del migrante, no cree que la persona que está cruzando la frontera sea una persona que diga la verdad.