Inteligencia artificialLo que el algoritmo esconde: matemáticas, sesgos y al final, decisiones humanas

El debate está servido: ¿son los algoritmos herramientas opacas e incomprensibles que pueden dañarnos, o simplemente herramientas que dependen de decisiones humanas? ¿No será que las fórmulas son cada vez más complejas y no queremos —o no tenemos capacidad de— estudiarlas para entenderlas? Y si los algoritmos que más nos afectan están en manos privadas, los gigantes de Silicon Valley, ¿cómo podemos defendernos cuando nos metan en un problema?

"¡No somos nosotros, es el algoritmo!" es quizá una de los argumentos más inquietantes que se pueden plantear a problemas que ya existen y con los que convivimos sin saberlo. Desde el ámbito de la universidad se presta cada vez más atención a esta cuestión, que va mucho más allá de la privacidad o la intimidad de nuestras vidas.

Ya existen herramientas que deciden quién tiene más probabilidades de cometer un crimen —como el polémico 'software' PredPol, que ha sido utilizado en secreto en decenas de ciudades—, qué mensajes vemos en las redes sociales o qué crédito tenemos en función de nuestro rastro digital (pregunte en confianza a su amigo analista de riesgos y lo que le contestará le sorprenderá).

En un pequeño evento celebrado en la Facultad de Informática de la UCM, en el marco de la V Semana de la Informática que celebra el centro, varios expertos debatieron sobre la necesidad de abordar estas cuestiones —sesgos en el diseño, diseños abusivos, transparencia, auditabilidad— desde el punto de vista de los ingenieros informáticos, con un contrapunto ético y legal.

Rodeada de ingenieros, la abogada Paloma Llaneza, reconocida experta en seguridad y protección de datos, planteó una de las cuestiones claves del evento. "Tenemos que ser capaces de saber qué pasa con los algoritmos, sobre todo para quienes no tenemos ni idea, para saber si ha tomado la decisión correcta", comentó, y añadió. “No quiero que me digan que tengo un 85% de probabilidades de pagar mis deudas, sino si ese dato es bueno o malo, por un lado, y por otro por qué se toma una decisión determinada sobre mí, en qué se basa esa decisión, cómo funciona el mecanismo".

"No estamos en la dictadura del algoritmo, hay personas que luego tienen que tomar decisiones"

Esta experta remarcó que la tecnología de consumo, con sus interfaces sencillas e intuitivas, nos han facilitado mucho la vida —"nos han hecho tontos"— aunque luego la responsabilidad que exigen a ese usuario (desde conocer los términos y condiciones de un servicio que aceptas al tocar un botón hasta evitar intrusiones en ordenadores cuyas tripas informáticas no conocemos) "nos exigen ser casi premios Nobel".

Frente a ella, Jorge Gómez Sanz, ingeniero en Informática y profesor titular en la UCM, así como desarrollador de 'software' libre, negó la mayor: "No estamos en la dictadura del algoritmo, hay personas que luego tienen que tomar decisiones", razonó.

Para Gómez, la respuesta que la ingeniería puede dar sobre si un algoritmo acierta o no es relativamente simple: acierta siempre porque siempre genera una respuesta acorde con la función para lo que fue diseñado. "Los defectos que tenemos los humanos y que trasladamos a los algoritmos constituyen lo que debería estar regulado con normas y leyes (que no dejan de ser algoritmos, con nivel de abstracción más elevado)".

"La transparencia exige que el sistema sea auditable"

"Es cierto que existe un margen de decisión humana" tanto en el proceso de construcción de 'software' como en las decisiones finales basadas en la información que proporciona un sistema, recordó Llaneza, que sin embargo recordó que "el ser humano tiende a alinearse con la máquina por una cuestión de procesos". Es decir, el analista bancario que es obligado por su empresa a seguir las directrices del programa de análisis de riesgos de los clientes seguirá al pie de la letra lo que dice la máquina, para que no se cabree el jefe.

"Hemos dejado de leer el pasado, para proyectar el futuro, a recopilar datos para inferir probabilidades de futuro, en una vorágine probabilística", lamentó la abogada, que sostuvo que "la transparencia exige que el sistema sea auditable, ser posible realizar una inspección para saber el porqué del funcionamiento del sistema en sí". Y eso, hoy en día, raramente sucede.

"Los algoritmos no deciden, computan"

A la hora de hablar de sesgos en los sistemas algorítmicos (¿existen los algoritmos machistas?), el debate hubo consenso en la importancia crucial de la callidad de los datos que se suministran a las máquinas. "Los algoritmos no deciden, computan, no hay nada más obediente que un algoritmo, otra cosa es que nos guste la respuesta", apuntó Gómez.

El profesor e investigador Marcos Sánchez-Elez también sostuvo que "el algoritmo no es el demonio, sino que el problema puede venir que la persona que decide basándose en las respuestas que proporciona no cuestiona esas respuestas". "Cuando introducimos datos cuantitativos en un sistema no debería haber sesgos, pero al meter datos cualitativos —relaciones, rangos, jerarquías— entra una cantidad de subjetividad, y ahí está sobre todo el problema", añadió.

Por su parte, Sara Román, también profesora e investigadora en la Facultad de Informática, abordó la cuestión de la transparencia en los procesos informáticos con la siguiente cuestión: "¿Por qué es necesario sacrificar la precisión o fiabilidad (de los algoritmos) en pos de la transparencia? ¿Hay realmente un conflicto?".

Román incidió en definir qué es la transparencia. "Los criterios con los que me evalúan en una oposición o una beca, por ejemplo, son públicos", apuntó. "Por eso, cuando hablo de transparencia hablo de código abierto: no es que un ingeniero me explique qué hace el algoritmo, sino que pueda acceder al código", remarcó.

Una explicación quiero

La abogada Paloma Llaneza planteó la necesidad de que los ingenieros informáticos fuesen capaces de explicar abiertamente y de forma fácil cómo funcionan las herramientas que diseñan. "A la gente le importa cómo funcionan las cosas cuando funcionan mal, y en mi experiencia puedo encontrar a gente que me explique de todo, pero no cómo funciona un algoritmo", comentó. "Así como yo no tengo que saber nada de gases o física para saber que la bombona tiene un sistema de seguridad que no debería fallar, si hay un algoritmo X que influye en la sociedad tenéis capaces de explicar cómo funciona", dijo, a modo de reto.

Como respuesta, el profesor Jorge Gómez replicó que "a veces está todo explicado, pero no al alcance de todos, porque entender requiere tiempo". "Por supuesto que todos los algoritmos son explicables; sabemos cómo operan", dijo, "las redes neuronales son meras multiplicaciones de matrices, pero eso no lo entiende todo el mundo ni todo el mundo quiere esforzarse en entenderlo". "Un algoritmo es, sencillamente, un transformador de información".

Gómez remarcó que "la respuesta de la ingeniería a algunos de los conflictos que plantean las herramientas algorítmicas" —desde los problemas que existen con el coche totalmente autónomo, aún sin comercializar, hasta el sexismo o el racismo que puede haber en los resultados de las búsquedas por internet— "son los estándares, como la que se está desarrollando contra los sesgos que habrá en un futuro (certificación P7003)".

"Todos los algoritmos son explicables; sabemos cómo operan"

Porque el sesgo en los sistemas informáticos "autónomos" es un problema existente y cada vez más evidente. El algoritmo para contratar a personas que Amazon, por ejemplo, estuvo cuatro años desarrollando discriminaba a las mujeres. "Amazon contrata a más hombres, y en la parte técnica la tasa llega al 80%", apuntó la profesora Sara Román, que puso el acento en que "cuando se dieron cuenta intentaron arreglarlo, no fueron capaces y cerraron ese proyecto de contratación algorítmica". "Es preocupante que lo cerraran sin saber qué había fallado", añadió.

Al final, lo que quedó claro es que hay debate para rato y queda muchísimo por estudiar, regular y estandarizar. Para Román, "es hora de exigir que nos expliquen cómo funcionan las cosas", especialmente a las corporaciones que actúan de 'cajas negras' y atesoran sus fórmulas bajo el paraguas del secreto comercial. Sánchez-Elez, por su parte, insistió en la idea de que "la tecnología no es neutral" y, como Richard Feinman, está en contra de las explicaciones complejas.

"Los algoritmos no nos gobiernan, son las personas, pero a veces éstas se excusan en los algoritmos", zanjó Gómez. Mientras, Llaneza concluyó con humor que se iba de la facultad más tranquila, sabiendo que los ingenieros son perfectamente capaces de explicar el funcionamiento de cualquier algoritmo.

Otra cosa es que les dejen.