La opacidad del Gobierno impide ver si los algoritmos que usa perjudican a los más vulnerables

El Gobierno delega en máquinas determinados análisis que nos pueden afectar a cualquiera. La llegada de la inteligencia artificial supone una ayuda impagable a la hora de tratar datos de manera masiva. El problema es que no sabemos cómo funcionan, cuáles son sus criterios o qué tipo de variables manejan. Es decir, funcionarios y ciudadanos se tienen que conformar "con lo que diga la máquina".

El Gobierno se agarra a argumentos como la propiedad intelectual, la seguridad, la protección de datos (algo que no obstaculizó la publicación del código fuente de la aplicación Covid-19) y lo que haga falta. No obstante, no son más que excusas para evitar que el ciudadano pueda acceder a un algoritmo que no es más que un código, como el Código Penal o el Civil.

La falta de transparencia es preocupante en algunos procesos delicados, como vienen alertando expertas de la talla de Cathy O'Neall o Marta Peirano. En el caso de la premiada VioGén, que el Ministerio del Interior usa desde 2007 como herramienta para evaluar riesgos y que cuenta con más de tres millones de registros, este software 'decide' los riesgos para una denunciante a partir de parámetros que son opacos, denuncia un estudio de la Fundación Éticas junto con la Fundación Ana Bella.

En los siete meses que se han invertido en este informe, se realizaron entrevistas a 31 mujeres que sufrieron violencia de género en Andalucía, Valencia, Madrid o Galicia, las regiones de España con más casos activos en este sistema policial de evaluación de riesgo personal. En todos los casos sus datos se volcaron en VioGén entre 2019 y 2021.

Así, el 80% de las mujeres entrevistadas reportó diferentes problemas con el cuestionario VioGén, y una de cada tres aseguraron que "no fueron informadas sobre su puntuación de riesgo y, por lo tanto, no sabían qué nivel de riesgo les asignaba el sistema".

El sistema realiza una evaluación estadística de factores de riesgo predeterminados y científicamente definidos a través de dos cuestionarios: la Valoración Policial del Riesgo (VPR) y la Valoración Policial de la Evolución del Riesgo (VPER). La Policía puede modificar el nivel otorgado únicamente para aumentarlo, no para reducirlo. A pesar de poder hacerlo, "en el 95% de los casos se mantiene el nivel que fue asignado de forma automática".

"De 31 mujeres entrevistadas, 15 de ellas evaluaron negativamente su experiencia con el sistema", se puede leer en el resumen del informe, que añade que "una de las principales preocupaciones sobre el algoritmo VioGén es que aproximadamente el 45% de los casos reciben la calificación de riesgo "no apreciado".

VioGén, por ejemplo, asigna un menor nivel de riesgo a aquellas mujeres que no tienen hijos, aunque no aumenta el riesgo de aquellas que sí los tienen; subestima la violencia psicológica; carece de representación de determinados grupos sociales como, por ejemplo, las mujeres migrantes; y parece minimizar formas más nuevas de violencia no física (como el acoso a través de las redes sociales) poniendo el énfasis en la violencia física.

Y todo ello lo conocemos gracias a esta "auditoría externa", incompleta e insuficiente precisamente porque no puede explicar cómo funciona VioGén ni sus responsables han tenido acceso al código que pondera cada caso.

La transparencia en los procesos

Vivimos en un mundo digital que es cada vez más opaco. Vemos capas y más capas de interfaces para comunicarnos entre nosotros y también con las máquinas, pero no sabemos cómo funcionan o qué hay detrás.

De la misma manera que uno contrata a un abogado para navegar por las leyes, que son públicas y accesibles, ¿por qué no se puede hacer lo mismo con un informático para que nos diga cómo funcionan los algoritmos que se usan para aplicar determinadas normativas?

El abogado Javier de la Cueva, uno de los mejores expertos en tecnología y Derecho de España, comenta a Público que en muchas ocasiones las administraciones públicas se escudan en la propiedad intelectual de los programas para cerrar el acceso. "Pero es que este asunto ya se resolvió hace 2.500 años cuando dijeron que la ley tenía que ser pública", ironiza. "Si se están tomando decisiones legales fundamentadas en los datos que nos ofrece un proceso informático, por lógica éste tendría que sea legible".

Existen a nivel europeo hasta tres resoluciones que indican que los algoritmos tienen que ser, precisamente, legibles: "No auditables solamente", añade, "sino LEGIBLES, que puedan leerse y comprenderse". "Y no pasa nada", insiste, "porque hace dos milenios casi todo el mundo era analfabeto, y para cumplir la ley acudían a los letrados, los que leen, que somos los abogados".

"Todo sistema de perfilado (de personas) tiene que ser accesible y legible"

Como las normas tienen que tener un "carácter general", añade este experto, no pueden darse normas particulares y, para comprobarlo (nuevamente), "tienen que ser legibles". Por eso, los algoritmos que se usan para agilizar los procesos en los gobiernos tienen que ser también legibles, precisamente para evitar los sesgos, una mala interpretación o una decisión injusta.

Y aquí llega uno de los problemas que nos encontramos si atendemos a una "auditoría externa". "Sin haber podido leer los parámetros de un algoritmo no puede ser rigurosa, te estarás fundamentando en casos particulares que hayan salido". Por ejemplo, ¿sabemos los casos que entran en un sistema pero que al final no eran reales? "No se puede comprobar quién no ha sido admitido en el sistema", exclama: "No se puede comprobar lo que no hay, es imposible la prueba del hecho negativo".

Por tanto, la respuesta de este abogado es clara: "Todo sistema de perfilado (de personas) tiene que ser accesible y legible".

De la Cueva es el abogado de la Fundación Civio que ha llevado a los tribunales otro algoritmo "oscuro", llamado BOSCO, que determina quién puede acceder al bono social de la electricidad. Desde esta fundación, que lucha para una mayor transparencia pública, es fundamental acceder al código fuente de dicho sistema para verificar que lo que hace se ajusta a la ley.

De esta forma, Civio ha demostrado que BOSCO falla en algunos supuestos, como en el caso de una viuda pensionista a quien invariablemente le contestará con el mensaje: "Imposibilidad de cálculo"; o bien, que el sistema solicita datos a los ciudadanos que no recoge la norma, como la renta, a los peticionarios que son familia numerosa. Asimismo, también plantea un problema aún mayor, y es que prácticamente todas las decisiones de los funcionarios son idénticas a las que "toma" el algoritmo.

De momento, el caso de BOSCO está en los Tribunales Centrales de lo Contencioso-Administrativo. El pasado mes de enero lo jueces resolvieron en contra de las pretensiones de Civio. Ahora, la citada fundación está a la espera de la contestación de un recurso (Texto íntegro) interpuesto por De la Cueva, en el que clama por la transparencia citando, entre otros argumento, uno especialmente relevante del profesor Boix Palop, que reproducimos por su claridad:

"Los algoritmos empleados por parte de las Administraciones Públicas para la adopción efectiva de decisiones han de ser considerados reglamentos por cumplir una función material estrictamente equivalente a la de las normas jurídicas, al reglar y predeterminar la actuación de los poderes públicos".

Más claro, imposible.