Sin transparencia no hay democracia. Así lo establece el Tribunal Supremo en una sentencia reciente, quizá la más importante de los últimos años. En ella no sólo se obliga a las administraciones públicas a mostrar qué sistemas y algoritmos usa para tomar decisiones, sino que tienen que estar convenientemente explicados. Es decir: la Justicia ya ha dicho que esa opacidad en los procedimientos digitales tiene que acabar.   

El trabajo de la Fundación Civio es precisamente explicar con datos qué hace y qué no hace el sector público, y especialmente si cumple lo que promete para mejorar la vida de los ciudadanos. Hay ciertas realidades que esta fundación ciudadana ha logrado desentrañar, y que son preocupantes: por ejemplo, ya en 2019 detectaron que sólo una de cada cinco personas logró acceder al bono social, una pequeña ayuda para afrontar la factura eléctrica. Y comprobaron que muchos de los que realmente lo necesitaban por su situación de pobreza energética se encontraban, de entrada, con dos barreras: o no se habían enterado o tuvieron problemas en el proceso.   

Si el Estado tiene que cumplir con el mandato de prestar servicio sobre todo a los más vulnerables, ¿cómo podemos comprobar que efectivamente lo cumple, si hay una parte del proceso que es oscura? ¿Cómo es posible que, por ejemplo, las prisiones españolas usen un algoritmo sin actualizar desde 1993 para decidir sobre permisos de salida?    

En España, la ley exige transparencia a las Administraciones Públicas. No sólo por la Ley 19/2013, de 9 de diciembre, de Transparencia, Acceso a la Información Pública y Buen Gobierno, sino por la propia Constitución (artículo 105.b), la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común y la Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público, aparte de las normativas que puedan existir en algunas comunidades autónomas.    

Esta transparencia es, quizá, el arma más poderosa para controlar a los poderes públicos, ya que les obliga a rendir cuentas a los ciudadanos constantemente: no sólo qué deciden hacer, sino cómo toman y aplican esas decisiones. De esta forma, expertos independientes, juristas, activistas, investigadores y periodistas pueden cumplir mejor su labor de vigilancia para que la sociedad funcione mejor, o simplemente para que funcione.   

¿Qué es la transparencia algorítmica y por qué es tan importante?   

Eva: Pues es simplemente entender, que todos podamos entender, del mismo modo que podemos leer una ley o un reglamento, cómo funcionan los algoritmos que toman decisiones que nos afectan. Es saber cómo funcionan para saber a qué atenernos, cómo funciona una ayuda que prevé una ley, qué condiciones tiene. En el mundo real sabemos qué normas nos regulan y cómo nos afectan; en el caso de los algoritmos, que cada vez se usan más, es como un agujero negro en donde se toman decisiones y, si no son transparentes, en realidad no estamos sabiendo lo que está pasando.   

¿Son los algoritmos cada vez más complejos en las administraciones públicas? Quiero decir, aunque nos den acceso a un algoritmo en un momento dado, el acceso seguiría estando restringido a quienes entiendan cómo funcionan esos programas.

Eva: Claro, pero eso pasa con todo. También la comprensión a fondo de las leyes ahora mismo está restringida a quienes entienden de leyes. Por ejemplo, para eso están iniciativas como El BOE nuestro de cada día, donde yo misma me leo el BOE y luego te lo voy a explicar. Por supuesto que no todo el mundo se va a poner a mirar el código de un algoritmo para ver cómo funciona y no todo el mundo lo va a entender; pero personas especializadas como activistas, informáticos, periodistas, etc lo van a poder traducir y explicar de forma sencilla, como lleva pasando toda la vida con las normas y con el procedimiento administrativo. 

Hay que decir que se habla ahora mucho de inteligencia artificial y se vende una moto genial, que somos ultramodernos y estamos avanzadísimos en lo digital, pero la realidad es que la mayoría de los algoritmos que hemos monitoreado son sistemas mucho más sencillos. O sea, el del bono social (llamado BOSCO) son cuatro reglas de cálculo. Hay un montón de algoritmos predictivos que en realidad son como un cuestionario de la Superpop, que si respondes esto, éste es resultado y si respondes mucho lo otro, pues es otro resultado.   

Entonces, su victoria en el Tribunal Supremo para acceder a BOSCO, ¿qué significa en términos generales? Es decir, ¿han conseguido que el poder judicial garantice de alguna forma el acceso a este tipo de sistemas?   

Eva: Significa que el Supremo ha dicho que, en general —no únicamente en el caso de BOSCO sino para cualquier sistema automático que use la administración y que decida sobre derechos o sobre obligaciones de la ciudadanía—, necesitamos poder no sólo acceder sino entender cómo funcionan esos sistemas. Y dice que es una condición para que España sea un país democrático. O sea, lo que ha dicho el Supremo es importantísimo ya que establece que tenemos el derecho constitucional a entender cómo funcionan los sistemas que toman decisiones y que nos afectan.   

¿Ha salido caro todo este proceso de ocho años hasta llegar a esa sentencia?   

Eva: Ha salido muy caro en tiempo, sobre todo. Ha implicado mucho tiempo de trabajo de todo el equipo, desde hace ocho años ya cuando hicimos la primera solicitud de información para entender cómo funciona BOSCO para decidir quién tiene derecho o no al bono social eléctrico. También ha costado muchísimos recursos, que se pagan en muy buena parte gracias a los socios. Es imposible aguantar una lucha como ésta en tribunales durante tantos años si no tienes una estructura estable que te permita pelearte y no soltar la presa hasta que llegues al final.   

Y ahora, si pueden acceder al código de un algoritmo determinado, en este caso BOSCO (aunque según la sentencia puede ser cualquiera), ¿qué van a hacer con él? ¿Cuál es el siguiente paso?    

Eva: Para nosotros hay dos tareas iniciales: uno, explicar cómo funciona, y dos, detectar si hay errores. Esperamos que, teniendo en cuenta que han tenido mucho tiempo y hemos denunciado mucho los errores que tenía BOSCO, cuando nos llegue el código esté arregladito y no tenga errores. Y eso también es bueno porque significará que hemos conseguido que lo arreglen y que la gente que tiene derecho al bono social pueda tramitarlo sin que le pongan trabas. Y luego, la idea es compartir ese código en la medida de lo posible, de modo que más gente pueda analizarlo en busca de errores o disfuncionalidades.   

Les han puesto sobre todo dos excusas para no revelar el código del algoritmo: la seguridad nacional y los derechos de autor de la aplicación en cuestión. El Tribunal Supremo las ha tumbado. ¿Les han puesto alguna otra excusa?   

Eva: Esas dos son las excusas planteadas. En el campo de la propiedad intelectual hubo un debate sobre hasta qué punto todo lo que hace el Gobierno tiene propiedad intelectual. Si fuera así, no podríamos acceder a absolutamente nada. Es decir, si existe un veto general debido a la propiedad intelectual, no se podría acceder ni siquiera a las normas o leyes, porque según ese razonamiento las ha escrito alguien. Era un argumento bastante absurdo y sobre todo en este caso, porque BOSCO lo había desarrollado la propia administración, no es una licencia de una compañía privada. O sea, que lo hemos pagado con nuestros impuestos, es de todos y tenemos derecho a ver cómo funciona. 

En cuanto a la seguridad nacional, todo fue mucho más rocambolesco, porque además este argumento se introdujo sobre la marcha: básicamente, la administración llamó a expertos del Ministerio de Justicia que decían que con el código del algoritmo de BOSCO íbamos a poder minar criptomonedas o a acceder a los datos de todo el mundo. Hay algo muy importante que repetimos mucho, y es que si alguien con acceso al algoritmo de BOSCO puede acceder a los datos tributarios de toda España es que el sistema es un churro patatero.   

David: El Tribunal Supremo viene a decir sobre la propiedad intelectual que hay que tener en cuenta el interés público para acceder al algoritmo y que en este caso sí hay derecho de acceso al mismo. Y en cuanto a la seguridad nacional, el Supremo dice lo que podría decir cualquier defensor del código abierto: puede haber riesgos, pero abrir el código permite que otras personas encuentren errores. Y ello además obliga a diseñar los sistemas desde el principio teniendo en cuenta la posibilidad de enseñarlo para que otros lo revisen, algo que es positivo. 

Durante el proceso se llegó a afirmar que el software libre no se usaba en las organizaciones públicas o en empresas, cuando no es así. El 90% de la infraestructura de la propia internet funciona con código abierto. En cualquier caso, para alegar que algo puede comprometer la seguridad nacional es necesario demostrarlo con argumentos muy de peso, no vale con afirmarlo sin más o decir que "en ningún caso tiene sentido abrir el código de un sistema". Hay que justificar cada caso.

Dado que las administraciones públicas usan cada vez más las tecnologías de la información y están destinadas a una mayor digitalización, ¿que sería necesario cambiar para que todo funcionase mejor?    

David: Nosotros pedimos, por ejemplo, que haya un registro de algoritmos, porque uno de los primeros problemas es saber qué sistemas de este estilo se están utilizando. En general, creo que hace falta cambiar un poco el proceso por el que las administraciones desarrollan y compran tecnología. Porque hay una cuestión básica, previa a todo lo demás: si vas a introducir un sistema automático para tomar decisiones, antes habría primero que justificar por qué hace falta ese sistema automático en este caso. Habría que involucrar desde el principio a la gente afectada, porque quienes desarrollen ese sistema puede que no conozca los detalles en el terreno.

¿Un análisis de impacto o de riesgo, algo así?   

"En el Reglamento Europeo de Inteligencia Artificial y para algunos sistemas se va a obligar a crear, aparentemente, informes de impacto sobre derechos fundamentales"

David: Claro. De hecho, en el Reglamento Europeo de Inteligencia Artificial y para algunos sistemas se va a obligar a crear, aparentemente, informes de impacto sobre derechos fundamentales, incluso en sistemas que no son de alto riesgo. Esto debería ser algo que tiene que hacer la administración por iniciativa propia cuando va a implementar o desarrollar un sistema para automatizar un trámite. Debería informar qué y por qué lo va a hacer e involucrar a la gente afectada desde el principio para encontrar problemas antes de desplegar el sistema. Nosotros hemos comprobado que BOSCO daba problemas y lleva años funcionando, y hay mucha gente afectada por ese algoritmo desde antes de que identificáramos los problemas.

Eva: Para mí es importantísimo que se cumpla el doble combo de transparencia y control. Tiene que haber transparencia para que sepamos todo y podamos vigilarlo desde fuera. Pero tiene que haber también cierto control para evitar que se estén aplicando tecnologías en un montón de procesos sin siquiera pensar si es algo necesario o no. Un ejemplo brutal es el servicio de atención al ciudadano, donde lo que hace falta es que haya un ser humano al otro lado que te ayude, sobre todo en gestión de ayudas, pensiones, cuestiones básicas para todos los ciudadanos, especialmente los más vulnerables. A mí no me sirve de nada que haya un chatbot de la Seguridad Social resolviéndome dudas: necesito un ser humano al otro lado que abra mi expediente y me diga cuál es el problema.

A veces parece que se usa la tecnología como barrera, más que como algo eficaz o útil.

Eva: Puede pasar eso y pasa todo el rato: un chatbot que responde memeces a gente que tiene dudas en la Seguridad Social te obliga a ir igualmente a la oficina de turno, y al mismo tiempo se están eliminando puestos de trabajo en la oficina porque se cree que la tecnología va a resolver todo. Eso no es ser eficiente.    

David: En general, también debería haber un control una vez has desplegado el sistema. Porque el proceso no acaba cuando tú despliegas el sistema. Tiene que haber un seguimiento para ver si realmente funciona y poder ajustarlo, mejorarlo. Nosotros sacamos un tema sobre un sistema que usan las cárceles españolas para evaluar el riesgo de los internos, que se hizo hace 30 años, y, desde entonces, no se ha modificado y nadie ha estado evaluando, por ejemplo, los cambios que se dan en el mundo real durante ese tiempo.    

¿Cómo son de transparentes las administraciones públicas españolas? Tanto en general como en el uso de algoritmos predictivos.   

Eva: Si partimos de la base en que no sabemos qué se está usando ahora mismo en una administración determinada, no se les puede dar un aprobado a ningún nivel. Todas las administraciones suspenden. Puede haber diferencias entre comunidades. Por ejemplo, hay comunidades más avanzadas que están creando sus registros de algoritmos como Euskadi, Catalunya y la Comunitat Valenciana. Nosotros trabajamos sobre todo a nivel nacional y, como en el caso de BOSCO, nos encontramos con todo tipo de barreras a la hora de pedir cualquier información relacionada con estos sistemas.   

Parece que hay bastante resistencia a la transparencia, ¿no?   

Eva: No sólo en transparencia algorítmica. Estamos hablando de básicos, como quién trabaja en los ministerios, con quién se reúne un alcalde, no sé, estamos hablando de transparencia básica. En nuestro caso, casi todo lo que hemos preguntado sobre algoritmos ha sido a nivel nacional. Por ejemplo, en todo lo que sea relacionado con el Ministerio del Interior hay una barrera inmediata. Pasa lo mismo con Defensa, también con la Seguridad Social. Pero vamos, no se libra ninguna, ahora mismo estamos en un juicio contra el Ministerio de Trabajo porque tampoco nos quiere dar información básica.