Si el algoritmo vulnera tus derechos, mala suerte: un laberinto institucional dificulta las reclamaciones
Las conclusiones preliminares del nuevo informe de Political Watch, en consonancia con la coalición IA Ciudadana, arrojan un resultado desalentador en la defensa de los derechos digitales.
"El sistema está más pensado para controlar el mercado que para reparar a quien sufre el daño", sostiene el informe.
Madrid--Actualizado a
¿Cuáles son las vías de reclamación ante la vulneración de derechos por parte de sistemas algorítmicos? Desde Political Watch, bajo el paraguas de la coalición IA Ciudadana, tratan de dar respuesta a esta pregunta a través de un informe pionero cuyas conclusiones preliminares arrojan un resultado desalentador en la defensa de los derechos digitales.
El informe, cuya versión definitiva estará lista en unas semanas, determina que "el sistema está más pensado para controlar el mercado que para reparar a quien sufre el daño". Y es que, existen al menos tres autoridades distintas que pueden recibir una reclamación por daño algorítmico, cada una "con lógicas y procedimientos diferentes". Se trata de la Agencia Española de Protección de Datos (AEPD), la Comisión Nacional de los Mercados y la Competencia (CNMC) y las autoridades de vigilancia del mercado, incluida la AESIA.
Además, en las vías previstas por el Reglamento de IA y el Anteproyecto de Ley para el Buen Uso y la Gobernanza de la Inteligencia Artificial, "la persona que denuncia ni siquiera adquiere automáticamente la condición de parte interesada en el procedimiento".
En este sentido, desde la organización especializada en el desarrollo de tecnologías pro-democracia, destacan que ese "laberinto" continúa si el perjudicado busca una reparación, para lo que "no queda otro remedio que el resto de vías tradicionales", como la judicial o las instancias superiores de la vía administrativa. Y, una vez ahí, las dificultades no terminan.
¿Cómo es el proceso de estudio?
Bajo el título La tutela de los derechos frente a la implementación de sistemas algorítmicos y de inteligencia artificial, el informe parte de la identificación de daños concretos que se producen en la práctica como consecuencia del diseño, despliegue o uso de sistemas algorítmicos y de IA.
Después, analiza el marco normativo aplicable en los ámbitos internacional, europeo y español, con el fin de identificar "qué normas reconocen derechos, imponen obligaciones y prevén mecanismos de tutela frente a estas vulneraciones". De esta manera, el estudio examina el papel de las autoridades competentes que deben garantizar el cumplimiento de estas normas y recibir reclamaciones, así como los procedimientos administrativos y judiciales existentes para poner en marcha la protección de derechos.
Este recorrido permite poner de relieve "los problemas estructurales y prácticos que dificultan el acceso efectivo a la reclamación en contextos algorítmicos y sienta las bases para identificar líneas de mejora", que serán desarrolladas en las siguientes fases del proyecto a través de una guía para crear un sistema de reclamación que sea accesible, transversal y sensible a los daños colectivos que producen los sistemas algorítmicos y de IA.
Vías de reclamación "distintas", gestionadas por autoridades "diferentes"
La experiencia comparada muestra que la existencia de obligaciones "no garantiza por sí sola la protección de los derechos si no va acompañada de procedimientos claros, comprensibles y utilizables por las personas afectadas". En este sentido, sitúa los mecanismos de reclamación en el eslabón que conecta "la regulación abstracta con la tutela real y cotidiana de los derechos humanos en contextos algorítmicos".
El actual marco de reclamación frente a vulneraciones derivadas del uso de sistemas algorítmicos e IA se caracteriza por una "fragmentación institucional significativa, derivada de la coexistencia de múltiples normas y autoridades con competencias parciales y sectoriales".
Relacionado con este tema
En esta línea, destaca que el Reglamento General de Protección de Datos (RGPD), el Reglamento Europeo de Servicios Digitales (RSD) y el Reglamento Europeo de Inteligencia Artificial (RIA) articulan vías de reclamación "distintas", gestionadas a su vez por autoridades "diferentes" (AEPD, CNMC, AESIA y otras autoridades de vigilancia del mercado), "sin un punto de entrada único ni criterios homogéneos de derivación".
En el contexto español, esta fragmentación "se intensifica" con la incorporación de la AESIA como órgano de coordinación, a pesar de que no implica una centralización "efectiva" de la tramitación de reclamaciones. "El resultado es un sistema en el que una misma vulneración algorítmica puede quedar simultáneamente cubierta por varias normas o, por el contrario, no encajar plenamente en ninguna, generando inseguridad jurídica y riesgo de inacción administrativa".
El informe también evidencia lagunas en el marco normativo existente. Por ejemplo, el RGPD "no cubre daños que no impliquen tratamiento de datos personales"; el RIA "prioriza el cumplimiento normativo del sistema como producto, sin garantizar reparación individual"; y el RSD "se limita a contextos de intermediación digital". Por otro lado, instrumentos como la Carta de Derechos Digitales también carecen de mecanismos propios de exigibilidad.
En cuanto a las personas afectadas, el acceso efectivo a los mecanismos de reclamación se ve "obstaculizado" por barreras procedimentales y técnicas. Por ejemplo, identificar la norma aplicable y la autoridad competente requiere de un conocimiento jurídico especializado que "no puede presumirse".
A esta situación se suma la "asimetría de información frente a proveedores y plataformas, la dificultad para acceder a explicaciones comprensibles sobre el funcionamiento de los sistemas algorítmicos y los plazos prolongados de los procedimientos administrativos y judiciales".
Relacionado con este tema
Estas limitaciones se agravan en el caso de sistemas de IA de alto riesgo, definidos por "su impacto potencial en derechos fundamentales" como el acceso al empleo, la educación, la protección social, la seguridad o la justicia. En estos contextos, subraya el informe, "los daños pueden ser difusos, difíciles de atribuir y de carácter estructural, afectando de forma desproporcionada a determinados colectivos".
Daños y derechos afectados
Desde una perspectiva jurídica, las vulneraciones analizadas incluyen, las afectaciones al derecho a la igualdad y no discriminación, derivadas de sesgos en los datos o en los modelos; lesiones al derecho a la protección de datos personales, especialmente relación con el perfilado, la opacidad del tratamiento y la toma de decisiones automatizadas; déficit de transparencia, explicabilidad y trazabilidad, que "dificultan la comprensión y la impugnación de decisiones algorítmicas"; limitaciones al derecho a la tutela judicial efectiva y a un recurso efectivo, cuando las personas afectadas "carecen de mecanismos claros para reclamar o impugnar los resultados producidos por estos sistemas"; e impacto sobre otros derechos, como la libertad de expresión, el acceso a servicios esenciales o la presunción de inocencia, en función del contexto de uso.
En cuanto a los daños que inciden sobre un amplio abanico de derechos, el informe destaca algunos ejemplos, aunque ninguno de ellos se ha traducido en que al menos una de las personas afectadas haya sido resarcida de manera individual. Están los casos de sesgos en sistemas de reconocimiento facial, que han mostrado tasas de error significativamente más altas para mujeres y personas de comunidades racializadas.
Otro caso relevante es el de AENA, sancionada por la Agencia Española de Protección de Datos (AEPD) por el uso de sistemas de reconocimiento facial y tratamientos biométricos "sin una base jurídica adecuada ni garantías suficientes para las personas usuarias, lo que puso de relieve los riesgos asociados al uso de tecnologías algorítmicas intrusivas en espacios públicos y de tránsito masivo".
También, el informe hace hincapié en el caso del sistema BOSCO, utilizado en España para asignar el bono social eléctrico. La falta de información sobre su funcionamiento y criterios motivó un litigio estratégico impulsado por la organización Civio, que evidenció "cómo la opacidad algorítmica puede afectar al derecho a la información, a la defensa y al acceso a servicios esenciales".
Por otro lado, destaca el sistema RisCanvi, utilizado en Catalunya para valorar el riesgo de reincidencia y apoyar decisiones penitenciarias. Este ha sido objeto de críticas por su opacidad, por la dificultad de acceso a sus criterios de funcionamiento y por "las limitaciones prácticas para impugnar las valoraciones algorítmicas ante los tribunales, lo que plantea dudas sobre el respeto al derecho de defensa y a la contradicción".
Relacionado con este tema
A la luz de estos datos, que reflejan un ecosistema normativo e institucional fragmentado, así como los retos técnicos, jurídicos y sociales identificados a lo largo del informe, el proyecto pasará a una nueva fase orientada a "proponer y co-crear un mecanismo de reclamación" frente a vulneraciones de derechos derivadas del uso de sistemas algorítmicos y de inteligencia artificial.
Comentarios de nuestros socias/os
¿Quieres comentar?Para ver los comentarios de nuestros socias y socios, primero tienes que iniciar sesión o registrarte.