Minority Report ya está aquí... y no es bueno

Más de 60 organizaciones, coordinadas por European Digital Rights ( EDRi), han enviado una carta abierta a la Comisión Europea exponiendo sus temores sobre los usos de la Inteligencia Artificial (IA) y considerando su más que probable incompatibilidad con una sociedad democrática, por lo que deberían "estar prohibidos o restringidos legalmente en la legislación de IA".

Tal y como se indica en el escrito, "sin las limitaciones adecuadas en el uso de tecnologías basadas en Inteligencia Artificial, nos enfrentamos al riesgo de violaciones de nuestros derechos y libertades por parte de gobiernos y empresas por igual". Derechos como los de la privacidad, protección de datos, libertad de expresión y reunión, no discriminación y dignidad, entre otros, no están hoy por hoy correctamente salvaguardados de los abusos en la aplicación de la IA.

Sin obviar los grandes beneficios que trae consigo esta tecnología, la carta apela a la oportunidad y la responsabilidad que tiene la Unión Europea (UE) de garantizar la supervisión democrática y regulación clara antes de que se implementen las tecnologías. Aunque son muchos los frentes que abre –y que se pueden consultar en su escrito-, hoy profundizaré en uno que no se acostumbra a tratar: la aplicación de la IA en los procesos judiciales y, más específicamente, el uso de algoritmos en materia de justicia penal para perfilar a las personas en el ámbito legal. Ya el año pasado, en su Libro Blanco ‘sobre la Inteligencia Artificial - un enfoque europeo orientado a la excelencia y la confianza’, la UE reconocía que la IA representa riesgos para los derechos fundamentales, incluido el derecho a un juicio justo.

Experiencias reales

La carta abierta se apoya en un informe realizado por Fair Trials, que es un organismo de control de la justicia penal mundial enfocado en la mejora del derecho a un juicio justo de acuerdo con los estándares internacionales, con oficinas en Londres, Bruselas y Washington. Fair Trials no duda en afirmar que diversos estudios multijurisdiccionales (Europa incluida) proporcionan evidencia sustancial de que tanto la IA como los sistemas de aprendizaje automático (machine learning) pueden tener una influencia significativamente negativa en la justicia penal, dado que generan y refuerzan directamente resultados injustos y discriminatorios e infringen los derechos fundamentales.

¿Hablamos de ciencia ficción? ¿Nos estamos poniendo la tirita antes de hacernos la herida? En realidad no es del todo así, puesto que ya existe una variedad de herramientas policiales predictivas que buscan prevenir los delitos a lo Minority Report. Según expone Fair Trials, diversos países europeos cuenta con software para predecir el momento y el lugar donde es probable que se produzcan determinados delitos, al tiempo que para identificar posibles sospechosos.

En este sentido, conviene recordar lo sucedido en EEUU con la llamada Strategic Subject List (Lista de sujetos estratégicos) de Chicago, una base de datos de 400.000 personas residentes a las que se les asignó diferentes puntuaciones de amenaza en función de la probabilidad de delinquir que les asignaba el sistema de IA. Claro está, los algoritmos utilizados para generar estas puntuaciones no estaban abiertos al público. ¿Qué creen que sucedía con las personas a las que el sistema hubiera asignado una mayor puntuación? Pues sí, desde una mayor vigilancia policial a, incluso, visitas domiciliarias periódicas.

¿Creen que en Europa no puede suceder algo parecido? Se equivocan, en Reino Unido hay experiencias similares y si miramos a los Países Bajos, allí cuentan con ProKid SI 12- (ProKid). Se trata de una algorítmica de evaluación de riesgo de criminalidad para niños y niñas a partir de 12 años. Para estas evaluaciones, el sistema cruza datos policiales sobre estos menores, informes de sus interacciones con la policía, sus domicilios, su entorno social o si son víctimas de violencia, lo que los encuadra directamente en una de las cuatro categorías de "riesgo" de cometer delitos en el futuro.

Estamos a tiempo

A día de hoy, los sistemas de IA se utilizan para asistir y complementar en la toma de decisiones, pero no constituyen el único factor de decisión; es por ello que quedan al margen de la legislación europea que sí prohíbe explícitamente, según Fair Trials, la toma de decisiones basada únicamente en procesos automatizados, si bien es cierto que existen excepciones cuya ambigüedad inquieta al organismo.

El problema no parece tanto la tecnología en sí, sino el diseño de los sistemas, que califica de deficiente y lo acusa de incumplir con normas de Derechos Humanos (DDHH). Para empezar, buena parte de estos sistemas no sólo no son transparentes sino que ni siquiera son comprensibles o pueden ser examinados por sus usuarios principales, por no hablar de las personas sospechosas y acusadas y el público en general. El secreto de propiedad intelectual y los intereses comerciales blindan los algoritmos, quedando la ciudadanía expuesta a la deficiente programación que promueve prejuicios. Es por ello que, al menos, debería existir una auditoría independiente de cada sistema de IA.

Tres son, al menos, las cuestiones que debería afrontar la UE:

1) ¿Cuáles son los estándares requeridos para el diseño e implementación de los sistemas de IA en la Justicia?

2) ¿Qué mecanismos de salvaguarda se activan para asegurar que los sistemas de IA sean utilizados respetando los DDHH y evitando la discriminación?

3) ¿Cómo han de regular los Estados miembros el despliegue de estos sistemas de IA y, posteriormente, monitorizar su uso?

La tecnología va por delante de la legislación y en materia penal es un lujo que no nos podemos permitir. A lo citado anteriormente debería ser obligatorio que todos los responsables de la toma de decisiones estuvieran debidamente informados y alertados sobre los riesgos asociados con los sistemas de IA y, cuando se apoyen en ellos para tomar dichas decisiones, proporcionar un razonamiento completo e individualizado de la influencia que ha tenido en cada una de ellas.

Al mismo tiempo, cualquier persona acusada debería tener el derecho de ser notificada en caso de que en su proceso judicial haya intervenido un sistema de IA, partiendo desde el mismo arresto y terminando por la sentencia. Dicha divulgación, además, debería realizarse en una forma clara y comprensible para un laico, sin necesidad de asistencia técnica o experta, para garantizar la equidad y la igualdad, según Fair Trials. Queda, pues, muchísimo por avanzar y la tecnología aventaja con mucho a los legisladores.