La inteligencia artificial va a la cárcel

"Hijo de obrero, dejé de estudiar. La droga arruinó mi forma de pensar. Si fuera rico, me habría librado, papá pagaría a un buen abogado. Cómo seré yo castigado, dependerá del prisma utilizado. Dime tú dónde está la razón, si criminalizan por ser un peón". Es una estrofa de la canción final en la obra de teatro HistorIAs PenintencIArias, escrita y representada por los internos del módulo 4 de la cárcel del Centro Penitenciario Madrid 3 (Valdemoro) el pasado mes de diciembre.

La trama gira en torno a la equidad del sistema judicial en el que, dicen, "la justicia no es igual para todos". "En esta historia, un ingeniero informático decide crear una inteligencia artificial para equilibrar la balanza entre las distintas clases sociales, desde el más rico hasta el más pobre", cuenta a Público la psicóloga social Nadja Jamard, presidenta de la Asociación Iniciativas Sociales Kirikú, que ha trabajado con los reclusos en esta obra.

El resultado de aplicar los nuevos algoritmos es que "la justicia deja de ser subjetiva, porque ya no está en manos de seres humanos. Las cárceles se empiezan a llenar de gente poderosa que antes no entraba, porque se juzga a todo el mundo con el mismo rasero", dicen los actores de esta representación, que está dentro del proyecto La Ópera, un Vehículo de Aprendizaje (LÓVA), liderado por Miguel Gil.

Los sesgos, siempre en perjuicio de los más vulnerables

La teoría suena bien. ¿Pero funciona realmente así la inteligencia artificial aplicada al sistema penintenciario y judicial? ¿Puede un juez electrónico ser imparcial?

El problema no está en los programas de machine learning, sino en los sesgos que incorporan. "Por eso, los presos se plantean qué pasaría si los desarrollara alguien con una visión objetiva, un ingeniero que viene de un barrio obrero y está cansado de ver cómo siempre pierden los más débiles", explica Jamard. En la práctica, sin embargo, la solución se complica con los datos de entrenamiento de esos algoritmos.

¿Cómo aprende la inteligencia artificial a diferenciar el riesgo de que un preso reincida o la peligrosidad de un acusado en un juicio? Lo hace con fórmulas estadísticas, creadas a partir de cientos de miles de ejemplos, entre los que saca patrones, inferencias y conclusiones que luego generaliza y aplica a casos nuevos e individuales.

La IA acaba reproduciendo los mismos errores y sesgos presentes en el material con que fue entrenada

Es decir, el programa bebe de todos esos casos del pasado, en los que las decisiones se tomaron a partir del juicio humano, con todos los prejuicios inherentes que pudiera arrastrar. Por eso, inevitablemente, esa IA acaba reproduciendo los mismos errores y sesgos presentes en el material con que fue entrenada.

Es una de las razones por las que el juez Manuel Marchena, en su discurso de ingreso en la Academia de Doctores, en 2022, señalaba que "cualquier decisión que implique la privación de derechos fundamentales no puede fundamentar su procedencia en el altísimo grado de acierto estadístico del algoritmo que sirve de base, a partir de la información estadística que nutre su funcionamiento, para la privación de libertad".

Ya se aplica para decidir la libertad condicional

En España, el programa RisCanvi es un modelo matemático empleado en las cárceles catalanas que calcula el riesgo de reincidencia de un preso. El informe que emite ayuda al juez a decidir si alguien debería obtener o no la libertad condicional.

Un informe del Centro de Estudios Jurídicos de la Generalitat apuntaba, ya en 2016, que el programa RisCanvi predecía con éxito el 77% de las veces que los presos iban a ser reincidentes.

El programa empleado en España para calcular el riesgo de reincidencia detecta un 86% de falsos positivos

Lo malo es que también detectaba un 86% de falsos positivos: presos calificados de alto riesgo —con las restricciones para ellos que eso puede conllevar— que, finalmente, nunca reinciden.

Su equivalente en Estados Unidos, el sistema COMPAS, lleva años en tela de juicio por sus equivocaciones. Y, sobre todo, por los prejuicios raciales que incorpora. Varios estudios han puesto en evidencia que suele puntuar como menos peligrosos a los blancos que a los afroamericanos, con un alto porcentaje de falsos positivos —gente que cataloga con alto riesgo de reincidencia y nunca reincide— dentro de este último grupo.

IA para predecir conflictos

En España, la tecnología de predicción de peligrosidad se ha empezado a usar, además, para anticiparse a altercados o comportamientos violentos dentro de las prisiones. Mediante análisis de emociones, a partir del reconocimiento facial y corporal de las personas detectadas por las cámaras, existen programas de machine learning que advierten de un posible inminente amenaza a la seguridad.

Empezó a aplicarse el año pasado en la cárcel de Mas d'Enric de Tarragona, como parte de una prueba piloto del departamento de Justicia. Su objetivo, prevenir que los reclusos escapen o que entre droga, además de clasificar a los internos en función del riesgo.

Varias organizaciones en defensa de los derechos humanos, como la Organización Mundial contra la Tortura (OMCT), han alertado sobre la posible vulneración de la privacidad y la intimidad que podría darse en este escenario. Tengamos en cuenta que el reconocimiento facial está catalogado por la Ley de Inteligencia Artificial, aprobada en 2021 por la UE, como tecnología de "riesgo inaceptable".

Pero, sobre todo, lo que más preocupa a los críticos es que aplicarla en la cárcel "implica dotar de un automatismo a las decisiones penitenciarias que resulta contrario al principio de individualización que inspira la ejecución de la condena", denuncia la jurista penitenciaria Puerto Solar Calvo.

Otro pero de peso es la opacidad del sistema, una especie de caja negra que impide, incluso a los propios funcionarios del sistema judicial, conocer los entresijos del engranaje que han llevado al machine learning a emitir un dictamen u otro.

Mientras tanto, los internos del módulo 4 de la cárcel del Centro Penitenciario Madrid 3 no se rinden. Ni renuncian a su libertad para progresar —así se llama su compañía, El Progreso—, soñar y contar la realidad que se vive en la prisión.