El abuso tecnológico de las democracias nos agrede

Este verano se celebró la Semana de las Naciones Unidas contra el Terrorismo. Durante su desarrollo, el relator especial sobre la promoción y protección de los derechos humanos y las libertades fundamentales en la lucha contra el terrorismo, Ben Saul, advertía de los altos riesgos que la Inteligencia Artificial (IA) plantea para los derechos humanos en la lucha contra el terrorismo. Entre ellas, Saul destaca la vigilancia y la bautizada como policía predictiva, o el uso de las capacidades intrusivas de la tecnología, sus fallos y limitaciones y su mal uso en la seguridad fronteriza y las operaciones militares.

El relator de la ONU no pudo ser más tajante: "El uso de nuevas tecnologías para combatir el terrorismo ha desatado nuevas oleadas de violaciones de derechos humanos, a menudo dirigidas contra la sociedad civil, los defensores de los derechos humanos, los periodistas y los opositores políticos". Su temor, fundado a la luz de lo visto hasta la fecha, es que la IA puede terminar por amplificar estas vulneraciones de libertades civiles.

Este evento tuvo lugar el pasado mes de julio y estuvo organizado conjuntamente por las Misiones Permanentes de India, Japón y los Emiratos Árabes Unidos, y la Delegación de la Unión Europea ante las Naciones Unidas, la Oficina de la ONU contra el Terrorismo (UNOCT) y el Instituto Interregional de las Naciones Unidas para Investigaciones sobre la Delincuencia y la Justicia (UNICRI). 

Saul remitió al informe presentado a finales del año pasado en el que, en su opinión, demuestra los riesgos que trae consigo la IA. En este documento, el relator de la ONU insiste en cómo los algoritmos de IA pueden agregar y analizar datos altamente personales o sensibles, no sólo arrestos y antecedentes penales o su actividad en redes sociales, también datos de comunicaciones, información almacenada en los sistemas de Educación, Sanidad o Servicios Sociales o las asociaciones con familiares, amigos y colegas de trabajo.

La amenaza es doble: por un lado, la intromisión en la privacidad de las personas para elaborar estos perfilados de supuestos terroristas; por otro, en las medidas antiterroristas que se adopten después contra esos individuos. Encima de la mesa está el peligro de terminar derivando en discriminación, vulneración de libertades civiles (de expresión, asociación, reunión pacífica…) y dañar los derechos de grupos vulnerables, marginados y desfavorecidos. En su informe, Saul también tiene muy presente que "muchos sistemas de IA aún están en fase de desarrollo, experimental o pruebas, y sus capacidades, incluso en condiciones reales, aún están por demostrar".

Uno de los puntos más llamativos de este informe expuesto durante la Semana de las Naciones Unidas contra el Terrorismo y, al mismo, más inquietante, es la denuncia de Saul de que "el Consejo de Seguridad ha instado a los Estados a utilizar nuevas tecnologías para combatir el terrorismo sin prestar suficiente atención a los riesgos de derechos humanos, incluyendo países que carecen de protecciones de derechos humanos, de judicaturas independientes, de una cultura del Estado de Derecho o de supervisión democrática". En nuestro caso particular, que nadie por ser europeo se sienta excluido de la amenaza porque, tal y como sostiene el relator, "las democracias también han abusado de las herramientas tecnológicas".

Esta lectura de cartilla al Consejo de Seguridad va más allá, reprochándole que también haya descuidado abordar adecuadamente las consecuencias adversas o no deseadas de la implantación de sus resoluciones.

El catedrático de Ciencia Política en la Universidad Pablo de Olavide (UPO) de Sevilla, Manuel Torres, a principios de año publicaba un artículo para el Instituto Español de Estudios Estratégicos (IEEE) en el que también abordaba la cuestión del uso de la IA desde la óptica del terrorista. En su opinión, "la comunicación es el alma del terrorismo", pues la precisa para reclutar, movilizar y justificar sus acciones. La IA generativa permite que incluso un grupo terrorista en sus horas más bajas tenga capacidad para no desaparecer de la esfera informativa.

Ahora bien, para combatir este salto cualitativo en la radicalización y en la preparación de atentados terroristas, Torre advierte que "los sistemas de IA aprenden de datos históricos, perpetuando inevitablemente los sesgos existentes". Los mismos sesgos a los que se refiere el relator de la ONU, que generan preocupaciones sobre la calidad de los datos y de la falta de representación igualitaria en los conjuntos de datos utilizados para desarrollar sistemas de IA.

En esta línea, el catedrático de la UPO expone que "un algoritmo entrenado con datos de ataques terroristas tenderá a identificar como sospechosos a individuos de determinados perfiles étnicos o religiosos, generando falsos positivos". Además de plantear serios problemas éticos, estos falsos positivos son contraproducentes porque pueden provocar que se terminen por desviar recursos que debieran estar pendientes de las amenazas reales.

En su artículo, Torres incide en otra cuestión esencial: dado que "los ataques terroristas exitosos son estadísticamente raros, cualquier sistema predictivo se enfrentará a una tasa de falsos positivos muy elevada". Tanto es así que, añade, "incluso un sistema que lograse un 99% de precisión, terminaría produciendo miles de falsas alarmas por cada amenaza genuina que consiga identificar". Dicho de otro modo, la IA predictiva puede terminar por generar más daño que utilidad.

El informe de Saul es exhaustivo y bien merece una lectura sosegada para entender los riesgos y amenazas a las que nos enfrentamos cuando nuestros Gobiernos utilizan la IA en pos de la seguridad nacional. El relator también dedica espacio a algunas recomendaciones, subrayando que se requiere reforzar la legislación, porque la autorregulación cosmética de la que presume la industria tecnológica no es, ni de lejos, suficiente.

Un sistema de IA que, por diseño, no cumpla con los estándares de derechos humanos o que representen un riesgo inaceptable, jamás debieran tener permitido el uso general, mucho menos por las Cuerpos y Fuerzas de Seguridad del Estado. Este punto conduce directamente a los desarrolladores, integradores y organizaciones que implanten esos sistemas, que deberían realizar evaluaciones y auditorías durante todo el ciclo de vida de estos sistemas. En estas auditorías, los datos son cruciales, no sólo en cuanto a la calidad, las pruebas y su validación, sino también en los casos en los que se pudiera producir intercambio transfronterizo de información. La transparencia algorítmica es esencial.

Cuando salta a la palestra el poder de las grandes tecnológicas y su relación con los Gobiernos, el pesimismo y la resignación parecen instalarse con la misma

contundencia con que se emplea el "es el mercado, amigo" para justificar las tropelías capitalistas que sufrimos. En este sentido, el cierre de la intervención del relator de la ONU debiera tener un efecto inspirador: "No debemos caer en el fatalismo de creer que no podemos controlar colectivamente la actual carrera armamentística tecnológica y el auge de inversiones multimillonarias. El futuro debe estar en manos de todos".