Desde 2018 el debate sobre los sesgos y efectos perversos de los algoritmos cobra cada día mayor importancia. Fue entonces cuando salió a la luz el caso de la empresa británica Cambridge Analytica, que utilizó datos privados obtenidos de Facebook para intentar influir en las elecciones. Esto nos hizo reflexionar sobre los riesgos de aplicar algoritmos personalizados que explotan las características psicológicas del individuo con fines políticos.

En palabras de Chris Wylie, el exempleado de la empresa que destapó el caso:

“En lugar de estar en la plaza pública, decir lo que piensas y luego dejar que la gente venga, te escuche y tenga esa experiencia compartida de lo que es tu narrativa, estás susurrando en los oídos de todos y cada uno de los votantes. Y puedes susurrar una cosa a uno y otra diferente a otro”.

Esta experiencia, generalizada pero no compartida, es llamada filter bubble o echo chamber (burbuja de filtro o cámara de eco, en español). El término evidencia cómo las mismas tecnologías que nos conectan también nos aíslan en burbujas informativas que refuerzan determinadas opiniones y nos hacen cada vez más vulnerables a la manipulación.

El caso de Cambridge Analytica forma parte de un conjunto de intentos de manipulación masiva de la opinión pública a través de ingeniería social, que Facebook denomina Information Operation (Operación Información). Es decir, acciones emprendidas por actores organizados (gobiernos u organismos no estatales) para distorsionar los sentimientos políticos de la población, al fin de lograr algún resultado estratégico y geopolítico específico.

Capitalismo de vigilancia

La psicóloga social Shoshana Zuboff, en su libro The age of surveillance capitalism (La era del capitalismo de vigilancia), nos habla de forma más articulada de algo que ya intuíamos: que la manipulación de opiniones y comportamientos es parte integrante del capitalismo basado en la vigilancia digital.

En este contexto, el dato, sobre todo el de carácter personal, juega un papel clave por dos razones. La primera es que forma parte de la base de la economía digital, el modelo de desarrollo económico más prometedor que tenemos. La segunda, que su análisis permite orientar el comportamiento colectivo, cada vez a mayor escala y de forma más rápida.

Por desgracia, el requisito básico de cada sistema informático que sea capaz de escalar conlleva la amplificación exponencial del riesgo de un posible fallo. La matemática Cathy O'Neil hablaba en 2017 de armas matemáticas de destrucción masiva (Weapons of Math Destruction) para enfatizar la escala, el daño potencial y la opacidad de los sistemas de toma de decisión basados en algoritmos de aprendizaje automático (machine learning).

El profesor de Derecho y experto en inteligencia artificial Frank Pasquale habla del problema de introducir mecanismos de rendición de cuentas (que buscan la equidad y la identificación de responsabilidades) en los procesos automatizados, en lugar de tratar esos procesos como una caja negra. Así, se esconden tras los derechos propietarios de las empresas privadas que los han desarrollado.

Solon Barocas, que investiga las cuestiones éticas y políticas de las inteligencias artificiales, hablaba en 2013 de la “gobernanza de los algoritmos” y de la necesidad de cuestionar estos artefactos y analizar sus efectos desde una perspectiva legal y de políticas públicas.

El congreso FAT*, cuya tercera edición se celebrará en Barcelona en enero de 2020, se ha convertido en el encuentro de referencia para los que quieren abordar cuestiones de transparencia, justicia y rendición de cuentas de los sistemas automatizados.

Europa vs. EE UU

En Europa, el artículo 22 del Reglamento General de Protección de Datos (RGPD) nos obliga a garantizar que haya supervisión humana y derecho de apelación de las decisiones tomadas por sistemas automáticos y de perfilado (profiling).

En EE UU, fallos como la incapacidad de algoritmos, entrenados con bases de datos con una sobrerrepresentación de fotos de personas blancas, para identificar a personas de color, también motivan la voluntad de abrir y auditar estos sistemas.

Estos casos, junto a otros más inquietantes en el ámbito jurídico y policial, han sido tomados como ejemplos de la falta de sensibilidad entre los programadores sobre las cuestiones raciales y de género. Así lo argumentan Sarah Myers West, Meredith Whittaker y Kate Crawford en el libro blanco Discriminating Systems: Gender, Race, and Power in AI (Sistemas discriminatorios: género, raza y poder en las IA).

La publicación está en línea con otros autores como Andrew Selbst, que investiga los efectos legales de los cambios tecnológicos. Pretende llamar la atención sobre la necesidad de contextualizar cualquier discurso sobre desarrollo tecnológico y analizarlo como sistema tecnosocial, como ya hacen los estudios de ciencia, tecnología y sociedad.

La automatización de procesos de decisión conlleva un gran desafío técnico, legal, de gestión corporativa y moral. Esto ocurre en todas las áreas, que van desde la detección de noticias falsas y fraudes hasta el diagnóstico médico y la encarcelación de sospechosos. Por ello, es necesaria la creación de un espacio de dialogo multidisciplinar.

Los sistemas de inteligencia artificial siempre serán producto de los sesgos, la heurística y los puntos ciegos de los programadores . Abrir un debate sobre qué valores queremos grabar en nuestros sistemas para que la humanidad florezca es responsabilidad de todos.

Este artículo fue publicado originalmente en The Conversation