Uno de los grandes problemas que traen aparejados los sistemas de Inteligencia Artificial (IA) son los sesgos, esto es, la incorporación de prejuicios o discriminación que termina provocando datos distorsionados con grave perjuicio. Por este motivo, como hemos remarcado varias veces en este espacio, es tan importante la transparencia algorítmica para detectarlos. Ahora bien, ¿qué pasa si los datos de entrenamiento no solo están sesgados, sino también incompletos? Esa es la pregunta que se ha hecho Catherine Tucker, profesora en la escuela MIT Sloan, perteneciente al Massachusetts Institute of Technology (MIT), y su respuesta es contundente: exclusión algorítmica.  

Tomando como punto de partida esa cuestión, esta doctora en Economía por la Universidad de Stanford ha elaborado una propuesta en la que insta a que las regulaciones en torno a IA dejen de contemplar la ausencia de datos como un mero inconveniente técnico y le den la entidad de problema sustancial de equidad. Esta propuesta se puede consultar en The Hamilton Project, una iniciativa surgida en 2006 para publicar propuestas y análisis de políticas que promuevan oportunidades, prosperidad y crecimiento.

Según expone Tucker en su documento, la injusticia algorítmica no sólo se puede dar porque el algoritmo detecte a las personas de manera incorrecta a la hora de realizar sus predicciones o análisis, sino también porque ni siquiera las detecta. El ejemplo más palmario es el referido a aquellas herramientas de IA que para funcionar toman datos en tiempo real de nuestras interacciones en internet. ¿Qué sucede con aquellas personas que no tienen una huella digital?

La reflexión es similar a la que el año pasado planteaba Nicol Turner Lee, directora del Centro para la Innovación Tecnológica (CTI) de Brookings Institution, en su libro Digitally Invisible, en el que exponía cómo las nuevas tecnologías están acelerando la creación de una nueva clase baja desconectada. Pues bien, para Tucker, el origen de la exclusión algorítmica no es una cuestión de diseño de la herramienta, sino un reflejo de la desigualdad digital estructural que hay en la sociedad. Quienes casi no cuentan con habilidades digitales, se encuentran en situación de vulnerabilidad económica o interactúan en menor medida con los organismos que recopilan datos terminan por ser más invisibles digitalmente… como sucede en el plano físico. El edadismo digital, por ejemplo, podría ser una de las causas para convertirse en víctima de exclusión algorítmica.

En los debates sobre equidad de la IA, esta consideración debería tener peso específico, pues se generan desiertos de datos en los que la IA no funciona de manera eficaz. La economista cita como ejemplo lo que sucedió en el sistema estadounidense de asignación de vacunas durante la pandemia de COVID. Dado que las bases de datos oficiales en las que la solución de IA se apoyó estaban incompletas, el número de personas que vivía de alquiler se subestimó en un 1,5%, el de personas negras en un 3,3% y el de latinos en un 4,5%. Los porcentajes pueden parecer asumibles pero dada la población en EEUU, sólo en el caso de latinos el margen de error puede afectar a tres millones de personas.

En este escenario, Tucker propone incorporar la exclusión algorítmica como una clase de daño algorítmico, de igual importancia que el sesgo y la discriminación, a la hora de elaborar políticas, regulaciones y propuestas sobre equidad en IA. Se trata de un cambio más profundo que realizar auditorías, pues en caso de realizarlas, si están centradas en los sesgos de las predicciones no detectarán casos en los que muchas personas desfavorecidas no tengan ninguna predicción sobre ellas.

La economista destaca que abordar la exclusión algorítmica no solo beneficia a los colectivos más vulnerables, sino también a cualquiera que opere fuera de los sistemas dominantes de generación de datos, pues no puede obviarse que hay personas que voluntariamente renuncian a tener huella digital. No se trata sólo de no estar presente en redes sociales, sino de no pagar con tarjeta de crédito o débito, por ejemplo. Este último grupo de personas es el que, producido un error de exclusión algorítmica, puede plantear problemas a las empresas o Administraciones Públicas. Dado que su ausencia de huella digital no se debe a que no dispongan de recursos económicos o de alfabetización digital, si son víctimas de esta exclusión podrían impugnar decisiones o litigar, con el consecuente riesgo económico y reputacional para quien haya cometido el  error.

Así pues, incorporar explícitamente el problema de la falta de disponibilidad de datos y la falta de predicciones en la auditoría algorítmica y los marcos regulatorios es una cuestión de transparencia y justicia algorítmica. “La exclusión algorítmica no es simplemente la ausencia de datos, sino la falta de reconocimiento de esta ausencia en un mundo donde la inclusión en los sistemas digitales es cada vez más un requisito previo para el acceso a recursos, oportunidades y protecciones”, concluye la autora.