"Hauríem d'assegurar-nos que la llei s'apliqui contra els algorismes destructius"

La tecnologia de l'"era dels algorismes" augmenta i es retroalimenta dels pitjors prejudicis en generalitzar comportaments, generar models i establir prediccions sobre ells. Són aquestes fórmules les que decideixen cada vegada més aspectes de les nostres vides, sota una il·lusió de neutralitat i objectivitat. En aquest escenari, Cathy O'Neil denuncia el risc de perpetuació de sexisme, racisme o classisme en un context de màxima opacitat.

L'autora del llibre Armas de Destrucción Matemática (Capitan Swing, 2018) és una prestigiosa doctora en matemàtiques que vol que el món sigui una mica millor. La seva trajectòria vital l'ha portat, des de l'acadèmia (Harvard, MIT, Barnard College), al món dels fons de cobertura just en el moment de la crisi crediticia i l'esclat de la bombolla immobiliària de la dècada passada, i més tard a l'activisme social.

Arribat aquest moment, O'Neil va començar a preguntar-se sobre els riscos ètics del 'big data', de l'ús de les matemàtiques i dels algorismes cada vegada més foscos i complexos que poden condicionar —i de fet ho fan cada vegada més— les nostres vides quotidianes. La seva privilegiada trajectòria dóna una interessant visió global de com funcionen aquests sistemes i, el més important, com es podrien evitar els seus efectes perniciosos.

La concessió d'un crèdit, l'admissió a una universitat, la concessió d'una assegurança, tot queda en mans d'anàlisis quantitatives que des de la seva aparent neutralitat acaben perpetuant biaixos que fan que els afortunats ho siguin més i que els més oprimits acabin en el desemparament.

Es tracta del costat fosc dels algorismes, de les construccions matemàtiques que regeixen mitjançant models aparentment neutrals una part creixent de la nostra vida social. I que Cathy O'Neil ha batejat "Armes de Destrucció Matemàtica". I el comentari a peu de pàgina: "Com el Big Data augmenta la desigualtat i amenaça la democràcia". L'autora va estar a Madrid, dins del cicle Tech & Society de la Fundació Telefònica, i va tenir uns minuts per xerrar amb Público sobre alguns dels temes dels quals n'és experta.

Si gravés aquesta conversa amb aquest telèfon intel·ligent, li molestaria?

No, en absolut. No sóc una persona pro privadesa, sobretot perquè sóc nord-americana i per tant no tinc interioritzat aquest dret. El que tenim als EUA és un problema diferent del que existeix aquí, a Europa. Vostès tenen millors proteccions i menys problemes sobre aquest tema. Això no vol dir que no calgui preocupar-se pel que hagi de passar en el futur, però els nostres problemes amb les dades són uns altres.

"És irònic que la gent més interessada en els temes de privacitat siguin els homes blancs amb molta educació"

De fet, jo no sóc la víctima d'aquests sistemes injusts. Com a persona blanca i educada, experta en tecnologia, és ridícul que em preocupi per això, per la meva 'higiene' de dades. És irònic que la gent més interessada en els temes de privadesa siguin homes blancs amb molta educació i coneixements en tecnologia. No té sentit. És la gent oprimida, realment, amb perfils demogràfics que es consideren desafortunats —negres, dones, pobres, les persones que esmento en el llibre i que són objectiu de determinades estratègies— són vulnerables, no són experts en tecnologies. Tots ells són una presa fàcil, jo no ho sóc. Si jo entro a internet i la publicitat em suggereix productes de cashmere o seda, per a mi serà una distracció però no una pràctica depredadora.

En el seu llibre destaquen les idees de cercles viciosos, tòxics, i del concepte d'allò escalable. És a dir, les 'armes de destrucció matemàtiques' ho són pel fet que escalen, són massives. Són conceptes molt interessants.

Bé, partim de la base que l'important és que els algorismes no prediuen el futur, sinó que ho fan per als individus. Busquen si pagaràs un préstec, si seràs proactiu, basant-se en el comportament previ de cadascun. Però és que no prediuen tant, més aviat canvien el futur, el modifiquen i el determinen. Es pot usar aquesta informació que es té d'algú sobre el seu historial creditici per decidir si pagarà el següent préstec i, per tant, si l'hi concediran. És a dir, s'utilitzarà aquesta informació per veure si algú és una bona aposta per a una companyia determinada. O per decidir si es contracta o no a aquesta persona.

"Aquests sistemes el que fan és propagar i retroalimentar els estereotips que ja existeixen"

Així que aquests sistemes el que fan és propagar i retroalimentar els estereotips que ja existeixen, com els demogràfics. Fan que qui ha tingut sort en la vida tingui més sort i, al contrari, que qui ha tingut menys sort tingui menys encara. A això és al que em refereixo amb l'escalada.

Per tant, és important destacar que confiem massa en els algorismes. Un pot pensar: "Ei, no m'agrada la teva aparença, no et donaré feina". I com a humans ens semblaria injust, no ho entendríem. No obstant això, com hi ha un instrument, una autoritat diguem científica —l'algorisme— darrere d'algunes decisions similars, doncs no ens ho qüestionem. Per això mateix veig que existeix una escalada.

I a qui tirem la culpa? Qui és el responsable que això passi?

Tenim aquest sistema injust que s'alimenta de prejudicis racistes, sexistes, aporofòbics... Sembla que amb aquests sistemes algorítmics que denunciem, els rics seguiran sent més rics i els pobres, cada vegada més pobres.

Aquest tipus de preguntes són molt importants, però hem de ser conscients que ja s'han respost a través de la llei. És il·legal discriminar per gènere quan contractem a una persona. Un pot deduir que és sexista perquè el món és sexista, però això no és acceptable, no pot ser, i tenim algorismes que estan fent això. Davant d'aquests algorismes destructius el que suggereixo és que hauríem d'assegurar-nos que la llei s'apliqui.

Però vostè mateixa reconeix que els algorismes són quelcom fosc, secret. I quan es donen situacions com les descrites es tendeix a culpar a l'algorisme, a la màquina. "Jo no tinc la responsabilitat, és l'algorisme". Però com ha de tenir la responsabilitat una fórmula matemàtica? Ni tan sols es pot culpar al creador de l'algorisme...

Això és cert, però com a científica de dades jo estic aquí per dir que podem fer les coses millor. No és impossible fer-ho millor. I no és una excusa, en qualsevol cas. Si l'empresa X està usant un algorisme els resultats del qual són sexistes es pot fer que deixi d'utilitzar-ho. La realitat és que es pot millorar la situació. Algunes companyies fan com que no ho saben, i la veritat és que tampoc se'ls requereix que facin tests sobre aquests algorismes. Clar que primer caldria demostrar amb proves que el que estan fent és il·legal i d'aquesta manera obligar-les a canviar-ho, a millorar-ho.

Sembla difícil aconseguir que el món dels algorismes sigui més transparent. Com fer perquè els algorismes siguin més comprensibles, menys foscos, tant per als ciutadans com —potser més important— per als legisladors?

Són qüestions diferents. D'una banda, el Reglament General de Protecció de Dades a Europa té una part que pot ser útil per a aquesta finalitat, però no es tracta d'una qüestió únicament estadística: jo vull saber per què no se m'ha donat un lloc de treball o per què no se'm concedeix una targeta de crèdit. Vull saber-ho. I potser, si ho sé, dins d'un any puc fer alguna cosa que millori el meu historial per accedir a aquests serveis.

"Jo vull saber per què no se m'ha donat un lloc de treball"

Però i si el biaix de la màquina és sexista o conté un altre tipus de prejudicis? Això cal preguntar-s'ho. De fet, els legisladors, els polítics, han de preguntar-s'ho i donar una resposta. Aquestes preguntes es poden respondre, però no s'estan plantejant perquè els ciutadans no saben que poden plantejar-les.

Sembla doncs que ningú sap quin és la pregunta adequada: veiem els resultats però ningú pregunta pels processos que, insisteixo, semblen molt foscos, poc transparents.

La gent que treballa en aquest àmbit és molt intel·ligent. Se'ls demana que optimitzin les rendibilitats o els beneficis, però si haguessin d'optimitzar les evidències o proves legals també ho farien. És a dir, que a mesura que demanem rendició de comptes, els matemàtics trobarien una manera de fer-ho, d'això n'estic segura.

Gairebé tot del que parla al seu llibre gira entorn del concepte de la justícia, i em resulta curiós veure a una analista de dades, a una matemàtica, parlar d'aquest concepte. En aquest sentit, es pot millorar la justícia amb més transparència? Per a mi, el món dels algorismes que decideixen coses segueix sent molt fosc. Sembla que busquen les esquerdes per generar situacions que, al final, no segueixen un sentit de justícia sinó de major benefici...

Crec que està vostè sent massa distòpic...

És que, tal com vostè ho explica, sembla que vivim en una distopia.

Crec que hauríem de centrar-nos. Estimo que la legislació europea de protecció de dades (que no vull criticar) no se centra prou en el que realment és nociu: els algoritmes que violen els nostres drets, els nostres drets humans. I realment hi ha una llista finita d'algorismes que fan això, no són tots. No podem demanar transparència absoluta de tots els algorismes. No podem reemplaçar el seu treball per humans sempre. Estem parlant d'una llista limitada. Per això, en la meva definició d''Arma de Destrucció Matemàtica' s'inclouen els algorismes importants, rellevants, i que al mateix temps poden generar molt dany per aquesta rellevància.

Jo em centro en quatre categories. En primer lloc, les finances: tot allò relatiu a les assegurances, les hipoteques, targetes de crèdit; després, la qual cosa té a veure amb la vida quotidiana: tenir una ocupació, entrar en una universitat, etc. D'altra banda, el sistema de llibertat i justícia, com et tracta i les possibles condemnes que pots rebre. En quart lloc, la llibertat d'informació, pel que fa a la microsegmentació, desinformació, etc.

D'aquestes quatre categories, les tres primeres estan raonablement ben regulades. Tenim lleis que diuen com contractar de forma justa i sense discriminacions, o com concedir un crèdit en igualtat de condicions, etc. Tenim normes que lluiten contra la discriminació i que obliguen a respectar els drets constitucionals, per descomptat aquí a Europa també. El que estic dient és que en els propers cinc o deu anys s'ha d'aplicar la llei, simplement.

Pel que fa a la quarta categoria, la llibertat d'informació, tot és una mica més complicat. I realment per a la democràcia, solucionar els problemes relacionats amb aquest element és urgent. Òbviament és el problema més difícil. Potser es podria haver començat per haver usat algorismes més limitats i més petits, que ens haguessin permès entendre millor com funcionen aquests universos. I com hauria de ser la rendició de comptes d'haver-hi problemes. Arreglar aquesta categoria en un moment en el qual els algorismes treballen a tota màquina serà dur.

Respecte a Facebook, per exemple, es podria exigir a cada país que grups d'investigadors independents poguessin tenir accés a les seves dades per realitzar experiments socials perquè sapiguem quins efectes pot tenir la propaganda i les campanyes polítiques sobre els processos democràtics.

Suggereix que els governs forcin d'alguna forma a Facebook a acceptar assessoraments independents?

Bé, la propaganda, la falta d'informació, la manipulació informativa... per a aquestes qüestions Facebook rep milions de dòlars. Així que un requisit que jo suggeriria perquè Facebook operés en un país seria, potser, donar accés a investigadors de ciències socials per poder experimentar i publicar resultats sense intervenció per part de Facebook i amb total transparència. Això seria un gran exercici.

O sigui, una reflexió després d'abordar les seves tesis és que no existeix l'anomenada 'neutralitat', almenys en aquestes eines algorítmiques...

No existeix la neutralitat. Deixar que les empreses tecnològiques proclamin la neutralitat de les seves eines i, al mateix temps, rebin tants diners de campanyes polítiques per distribuir propaganda, per un altre, no se sustenta. O una cosa, o l'altra. D'una banda, han recaptat diners perquè diuen que són capaços d'arribar a públics segmentats i influir en ells, i per un altre li diuen als usuaris que no tenen cap responsabilitat perquè la tecnologia és neutral. No es poden proclamar les dues coses.