L'any 2015, Google es va disculpar quan el seu algoritme de classificació de fotos va confondre imatges de persones negres amb goril·les. Dos anys després, a Arkansas, es va descobrir que un algorisme implementat per gestionar l'accés als beneficis d'atenció mèdica per a pacients del programa estatal d'incapacitat no havia tingut en compte malalties com ara la paràlisi cerebral o la diabetis.

Més tard, l'any 2020, els estudiants del Regne Unit van guanyar la batalla al Govern quan van obligar a deixar de fer servir un algorisme que afavoria les escoles privades enfront de les de barris més desfavorits en la determinació de les qualificacions de la selectivitat.

Darrere d'aquests errors de la intel·ligència artificial hi ha els anomenats algoritmes de caixa negra.

Algoritmes de caixa negra

Però, ¿què és un algorisme de caixa negra? Definit de forma senzilla, és aquell el funcionament del qual es desconeix, és a dir, s'ignora com i per què ha adoptat una determinada decisió. Això succeeix, per una banda, perquè no és possible desxifrar els passos que la IA ha seguit per arribar a aquest resultat concret (traçabilitat) i, per una altra, perquè tampoc es poden conèixer les raons que l'han portat a aquest resultat i no a un altre diferent (explicabilitat).

La principal conseqüència (però no l'única) d'aquesta impossibilitat de conèixer com funciona el sistema s'expressa en forma de biaixos, errors que cometen la intel·ligència artificial i que impliquen, com hem vist en els exemples, discriminar a determinats col·lectius, habitualment minoritaris o vulnerables: les dones, les minories ètniques, els residents de barris marginals o desfavorits.

I no és puntual. El que és greu del tema és que, en l'actualitat, tots els algoritmes de deep learning i la major part dels algoritmes de machine learning (els més complexos i, per tant, els més utilitzats) són de caixa negra. I junts representen pràcticament la totalitat dels algoritmes que utilitza la IA en l'actualitat.

Això comporta importants perills, especialment en allò que respecta a la intel·ligència artificial generativa, és a dir, aquella en què el sistema d'IA crea continguts "nous" per si mateix (Chat GPT, Dall-E, Aida i similars). En aquest cas, no conèixer completament com funciona la intel·ligència artificial suposa atorgar-li un poder que escapa del control humà.

Biaixos que només s'identifiquen per prova i error

Com es veu en els exemples anteriors, el principal obstacle de l'ús de la IA rau en el fet que, malgrat que un algorisme sembli haver estat "ben entrenat" i aparentment compleixi amb la funció per a la qual ha estat dissenyat, és possible que el biaix -la discriminació- estigui present en les decisions que adopta. En aquests casos, la intel·ligència artificial discrimina en la foscor a causa d'aquest biaix amagat fins que es descobreix la seva existència.

Per tant, com a conseqüència del desconeixement que suposa aquesta caixa negra de la intel·ligència artificial, l'única forma de saber si aquesta és racista, misògina o, en definitiva, discriminatòria, és a través de la prova i error, del descobriment espontani d'aquesta situació o circumstància.

Noves mesures de la llei d'intel·ligència artificial

Són, precisament, aquests errors (entre altres aspectes, com la protecció de dades o la responsabilitat, als quals no ens dedicarem avui) els que han provocat la reacció del Dret. Així, la Proposta de Reglament del Parlament Europeu i del Consell, per la qual s'estableixen normes harmonitzades en matèria d'intel·ligència artificial (llei d'intel·ligència artificial) i es modifiquen determinats actes legislatives de la Unió, estableixen importants mesures en diferents fases per fer front als biaixos en els sistemes que presenten un alt risc per a la societat.

En la fase de disseny de l'algorisme, la norma estableix obligacions que tenen a veure tant amb l'elaboració dels conjunts de dades que nodreixen l'algorisme com amb el procés d'entrenament, validació i prova del sistema (aquests són els passos que passa el sistema d'IA abans de ser comercialitzat o posat al mercat, cosa que en altres sectors coneixem com a "fase d'assaig").

Concretament, es preveu que els conjunts de dades utilitzats per entrenar, validar i provar l'algorisme siguin representatius, lliures d'errors i complets. Tot això amb la finalitat d'evitar la incorporació ja a priori de biaixos al model. A més, durant aquesta fase també es preveuen pràctiques de governança i gestió del dada: la realització d'anàlisis específics de dades dirigits a la detecció i correcció de biaixos.

D'aquest darrer es dedueix que serà imprescindible el disseny i l'ús de programari dirigit a examinar les dades per buscar biaixos, fet que deixa entreveure un nou model de negoci. No és arriscat vaticinar la proliferació d'empreses amb aquest únic objectiu.

A més, després de la comercialització o posada al mercat, es preveuen obligacions específiques de transparència i seguiment per a una correcta utilització i interpretació de la informació de sortida. Una de les més importants serà la creació de fitxers de registre durant la fase d'entrenament i a posteriori per garantir la traçabilitat del sistema, quelcom fonamental per a la investigació després d'un funcionament inadequat. Així mateix, es establiran mesures de vigilància humana durant el seu ús que permetran una ràpida neutralització de potencials riscos.

Traduït per Àgora CT