Praticamente impossibile avere la foto di un manager che non sia un uomo (a meno di non aggiungere l’aggettivo “comprensivo”), di uno scienziato che non sia un bianco e viceversa di un autista di bus o di un operaio che non abbia la pelle scura, così come di un nativo americano che non indossi il tradizionale copricapo di piume, neanche fossimo a fine Ottocento.
Questi sono solo alcuni degli esempi delle discriminazioni compiute dalle intelligenze artificiali, che non sono certo una novità: se ne parla (e se ne scrive) da oltre due anni e di recente abbiamo affrontato il tema anche con Joelle Pineau, managing director di Meta AI. Non sono una novità, e però adesso abbiamo uno strumento online per vederli chiaramente anche noi che non siamo scienziati, ricercatori, programmatori e non lavoriamo nel campo delle IA.
La differenza la fanno gli aggettivi
Lo strumento è un sito messo in piedi dall’Università di Lipsia insieme con Hugging Face, la startup americana che lavora per rendere più democratico il machine learning: si chiama Stable Bias, si raggiunge da qui e la situazione è talmente grave che si apre con un disclaimer. “Le immagini visualizzate qui sono state generate usando sistemi text-to-image e possono rappresentare stereotipi offensivi o contenere contenuti espliciti”, si legge nelle prime righe della pagina iniziale.
Il motivo è che, a seconda di come sono state allenate e di dove hanno imparato, le cosiddette IA generative possono appunto dare vita a immagini fortemente stereotipate, razziste, misogine oppure anche omofobe. Anzi: a ben guardare lo fanno quasi sempre.
Partendo proprio dall’esperimento di Hugging Face, incentrato prevalentemente su Dall-E 2 e Stable Diffusion (due fra le più note IA generative), della questione ha parlato anche la rivista online del Massachusetts Institute of Technology. Prima di capire che cosa è emerso, vediamo come sono stati condotti i test.
Innanzi tutto, i ricercatori hanno usato le IA per generare 96mila immagini di persone di diverse etnie, generi e professioni, chiedendo prima di creare un set di immagini caratterizzate da attributi sociali (come “una donna” o “un uomo ispanico”) e poi un’altra serie di immagini combinando professioni e aggettivi, come “un idraulico ambizioso” oppure “un CEO comprensivo”. L’idea era di trovare schemi ricorrenti nel comportamento delle IA, senza influenzarle con attribuzioni di genere (l’indicazione del maschile nella ricerca non c’è: è caratteristica della lingua italiana), per vedere quali soggetti l’IA raggruppa insieme, come le persone in posizioni di potere.
Maschi, bianchi, etero: la categoria dominante
Analizzando le immagini, i ricercatori hanno avuto conferma che queste IA tendono a generare soprattutto immagini di maschi bianchi, soprattutto quando viene chiesto loro di mostrare persone in posizioni di autorità: è una cosa particolarmente vera soprattutto per Dall-E 2, che crea nel 97% di volte in cui le è stato chiesto di mostrare un CEO o un direttore ha restituito immagini di uomini bianchi.
Come su Italian Tech abbiamo raccontato spesso, i cosiddetti LLM su cui si basano queste intelligenze artificiali vengono addestrati su enormi quantità di dati e immagini prelevati da Internet, un procedimento che non solo riflette ma anche amplifica ulteriormente gli stereotipi su razza e genere.
Un altro aspetto curioso che è emerso è che gli aggettivi possono fare la differenza: se si chiede a Stable Diffusion l’immagine di un “manager”, mostrerà un maschio bianco per 9 volte su 9; se si aggiunge l’aggettivo “comprensivo”, in 3-4 casi verrà mostrata una donna. Sempre bianca, ovviamente.
Queste IA hanno anche problemi a rappresentare le diverse etnie e le loro specificità in un modo coerente con i tempi attuali: se (per esempio) si chiede a Dall-E o a Stable Diffusion di mostrare un nativo americano, l’immagine che verrà fuori sarà quella di una persona (un uomo, con poca sorpresa) che indossa il copricapo di piume. Cosa che “non è quello che succede nella vita reale”, come ha spiegato Alexandra Sasha Luccioni, la ricercatrice di Hugging Face che ha guidato lo studio.
Perché è importante (e anche preoccupante)
Altri risultati un po’ strani sono venuti fuori con le persone non binarie, curiosamente rappresentate più o meno tutte uguali, con lo stesso taglio di capelli, lineamenti simili e tutte con gli occhiali (segno che forse nei dataset non c’è abbastanza varietà perché le IA siano in grado di mostrarla.
Come detto, si potrebbero fare decine e decine di esempi, che è quello che si è fatto da un paio d’anni a questa parte. Quello che rende più grave questa cosa e più urgente una sua soluzione è che da fine 2022 queste IA non sono solo uno strumento nelle mani degli smanettoni ma sono accessibili a fette sempre più grandi della popolazione mondiale: se davvero ci aiuteranno a scrivere, a disegnare, risponderanno alle ricerche su Internet, prenderanno il nostro posto come illustratori, artisti, compositori e chissà che altro, è importante che siano più imparziali possibile.
Per come sono ora, il timore è invece che contribuiscano a rafforzare pregiudizi dannosi e a diffonderli su più ampia scala. E anche che finiscano per ghettizzare molte culture e lingue del mondo, visto che al momento sono addestrate principalmente in inglese e su dati provenienti dagli Stati Uniti.
Che è il motivo per cui sarebbe bene che OpenAI, l’ex startup che ha sviluppato ChatGPT, torni a essere aperta (open, cioè) per davvero e soprattutto spieghi chiaramente la provenienza dei suoi dataset, cioè i database usati per allenare le sue IA. Che è una cosa che la comunità scientifica chiede ormai da oltre 5 anni.
@capoema
