Viviamo in un’era in cui gli algoritmi cominciano seriamente a guidare un numero crescente di decisioni – dalla selezione del personale all’erogazione di crediti, dalla sorveglianza alla distribuzione di servizi pubblici. Agli algoritmi si attribuisce spesso un’aura di imparzialità matematica, ma la realtà è più complessa e inquietante. Già da alcuni anni, come sottolinea Demichelis, è emerso che persino algoritmi di intelligenza artificiale estremamente accurati possono favorire la perpetuazione della disuguaglianza. L’efficienza algoritmica – quando finalizzata unicamente a obiettivi di raccolta informatica e di performance – rischia di non servire il benessere sociale. Questa premessa ci conduce a un interrogativo filosofico cruciale: in nome dell’efficienza e dell’automazione, stiamo forse delegando alle macchine decisioni cariche di valore etico, mettendo così a rischio la nostra libertà e la nostra idea di giustizia?

Qui esploreremo il fenomeno della “disuguaglianza algoritmica”, ossia come i bias e le logiche intrinseche agli algoritmi non solo tendano a rafforzare le disparità già esistenti, ma siano anche in grado di generarne di nuove, determinando così potenziali forme di esclusione e ingiustizia sociale.

Bias nel codice: quando i modelli matematici discriminano. Gli algoritmi apprendono dal passato: vengono addestrati su dati storici e pertanto possono ereditare (e spesso amplificare) i pregiudizi insiti in quei dati. O’Neil ha notato che molti modelli matematici utilizzati nei Big Data incorporano pregiudizi umani e stereotipi. Gli algoritmi spesso non fanno che codificare l’ingiustizia già presente nella società, conferendole però una patina di oggettività e inevitabilità tecnologica. Vediamo alcuni casi emblematici di bias algoritmico:

• Riconoscimento facciale e razzismo algoritmico. Diversi studi hanno evidenziato tassi di errore molto più alti dei sistemi di visione artificiale su volti di persone non bianche. Il National Institute of Standards and Technology (NIST) ha mostrato nel 2019 che molti algoritmi di riconoscimento facciale hanno probabilità da 10 a 100 volte superiori di identificare erroneamente un volto afroamericano o asiatico rispetto a uno caucasico. In particolare, è stato osservato un tasso elevato di “falsi positivi” per donne di colore, con gravi conseguenze: nel contesto delle attività di polizia, ciò significa che individui innocenti possono essere erroneamente identificati come colpevoli a causa dei bias algoritmici incorporati nei software utilizzati. Un algoritmo apparentemente “neutrale”, ma addestrato su dati distorti, rischia così di amplificare piuttosto che eliminare fenomeni di razzismo sistemico: un paradosso che mette in crisi il principio stesso di una giustizia realmente equa e universale.
• Giustizia penale e profezie che si auto-avverano: Nel 2016 un’inchiesta di ProPublica mise in luce il problema del software COMPAS, utilizzato negli Stati Uniti per stimare il rischio di recidiva dei detenuti. L’indagine rivelò che gli imputati afroamericani venivano erroneamente classificati ad alto rischio quasi il doppio delle volte rispetto ai bianchi (45% contro 23%). In altre parole, due persone con una storia criminale simile ricevevano valutazioni opposte semplicemente per l’appartenenza a gruppi etnici differenti. Questo fenomeno generava un circolo vizioso: l’algoritmo, presentato come neutrale, riproduceva discriminazioni pregresse basate su dati storici distorti, contribuendo a mantenere elevati i tassi di incarcerazione di certi gruppi etnici.
• Discriminazioni di genere nell’AI.I pregiudizi algoritmici non riguardano solo l’etnia. Nel 2018 emerse, infatti, che un sistema sperimentale di reclutamento sviluppato da Amazon discriminava sistematicamente in base al genere. L’algoritmo era stato addestrato sui curricula raccolti nell’arco di dieci anni, prevalentemente maschili, riflettendo così il forte squilibrio di genere presente nel settore tech. Sebbene Amazon abbia tentato di correggere il problema neutralizzando alcuni termini, presto ci si rese conto che l’IA trovava comunque altre modalità indirette per discriminare. Alla fine, il progetto fu abbandonato. e Ciò rese chiaro che se i dati di partenza sono sbilanciati dal punto di vista del genere, l’algoritmo finirà per amplificare queste distorsioni, consolidando così un soffitto di cristallo invisibile ma estremamente reale.

Tutti questi esempi mostrano che gli algoritmi possono discriminare su larga scala, commettendo in pochi secondi ingiustizie che a un essere umano richiederebbero forse anni oltre che atti deliberati di malafede. La velocità e l’automazione amplificano l’impatto del bias. E spesso queste disparità rimangono nascoste nei meandri del codice, difficili da individuare e ancor più da contestare. Le vittime umane di questi “algoritmi distruttivi” sono tenute a uno standard di prova ben più alto di quello a cui è sottoposto l’algoritmo stesso, le cui decisioni sbagliate risultano di rado messe in dubbio.

Il circolo vizioso dei dati sulla povertà. La disuguaglianza algoritmica si manifesta in modo acuto nell’ambito dello stato sociale e del welfare. In teoria, automatizzare l’allocazione di risorse pubbliche o il monitoraggio di fenomeni sociali può portare efficienza e oggettività; in pratica, senza le dovute cautele, rischia di creare una sorta di apartheid digitale tra cittadini.

L’espressione “digital poorhouse” (letteralmente “ricovero digitale per poveri”) di Eubanks (2018) descrive l’uso di sistemi automatici che tracciano e profilano prevalentemente i poveri, replicando in forma digitale l’antico istituto ottocentesco per cui i bisognosi erano confinati e controllati. Lungi dal correggere difetti umani come l’inconsapevolezza o i pregiudizi verso i meno abbienti, gli algoritmi applicati al welfare e al contrasto della povertà potrebbero potenzialmente intensificare le disuguaglianze socioeconomiche, incatenando i ceti vulnerabili in una rete di sorveglianza a causa della sottostima delle loro difficoltà rispetto alla popolazione totale.

Preoccupante è anche il divario nel trattamento algoritmico: gruppi già emarginati tendono a essere sottoposti a una raccolta di dati più invasiva. I poveri, le minoranze etniche e altri soggetti marginalizzati – quando richiedono assistenza pubblica o interagiscono col sistema sanitario – vengono identificati digitalmente in misura maggiore.

Efficienza contro equità: il dilemma socio-tecnico. La tensione fondamentale emersa finora rimanda a un trade-off economico: gli algoritmi eccellono in efficienza, ma la società umana richiede equità. Molti sistemi algoritmici furono introdotti con la promessa di eliminare le parzialità umane – ad esempio nei mutui, per evitare che un direttore di banca negasse prestiti a qualcuno per pregiudizi etnici o personali – ma col tempo la priorità dell’efficienza, della velocità e del profitto ha eclissato quella della giustizia e dell’uguaglianza. Da ChatGPT in poi, il successo di un modello viene misurato quasi esclusivamente in termini di rendimento economico o accuratezza tecnica, e raramente in termini di impatto equo sulla società. Il mercato e le istituzioni tendono a valutare gli algoritmi sulla base di metriche come il ROI (ritorno sull’investimento), la riduzione dei costi o l’aumento di produttività, mentre parametri cruciali come la riduzione delle disparità o la tutela dei diritti rimangono fuori dall’equazione del ‘successo’.

Questa preferenza sistematica per l’efficienza ha radici filosofiche e strutturali profonde. In tale paradigma, l’efficienza strumentale diventa valore sovrano: ciò che importa è che un sistema funzioni al massimo della prestazione trascurando la difficile conciliazione con vincoli morali o finalità umanistiche. In questo contesto, l’algoritmo è al contempo prodotto e propulsore: viene usato per massimizzare l’efficienza del sistema e, così facendo, finisce per incorporare la logica diseguale del sistema stesso. In un mondo in cui l’intelligenza artificiale è adesso a disposizione di ciascuno di noi, si potrebbe arrivare a un paradosso drammatico: tecnologie create anche per superare i pregiudizi umani hanno finito per istituzionalizzarli su scale ben più ampie.

Verso algoritmi più giusti: ripensare design e governance. Dunque, la questione centrale diventa: possiamo riconciliare l’efficienza algoritmica con l’equità sociale? Dobbiamo davvero scegliere tra avere algoritmi “accurati” ma iniqui, da un lato, e rinunciare ai benefici dell’automazione in nome della giustizia, dall’altro?

L’obiettivo dev’essere progettare e governare gli algoritmi in modo che l’equità diventi un parametro di progetto al pari dell’accuratezza. Inserire criteri di fairness può voler dire, ad esempio, limitare la massima efficienza di un modello per assicurarsi che non tratti peggio una minoranza – in pratica accettare di “ottimizzare meno” su alcuni obiettivi quantitativi per perseguire valori qualitativi. E questa non sarebbe una sconfitta ma, piuttosto, un’evoluzione etica della tecnologia.

Sebbene il quadro attuale sia complesso, non tutto è perduto: una crescente consapevolezza del problema sta stimolando ricercatori, legislatori e professionisti di varie discipline a individuare soluzioni per contenere la disuguaglianza algoritmica. Un primo passo essenziale in questa direzione è rappresentato dalla trasparenza. Fino a poco tempo fa, molti algoritmi decisionali funzionavano come “scatole nere”: dai punteggi di affidabilità creditizia fino ai ranking sui social media, le persone subivano passivamente i risultati prodotti da meccanismi opachi, senza poter comprendere i criteri e le logiche sottostanti. Oggi si invocano con forza principi di accountability algoritmica, per cui chi sviluppa e utilizza questi strumenti deve poter spiegare le logiche adottate e rispondere degli effetti prodotti. Ad esempio, l’ACM (Association for Computing Machinery) ha stilato sette principi per la trasparenza algoritmica, raccomandando tra l’altro che gli utenti abbiano modo di ottenere spiegazioni comprensibili delle decisioni automatizzate che li riguardano. Diversi ordinamenti (dall’Unione Europea con il GDPR e la proposta di AI Act, sino a proposte di legge statunitensi) stanno valutando diritti all’intervento umano in caso di decisioni algoritmiche ad alto impatto, o audit indipendenti degli algoritmi impiegati nel settore pubblico, per evitare che il potere di questi sistemi resti incontrollato e unilaterale.

La tecnologia, di per sé, non risolverà le ingiustizie sociali: se viene addestrata su dati che riflettono un passato diseguale, finirà inevitabilmente per proiettarlo nel futuro. La vera sfida è quindi contrastare consapevolmente l’eredità della disuguaglianza, incorporando esplicitamente nei processi di progettazione valori etici e un’”immaginazione morale” che solo gli esseri umani possiedono. Affrontare la disuguaglianza algoritmica richiede infatti una prospettiva multidimensionale che coinvolge consapevolezza sociale, volontà politica ed etica professionale. Non si tratta di demonizzare la tecnologia o idealizzare il ritorno a decisioni esclusivamente umane — anch’esse inevitabilmente soggette a errori e bias — ma di orientare con responsabilità l’innovazione verso obiettivi socialmente desiderabili.

Un algoritmo non va considerato soltanto come un insieme di istruzioni per ottimizzare risultati tecnici, bensì come una struttura di potere capace di influenzare direttamente vite e opportunità delle persone. Proprio per questo motivo deve sottostare a principi etici e di giustizia. Soltanto così gli algoritmi potranno trasformarsi realmente in strumenti di progresso equo e inclusivo — ad esempio facilitando la distribuzione più efficace e giusta delle risorse –e non in nuove forme di oppressione automatizzata.

Sta a noi impedire che ciò accada, reinserendo l’elemento umano – la compassione, la riflessione, il senso di equità – nel cuore dei sistemi intelligenti che costruiamo.