Avete mai sentito parlare di frenologia? Si tratta di una vecchia dottrina scientifica ideata dal medico tedesco Franz Joseph Gall, secondo il quale era possibile valutare la moralità di un individuo a seconda della forma del cranio. Quella stessa teoria che influenzò, qualche decennio più tardi, l’operato di Cesare Lombroso, i cui studi condannarono a morte centinaia di innocenti colpevoli di avere avuto determinate caratteristiche fisiche.
Era la fine del 1700. Alessandro Volta non aveva ancora inventato la pila e Watt aveva da poco messo a punto la sua macchina a vapore.
Mentre gli illuministi si affannavano a promuovere i principi di libertà ed uguaglianza, nei salotti dell’alta borghesia europea si discuteva di crani, anzi, si catalogavano essere umani in base a preconcetti, o forse sarebbe meglio scrivere “pregiudizi”, modellati appunto sulla scatola cranica.
Quello che accadde con la teoria della frenologia si sta ripetendo da qualche anno con l’impiego dei Big Data che ormai operano ovunque, dalla Finanza all’Istruzione, ma anche nella ricerca di un impiego e nelle relazioni con l’Amministrazione Pubblica: dati, informazioni, numeri che decidono – in base a predizioni e schemi – chi siamo nel presente e chi saremo nel futuro. Proprio come accadeva con la teoria di Gall.
Tutto ciò che cerchiamo, tutto ciò che scriviamo sul web, viene sistematicamente registrato su banche dati: l’indirizzo che cerchiamo su Google Maps, il prodotto che acquistiamo su Amazon, la recensione che lasciamo su Tripadvisor, i “mi piace”, i repost, i retweet, il selfie, i geotag che condividiamo con gli amici, le parole che digitiamo sul nostro browser e quelle che ripetiamo, i desideri e le paure, le persone con cui interagiamo, il CAP in cui viviamo, i luoghi che frequentiamo; tracce per ricavarne preziose informazioni da far codificare alle macchine per catalogarci in gruppi, in ceti sociali, in buoni o cattivi, in bianchi o neri, in ricchi o poveri, in vincenti o perdenti. Per bombardarci di pubblicità mirate ai consumi, certamente, ma soprattutto per schedarci e per creare dei modelli matematici predittivi volti a scovare i migliori impiegati, i peggiori pagatori, gli insegnanti modello, gli allievi potenzialmente più dotati e, a volte, anche per identificare soggetti tendenzialmente pericolosi, come è accaduto a Reading, in Pennsylvania, grazie all’uso dell’app Predpoll, forse uno dei pochi programmi di schedulazione di vera utilità sociale.
Con la Matematica, o meglio, con gli algoritmi, un’opinione formalizzata da un codice. È su di essi che le grandi aziende basano ormai il loro lavoro, il potenziale successo di un prodotto, la diversificazione dei turni dei dipendenti e persino la selezione del personale.
Un esempio lampante di come la matematica sia diventata un’arma di distruzione di massa è la classifica delle migliori università degli Stati Uniti di US News. 206 insegnanti delle elementari di Washington D.C. vennero licenziati in tronco a causa di un test elaborato da un software. Perché? Per aver dato voti ai loro allievi senza gonfiarli! Per l’algoritmo un basso voto significava un insegnante inefficiente e di conseguenza un punteggio basso per l’istituto in questione. In tal modo le scuole elementari pubbliche di Washington D.C. persero alcuni degli insegnanti più brillanti, che a loro volta ripiegarono negli istituti privati delle zone più ricca della città. Ne conseguì, come è facile dedurre, un abbassamento del livello di istruzione e, paradossalmente, l’ascesa in classifica delle sopracitate scuole. Nonostante il fallimento del sistema però l’algoritmo di valutazione degli insegnanti di Washington D.C. è ancora al suo posto.
Sono Data Scientist utilizzati anche dagli istituti di credito per decidere se un cliente è potenzialmente solvibile o meno; algoritmi che raccolgono i nostri dati online e li codificano in pregi o difetti, capacità o incompetenza. Un esempio: visitate i siti porno? Per un algoritmo navigare su un sito porno equivale ad essere disoccupato. Ergo, per esso non sarete in grado di estinguere i vostri debiti pertanto, se state cercando lavoro, se avete bisogno di un prestito, attenzione alle tracce che lasciate nell’etere.
Verba volant, ma bit e bytes manent.
La ricercatrice matematica Cathy O’Neil, fondatrice di mathbabe ed autrice del libro “Armi di distruzione matematica” spiega come gli algoritmi – che dovrebbero contrastare i pregiudizi e puntare sull’equità – classificano invece le persone finendo per creare disuguaglianze sociali, segregazione razziale, emarginazione. Errori che le macchine non rilevano e che quindi non correggono.
Sono software di catalogazione, come l’app Kronos ad esempio, finalizzati ad economizzare e di conseguenza ad escludere la maggior parte dei candidati, ma attenzione, non a selezionare i migliori! Programmi di recruitment sofisticati basati sugli Applicant Tracking Systems, che cestinano automaticamente i curricula che non contengono determinate keywords, a meno che siano stati redatti con le dovute accortezze e a prova di ATS. Un sistema fallace che non premia candidati meritevoli e competenti bensì chi ha risorse per aggirare l’ostacolo, e che penalizza ovviamente anche la stessa comunità. Sono sempre più numerose infatti le aziende pubbliche e private che non funzionano. C’è poco da fare.
Questi modelli di recruitment del personale si basano talvolta anche su informazioni creditizie e persino su bollette di utenze domestiche non saldate. Ne deriva un immediato abbassamento del rating del soggetto e quindi un punteggio negativo per una sua eventuale assunzione. Ne pagano le conseguenze anche brillanti professionisti che spesso, a causa del fallimento delle società in cui lavorano, si ritrovano improvvisamente con spese e carte di credito da pagare e a cui non possono far fronte all’istante, finendo di danneggiare la loro reputazione finanziaria.
È così che il povero diventa sempre più povero e il ricco sempre più ricco.
Una recente ricerca di SimplyHire, relativa ai metodi di selezione del personale all’interno delle aziende americane, ha appurato che il 40% dei datori di lavoro esamina i profili social dei candidati, i contatti e il cosiddetto Google Curriculum che ciascuno di noi ha in Rete. Come conoscerlo? Basta cliccare il proprio nome su Google. I risultati restituiti dalla ricerca costituiscono la vostra web reputation.
Ha suscitato un vespaio di polemiche la decisione di American Express di abbassare il platfond delle carte di credito di alcuni clienti.
La loro colpa? Fare la spesa nei discount, nei negozi cheap, quelli più economici insomma, pratica che l’algoritmo ha segnalato come campanello di allarme di un eventuale quanto improbabile abbassamento del tenore di vita dei clienti, e che ha generato – matematicamente! – una ipotetica previsione di insolvibilità degli stessi. Sembra incredibile, eppure accade.
E se vi dicessi che Facebook ha brevettato un sistema di valutazione del merito creditizio basato sulle reti sociali, sul comportamento che adottiamo online? Mark Zuckerberg e Jack Dorsey, creatori rispettivamente di Facebook e Twitter, hanno creato dei mostri. E forse dovrebbero correre al riparo al più presto possibile.
Un connubio imperfetto tra Finanza privata e società di Big Data che distorcono il sistema, favoriscono la crescita della povertà, aumentano il divario tra classi sociali. Non a caso questi sistemi predittivi vengono utilizzati anche in alcune carceri americane. In Texas, per esempio, le richieste di libertà vigilata vengono concesse sulla base della recidività fornita dall’algoritmo LSI-R. Si è scoperto – ma nulla è stato fatto per rimediare – che la maggior parte dei soggetti valutati dai software come recidivi sono stranamente neri o ispanici, ex disoccupati o abitanti in quartieri tendenzialmente poveri.
Se da una parte l’Informatica ha sdoganato l’uomo da lavori alienanti e logoranti, dall’altra lo ha condannato a subire il controllo totale della sua esistenza. Una sorta di Panopticon reale che controlla e manipola tutto dall’alto: assunzioni, istruzione, consumi, abitudini e persino elezioni politiche. Pensate che nella Discografia questi modelli predittivi vengono spesso usati per decidere quale brano funzionerà o meno. Sarà questo il motivo della decadenza della musica attuale?
Gli algoritmi non inventano il futuro, tanto meno lo predicono. Interpretano piuttosto le persone basandosi su modelli prestabiliti e con un margine di errore significativo che condanna esistenze, posti di lavoro, il futuro della stessa società, con il rischio fondato, da non sottovalutare, che possano diventare uno strumento di oppressione dei popoli.
Una soluzione c’è, anzi, ce ne sarebbero due: la prima è quella di tornare a considerare le persone nella loro dimensione umana, abolendo i codici e avvalendosi dell’etica del dubbio, cosa che l’algoritmo con le sue insindacabili certezze matematiche non potrà mai fare, ma questo significherebbe rinunciare ai profitti. E secondo voi, Big Corporations con Big Data rinuncerebbero mai a Big profitti? La risposta è ovviamente no.
Quanto alla seconda soluzione, beh, ho un codice deontologico da rispettare…
di Alina Di Mattia
Articoli correlati dello stesso autore: