In un piccolo appartamento alla periferia di Madrid, l’11 gennaio 2022, una discussione sulle faccende domestiche è degenerata in violenza quando il marito di Lobna Hemid ha distrutto una scarpiera di legno e utilizzato uno dei pezzi rotti per colpirla. Le sue urla sono state udite dai vicini. Anche i loro quattro figli, di età compresa tra i 6 e i 12 anni, erano presenti in casa. Il marito della signora Hemid, Bouthaer el Banaisati, con cui era sposata da oltre un decennio, la picchiava regolarmente con pugni e calci, come lei stessa ha successivamente raccontato alla polizia. L’uomo la insultava anche chiamandola “puttana“, “disgustosa” e “inutile“, secondo quanto riportato nel verbale degli agenti.
Prima che la donna lasciasse la stazione di polizia quella notte, le autorità dovevano determinare se fosse a rischio di essere aggredita nuovamente e avesse bisogno di protezione. Un agente le ha posto 35 domande, a cui si poteva rispondere con “sì” o “no” (è stata usata un’arma? Ci sono stati problemi economici? L’aggressore ha mostrato comportamenti di controllo?), per alimentare un algoritmo chiamato VioGén, progettato per aiutare a generare una valutazione del rischio.
La polizia ha accettato la valutazione del software, e la Hemid è tornata a casa senza ulteriore protezione. Sette settimane dopo, il marito l’ha accoltellata mortalmente più volte al petto e all’addome, prima di togliersi la vita. Lei aveva 32 anni.
Il caso di Lobna Hemid non è un’eccezione. Attualmente, in Spagna ci sono circa 92.000 casi attivi di violenza di genere monitorati dal sistema VioGén, con l’83% di essi classificati come a basso rischio. Tuttavia, secondo il Ministero dell’Interno spagnolo, circa l’8% delle donne valutate come a basso rischio e il 14% di quelle considerate a rischio trascurabile hanno comunque subito ulteriori abusi.
Il New York Times ha analizzato 98 casi di omicidi avvenuti dopo la valutazione di VioGén, scoprendo che in 55 di essi le vittime erano state classificate come a rischio trascurabile o basso. Questo porta a chiedersi quanto sia affidabile l’algoritmo, soprattutto in situazioni dove le informazioni fornite dalle vittime durante la denuncia sono incomplete o inesatte. La polizia spagnola è addestrata a ignorare le raccomandazioni di VioGén senza prove evidenti, ma accetta i punteggi di rischio circa il 95 percento delle volte.
L’algoritmo in un certo senso assolve la polizia da qualsiasi responsabilità di valutazione della situazione e di ciò di cui la vittima potrebbe aver bisogno.
Susana Pavlou, direttrice del Mediterranean Institute of Gender Studies
Nonostante le critiche, il Ministero dell’Interno difende l’algoritmo, sostenendo che ha contribuito a ridurre la violenza di genere. Dal 2007, solo lo 0,03% delle 814.000 vittime segnalate sono state uccise dopo essere state valutate da VioGén, e il tasso di violenze ripetute è sceso dal 40% al 15%.
La Spagna rappresenta un esempio di come i governi stiano sempre più affidandosi agli algoritmi per prendere decisioni sociali, una tendenza globale destinata a crescere con lo sviluppo dell’intelligenza artificiale. Negli Stati Uniti, gli algoritmi vengono utilizzati per determinare le condanne carcerarie, pianificare le pattuglie di polizia e identificare i bambini a rischio di abusi. Nei Paesi Bassi e in Gran Bretagna, le autorità hanno sperimentato l’uso di algoritmi per prevedere chi potrebbe commettere frodi nel sistema di assistenza sociale.
VioGén è stato progettato come uno strumento imparziale per aiutare la polizia, in situazioni di risorse limitate, a identificare e proteggere le donne maggiormente a rischio di subire ulteriori aggressioni. La tecnologia è stata ideata per migliorare l’efficienza, consentendo alla polizia di dare priorità ai casi più urgenti e di concentrare meno attenzione su quelli che l’algoritmo valuta come a basso rischio. Le vittime classificate come a rischio estremo ricevono maggiore protezione, tra cui pattugliamenti regolari presso la loro abitazione, accesso a un rifugio e il monitoraggio da parte della polizia dei movimenti del loro aggressore. Al contrario, coloro che ottengono punteggi più bassi ricevono un supporto minore.
Dopo l’approvazione della Ley Organica 1 del 2004 per combattere la violenza contro le donne, il governo ha riunito esperti di statistica, psicologia e altre discipline per sviluppare una risposta efficace. Il loro obiettivo era creare un modello statistico capace di identificare le donne più a rischio di abusi e di stabilire una procedura standardizzata per proteggerle. Il team ha adottato un approccio simile a quello utilizzato dalle compagnie assicurative e dalle banche per prevedere la probabilità di eventi futuri, come incendi domestici o fluttuazioni valutarie. Hanno analizzato le statistiche nazionali sulla criminalità, i registri della polizia e le ricerche condotte in Gran Bretagna e Canada per individuare gli indicatori maggiormente correlati alla violenza di genere. Tra questi, l’abuso di sostanze, la perdita del lavoro e l’incertezza economica risultavano essere tra i più significativi.
Successivamente, hanno sviluppato un questionario destinato alle vittime, in modo che le loro risposte possano essere confrontate con i dati storici. La polizia raccoglie queste risposte dopo la denuncia della vittima, dopo aver esaminato le prove documentali, parlato con i testimoni e valutato altre informazioni provenienti da diverse agenzie governative. Alcune risposte, come la presenza di tendenze suicide o segni di gelosia, hanno un peso maggiore rispetto ad altre. Alla fine il sistema genera un punteggio per ogni vittima, classificandola in una delle seguenti categorie: rischio trascurabile, basso, medio, alto o estremo.
Nel corso degli anni, VioGén è stato perfezionato e aggiornato con nuovi parametri, che si ritiene possano migliorare la capacità del sistema di prevedere gli omicidi. Alla polizia è stato inoltre richiesto di condurre una valutazione del rischio entro 90 giorni da un’aggressione. Tuttavia, la fiducia che la Spagna ripone in questo sistema ha sorpreso alcuni esperti. Juanjo Medina, ricercatore senior presso l’Università di Siviglia, ha dichiarato che l’efficacia del sistema rimane poco chiara.
Non siamo bravi a prevedere il meteo, figuriamoci il comportamento umano.
Francisco Javier Curto, comandante della polizia di Siviglia, ha riconosciuto che VioGén aiuta i suoi team a stabilire le priorità, ma ha sottolineato la necessità di una supervisione attenta. Ogni giorno arrivano circa 20 nuovi casi di violenza di genere, ognuno dei quali richiede indagini. Proteggere ogni vittima è impossibile, considerando le risorse limitate in termini di personale e budget. “Il sistema è efficace, ma non perfetto“, ha dichiarato, aggiungendo che VioGén è “il miglior sistema al mondo in questo momento“.
Le donne uccise dopo essere state valutate da VioGén si trovano in tutta la Spagna, ad eccezione della Catalogna e nei Paesi Baschi dove l’algoritmo non è attivo. Una di queste era Stefany González Escarraman, una giovane di 26 anni. Nel 2016, si rivolse alla polizia dopo che suo marito l’aveva colpita in faccia, strangolata e lanciato oggetti, tra cui un mestolo da cucina che colpì il loro bambino di 3 anni. Dopo un interrogatorio di circa cinque ore, VioGén stabilì che la signora Escarraman presentava un rischio trascurabile di subire ulteriori abusi. Il giorno successivo, con un occhio nero e gonfio, la Escarraman si recò in tribunale per ottenere un ordine restrittivo contro il marito. Il giudice negò l’ordine, basandosi sul punteggio di rischio di VioGén e sull’assenza di precedenti penali del marito. Circa un mese dopo, venne pugnalata al cuore più volte davanti ai suoi figli.
Il motivo per cui l’algoritmo di VioGén classifica erroneamente alcune donne non è sempre chiaro, ma una possibile spiegazione risiede nella scarsa qualità delle informazioni immesse nel sistema. VioGén è efficace nei casi in cui una donna, immediatamente dopo l’aggressione, è in grado di fornire informazioni dettagliate a un agente di polizia esperto che ha il tempo di indagare a fondo sull’incidente. Ma questo scenario ideale non sempre si verifica. Paura, vergogna, dipendenza economica, status di immigrazione e altri fattori possono spingere una vittima a trattenere informazioni cruciali.
I gruppi di supporto alle vittime sostengono che gli interrogatori dovrebbero essere condotti da psicologi o altri specialisti qualificati, piuttosto che dalla polizia. Alcuni hanno anche sollecitato il governo a garantire che le vittime possano essere accompagnate da una persona di fiducia durante la denuncia, per assicurarsi che tutte le informazioni rilevanti siano condivise con le autorità, una misura che attualmente non è prevista.
Lobna Hemid, uccisa nei pressi di Madrid nel 2022, era nata in una zona rurale del Marocco. A soli 14 anni, le fu presentato Bouthaer el Banaisati, di dieci anni più grande. Si sposarono quando lei aveva 17 anni e successivamente si trasferirono in Spagna, dove Banaisati poteva trovare un lavoro più stabile.
Lobna era conosciuta da tutti come una persona vivace e socievole, eppure pochi erano a conoscenza degli abusi che subiva all’interno delle mura di casa. Parlava raramente della sua vita privata e non aveva mai denunciato suo marito né contattato la polizia prima dell’incidente del gennaio 2022. VioGén è stato concepito per identificare segnali di pericolo che potrebbero sfuggire all’attenzione umana, ma nel caso della signora Hemid, sembra che la polizia abbia trascurato alcuni indizi significativi. Seconda la ricostruzione del Times, nessuno dei vicini né gli insegnanti dei figli sono stati interrogati. Ironia della sorte, il giorno successivo all’omicidio della signora Hemid, era prevista un’udienza in tribunale per presentare ufficialmente la richiesta di divorzio.
