Scandalo assegni familiari in Olanda: l'algoritmo senza traccia

I fatti

Tra il 2013 e il 2019 il fisco olandese (Belastingdienst) usò un sistema automatico di valutazione del rischio per individuare presunte frodi negli assegni per l'infanzia. Il sistema assegnava un punteggio di rischio alle famiglie e segnalava quelle "sospette", che venivano costrette a restituire interi importi, spesso decine di migliaia di euro, con effetto immediato.

Secondo le inchieste successive, il modello dava peso a indicatori come la doppia nazionalità e i redditi bassi, colpendo in modo sproporzionato famiglie di origine straniera. Circa 26.000 famiglie furono accusate ingiustamente. Molte finirono in gravi difficoltà economiche: ci furono divorzi, perdite della casa e, in centinaia di casi, bambini allontanati dalle famiglie.

Il punto critico non fu solo l'errore del modello, ma l'impossibilità di contestarlo. Le famiglie non ricevevano una spiegazione comprensibile, e all'interno dell'amministrazione non esisteva una traccia chiara di come e perché una singola decisione fosse stata presa. Nel gennaio 2021 l'intero governo Rutte III si dimise. L'autorità olandese per la protezione dei dati sanzionò in seguito il fisco.

L'analisi DAMM

Delimitazione (3/10) — I confini di ciò che non poteva essere perso — la fiducia dei cittadini, la proporzionalità, il diritto di difesa — non furono mai definiti. L'obiettivo, ridurre le frodi, fu perseguito senza delimitare i danni accettabili.

Asimmetria (2/10) — Il rapporto rischio/rendimento era catastroficamente sbilanciato: il recupero di importi relativamente contenuti a fronte del rischio di distruggere la vita di migliaia di famiglie. Un'asimmetria che, se calcolata, avrebbe fermato il sistema.

Margine (2/10) — Non esisteva alcun margine di sicurezza: nessuna revisione umana efficace, nessun piano B per gli errori, nessuna via di ricorso rapida. Un singolo falso positivo diventava una condanna.

Mossa Minima (3/10) — Il sistema fu applicato su larga scala senza una fase di test controllata che ne misurasse gli effetti su un campione ridotto prima di generalizzarlo.

Cosa sarebbe cambiato con una traccia

Il cuore del disastro fu l'assenza di responsabilità verificabile. Nessuno poteva ricostruire, per una singola famiglia, perché fosse stata segnalata, su quali basi e chi avesse confermato la decisione. Una decisione automatica senza traccia non è solo opaca: è irreprensibile nel senso peggiore del termine, perché non c'è nulla su cui esercitare un controllo.