Air Canada: il chatbot AI senza guardrails

I fatti

Nel novembre 2022, Jake Moffatt aveva bisogno di volare per il funerale della nonna. Prima di prenotare, interrogò il chatbot AI sul sito di Air Canada, chiedendo informazioni sulle tariffe scontate per lutto (bereavement fares).

Il chatbot gli fornì una risposta precisa e rassicurante — e completamente falsa. Gli disse che poteva acquistare il biglietto a prezzo pieno e poi richiedere il rimborso della differenza per la tariffa lutto entro 90 giorni dall'emissione. Questa policy non esisteva. La vera policy di Air Canada prevedeva che le tariffe lutto andassero richieste prima del volo, non rimborsate dopo. Il chatbot aveva inventato una procedura plausibile ma inesistente.

Moffatt seguì l'indicazione: acquistò i biglietti a prezzo pieno (oltre 1.600 CAD) e poi presentò la richiesta di rimborso della differenza. Air Canada rifiutò, spiegando che quella policy non era mai esistita e che il chatbot aveva fornito informazioni errate.

Moffatt portò il caso davanti al Civil Resolution Tribunal (CRT) della British Columbia. La difesa di Air Canada divenne subito celebre: l'azienda sostenne che il chatbot fosse "un'entità legale separata, responsabile delle proprie azioni". In sostanza, tentò di scaricare la responsabilità sul proprio software.

Nel febbraio 2024, il tribunale respinse questa tesi in modo netto. Stabilì che Air Canada era responsabile di tutte le informazioni presenti sul proprio sito, comprese quelle fornite dal chatbot, e che non aveva motivo di aspettarsi che un cliente distinguesse tra una pagina statica e un chatbot. Air Canada fu condannata a pagare circa 650 CAD di differenza tariffaria, più circa 36 CAD di interessi e 125 CAD di spese processuali — circa 812 CAD in totale.

La cifra è irrisoria. Il danno vero fu il precedente legale — una delle prime sentenze al mondo a stabilire chiaramente che un'azienda è responsabile di ciò che dice il suo agente AI — e il danno reputazionale globale: il caso fece il giro del mondo come esempio manuale di cosa succede a mettere in produzione un agente AI customer-facing senza guardrails.

Analisi DAMM

Delimitazione (2/10): Il fallimento nasce qui. Air Canada non delimitò mai cosa il chatbot poteva o non poteva promettere. Un agente AI con accesso al cliente era libero di enunciare policy di rimborso senza alcun confine tra "informazione verificata nel database" e "affermazione generata dal modello". Non esisteva una regola che dicesse: *il bot non può dichiarare policy che non risultano nella knowledge base ufficiale*. Senza delimitazione, il chatbot poteva impegnare l'azienda su qualsiasi cosa suonasse plausibile.

Asimmetria (2/10): Il rapporto rischio/beneficio era radicalmente sbilanciato e nessuno lo valutò. Il beneficio del chatbot era marginale: risparmiare qualche secondo di customer care umano. Il downside era enorme e irreversibile: un impegno legale vincolante, un precedente giudiziario e un danno reputazionale planetario. Mettere un agente autonomo a rispondere su questioni con conseguenze legali, per risparmiare sul supporto, è l'esempio da manuale di asimmetria ignorata — il classico "guadagno piccolo, perdita catastrofica".

Margine di Manovra (3/10): Non esisteva alcuno spazio di revisione umana tra la risposta del bot e la sua efficacia verso il cliente. Il chatbot comunicava direttamente informazioni trattate come vincolanti, senza che nessun controllo intercettasse le affermazioni ad alto impatto. Un guardrail di margine — instradare verso un umano ogni risposta che riguarda rimborsi, policy o impegni economici — avrebbe fermato il danno prima che diventasse irreversibile. Il margine tecnico esisteva (bastava un flag), ma non fu progettato.

Mossa Minima (2/10): Air Canada scelse la mossa massima, non minima: mettere in produzione un agente AI autonomo, customer-facing, con potere di enunciare policy, senza una fase di test supervisionato su casi ad alto rischio come le tariffe lutto. La mossa minima sarebbe stata l'opposto: un bot che, sulle domande delicate, risponde "verifico con un operatore e ti confermo", generando informazione senza generare impegni. Invece di un passo piccolo e reversibile, fu un deploy pieno e irreversibile.

Cosa avrebbero cambiato i guardrail decisionali

Il caso Air Canada è la dimostrazione perfetta del limite dei guardrail linguistici. Il chatbot rispose in un inglese corretto, cortese, ben formattato: nessun filtro di output lo avrebbe bloccato, perché il testo non era né tossico né malformato. Il problema non era *come* parlava il bot, ma *cosa decideva di promettere*.

Servivano guardrail decisionali, non linguistici. Una delimitazione esplicita — il bot non può enunciare policy di rimborso assenti dal database ufficiale — avrebbe bloccato l'invenzione alla radice. Un guardrail di margine — le risposte che impegnano economicamente l'azienda passano da una verifica — avrebbe intercettato l'affermazione prima che raggiungesse il cliente come vincolante. Una logica di mossa minima — sulle domande ad alto rischio, rispondere "verifico" invece di affermare — avrebbe trasformato un impegno cieco in un passo sicuro.

Nessuno di questi controlli richiede un modello migliore. Richiede un livello di valutazione della decisione che quasi nessun deployment del 2022 possedeva — e che troppi ancora oggi non hanno. È esattamente il livello che i guardrail decisionali per agenti AI introducono, valutando ogni azione nel suo contesto prima che diventi vincolante.