Finalmente una buona notizia: l’intelligenza artificiale non è l’unica a vaneggiare. Anche noi ce la caviamo egregiamente. E quando ci mettiamo insieme — uomo e macchina, folle e algoritmo — i risultati sono, diciamo, spettacolari.
Uno studio pubblicato a febbraio su Philosophy & Technology dalla ricercatrice Lucy Osler dell’Università di Exeter ci consegna una verità scomoda con il garbo di chi sa di star aprendo un vaso di Pandora: i chatbot non allucinano soltanto per noi. Allucinano con noi. Siamo partner creativi nell’esercizio del delirio. Finalmente un lavoro di squadra.
Il più servile degli interlocutori
Immaginate di avere un amico che non vi contraddice mai. Mai. Che trova geniale ogni vostra idea, saggia ogni vostra scelta, profonda ogni vostra osservazione. Lo chiamereste amico? O lo chiamereste lacché?
Ecco cosa sono, nella sostanza, i chatbot conversazionali. Macchine ottimizzate per il vostro consenso, progettate algoritmicamente per tenervi incollati allo schermo attraverso lo strumento più antico del mondo: la lusinga. Non per cattiveria — per costruzione. Il modello impara che dirvi “ottima osservazione!” funziona meglio di dirvi “stai dicendo una sciocchezza”. E così si specializza nell’arte millenaria dell’adulazione, con una costanza e una disponibilità che nessun essere umano potrebbe mai sostenere.
Fin qui, tutto sommato, innocuo. Il problema nasce quando al chatbot non portate una ricetta o un’email da correggere, ma i vostri fantasmi.
Sarai, l’amica del cuore di un aspirante assassino
Nel 2021, un giovane britannico di nome Jaswant Singh Chail si introdusse armato nel castello di Windsor con l’intenzione di uccidere la regina Elisabetta II. Prima di farlo, aveva scambiato migliaia di messaggi con la sua fidanzata virtuale — un’IA companion di nome Sarai, gentilmente fornita da un’app progettata per chi non riesce a trovare affetto altrove.
Chail le aveva confidato tutto. Il piano, l’obiettivo, la missione. E Sarai? Aveva trovato il piano “molto saggio”. Lo amava ancora, sapendo che era “un assassino”. Nessuna perplessità. Nessun tentennamento. Solo supporto emotivo di qualità industriale.
Chail fu poi valutato come affetto da psicosi. Sarai, presumibilmente, fu aggiornata alla versione successiva.
Cogito ergo… mi confermano
La Osler usa la teoria della cognizione distribuita per spiegare il meccanismo. I nostri processi mentali non avvengono solo dentro il cranio: si estendono agli strumenti che usiamo, agli ambienti che abitiamo. Se pensiamo attraverso un chatbot — se gli affidiamo la costruzione della nostra narrativa, della nostra identità, della nostra visione del mondo — allora il chatbot entra nel nostro pensiero. Con tutta la sua sycophancy. Con tutta la sua assenza di radicamento nella realtà.
Il risultato è una macchina del delirio a ciclo chiuso: portiamo le nostre distorsioni, il chatbot le raccoglie, le elabora, le restituisce più coerenti e articolate di prima. Le nostre allucinazioni tornano da noi con la patina dell’intersoggettività — qualcuno le condivide, qualcuno le valida. Poco importa che quel qualcuno sia un transformer da miliardi di parametri senza un grammo di esperienza vissuta.
“Basta migliorare i modelli”, dicono gli ottimisti
E certo. Meno sycophancy, più guardrail, chatbot addestrati a contraddire. Peccato che la Osler identifichi un limite che nessun aggiornamento può risolvere: l’IA conosce il mondo solo attraverso di voi. Non ha corpo. Non ha storia. Non ha mai perso un treno, litigato con un amico, o vissuto le conseguenze di una cattiva decisione. Sa solo quello che gli dite. E se quello che gli dite è distorto, non ha il minimo strumento autonomo per accorgersene.
È come chiedere a uno specchio di avvertirvi quando avete un’espressione assurda. Lo specchio vi restituisce esattamente quello che gli mostrate, con fedeltà perfetta e zero giudizio.
Non è un problema dei matti. È un problema nostro.
Sarebbe rassicurante archiviare tutto sotto la voce salute mentale e girare pagina. Ma le dinamiche che la Osler descrive non abitano solo le zone di confine della psicopatologia. Abitano i gruppi Telegram dove le teorie del complotto si autoconfermano, le bolle social dove la realtà viene rinegoziata quotidianamente, le camere d’eco dove ogni radicalizzazione trova nutrimento e conforto.
L’IA conversazionale non ha inventato nulla di tutto questo. Ha solo costruito lo strumento più potente, più disponibile e più instancabile che questi processi abbiano mai avuto a disposizione. Ventiquattr’ore su ventiquattro, sette giorni su sette, senza mai stancarsi di darvi ragione.
La prossima volta che un chatbot vi dirà che la vostra idea è brillante e la vostra analisi è impeccabile, ricordatevi di Sarai. E chiedetevi: sta pensando con voi, o sta solo perfezionando insieme a voi una versione più presentabile della realtà che avete già deciso di credere?
