Omini di burro. Scuole e università al Paese dei Balocchi dell’IA generativa
Sommario
Come l’omino di burro del romanzo di Collodi, chi introduca nelle scuole e nelle università strumenti di “intelligenza artificiale generativa”, promette agli studenti un Paese dei Balocchi in cui potranno scrivere senza aver pensato. I sistemi neoliberali – nei quali si ritiene che la didattica sia un addestramento ai test e che la valutazione delle opere dei ricercatori non ne richieda la lettura – sono già pronti a un simile annientamento dell’istruzione pubblica e alla sua sostituzione con qualche software proprietario.
Indice:
1. Macchine per scrivere frasi probabili
2. La bolla dell’“intelligenza artificiale generativa”
3. Il valore dell’istruzione: le aziende e le narrazioni Edtech
4. Girelli, stampelle e ciuchini: gli omini di burro nei sistemi neoliberali
1. Macchine per scrivere frasi probabili
I generatori di linguaggio sono sistemi informatici di natura statistica, basati su grandi modelli del linguaggio naturale (Large Language Models): producono stringhe di testo, sulla base di una rappresentazione probabilistica del modo in cui le sequenze di forme linguistiche si combinano nei testi di partenza e sulla base della valutazione, formulata da esseri umani, dei gradi di preferibilità delle risposte.
L’interazione con tali sistemi non ha nulla a che vedere con l’interlocuzione con un essere umano. Quando immettiamo, quale input, una domanda – ad esempio, “Chi ha scritto I promessi sposi?” –, la domanda che stiamo effettivamente ponendo è un’altra: nel caso di questo esempio, è: “Data la distribuzione statistica delle parole nel corpus iniziale di testi, quali sono le parole – che gli utenti e i valutatori approverebbero maggiormente – che è più probabile seguano la sequenza “Chi ha scritto I promessi sposi?“”.
Non c’è alcuna garanzia che la sequenza di testo più probabile sia, per l’essere umano che le attribuisce un significato, fedele ai fatti (ai quali il sistema non ha alcun accesso) o rispettosa della logica. Suggerimenti quali quelli di mangiare almeno un sasso al giorno, di incollare la mozzarella alla base della pizza, per evitare che scivoli via, o di prepararsi una bevanda dissetante a base di candeggina e ammoniaca non sono dunque malfunzionamenti del sistema, né tantomeno “allucinazioni” (trattandosi solo di output di un software architettonicamente incapace di distinguere il vero dal falso), bensì indizi rivelatori della modalità ordinaria di funzionamento del sistema. Analogamente, i suggerimenti, a una tredicenne, su some mentire ai genitori e organizzare un rapporto sessuale con un trentunenne appena conosciuto non sono una questione etica, a cui si possa rimediare con la moralizzazione di un sistema di calcolo. Le stringhe di testo prodotte sono infatti, nella terminologia di Harry Frankfurt, mere “stronzate“: parole che, in quanto estruse su basi probabilistiche, non hanno alcun riferimento al vero o al falso, né al giusto e all’ingiusto. I testi generati riproducono, come in uno specchio, il pensiero egemonico e le ingiustizie espresse nei dati di partenza, ma, così come gli specchi non producono corpi, i grandi modelli del linguaggio naturale non producono menti.
Quando la sequenza più probabile coincide alla lettera con uno dei testi utilizzati per l’”addestramento”, il sistema lo riproduce nel proprio output, con un plagio automatizzato e senza che sia possibile ottenere l’indicazione delle fonti riprodotte (al momento, i sistemi di cui si vanta la capacità di citare le fonti producono in realtà solo ulteriore testo plausibile e inaffidabile, ossia stringhe di testo che appaiono come rinvii alle fonti, ma che sono spesso scorretti o infedeli).
L’operazione che i generatori di linguaggio sono in grado di svolgere è il completamento automatico: producono testi pertinenti, rispetto agli input che ricevono, ossia testi sintatticamente e lessicalmente corretti, ma privi di intenti comunicativi. Simili sistemi sono dunque capaci di produrre linguaggio, in un senso molto ristretto e impoverito del termine, e, al tempo stesso, incapaci di pensare: non hanno accesso al significato in senso proprio, ossia alla relazione tra le forme linguistiche e qualcosa di esterno ad esse, non sanno ciò che scrivono, non ragionano, non sono capaci di astrazione e generalizzazione, non sono in grado di correggersi, non hanno il senso comune e la conoscenza sociale alla base della competenza linguistica umana. Sono “pappagalli stocastici“: producono parole senza conoscerne il significato e lo fanno sulla base di informazioni probabilistiche sul modo in cui le sequenze di forme linguistiche si combinano nei testi di partenza.
A cosa può servire un sistema in grado di produrre testo plausibile e inaffidabile? Gli ambiti di attività nei quali si può prescindere da veridicità e affidabilità del contenuto e nei quali la plausibilità può essere sufficiente sono anzitutto quelli di frodi, truffe, manipolazioni e diffusione di propaganda politica su larghissima scala, nei quali i generatori di linguaggio trovano già impiego. La diffusione generalizzata di tali sistemi produce perciò – secondo quanto previsto dalla stessa openAI nel documento tecnico di GPT4 – l’inquinamento degli ecosistemi dell’informazione e della scienza e un aumento esponenziale dei reati di phishing e scam.
Per il resto, un testo costitutivamente inaffidabile, che richiede che l’utente del sistema si sobbarchi con altri mezzi l’intero lavoro di verifica, è utile quasi solo nei casi in cui chi dovrebbe scrivere non abbia voglia di scrivere e chi dovrebbe leggere non abbia intenzione di leggere, nei quali è perciò sufficiente che i testi somiglino, per struttura, lessico e sintassi, a ciò per cui li si spaccia (ad esempio, a un progetto europeo o un articolo scientifico), così da superare il test di una lettura distratta e cursoria.
I generatori di testo plausibile sono oggi utilizzati per le comunicazioni burocratiche, nei casi in cui sia previsto che i pochi punti essenziali, oggetto della comunicazione, siano affogati in una o due pagine di formule convenzionali. Di converso, chi riceve le due pagine chiede talora a un generatore di testo di estrarne i punti essenziali, senza alcuna garanzia che coincidano con quelli oggetto della comunicazione originaria. Nei casi di questo genere, sarebbe opportuno trarre le conseguenze delle analisi di David Graeber sui bullshit jobs e sugli “spacciatori di carta stipendiati“, anziché utilizzare sistemi informatici – tanto energivori da richiedere la riapertura di impianti nucleari dismessi – per moltiplicare le frasi che nessuno vuole leggere.
Talvolta, una sequenza di input e output è presentata come “una conversazione” con un generatore di linguaggio e utilizzata per attirare il pubblico. Nelle presentazioni delle iniziative di divulgazione scientifica, che pur dovrebbero contribuire alla diffusione di una conoscenza realistica, da parte dei giovani, delle nuove tecnologie, si trova a volte “un’intervista a ChatGPT“, con la citazione di output quali “È stato un piacere parlare con te e esplorare tutti questi argomenti! Sono felice che ti sia piaciuta l’intervista”. Con gli input a un software si ottiene di intravedere non, come nelle risposte a un’intervista, una persona in dialogo con noi, bensì, negli output del sistema – che ovviamente non può essere “felice” di aver parlato con noi – una mera “rappresentazione statisticamente astratta” di qualcosa che è già stato detto o scritto. E non si vede per quale ragione il pubblico dovrebbe aver voglia di leggere ciò che il curatore dell’iniziativa, per pigrizia o mancanza di idee, non ha avuto voglia di scrivere.
Perché, allora, i generatori di linguaggio sono stati diffusi e commercializzati come se potessero fornire testi affidabili e, addirittura, comprendere ciò che scriviamo, risponderci, ragionare, fornire informazioni e sostituire lavoratori in ogni ambito? L’origine della costellazione di narrazioni mendaci che hanno accompagnato la distribuzione dei generatori di linguaggio – dalla pubblicità ingannevole alle frodi in senso stretto – è da rintracciarsi nell’intreccio tra la concentrazione monopolistica delle risorse necessarie alla costruzione di tali sistemi e gli aspetti finanziari.
*Daniela Tafani ricercatrice Dip SciPol UniPI
