La “sorpresa” ferma il collasso dell’intelligenza artificiale “cannibale”
In ballo è la qualità dell’addestramento (e delle risposte)

Brindisi fra essere umano e intelligenza artificiale con la mano di un robot e quella di una scienziata
PISA. L’intelligenza artificiale generativa per alimentare il proprio “cervellone” che promette di sapere tutto deve divorare tutto quel che trova nel web: talvolta senza distinguere troppo fra affermazioni fondate e panzane sesquipedali. Ma anche qualcos’altro: càpita sempre più spesso che in quest’abbuffata di “cibo digitale” di cui si alimenta finisca non solo la “spazzatura” di opinioni a vanvera buttate lì ma anche qualcosa di assai particolare: le informazioni generate da altra intelligenza artificiale che magari ha “digerito” altre nozioni provenienti da altre intelligenze artificiali, in un circolo vizioso che rischia di non aver fine.
È un problema che forse non il grande pubblico ma perlomeno gli studiosi hanno ben presente: è l’ “autofagia” per cui l’addestramento viene compiuto “cannibalizzando”, diciamo così, qualcosa «prodotto da loro stessi». Si innesca una degenerazione che viene definita “collasso del modello”: inevitabile – viene messo in risalto – il degrado della qualità del contenuto generato.
Un pool di scienziati pisani – composto dall’Istituto di scienza e tecnologie dell’informazione del Cnr pisano, dall’Università di Pisa e dalla Scuola Normale Superiore – in tandem con i colleghi neozelandesi della Victoria University di Wellington hanno pubblicato sulla rivista “Acm Transactions on Intelligent Systems and Technology” una ricerca per indicare una strategia che vale come una sorta di antidoto e costruire sistemi più solidi nel campo dell’intelligenza artificiale generativa. L’ingrediente-chiave? La “sorpresa” per «preservare la diversità dei testi e la capacità creativa».
Daniele Gambetta, ricercatore post-doc dell’Università di Pisa, non usa giri di parole per spiegare cosa è accaduto analizzando quattro modelli di intelligenza generativa, come Llama, sviluppato da Meta. Come si nota il “collasso”? «Da un lato, il contenuto generato – afferma – diventa sempre meno vario e presenta sempre le stesse parole; dall’altro, le frasi generate sono meno coerenti e significative e le risposte meno sensate».
Luca Pappalardo, ricercatore dell’Istituto e co-direttore dello studio, rincara la dose: «La soluzione comune è distinguere i testi umani da quelli prodotti dall’intelligenza artificiale, selezionando solo quelli umani per l’addestramento. Tuttavia, è sempre più difficile fare questa distinzione man mano che i modelli diventano più sofisticati. Il nostro metodo propone invece di misurare la “perplexity”, cioè il livello di sorpresa nei documenti secondo il modello. Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso». E dunque? «I testi meno sorprendenti – sostiene – contribuiscono di più al collasso se usati nell’addestramento del modello. Nei nostri esperimenti abbiamo dimostrato che selezionando per l’addestramento solo i documenti sorprendenti si mitiga il problema del collasso».
Il professor Dino Pedreschi (Università di Pisa) inquadra questo studio all’interno di uno scenario che chiama “coevoluzione” fra umano e intelligenza artificiale: è «un ambito di ricerca che studia come i sistemi artificiali si trasformano e vengono trasformati dall’ecosistema informativo in cui operano». Lo ripete per dire che nell’ “autofagia”, cioè “mangiando” sé stesso e le proprie informazioni, «il modello smette di apprendere nuove informazioni: reintrodurre la “sorpresa” nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi».
Gizem Gezici, ricercatrice della Scuola Normale Superiore, precisa: «Questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia». Poi sottolinea: «Il nostro lavoro fornisce una possibile soluzione a un problema che diventerà sempre più impellente con la diffusione di questi modelli nella produzione testuale in vari contesti».











