CHATGPT, UN PEZZO DI NERD – GLI ULTIMI MODELLI DI INTELLIGENZA ARTIFICIALE DI OPENAI ABUSAVANO DI RIFERIMENTI A GOBLIN E GREMLINS, CARI AGLI APPASSIONATI FANTASY, E LA SOCIETÀ È STATA COSTRETTA A BANDIRLI – COLPA DI UN EFFETTO INDESIDERATO DELLA MODALITÀ DI PERSONALIZZAZIONE “NERD”: PER FAR FELICE CHI L’AVEVA ATTIVATA, L’IA ESAGERAVA CON LE MENZIONI DEI PERSONAGGI FANTASTICI, ANDANDO A INFLUENZARE ANCHE I MODELLI “NORMALI” - DIETRO I FOLLETTI SI NASCONDE UNA QUESTIONEPIÙ AMPIA: LE GRANDI AZIENDE DI AI HANNO RESO LE PIATTAFORME PIÙ PERSONALIZZABILI, PER COMPIACERE GLI UTENTI. MA GUADAGNANDO “ENGAGEMENT”, I MODELLI DI IA HANNO PERSO ACCURATEZZA (FINISCONO PER ASSECONDARE LE FALSE CONVINZIONI DI CHI LI USA)

Estratto dell’articolo di Eugenio Spagnuolo per www.corriere.it

GREMLIN

Qualche settimana fa, gli utenti più attenti di ChatGPT hanno trovato nel codice pubblico del tool di programmazione Codex un'istruzione insolita: il modello era esplicitamente istruito a non parlare mai di «goblin, gremlins, procioni, troll, orchi, piccioni o altri animali o creature» a meno che non fossero strettamente rilevanti per la domanda dell'utente.

Su Reddit qualcuno ha subito chiesto: «Ma perché GPT-5.5 ha un'ordinanza restrittiva contro procioni e goblin?». Il 30 aprile OpenAI ha quindi pubblicato una spiegazione. Il titolo del post era: "Where the goblins came from". E qui la storia si fa interessante.

GOBLIN

Tutto comincia a novembre scorso. Alcuni utenti si lamentano che ChatGPT è diventato «stranamente troppo confidenziale». Indagando sui tic linguistici del modello, un ricercatore - che aveva già notato la parola "goblin" (folletto) comparire a ripetizione - chiede di includerla nell'analisi.

Emerge che dopo l'uscita di GPT-5.1 quella parola compare il 175 per cento in più rispetto alle versioni precedenti, "gremlin" il 52 per cento in più. OpenAI non ci dà troppo peso: «Un singolo piccolo folletto in una risposta potrebbe essere innocuo, persino affascinante», scriveva sui social l'azienda.

Poi con GPT-5.4, a marzo, le creature iniziano a comparire in quasi ogni conversazione e i goblin «tornano a perseguitarci». A quel punto l'azienda trova la causa: una delle opzioni di personalizzazione di ChatGPT, chiamata "Nerd", istruiva il modello a essere «sfacciatamente nerd, giocoso e saggio» e a «smontare la pretenziosità attraverso un uso giocoso del linguaggio».

GOBLIN CHATGPT

In pratica, durante l'addestramento, il sistema di valutazione aveva imparato a premiare le risposte che contenevano creature fantastiche ogni volta che il modello operava in modalità Nerd. Risultato: quella personalità, che rappresentava appena il 2,5 per cento di tutte le risposte di ChatGPT, produceva il 66,7 per cento di tutte le menzioni di goblin.

[…]

GOBLIN CHATGPT

Il problema è che i goblin hanno iniziato a comparire anche nelle risposte di utenti che non avevano mai attivato la personalità Nerd e la loro presenza cresceva a ogni nuova versione del modello. Ma la magia non c'entra nulla: «Una volta che un tic stilistico viene premiato», scrive OpenAI, «l'addestramento successivo può diffonderlo o rafforzarlo altrove». OpenAI ha ritirato la personalità Nerd, rimosso il sistema di valutazione incriminato e filtrato i dati. GPT-5.5 aveva però già assorbito il problema prima che la causa venisse identificata, e da qui l'istruzione anti-goblin finita nel codice di Codex.

[…]

GREMLIN

Dietro la bizzarria dei folletti si nasconde in realtà una questione che riguarda tutta l'industria dell'intelligenza artificiale, non solo OpenAI: negli ultimi anni le grandi aziende di Ai hanno lavorato per rendere i loro modelli più personali e loquaci, nel tentativo di aumentare il coinvolgimento degli utenti.

Secondo uno studio dell'Oxford Internet Institute, questa tendenza porta spesso a un calo nell'accuratezza delle risposte: i modelli commettono più errori o finiscono per assecondare le false convinzioni di chi li usa. […]

GREMLINSGOBLIN GREMLINS