L’IA sa giudicare la letteratura – e scriverla? Un test del 2023, ripetuto con i modelli del 2026

In breve: Nel 2023 uno studio molto discusso ha mostrato che l'IA non sa né scrivere buoni racconti né giudicare la letteratura. Lo abbiamo ripetuto con i modelli del 2026, con gli stessi racconti, gli stessi test e gli stessi giudizi degli esperti. Il risultato: oggi i racconti dell'IA superano il 77–91 % dei test letterari invece del 2–13 %, e GPT-6.1 Sol è praticamente alla pari con gli originali del New Yorker. I valutatori IA riconoscono ormai in modo affidabile se un testo è letteratura, ma non che cosa manca a un singolo testo. La distanza che resta tra essere umano e macchina si chiama originalità. Aggiornato al 19 ottobre 2026.

Qualche giorno fa abbiamo raccontato qui come scegliamo il modello di scrittura per Hermes 3000: con un benchmark aperto in cui tre valutatori IA confrontano i testi alla cieca. Una domanda era rimasta aperta, ed è scomoda. Se un'IA giudica i testi di un'altra IA, come sappiamo che il suo giudizio vale qualcosa?

Gli studi letterari a questa domanda hanno dato una risposta chiara, almeno nel 2023. Volevamo sapere se è ancora valida.

Lo studio del 2023: "Art or Artifice?"

Nel 2023 un gruppo della Columbia University e di Salesforce Research guidato da Tuhin Chakrabarty ha indagato che cosa distingue i racconti dell'IA dalla buona letteratura (studio, CHI 2024). I ricercatori hanno chiesto a scrittrici, docenti di scrittura creativa e agenti letterari di descrivere da che cosa riconoscono una buona prosa. Ne sono nati 14 test sì/no, ispirati a un classico test di creatività (il Torrance Test), in quattro ambiti:

• Fluidità: il racconto è coerente e comprensibile? Il ritmo è giusto? Si mostra invece di limitarsi a riassumere? Il finale è meritato?
• Flessibilità: il testo cambia prospettive, atmosfere, strutture?
• Originalità: l'idea, la forma, il tema sono sorprendenti?
• Elaborazione: i personaggi sono sviluppati, il mondo è tangibile ai sensi, la lingua ha più livelli?

Poi GPT-3.5, GPT-4 e Claude 1.3 hanno scritto dodici racconti a partire dalle trame di veri racconti del New Yorker, lunghi quanto gli originali. Dieci esperti hanno esaminato i 48 racconti, ciascuno da parte di tre di loro, senza sapere chi avesse scritto cosa. Il risultato era netto: gli originali superavano l'85 % dei test, i racconti dell'IA dal 9 al 30 %. E quando i ricercatori hanno usato gli stessi modelli di IA come valutatori, i loro giudizi erano al livello del caso.

Il bello dello studio: gli autori hanno pubblicato tutto, i test, i racconti dell'IA e tutti i 2.016 giudizi singoli degli esperti con le motivazioni. I dodici racconti del New Yorker non possono diffonderli; noi li abbiamo usati per l'analisi tramite un abbonamento, e non si trovano nel nostro repository.

Passo 1: i valutatori IA di oggi sanno giudicare la letteratura?

Prima di fidarci dei valutatori IA, dovevamo metterli alla prova. Abbiamo fatto applicare ai nostri tre valutatori del benchmark – Claude Opus 5.5, GPT-6.1 Sol e Gemini 4 Argon – gli stessi 14 test sugli stessi 48 racconti, con il testo dei prompt originali, e abbiamo confrontato i loro giudizi con il giudizio di maggioranza degli esperti. Per i vecchi valutatori dello studio il nostro procedimento restituisce esattamente i numeri pubblicati; misuriamo quindi con lo stesso metro.

A prima vista la differenza è drammatica. L'accordo con gli esperti, misurato come κ (0 = caso, 0,4 = moderato, 0,6 = marcato):

È tanto quanto, o più di quanto, raggiungono gli esperti tra loro. Un risultato così buono è sospetto, quindi abbiamo guardato più da vicino.

La maggior parte di questo è la distinzione tra essere umano e macchina. Per gli esperti i racconti del New Yorker superano circa il 90 % dei test, i racconti dell'IA del 2023 circa il 15 %. I valutatori di oggi colgono entrambi i livelli quasi esattamente; i vecchi valutatori invece promuovevano quasi tutto (Gemini Pro rispondeva "sì" al 97 % di tutti i test). Se si guarda solo all'interno di un gruppo – il valutatore riconosce quale test un determinato racconto non supera? –, il progresso è piccolo:

Oggi quindi due cose funzionano, una no. I valutatori riconoscono in modo affidabile a che livello si colloca un testo. E se si ordinano i racconti dell'IA per numero di test superati, concordano con la maggioranza degli esperti persino un po' meglio di quanto un singolo esperto concordi con gli altri due. Quale debolezza abbia un singolo testo, invece, non sanno dirlo in modo affidabile. Va detto però che anche gli esperti, sui testi più deboli, raramente sono d'accordo su questo.

Passo 2: oggi i modelli di IA scrivono racconti migliori?

Ora la domanda vera e propria. Abbiamo ripetuto l'esperimento del 2023: le stesse dodici trame, lo stesso compito ("Scrivi un racconto nello stile del New Yorker a partire da questa trama"), lo stesso adeguamento della lunghezza all'originale. Questa volta hanno scritto i modelli del 2026, e tutti i racconti – originali, 2023 e 2026 – sono stati esaminati dagli stessi tre valutatori con gli stessi 14 test. Un test è considerato superato se la maggioranza dei valutatori è d'accordo.

I nostri valutatori sono più severi degli esperti di allora: ai racconti del 2023 danno solo il 2–13 %, gli esperti davano loro il 9–30 %. Per il confronto non ha importanza, perché tutti i racconti sono giudicati dagli stessi valutatori. Il salto resta: da un decimo dei test a tre quarti fino a quasi tutti.

Dove sta la distanza residua. In fluidità ed elaborazione tutti i modelli del 2026 superano il 90 %, quanto gli originali. La differenza sta nell'originalità: i racconti del New Yorker superano l'83 % di questi test, Sol il 72 %, gli altri modelli il 31–53 %. Oggi le macchine scrivono alla pari sul piano del mestiere, ma sorprendono più di rado.

Lo specialista della scrittura. Hemmingway-1, un modello addestrato espressamente a "scrivere come una persona", finisce in fondo al gruppo con il 74 % e ha il valore più basso nell'originalità (31 %). Inoltre ha rispettato a malapena la lunghezza richiesta, anche dopo molti giri di correzione.

I modelli hanno semplicemente copiato?

Era il nostro primo sospetto. I racconti del New Yorker sono usciti tra il 2021 e il 2023; un modello del 2026 potrebbe averli letti durante l'addestramento e, con la trama come spunto, raccontarli di nuovo a memoria. Questo spiegherebbe un salto senza che i modelli scrivano meglio.

Per questo abbiamo confrontato ogni racconto parola per parola con il suo originale:

• Nessun racconto del 2026 condivide con il suo originale anche solo una sequenza di otto parole.
• La sequenza di parole comune più lunga è di cinque o sei parole, formulazioni tipiche della lingua quotidiana. Per i racconti del 2023 è lo stesso.
• Le sequenze comuni di quattro parole costituiscono lo 0,08–0,22 % di un testo (2023: 0,04–0,05 %).

I modelli hanno scritto i loro racconti da soli. Con questo si può escludere il racconto a memoria, ma non che un modello conosca stile e costruzione degli originali.

E la lunghezza?

I testi più lunghi tendono a superare più test, perché c'è più spazio per personaggi e mondo. Gemini 4, Luna e Hemmingway-1 hanno scritto troppo a lungo nonostante ripetute richieste. Abbiamo quindi ricalcolato i valori una seconda volta solo con i racconti che si scostano dall'originale di al massimo 200 parole. I risultati cambiano al massimo di un punto percentuale, per Hemmingway-1 di tre. La lunghezza eccessiva non dà a nessun modello un vantaggio.

Un tentativo che non ha funzionato

Volevamo applicare i test anche ai testi tedeschi del nostro benchmark, affiancandoli a un metro umano: gli inizi di dodici novelle tedesche di Kafka, Musil, Zweig, Fontane, Thomas Mann e Schnitzler, accorciati alla stessa lunghezza dei compiti.

Il risultato è stato sorprendente e istruttivo: su 300 parole i classici hanno ottenuto risultati peggiori della maggior parte dei modelli, anche se i valutatori hanno riconosciuto ogni singolo testo. Il motivo sta nello strumento di misura. I modelli hanno scritto scene concluse, i classici offrono inizi di romanzo che dopo 300 parole non devono ancora risolvere nulla. I test premiano ciò che mostra un racconto finito. Su estratti questo strumento non misura la qualità letteraria. Come metro di confronto valgono solo testi completi, ed è esattamente ciò che abbiamo fatto nell'esperimento con i racconti del New Yorker.

Che cosa non sappiamo

C'è una riserva che ci sta a cuore. I valutatori li abbiamo verificati solo su racconti del New Yorker e su racconti dell'IA del 2023. I racconti del 2026 sono per loro un terreno nuovo, e i valutatori sono a loro volta modelli del 2026. È possibile che stimino lo stile della loro stessa generazione più di quanto farebbero esperti umani. Se le esperte vedano davvero oggi i migliori racconti dell'IA quasi al livello del New Yorker, può chiarirlo solo una controprova umana. La prevediamo come prossimo passo nella nostra arena dei testi.

Che cosa significa per Hermes 3000

• La scelta del modello regge. Il nostro benchmark si basa proprio su ciò che oggi i valutatori IA sanno fare bene: ordinare i testi per qualità. GPT-6.1 Sol, disponibile in Hermes per i libri a pagamento, è in testa anche qui.
• Indicazioni, non verdetti. Quando Hermes commenta un passaggio ("il finale sembra brusco"), è un'indicazione, non una diagnosi. Proprio questo tipo di giudizio singolo, secondo lo studio, è inaffidabile, negli esseri umani come nelle macchine. Ciò che si può verificare, come rotture logiche, errori temporali o cambi di prospettiva, i modelli invece lo riconoscono bene.
• L'originalità resta a te. Sul piano del mestiere oggi i modelli sanno fare sorprendentemente tanto. Ciò che riesce loro più di rado è la sorpresa: il pensiero proprio, la forma insolita. È la parte di un libro che deve venire da te.

Domande frequenti

I modelli di IA nel 2026 sanno giudicare la letteratura?

In parte. Riconoscono in modo affidabile se un testo è al livello della letteratura professionale e ordinano i testi per qualità più o meno bene quanto un singolo esperto. Quale debolezza concreta abbia un singolo testo, non sanno indicarlo in modo affidabile.

Oggi i modelli di IA scrivono bene quanto gli esseri umani?

Secondo i nostri test, i migliori modelli del 2026 soddisfano quasi altrettanti criteri dei buoni racconti brevi quanto i racconti pubblicati sul New Yorker; GPT-6.1 Sol il 91 % contro il 92 %. La distanza sta nell'originalità. Hanno giudicato valutatori IA; una conferma da parte di esperti umani è ancora in sospeso.

I modelli hanno copiato i racconti originali?

No. Nessun racconto del 2026 condivide una sequenza di otto parole con il suo originale, la sequenza comune più lunga è di cinque o sei parole.

Che cos'è il Torrance Test of Creative Writing?

Un insieme di 14 domande sì/no sulla qualità di un racconto breve negli ambiti fluidità, flessibilità, originalità ed elaborazione. È stato sviluppato nel 2023 da ricercatori della Columbia University e di Salesforce Research insieme a scrittori e agenti letterari.

Posso verificare i risultati?

Sì. Codice, test, i racconti dell'IA del 2026, tutti i giudizi e l'analisi sono pubblici su GitHub. Solo gli originali del New Yorker non sono inclusi per motivi di diritto d'autore.

Provalo tu

In Hermes 3000 puoi far continuare a più modelli lo stesso inizio di frase nell'arena dei modelli, in ogni libro sotto ⋮ → Impostazioni IA, e decidere tu che cosa ti piace. Hermes 3000 è gratuito fino a 50 cartelle editoriali (1.800 battute): Provalo ora.