L’IA peut-elle juger la littérature – et en écrire ? Un test de 2023, refait avec les modèles de 2026

En bref : En 2023, une étude très remarquée a montré que l'IA ne savait ni écrire de bonnes histoires ni juger la littérature. Nous l'avons refaite avec les modèles de 2026, avec les mêmes histoires, les mêmes tests et les mêmes jugements d'experts. Résultat : les histoires écrites par l'IA satisfont aujourd'hui 77–91 % des tests littéraires, contre 2–13 % à l'époque, et GPT-6.1 Sol fait pratiquement jeu égal avec les originaux du New Yorker. Les évaluateurs IA reconnaissent désormais de façon fiable si un texte relève de la littérature, mais pas ce qui manque à un texte en particulier. L'écart qui subsiste entre l'humain et la machine s'appelle l'originalité. Mis à jour le 19 octobre 2026.

Il y a quelques jours, nous avons raconté ici comment nous choisissons le modèle d'écriture de Hermes 3000 : avec un benchmark public dans lequel trois évaluateurs IA comparent des textes à l'aveugle. Une question restait ouverte, et elle est dérangeante. Quand une IA juge les textes d'une autre IA, comment savoir si son jugement vaut quelque chose ?

Les études littéraires y ont apporté une réponse claire, du moins en 2023. Nous voulions savoir si elle tient toujours.

L'étude de 2023 : « Art or Artifice? »

En 2023, une équipe de l'université Columbia et de Salesforce Research menée par Tuhin Chakrabarty a examiné ce qui distingue les histoires écrites par l'IA de la bonne littérature (étude, CHI 2024). Les chercheurs ont pour cela demandé à des écrivaines, à des enseignants d'écriture créative et à des agents littéraires de décrire à quoi ils reconnaissent une bonne prose. Il en est sorti 14 tests oui/non, inspirés d'un test de créativité classique (le Torrance Test), répartis en quatre domaines :

• Fluidité : l'histoire est-elle cohérente et compréhensible ? Le rythme est-il juste ? Montre-t-elle au lieu de se contenter de résumer ? La fin est-elle méritée ?
• Flexibilité : le texte change-t-il de perspectives, d'atmosphères, de structures ?
• Originalité : l'idée, la forme, le thème sont-ils surprenants ?
• Élaboration : les personnages sont-ils développés, le monde est-il sensible et tangible, la langue a-t-elle plusieurs niveaux ?

Ensuite, GPT-3.5, GPT-4 et Claude 1.3 ont écrit douze histoires d'après les intrigues de vraies nouvelles du New Yorker, de la même longueur que les originaux. Dix experts ont examiné les 48 histoires, chacune par trois d'entre eux, sans savoir laquelle venait de qui. Le résultat était sans appel : les originaux réussissaient 85 % des tests, les histoires de l'IA de 9 à 30 %. Et quand les chercheurs ont employé des modèles d'IA eux-mêmes comme évaluateurs, leurs jugements ne dépassaient pas le niveau du hasard.

Ce qu'il y a de beau dans cette étude : les auteurs ont tout publié, les tests, les histoires de l'IA et les 2 016 jugements individuels des experts avec leurs justifications. Les douze histoires du New Yorker elles-mêmes, ils n'ont pas le droit de les diffuser ; nous les avons utilisées pour l'analyse grâce à un abonnement, elles ne se trouvent pas dans notre dépôt.

Étape 1 : les évaluateurs IA d'aujourd'hui savent-ils juger la littérature ?

Avant de faire confiance à des évaluateurs IA, il fallait les mettre à l'épreuve. Nous avons demandé à nos trois évaluateurs du benchmark – Claude Opus 5.5, GPT-6.1 Sol et Gemini 4 Argon – d'appliquer les mêmes 14 tests aux mêmes 48 histoires, avec le libellé des prompts d'origine, et nous avons comparé leurs jugements au jugement majoritaire des experts. Pour les anciens évaluateurs de l'étude, notre procédure restitue exactement les chiffres publiés ; nous mesurons donc avec la même règle.

À première vue, la différence est spectaculaire. L'accord avec les experts, mesuré par κ (0 = hasard, 0,4 = moyen, 0,6 = net) :

C'est autant, voire plus, que ce que les experts atteignent entre eux. Un résultat aussi bon est suspect, alors nous avons regardé de plus près.

L'essentiel tient à la distinction entre l'humain et la machine. Chez les experts, les histoires du New Yorker réussissent environ 90 % des tests, les histoires de l'IA de 2023 environ 15 %. Les évaluateurs d'aujourd'hui retrouvent les deux niveaux presque exactement ; les anciens évaluateurs, eux, laissaient presque tout passer (Gemini Pro répondait « oui » à 97 % de tous les tests). Si l'on regarde seulement à l'intérieur d'un groupe – l'évaluateur reconnaît-il quel test une histoire donnée ne réussit pas ? –, le progrès est faible :

Deux choses fonctionnent donc aujourd'hui, une autre non. Les évaluateurs reconnaissent de façon fiable le niveau d'un texte. Et si l'on classe les histoires de l'IA selon le nombre de tests réussis, ils s'accordent avec la majorité des experts même un peu mieux qu'un expert isolé avec les deux autres. En revanche, ils ne savent pas dire de façon fiable quelle faiblesse a un texte en particulier. Il faut dire que, sur les textes plus faibles, les experts sont eux aussi rarement d'accord sur ce point.

Étape 2 : les modèles d'IA écrivent-ils aujourd'hui de meilleures histoires ?

Venons-en à la vraie question. Nous avons refait l'expérience de 2023 : les mêmes douze intrigues, la même consigne (« Écris une histoire dans le style du New Yorker d'après cette intrigue »), le même ajustement de longueur sur l'original. Cette fois, ce sont les modèles de 2026 qui ont écrit, et toutes les histoires – originaux, 2023 et 2026 – ont été examinées par les trois mêmes évaluateurs avec les 14 mêmes tests. Un test est considéré comme réussi si la majorité des évaluateurs l'approuve.

Nos évaluateurs sont plus sévères que les experts de l'époque : ils n'accordent aux histoires de 2023 que 2–13 %, là où les experts leur donnaient 9–30 %. Pour la comparaison, cela ne joue aucun rôle, puisque toutes les histoires sont jugées par les mêmes évaluateurs. Le bond demeure : d'un dixième des tests à trois quarts, voire presque tous.

Où se situe l'écart restant. En fluidité et en élaboration, tous les modèles de 2026 dépassent 90 %, autant que les originaux. La différence se loge dans l'originalité : les histoires du New Yorker réussissent 83 % de ces tests, Sol 72 %, les autres modèles 31–53 %. Sur le plan du métier, les machines écrivent aujourd'hui d'égal à égal, mais elles surprennent moins souvent.

Le spécialiste de l'écriture. Hemmingway-1, un modèle entraîné expressément à « écrire comme un humain », finit en queue de peloton avec 74 % et obtient le score le plus bas en originalité (31 %). Il a en outre à peine respecté la longueur demandée, même après de nombreuses séries de corrections.

Les modèles ont-ils simplement recopié ?

C'était notre premier soupçon. Les nouvelles du New Yorker ont paru entre 2021 et 2023 ; un modèle de 2026 pourrait les avoir lues pendant son entraînement et, avec l'intrigue comme mot-clé, les restituer de mémoire. Cela expliquerait un bond sans que les modèles écrivent mieux.

Nous avons donc comparé chaque histoire mot à mot avec son original :

• Aucune histoire de 2026 ne partage ne serait-ce qu'une suite de huit mots avec son original.
• La plus longue suite de mots commune compte cinq ou six mots, des formulations courantes du quotidien. Il en va de même pour les histoires de 2023.
• Les suites communes de quatre mots représentent 0,08–0,22 % d'un texte (2023 : 0,04–0,05 %).

Les modèles ont écrit leurs histoires eux-mêmes. Cela permet d'exclure la restitution de mémoire, mais pas qu'un modèle connaisse le style et la construction des originaux.

Et la longueur ?

Les textes plus longs ont tendance à réussir plus de tests, parce qu'ils laissent plus de place aux personnages et au monde. Gemini 4, Luna et Hemmingway-1 ont écrit trop long malgré des demandes répétées. Nous avons donc recalculé les scores une seconde fois en ne gardant que les histoires qui s'écartent de l'original de 200 mots au plus. Les résultats changent d'un point de pourcentage au plus, de trois pour Hemmingway-1. La longueur excessive ne donne d'avantage à aucun modèle.

Une tentative qui n'a pas fonctionné

Nous voulions aussi appliquer les tests aux textes allemands de notre benchmark, en leur adjoignant une référence humaine : les débuts de douze nouvelles allemandes de Kafka, Musil, Zweig, Fontane, Thomas Mann et Schnitzler, raccourcis à la même longueur que les tâches.

Le résultat a été surprenant et instructif : sur 300 mots, les classiques ont obtenu de moins bons scores que la plupart des modèles, alors que les évaluateurs avaient reconnu chacun des textes. La raison tient à l'instrument de mesure. Les modèles ont écrit des scènes achevées, les classiques livrent des débuts de récit qui n'ont encore rien à résoudre au bout de 300 mots. Les tests récompensent ce que montre une histoire terminée. Sur des extraits, cet instrument ne mesure pas la qualité littéraire. Seuls des textes complets peuvent servir de référence, et c'est précisément ce que nous avons fait dans l'expérience avec les histoires du New Yorker.

Ce que nous ne savons pas

Une réserve nous tient à cœur. Nous n'avons vérifié les évaluateurs que sur des histoires du New Yorker et sur des histoires de l'IA de 2023. Les histoires de 2026 sont un terrain nouveau pour eux, et les évaluateurs sont eux-mêmes des modèles de 2026. Il est concevable qu'ils estiment le style de leur propre génération plus haut que ne le feraient des experts humains. Seule une contre-épreuve humaine peut établir si des expertes placent réellement aujourd'hui les meilleures histoires de l'IA presque au niveau du New Yorker. C'est la prochaine étape que nous prévoyons dans notre Arène de texte.

Ce que cela signifie pour Hermes 3000

• Le choix du modèle tient. Notre benchmark s'appuie précisément sur ce que les évaluateurs IA savent bien faire aujourd'hui : classer des textes selon leur qualité. GPT-6.1 Sol, disponible dans Hermes pour les livres payants, arrive en tête ici aussi.
• Des indications plutôt que des verdicts. Quand Hermes commente un passage (« la fin paraît abrupte »), c'est une indication, pas un constat. C'est précisément ce type de jugement isolé que l'étude juge peu fiable, chez les humains comme chez les machines. Ce qui est vérifiable, en revanche – ruptures de logique, erreurs de temps, changements de point de vue –, les modèles le repèrent bien.
• L'originalité reste la vôtre. Sur le plan du métier, les modèles savent aujourd'hui étonnamment bien faire. Ce qu'ils réussissent plus rarement, c'est la surprise : l'idée personnelle, la forme inhabituelle. C'est la part d'un livre qui doit venir de vous.

Questions fréquentes

Les modèles d'IA savent-ils juger la littérature en 2026 ?

En partie. Ils reconnaissent de façon fiable si un texte atteint le niveau de la littérature professionnelle et classent les textes selon leur qualité à peu près aussi bien qu'un expert isolé. En revanche, ils ne savent pas désigner de façon fiable la faiblesse concrète d'un texte en particulier.

Les modèles d'IA écrivent-ils aujourd'hui aussi bien que les humains ?

D'après nos tests, les meilleurs modèles de 2026 satisfont presque autant de critères de bonnes nouvelles que les récits publiés dans le New Yorker ; GPT-6.1 Sol 91 % contre 92 %. L'écart se situe dans l'originalité. Ce sont des évaluateurs IA qui ont jugé ; une confirmation par des experts humains reste à venir.

Les modèles ont-ils recopié les histoires originales ?

Non. Aucune histoire de 2026 ne partage une suite de huit mots avec son original, la plus longue suite de mots commune compte cinq à six mots.

Qu'est-ce que le Torrance Test of Creative Writing ?

Une série de 14 questions oui/non sur la qualité d'une nouvelle, dans les domaines de la fluidité, de la flexibilité, de l'originalité et de l'élaboration. Il a été mis au point en 2023 par des chercheurs de l'université Columbia et de Salesforce Research, avec des écrivains et des agents littéraires.

Puis-je vérifier les résultats ?

Oui. Le code, les tests, les histoires de l'IA de 2026, tous les jugements et l'analyse sont publics sur GitHub. Seuls les originaux du New Yorker n'y figurent pas, pour des raisons de droit d'auteur.

Essayez vous-même

Dans Hermes 3000, vous pouvez, dans chaque livre sous ⋮ → Paramètres IA, faire poursuivre le même début de phrase par plusieurs modèles dans l'Arène des modèles et décider vous-même de ce qui vous plaît. Jusqu'à 50 feuillets standard, Hermes 3000 est gratuit : Essayer maintenant.