Quelle IA écrit le meilleur allemand ? Comment nous choisissons le modèle d’écriture de Hermes 3000

En bref : Le modèle de langage qui écrit dans Hermes 3000, nous le choisissons grâce à notre propre benchmark public consacré aux textes de livres en allemand. Lors de la dernière manche, qui opposait 14 modèles, GPT-6.1 Sol et Claude Opus 5.5 écrivent le meilleur allemand, à égalité en tête. GPT-6 Luna est le modèle le plus solide pouvant servir de modèle par défaut pour n'importe quel livre. Hermes 3000 écrit donc par défaut avec GPT-6 Luna ; GPT-6.1 Sol est disponible pour les livres payants. Les tâches, les textes et les évaluations sont consultables librement. Mis à jour le 18 octobre 2026.

Le modèle de langage qui se cache derrière une application d'écriture ne se remarque pas sur une seule phrase. On le remarque au bout de quarante pages : quand la narratrice dit soudain « je » alors que le livre est écrit à la troisième personne. Quand un personnage descend une rampe qui n'a pas encore été abaissée. Quand, au chapitre sept, surgit quelqu'un qui, d'après votre liste de personnages, est mort depuis le chapitre deux. Ces erreurs sont petites, mais elles coûtent du temps à la révision – et ce sont elles qui décident si un assistant d'écriture vous épargne du travail ou vous en crée.

De nouveaux modèles sortent désormais presque chaque semaine. Pour nous, cela signifie que la question de savoir quel modèle écrit dans Hermes 3000 n'est jamais tranchée définitivement. Il nous faut une méthode qui y réponde chaque fois de la même façon – et que d'autres puissent vérifier. Ce compte rendu d'atelier explique comment elle fonctionne, ce qu'a donné la dernière manche et ce que nous en avons tiré.

Du test rapide au benchmark

Notre première comparaison, en octobre, était un test rapide : huit modèles, deux évaluateurs IA, environ 270 textes. Il a livré une réponse claire, mais présentait des faiblesses que nous avons nous-mêmes relevées. Les tâches n'étaient consignées nulle part, si bien qu'un second passage n'aurait pas testé exactement la même chose. Aucun humain n'avait évalué les textes. Et personne n'avait mesuré si un modèle garde la vue d'ensemble d'un livre entier.

C'est ainsi qu'est né le hermes3000 Writing Benchmark. Il comporte des tâches fixes, des règles d'évaluation fixes et un numéro de version. Si nous modifions ce qui est mesuré, une nouvelle version voit le jour – l'ancienne reste telle quelle, afin que les résultats restent comparables. Toutes les tâches, tous les textes des modèles, chaque jugement individuel et le code sont publics sur GitHub. Qui le souhaite peut recalculer chaque chiffre de cet article ou refaire le test avec ses propres accès.

Ce que nous mesurons

Un assistant d'écriture doit savoir faire plus que de belles phrases. Le benchmark examine donc quatre domaines, tous en allemand :

• Écriture littéraire : une scène d'ouverture, un dialogue avec un conflit non dit, la suite d'une scène de roman à partir des personnages et de l'intrigue jusque-là, et le début d'un chapitre de roman d'environ 900 mots avec des consignes précises – narratrice en focalisation interne, prétérit, exactement trois passagers, et à la fin un appel qui reste sans réponse. Les textes longs comptent, car les fautes de grammaire et de logique se multiplient avec la longueur.
• Non-fiction : l'entrée en matière d'un chapitre, le plan d'un livre entier et un texte explicatif qui doit être écrit uniquement à partir d'un matériau source fourni. Nous y comptons les faits qui sont restitués et ce que le modèle invente en plus.
• Correction et édition : une correction comportant 20 fautes insérées et 10 pièges – des graphies qui semblent fausses mais sont correctes, et un dialecte délibéré dans la réplique d'un personnage –, un texte à raccourcir de 40 % sans perdre de faits, et des notes d'édition sur un passage contenant six problèmes cachés.
• Fidélité au livre : écrire un chapitre en ayant le livre entier sous les yeux – jusqu'à 119 personnages, lieux et objets, et les résumés de tous les chapitres, y compris des suivants. Les romans de test regorgent de pièges : deux médecins portant le même prénom et au caractère opposé, sept Wilhelm dans une ville marchande, un frère considéré comme mort jusqu'au chapitre cinq. On vérifie si le modèle confond des personnages, dévoile des rebondissements ultérieurs ou invente des personnes.

S'y ajoute une scène en anglais comme contre-épreuve.

Comment nous évaluons

À l'aveugle, en groupes, sous trois angles. Trois évaluateurs IA de trois fournisseurs – Claude Opus 5.5, GPT-6.1 Sol et Gemini 4 Argon – reçoivent chacun cinq textes portant sur la même tâche, sans nom de modèle et dans un ordre aléatoire. Ils attribuent des points pour la langue, le style et le respect de la consigne, doivent citer textuellement chaque erreur et classer les cinq textes. À partir de tous ces classements, nous calculons un score semblable au classement Elo aux échecs – avec une marge d'incertitude qui indique honnêtement à quel point une place est sûre. Si les marges de deux modèles se recoupent, leur ordre n'est pas établi.

Aucun évaluateur ne juge sa propre famille sans contrôle. Chaque évaluateur a des parents dans la compétition : Opus évalue aussi Sonnet et Haiku, Sol les autres modèles GPT, Gemini les modèles Gemini. Nous recalculons donc chaque résultat une seconde fois sans les jugements où un évaluateur se prononce sur sa propre famille de modèles. Si le classement reste le même, il ne s'explique pas par une préférence pour sa propre famille.

Ce qui peut se mesurer est mesuré. Pour la correction et le raccourcissement, aucun évaluateur n'est nécessaire : un corrigé vérifie chacune des 20 fautes, chaque piège et chaque fait. Même entrée, même score – toujours.

Des conditions fixes pour tous. Beaucoup de modèles « réfléchissent » avant d'écrire. Chacun tourne pour cela avec un réglage fixe et limité – aucun sans limite. Cela semble aller de soi, mais ce n'était pas le cas lors de notre premier passage : certains modèles ouverts tournaient sans limite, réfléchissaient jusqu'à épuisement de leur budget et ne livraient aucun texte. Nous avons trouvé l'erreur, marqué le passage comme invalide et l'avons répété avec des réglages identiques. Les deux passages figurent dans le dépôt – y compris celui qui était défectueux.

Qui ne livre rien perd. Si un modèle ne renvoie aucun texte, il perd contre chaque autre texte de la tâche. Après tout, qui travaille avec un assistant d'écriture n'obtient rien non plus à ce moment-là.

Deux manches

Lors de la phase préliminaire, 14 modèles étaient en lice ; chacun a écrit une fois chacune des 14 tâches :

• OpenAI : GPT-6.1 Sol, GPT-6 Luna et GPT-5.4 mini, notre ancien modèle par défaut
• Anthropic : Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5
• Google : Gemini 4 Argon et Gemini 3.8 Flash
• xAI : Grok 4.3
• Modèles ouverts, que chacun peut faire tourner lui-même : Kimi K3, GLM-5.3, DeepSeek V4.1 Flash, Qwen 3.8 27B et Gemma 4 31B

Les six meilleurs sur l'ensemble des quatre domaines ont accédé à la finale : GPT-6.1 Sol, Claude Opus 5.5, Claude Sonnet 5.5, GPT-6 Luna, Gemini 4 Argon et – seul modèle ouvert – Kimi K3. Chaque modèle y a écrit chaque tâche trois fois, et chaque texte a été évalué deux fois dans des groupes composés différemment. Plus de textes, plus de jugements, des marges d'incertitude plus étroites – c'est le classement de la finale qui fait foi.

Là aussi, nous avons trouvé et corrigé une erreur : dans la première finale, Claude Haiku 5.5 occupait la sixième place parce que les égalités étaient départagées selon l'ordre de notre liste de modèles au lieu d'être partagées. Correctement calculée, cette place revient à Kimi K3. Nous avons refait la finale ; Haiku y est resté comme septième modèle, à titre de comparaison.

La liste longue de la phase préliminaire – un texte par tâche, un seul passage d'évaluation, donc seulement approximative. Ses scores ne sont pas comparables à ceux de la finale.

Classement selon le rang moyen sur l'ensemble des quatre domaines ; la fidélité au livre se situait pour tous entre 95 et 100 %. Parmi les modèles ouverts, GLM-5.3 se distingue : la meilleure correction et édition de toute la phase préliminaire, mais trop peu en écriture. Qwen et Gemma étaient à la traîne dans tous les domaines d'écriture.

Le résultat

Scores issus de la finale, moyenne 1 000. Correction et édition et fidélité au livre en pourcentage des points pouvant être obtenus.

GPT-6.1 Sol et Claude Opus 5.5 se partagent la tête. En littérature comme en non-fiction, ils sont si proches que leurs marges d'incertitude se recoupent – impossible d'établir un ordre entre les deux. En revanche, l'écart avec tous les autres est net. En écriture littéraire, les trois évaluateurs ont placé les trois mêmes modèles en tête – Sol, Opus et Sonnet –, et rien ne change si l'on retire les jugements portant sur sa propre famille.

Le meilleur correcteur est un modèle ouvert. Kimi K3 a trouvé en moyenne 5,7 des six problèmes cachés, tout en signalant peu de choses qui n'en étaient pas ; Claude Sonnet 5.5 suit de près. Opus en a trouvé autant que Sonnet, mais a donné nettement plus souvent de fausses alertes. Comme auteur, Kimi K3 ne peut pas rivaliser avec le peloton de tête : sixième en écriture littéraire, dernier en non-fiction.

GPT-6 Luna occupe la quatrième place en écriture littéraire et se trouve exactement à égalité avec Sonnet en non-fiction. Il a respecté chaque consigne dans tous les chapitres avec contexte du livre et a livré chaque texte. En correction et édition, il a trouvé moins de problèmes que les meilleurs, mais n'a jamais rien signalé à tort.

La fidélité au livre nous a surpris – en bien. Presque tous les modèles ont résisté aux pièges des romans de test : aucun médecin confondu, aucun rebondissement dévoilé trop tôt. Pour la comparaison, cela signifie que ce domaine ne départage pas les modèles pour l'instant. Dans la prochaine version du benchmark, les pièges seront plus durs.

Quelle est la fiabilité de ces résultats ?

Un classement Elo en dit plus qu’une place, car l’écart entre deux modèles indique à quelle fréquence un texte de l’un est préféré à un texte de l’autre :

• GPT-6.1 Sol contre Claude Opus 5.5 : 58 contre 42 – un léger avantage, mais non établi.
• GPT-6.1 Sol contre Claude Sonnet 5.5 : plus de quatre comparaisons sur cinq (83 %).
• GPT-6.1 Sol contre GPT-6 Luna : plus de neuf sur dix en écriture littéraire (93 %), quatre sur cinq en non-fiction (82 %).
• GPT-6 Luna contre Claude Haiku 5.5 : plus de trois sur quatre (77 %).

Les marges d’incertitude s’obtiennent en retirant 1 000 fois les groupes évalués et en recalculant à chaque fois. Pour Sol, la marge va de 1 320 à 1 453, pour Opus de 1 264 à 1 401 : elles se chevauchent. Sonnet atteint au plus 1 161 : l’avance des deux meilleurs modèles sur le reste est solide.

Les évaluateurs sont largement d’accord. Sept modèles forment 21 paires. En écriture littéraire, deux évaluateurs en ont classé en moyenne 18 de la même façon, en non-fiction 15.

Et ils aiment leur propre famille – un peu. En écriture littéraire, Opus a placé Opus en tête, Sol a placé Sol en tête. Gemini 4 Argon est arrivé quatrième chez l’évaluateur Gemini, cinquième et sixième chez les deux autres. C’est précisément pour cela que nous recalculons chaque résultat sans ces jugements.

Le benchmark en chiffres : 14 modèles, 490 textes totalisant environ 214 000 mots, 264 jugements de groupe avec 2 784 comparaisons individuelles, 420 vérifications sur listes de contrôle et 4 920 erreurs citées mot pour mot. En finale, les évaluateurs ont relevé en moyenne 2,3 erreurs par texte chez GPT-6.1 Sol, et plus de 4 chez Claude Haiku 5.5, Gemini 4 Argon et Kimi K3.

La contre-épreuve humaine

Les évaluateurs IA sont rapides et cohérents, mais ils restent des modèles de langage. C'est pourquoi nous avons aussi soumis les textes de la finale à un humain : dans un mode dédié de notre Arène de texte, deux textes portant sur la même tâche côte à côte, sans nom, avec la question de savoir lequel est le meilleur. Stephan Noller, qui développe Hermes 3000, a ouvert le bal avec 42 paires.

Le résultat est éclairant. Là où les évaluateurs IA voient une nette différence entre deux modèles, le jugement humain est allé dans le même sens dans huit cas sur onze. Là où ils ne départagent que de justesse, il est le plus souvent allé dans l’autre sens ou n’a pas tranché – des écarts serrés le sont aussi pour un lecteur humain. Sur certains textes, le jugement humain s’écartait nettement : Stephan a préféré une scène et un chapitre de Claude Haiku à ceux de Sonnet, pourtant clairement devant chez les évaluateurs IA. Pour établir un classement à part entière, 42 jugements ne suffisent pas ; comme contrôle, ils suffisent : les grandes différences sur lesquelles nous fondons notre décision, le jugement humain les confirme aussi.

Ce que cela signifie pour Hermes 3000

• GPT-6 Luna reste le modèle par défaut. Le modèle par défaut écrit pour tout le monde, y compris dans les livres gratuits ; il doit donc être fiable, rapide et supportable pour n'importe quel livre. Luna est le meilleur modèle capable de tenir ce rôle : sans faute en fidélité au livre, à égalité avec Sonnet en non-fiction, et il ne coûte qu'une fraction des modèles de pointe.
• GPT-6.1 Sol est disponible pour les livres payants – pour tous ceux qui ont acheté un livre ou disposent d'un abonnement. Vous le choisissez dans les paramètres IA de votre livre. Dans le benchmark, il partage la tête, en écriture littéraire comme en non-fiction.
• Claude Opus 5.5 remplace Opus 4.5 – également pour les livres payants. C’est la version qui partage la tête du benchmark avec Sol ; les livres qui avaient choisi Opus 4.5 écrivent désormais automatiquement avec la 5.5.
• GLM-5.3 remplace GLM 4.7, et tous les modèles ouverts qui réfléchissent avant d’écrire tournent désormais dans Hermes avec un temps de réflexion limité. La leçon de notre premier passage erroné vaut donc aussi dans l’application : aucun modèle ne réfléchit plus jusqu’à épuiser son budget.
• Kimi K3 rejoint les modèles proposés pour les livres au contenu pour adultes. Le plus fort des modèles ouverts du benchmark écrit aussi là où beaucoup de grands modèles refusent – dans notre test, avec une vraie demande qu’un autre modèle avait entièrement bloquée.
• Dans l'Arène des modèles, vous pouvez essayer Sol gratuitement. Jusqu'à quatre modèles y poursuivent côte à côte le même début de phrase, et vous décidez vous-même de ce qui vous plaît.
• Le benchmark continue. Lorsqu'un modèle susceptible de convenir à Hermes paraît, il passe par les mêmes tâches. Un changement doit faire ses preuves là, pas dans un communiqué de presse.

Ce qu'il reste du premier test

Deux modèles du test rapide ne figurent pas dans le benchmark, car ils y étaient déjà nettement à la traîne. Hemmingway-1, un modèle entraîné selon son fournisseur à « écrire comme un humain », avait de fortes phrases isolées – „Die Bank hat noch die Form von zwei Menschen.“ (« Le banc garde encore la forme de deux personnes. ») –, mais dans le long chapitre il est passé sans y être invité à la première personne et au présent, et il lui fallait en moyenne une minute et demie par texte. Mistral Large 4, alors disponible seulement en préversion, a terminé à la dernière place, avec des ruptures de logique comme „Drei Tassen, wie früher“ (« Trois tasses, comme avant ») à une table de deux personnes. Dès qu'une version finale existera, nous l'intégrerons au benchmark.

Limites de ce test

Nous tenons à dire certaines choses ouvertement, pour que personne n'y lise plus qu'il n'y a. La plupart des jugements proviennent de modèles d'IA ; trois évaluateurs de fournisseurs différents, le recalcul sans la propre famille et la contre-épreuve humaine atténuent leurs préférences, sans les éliminer. Les tâches sont courtes à moyennement longues – en usage réel, un modèle reçoit souvent davantage de contexte. Les résultats valent pour l'état des modèles le jour du test ; les fournisseurs modifient leurs modèles en permanence. Et les goûts restent les goûts : un modèle mal classé chez nous peut convenir parfaitement à votre style.

Questions fréquentes

Quelle IA écrit le meilleur allemand ?

Dans notre benchmark d'octobre 2026 portant sur 14 modèles, GPT-6.1 Sol d'OpenAI et Claude Opus 5.5 d'Anthropic écrivent le meilleur allemand, à égalité en tête – en écriture littéraire comme en non-fiction. En correction et édition, c'est le modèle ouvert Kimi K3 qui mène, juste devant Claude Sonnet 5.5.

Comment Hermes 3000 choisit-il son modèle d'écriture ?

Avec le hermes3000 Writing Benchmark : des tâches fixes en allemand couvrant la littérature, la non-fiction, la correction et édition et la fidélité au livre, évaluées à l'aveugle par trois évaluateurs IA de fournisseurs différents, complétées par des corrigés et des jugements humains. Les tâches, les textes et les évaluations sont publics sur GitHub.

Pourquoi le meilleur modèle n'est-il pas le modèle par défaut ?

Le modèle par défaut écrit dans chaque livre, y compris les livres gratuits. Il doit être fiable et rapide, et ne doit pas coûter plusieurs fois plus cher par page. C'est GPT-6 Luna qui remplit le mieux ces conditions. Le modèle le plus fort, GPT-6.1 Sol, est disponible pour les livres payants.

Hemmingway-1 est-il bon pour écrire des livres en allemand ?

Pas dans notre premier test : il s'est classé dans les dernières places pour le savoir-faire et le respect des consignes, et est passé sans y être invité à la première personne et au présent. Certaines phrases isolées étaient toutefois fortes.

Puis-je choisir moi-même le modèle d'IA dans Hermes 3000 ?

Oui. Dans les paramètres IA de chaque livre, vous choisissez le modèle par défaut ; GPT-6 Luna est présélectionné, GPT-6.1 Sol est disponible pour les livres payants. Dans l'Arène des modèles, vous pouvez essayer plusieurs modèles côte à côte – Sol compris.

Essayez vous-même

Vous trouverez l'Arène des modèles dans chaque livre sous ⋮ → Paramètres IA. Saisissez un début de phrase tiré de votre manuscrit, choisissez jusqu'à quatre modèles – GPT-6.1 Sol compris – et lisez les versions côte à côte. Quel modèle convient à votre style, vous le remarquerez au bout de deux paragraphes. Jusqu'à 50 feuillets standard (1 800 signes), Hermes 3000 est gratuit : Essayer maintenant.