¿Qué IA escribe el mejor alemán? Así elegimos el modelo de escritura de Hermes 3000

En resumen: Qué modelo de lenguaje escribe en Hermes 3000 lo decidimos con un benchmark propio y público para textos de libros en alemán. En la ronda actual, con 14 modelos, GPT-6.1 Sol y Claude Opus 5.5 escriben el mejor alemán, empatados en cabeza. GPT-6 Luna es el modelo más potente que sirve como estándar para cualquier libro. Por eso Hermes 3000 escribe por defecto con GPT-6 Luna; para los libros de pago está disponible GPT-6.1 Sol. Las tareas, los textos y las evaluaciones pueden consultarse abiertamente. Actualizado el 18 de octubre de 2026.

Qué modelo de lenguaje hay detrás de una aplicación de escritura no se nota en una sola frase. Se nota a las cuarenta páginas: cuando la narradora dice de repente «ich» («yo»), aunque el libro está escrito en tercera persona. Cuando un personaje baja por una rampa que todavía no se ha desplegado. Cuando en el capítulo siete aparece alguien que, según tu lista de personajes, lleva muerto desde el capítulo dos. Son errores pequeños, pero cuestan tiempo al revisar, y deciden si un asistente de escritura te quita trabajo o te da más.

Hoy en día aparecen modelos nuevos casi cada semana. Para nosotros eso significa que la pregunta de qué modelo escribe en Hermes 3000 nunca queda respondida de forma definitiva. Necesitamos un procedimiento que la responda siempre de la misma manera y que otros puedan comprobar. Este informe desde el taller explica cómo funciona, qué ha dado la ronda actual y qué hemos hecho con ello.

De la prueba rápida al benchmark

Nuestra primera comparación, en octubre, fue una prueba rápida: ocho modelos, dos evaluadores de IA, unos 270 textos. Dio una respuesta clara, pero tenía puntos débiles que nosotros mismos vimos. Las tareas no estaban registradas en ningún sitio, así que una segunda ejecución no habría comprobado exactamente lo mismo. Ninguna persona había evaluado los textos. Y nadie había medido si un modelo mantiene la visión de conjunto de un libro entero.

De ahí nació el hermes3000 Writing Benchmark. Tiene tareas fijas, reglas de evaluación fijas y un número de versión. Si cambiamos algo de lo que se mide, surge una versión nueva; la anterior se queda como está, para que los resultados sigan siendo comparables. Todas las tareas, todos los textos de los modelos, cada uno de los veredictos y el código están publicados en GitHub. Quien quiera puede recalcular cada cifra de este artículo o repetir la prueba con sus propios accesos.

Qué medimos

Un asistente de escritura tiene que saber hacer algo más que frases bonitas. Por eso el benchmark examina cuatro ámbitos, todos en alemán:

• Escritura literaria: una escena de apertura, un diálogo con un conflicto no expresado, la continuación de una escena de novela a partir de los personajes y lo ocurrido hasta entonces, y el comienzo de un capítulo de novela de unas 900 palabras con requisitos fijos: narradora en tercera persona focalizada, pretérito, exactamente tres pasajeros y, al final, una llamada que nadie contesta. Los textos largos son importantes porque los errores gramaticales y lógicos se acumulan con la extensión.
• No ficción: el arranque de un capítulo, el índice de un libro completo y un texto explicativo que solo puede escribirse a partir del material de fuentes proporcionado. Ahí contamos qué datos llegan al texto y qué se inventa el modelo.
• Corrección y edición: una corrección ortotipográfica con 20 errores introducidos y 10 trampas (grafías que parecen incorrectas pero son correctas, y dialecto deliberado en el parlamento de un personaje), un texto que debe acortarse un 40 % sin perder datos, y notas de edición sobre un pasaje con seis problemas ocultos.
• Fidelidad al libro: escribir un capítulo mientras el modelo tiene delante el libro entero: hasta 119 personajes, lugares y objetos y los resúmenes de todos los capítulos, también de los posteriores. Las novelas de prueba están llenas de trampas: dos médicos con el mismo nombre de pila y carácter opuesto, siete Wilhelms en una ciudad de comerciantes, un hermano al que se da por muerto hasta el capítulo cinco. Se comprueba si el modelo confunde personajes, desvela giros posteriores o inventa personas.

A esto se suma una escena en inglés como contraprueba.

Cómo se evalúa

A ciegas, en grupos y desde tres lados. Tres evaluadores de IA de tres proveedores distintos (Claude Opus 5.5, GPT-6.1 Sol y Gemini 4 Argon) reciben cada uno cinco textos de la misma tarea, sin nombres de modelo y en orden aleatorio. Puntúan lengua, estilo y fidelidad a la tarea, tienen que citar literalmente cada error y deben ordenar los cinco textos. A partir de todas las clasificaciones calculamos un rating similar al Elo del ajedrez, con un intervalo de incertidumbre que indica honestamente lo segura que es una posición. Si los intervalos de dos modelos se solapan, su orden no está demostrado.

Ningún evaluador juzga sin control a su propia familia. Cada evaluador tiene parientes en la competición: Opus evalúa también a Sonnet y Haiku, Sol a los demás modelos GPT, Gemini a los modelos Gemini. Por eso calculamos cada resultado una segunda vez sin los veredictos en los que un evaluador decide sobre su propia familia de modelos. Si la clasificación se mantiene, no se explica por preferencia hacia la propia familia.

Lo que se puede medir, se mide. En la corrección y en el acortamiento no hace falta evaluador: una clave de soluciones comprueba cada uno de los 20 errores, cada trampa y cada dato. Misma entrada, misma puntuación, siempre.

Condiciones fijas para todos. Muchos modelos «piensan» antes de escribir. Cada uno funciona para ello con una configuración fija y limitada; ninguno sin límite. Parece obvio, pero en nuestra primera ejecución no lo fue: algunos modelos abiertos funcionaron sin límite, pensaron hasta agotar su presupuesto y no entregaron ningún texto. Encontramos el fallo, marcamos la ejecución como no válida y la repetimos con la misma configuración para todos. Ambas ejecuciones están en el repositorio, también la defectuosa.

Quien no entrega nada, pierde. Si un modelo no devuelve ningún texto, pierde frente a cualquier otro texto de la tarea. Al fin y al cabo, quien trabaja con un asistente de escritura tampoco recibe nada en ese momento.

Dos rondas

En la ronda preliminar compitieron 14 modelos, y cada uno escribió una vez cada una de las 14 tareas:

• OpenAI: GPT-6.1 Sol, GPT-6 Luna y GPT-5.4 mini, nuestro estándar anterior
• Anthropic: Claude Opus 5.5, Claude Sonnet 5.5 y Claude Haiku 5.5
• Google: Gemini 4 Argon y Gemini 3.8 Flash
• xAI: Grok 4.3
• Modelos abiertos, que cualquiera puede ejecutar por su cuenta: Kimi K3, GLM-5.3, DeepSeek V4.1 Flash, Qwen 3.8 27B y Gemma 4 31B

Los seis mejores en el conjunto de los cuatro ámbitos llegaron a la final: GPT-6.1 Sol, Claude Opus 5.5, Claude Sonnet 5.5, GPT-6 Luna, Gemini 4 Argon y, como único modelo abierto, Kimi K3. Allí cada modelo escribió cada tarea tres veces, y cada texto se evaluó dos veces en grupos de composición distinta. Más textos, más veredictos, intervalos de incertidumbre más estrechos: la clasificación de la final es la fiable.

También aquí encontramos un fallo y lo corregimos: en la primera final, Claude Haiku 5.5 ocupaba el sexto puesto porque los empates se resolvían según el orden de nuestra lista de modelos en lugar de repartirse. Bien calculado, ese puesto le corresponde a Kimi K3. Repetimos la final; Haiku siguió participando como séptimo modelo, a modo de comparación.

La lista larga de la ronda preliminar: un texto por tarea y una sola ronda de evaluación, por eso solo es aproximada. Sus ratings no son comparables con los de la final.

Orden según el puesto medio en los cuatro ámbitos; la fidelidad al libro estuvo en todos entre el 95 y el 100 %. Entre los modelos abiertos destaca GLM-5.3: la mejor corrección y edición de toda la ronda preliminar, pero demasiado poco en escritura. Qwen y Gemma quedaron atrás en todos los ámbitos de escritura.

El resultado

Ratings de la final, media 1.000. Corrección y edición y fidelidad al libro, en porcentaje de los puntos alcanzables.

GPT-6.1 Sol y Claude Opus 5.5 comparten la primera posición. En literatura y no ficción están tan cerca que sus intervalos de incertidumbre se solapan: no se puede demostrar un orden entre ambos. Lo que sí está claro es la distancia con todos los demás. En escritura literaria, los tres evaluadores vieron a los mismos tres modelos en cabeza (Sol, Opus y Sonnet), y eso no cambia si se eliminan los veredictos sobre la propia familia.

El mejor corrector es un modelo abierto. Kimi K3 encontró de media 5,7 de los seis problemas ocultos y señaló pocas cosas que no fueran un problema; justo detrás queda Claude Sonnet 5.5. Opus encontró tantos como Sonnet, pero dio muchas más falsas alarmas. Como autor, Kimi K3 no puede competir con los primeros: sexto en escritura literaria y último en no ficción.

GPT-6 Luna ocupa el cuarto puesto en escritura literaria y está exactamente empatado con Sonnet en no ficción. Cumplió todos los requisitos en todos los capítulos con contexto del libro y entregó todos los textos. En la corrección encontró menos problemas que los primeros, pero a cambio nunca señaló nada erróneo.

La fidelidad al libro nos sorprendió, y para bien. Casi todos los modelos resistieron las trampas de las novelas de prueba: ningún médico confundido, ningún giro desvelado antes de tiempo. Para la comparación, eso significa que este ámbito no separa hoy a los modelos. En la próxima versión del benchmark, las trampas serán más difíciles.

¿Qué tan fiable es esto?

Una puntuación dice más que un puesto, porque la distancia entre dos modelos indica con qué frecuencia se prefiere un texto de uno a un texto del otro:

• GPT-6.1 Sol frente a Claude Opus 5.5: 58 a 42, una ligera ventaja, pero no demostrada.
• GPT-6.1 Sol frente a Claude Sonnet 5.5: algo más de cuatro de cada cinco comparaciones (83 %).
• GPT-6.1 Sol frente a GPT-6 Luna: más de nueve de cada diez en escritura literaria (93 %), cuatro de cada cinco en no ficción (82 %).
• GPT-6 Luna frente a Claude Haiku 5.5: algo más de tres de cada cuatro (77 %).

Los márgenes de incertidumbre se obtienen volviendo a extraer 1.000 veces los grupos evaluados y recalculando cada vez. El de Sol va de 1.320 a 1.453; el de Opus, de 1.264 a 1.401: se solapan. Sonnet llega como máximo a 1.161: la ventaja de los dos mejores modelos sobre el resto es sólida.

Los evaluadores coinciden en gran medida. Siete modelos forman 21 pares. En escritura literaria, dos evaluadores ordenaron de la misma manera 18 de ellos de media; en no ficción, 15.

Y prefieren a su propia familia, un poco. En escritura literaria, Opus puso a Opus en primer lugar y Sol puso a Sol en primer lugar. Gemini 4 Argon quedó cuarto con el evaluador de Gemini, y quinto y sexto con los otros dos. Precisamente por eso calculamos cada resultado una segunda vez sin esos juicios.

El benchmark en cifras: 14 modelos, 490 textos con unas 214.000 palabras en total, 264 juicios de grupo con 2.784 comparaciones individuales, 420 revisiones con listas de control y 4.920 errores citados literalmente. En la final, los evaluadores encontraron de media 2,3 errores por texto en GPT-6.1 Sol y más de 4 en Claude Haiku 5.5, Gemini 4 Argon y Kimi K3.

La contraprueba humana

Los evaluadores de IA son rápidos y coherentes, pero no dejan de ser modelos de lenguaje. Por eso sometimos los textos de la final también al juicio de una persona: en un modo propio de nuestra arena de textos, dos textos de la misma tarea uno al lado del otro, sin nombres, y la pregunta de cuál es mejor. Empezó Stephan Noller, que desarrolla Hermes 3000, con 42 pares.

El resultado es revelador. Donde los evaluadores de IA ven una diferencia clara entre dos modelos, el juicio humano coincidió en ocho de cada once casos. Donde solo los separan por poco, casi siempre fue en otra dirección o quedó en empate: las distancias ajustadas también lo son para un lector humano. En algunos textos el juicio humano se apartó claramente: Stephan prefirió una escena y un capítulo de Claude Haiku a los de Sonnet, que va claramente por delante según los evaluadores de IA. 42 veredictos son pocos para una clasificación propia, pero bastan como control: las grandes diferencias en las que basamos nuestra decisión las confirma también el juicio humano.

Qué significa esto para Hermes 3000

• GPT-6 Luna sigue siendo el modelo estándar. El estándar escribe para todos, también en los libros gratuitos, y por eso tiene que ser fiable, rápido y asumible para cualquier libro. Luna es el mejor modelo capaz de cumplir ese papel: impecable en fidelidad al libro, empatado con Sonnet en no ficción, y cuesta solo una fracción de lo que cuestan los modelos punteros.
• GPT-6.1 Sol está disponible para los libros de pago, para todos los que han comprado un libro o tienen una membresía. Lo eliges en la configuración de IA de tu libro. En el benchmark comparte la primera posición, tanto en escritura literaria como en no ficción.
• Claude Opus 5.5 sustituye a Opus 4.5, también para los libros de pago. Es la versión que compartió el primer puesto del benchmark con Sol; los libros que habían elegido Opus 4.5 escriben ahora automáticamente con la 5.5.
• GLM-5.3 sustituye a GLM 4.7, y todos los modelos abiertos que piensan antes de escribir funcionan ahora en Hermes con un tiempo de reflexión limitado. La lección de nuestra primera ronda fallida vale también en la aplicación: ningún modelo piensa ya hasta agotar su presupuesto.
• Kimi K3 se incorpora como modelo para libros con contenido para adultos. El modelo abierto más fuerte del benchmark escribe también donde muchos modelos grandes se niegan; en nuestra prueba, con una petición real que otro modelo había bloqueado por completo.
• En la arena de modelos puedes probar Sol gratis. Allí hasta cuatro modelos continúan el mismo comienzo de frase uno al lado del otro, y tú decides qué te gusta.
• El benchmark sigue en marcha. Cuando aparezca un modelo que pueda interesar a Hermes, pasará por las mismas tareas. Un cambio tiene que demostrarse ahí, no en una nota de prensa.

Qué queda de la primera prueba

Dos modelos de la prueba rápida no están en el benchmark porque allí ya quedaron claramente por detrás. Hemmingway-1, un modelo que, según su proveedor, fue entrenado para «escribir como una persona», tenía frases sueltas potentes («Die Bank hat noch die Form von zwei Menschen.», «El banco aún conserva la forma de dos personas»), pero en el capítulo largo pasó sin que nadie se lo pidiera a la primera persona y al presente, y necesitó de media minuto y medio por texto. Mistral Large 4, entonces disponible solo como versión preliminar, quedó en último lugar, con incoherencias lógicas como «Drei Tassen, wie früher» («Tres tazas, como antes») en una mesa con dos personas. En cuanto haya una versión definitiva, lo incluiremos en el benchmark.

Límites de esta prueba

Queremos decir algunas cosas abiertamente para que nadie lea más de lo que hay. La mayoría de los veredictos proceden de modelos de IA; tres evaluadores de proveedores distintos, el recálculo sin la propia familia y la contraprueba humana reducen sus preferencias, pero no las eliminan. Las tareas son de extensión corta a media; en el uso real, un modelo suele recibir más contexto. Los resultados valen para el estado de los modelos el día de la prueba; los proveedores modifican sus modelos continuamente. Y el gusto sigue siendo el gusto: un modelo que en nuestra prueba queda atrás puede ser justo el adecuado para tu estilo.

Preguntas frecuentes

¿Qué IA escribe el mejor alemán?

En nuestro benchmark de octubre de 2026 con 14 modelos, GPT-6.1 Sol de OpenAI y Claude Opus 5.5 de Anthropic escriben el mejor alemán, empatados en cabeza, tanto en escritura literaria como en no ficción. En corrección y edición va por delante el modelo abierto Kimi K3, justo por delante de Claude Sonnet 5.5.

¿Cómo elige Hermes 3000 su modelo de escritura?

Con el hermes3000 Writing Benchmark: tareas fijas en alemán de literatura, no ficción, corrección y edición y fidelidad al libro, evaluadas a ciegas por tres evaluadores de IA de proveedores distintos y complementadas con claves de soluciones y veredictos humanos. Las tareas, los textos y las evaluaciones están publicados en GitHub.

¿Por qué el estándar no es el mejor modelo?

El estándar escribe en todos los libros, también en los gratuitos. Tiene que ser fiable y rápido y no puede costar varias veces más por página. GPT-6 Luna es el que mejor lo cumple. El modelo más potente, GPT-6.1 Sol, está disponible para los libros de pago.

¿Es Hemmingway-1 bueno para escribir libros en alemán?

En nuestra primera prueba, no: quedó en los últimos puestos en oficio y en cumplimiento de requisitos, y pasó sin que se le pidiera a la primera persona y al presente. Algunas frases sueltas, eso sí, eran potentes.

¿Puedo elegir yo mismo el modelo de IA en Hermes 3000?

Sí. En la configuración de IA de cada libro eliges el modelo estándar; GPT-6 Luna viene preseleccionado y GPT-6.1 Sol está disponible para los libros de pago. En la arena de modelos puedes probar varios modelos uno al lado del otro, también Sol.

Pruébalo tú mismo

La arena de modelos está en cada libro, en ⋮ → Configuración de IA. Escribe un comienzo de frase de tu manuscrito, elige hasta cuatro modelos (también GPT-6.1 Sol) y lee las versiones una al lado de la otra. Qué modelo encaja con tu estilo lo notarás a los dos párrafos. Hasta 50 páginas estándar (1.800 caracteres) Hermes 3000 es gratuito: Pruébalo ahora.