¿Puede la IA juzgar la literatura… y escribirla? Un test de 2023, repetido con los modelos de 2026

En resumen: En 2023, un estudio muy comentado mostró que la IA no sabe escribir buenas historias ni juzgar la literatura. Lo hemos repetido con los modelos de 2026, con las mismas historias, las mismas pruebas y los mismos juicios de expertos. El resultado: las historias de IA superan hoy entre el 77 y el 91 % de las pruebas literarias, en lugar del 2–13 %, y GPT-6.1 Sol está prácticamente empatado con los originales del New Yorker. Los evaluadores de IA reconocen ya con fiabilidad si un texto es literatura, pero no qué le falta a un texto concreto. La distancia que queda entre humanos y máquinas se llama originalidad. Actualizado el 19 de octubre de 2026.

Hace unos días contamos aquí cómo elegimos el modelo de escritura de Hermes 3000: con un benchmark abierto en el que tres evaluadores de IA comparan textos a ciegas. Quedó una pregunta abierta, y es incómoda. Si una IA juzga los textos de otra IA, ¿cómo sabemos que su juicio vale algo?

Los estudios literarios dieron a esto una respuesta clara, al menos en 2023. Queríamos saber si sigue siendo cierta.

El estudio de 2023: «Art or Artifice?»

Un equipo de la Universidad de Columbia y de Salesforce Research, encabezado por Tuhin Chakrabarty, investigó en 2023 qué distingue las historias de IA de la buena literatura (estudio, CHI 2024). Para ello, los investigadores pidieron a escritoras, profesores de escritura creativa y agentes literarios que describieran en qué reconocen la buena prosa. De ahí surgieron 14 pruebas de sí/no, inspiradas en un test de creatividad clásico (el Torrance Test), en cuatro ámbitos:

• Fluidez: ¿La historia es coherente y comprensible? ¿El ritmo es el adecuado? ¿Se muestra en lugar de solo resumir? ¿El final está merecido?
• Flexibilidad: ¿El texto cambia de perspectivas, de atmósferas, de estructuras?
• Originalidad: ¿La idea, la forma, el tema resultan sorprendentes?
• Elaboración: ¿Los personajes están desarrollados, el mundo se percibe con los sentidos, el lenguaje tiene varias capas?

Después, GPT-3.5, GPT-4 y Claude 1.3 escribieron doce historias a partir de las tramas de relatos reales del New Yorker, con la misma extensión que los originales. Diez expertos revisaron las 48 historias, cada una de ellas tres de los expertos, sin saber cuál era de quién. El resultado fue claro: los originales superaron el 85 % de las pruebas; las historias de IA, entre el 9 y el 30 %. Y cuando los investigadores usaron los propios modelos de IA como evaluadores, sus juicios quedaron al nivel del azar.

Lo bueno del estudio: los autores lo publicaron todo, las pruebas, las historias de IA y los 2.016 juicios individuales de los expertos con sus justificaciones. Las doce historias del New Yorker en sí no pueden difundirlas; nosotros las usamos para el análisis a través de una suscripción, y no están en nuestro repositorio.

Paso 1: ¿Saben juzgar la literatura los evaluadores de IA de hoy?

Antes de fiarnos de los evaluadores de IA, teníamos que ponerlos a prueba. Hicimos que nuestros tres evaluadores del benchmark –Claude Opus 5.5, GPT-6.1 Sol y Gemini 4 Argon– aplicaran las mismas 14 pruebas a las mismas 48 historias, con el texto literal de los prompts originales, y comparamos sus juicios con el juicio mayoritario de los expertos. Nuestro procedimiento reproduce exactamente las cifras publicadas para los evaluadores antiguos del estudio; medimos, por tanto, con la misma vara.

A primera vista, la diferencia es espectacular. La coincidencia con los expertos, medida como κ (0 = azar, 0,4 = moderada, 0,6 = notable):

Es tanto o más de lo que alcanzan los expertos entre sí. Un resultado tan bueno es sospechoso, así que miramos con más detalle.

La mayor parte se debe a distinguir entre humano y máquina. Las historias del New Yorker superan, según los expertos, alrededor del 90 % de las pruebas; las historias de IA de 2023, alrededor del 15 %. Los evaluadores actuales aciertan ambos niveles casi con exactitud; los evaluadores antiguos, en cambio, daban por bueno casi todo (Gemini Pro dijo «sí» al 97 % de todas las pruebas). Si se mira solo dentro de un grupo –¿reconoce el evaluador qué prueba no supera una historia concreta?–, el avance es pequeño:

Así que hoy funcionan dos cosas y una no. Los evaluadores reconocen con fiabilidad en qué nivel está un texto. Y si se ordenan las historias de IA por el número de pruebas superadas, coinciden con la mayoría de los expertos incluso algo mejor que un experto individual con los otros dos. Qué debilidad tiene un texto concreto, en cambio, no pueden decirlo de forma fiable. Aunque también los expertos rara vez se ponen de acuerdo en eso cuando los textos son más flojos.

Paso 2: ¿Escriben hoy mejores historias los modelos de IA?

Ahora, la verdadera pregunta. Repetimos el experimento de 2023: las mismas doce tramas, la misma tarea («Escribe una historia al estilo del New Yorker a partir de esta trama»), el mismo ajuste de extensión al original. Esta vez escribieron los modelos de 2026, y todas las historias –originales, 2023 y 2026– fueron revisadas por los mismos tres evaluadores con las mismas 14 pruebas. Una prueba se considera superada si la mayoría de los evaluadores está de acuerdo.

Nuestros evaluadores son más estrictos que los expertos de entonces: a las historias de 2023 les dan solo un 2–13 %, los expertos les dieron un 9–30 %. Para la comparación da igual, porque todas las historias las juzgan los mismos evaluadores. El salto se mantiene: de una décima parte de las pruebas a tres cuartas partes o casi todas.

Dónde está la distancia restante. En fluidez y elaboración, todos los modelos de 2026 superan el 90 %, tanto como los originales. La diferencia está en la originalidad: las historias del New Yorker superan el 83 % de estas pruebas, Sol el 72 %, los demás modelos entre el 31 y el 53 %. Las máquinas escriben hoy de igual a igual en cuanto a oficio, pero sorprenden con menos frecuencia.

El especialista en escritura. Hemmingway-1, un modelo entrenado expresamente para «escribir como una persona», queda al final del grupo con un 74 % y tiene el valor más bajo en originalidad (31 %). Además, apenas respetó la extensión pedida, ni siquiera tras muchas rondas de corrección.

¿Se limitaron los modelos a copiar?

Fue nuestra primera sospecha. Las historias del New Yorker se publicaron entre 2021 y 2023; un modelo de 2026 podría haberlas leído durante el entrenamiento y, con la trama como pie, volver a contarlas de memoria. Eso explicaría un salto sin que los modelos escriban mejor.

Por eso comparamos cada historia palabra por palabra con su original:

• Ni una sola historia de 2026 comparte siquiera una secuencia de ocho palabras con su original.
• La secuencia común más larga tiene cinco o seis palabras, expresiones cotidianas típicas. En las historias de 2023 ocurre lo mismo.
• Las secuencias comunes de cuatro palabras suponen entre el 0,08 y el 0,22 % de un texto (2023: 0,04–0,05 %).

Los modelos escribieron sus historias ellos mismos. Con esto se puede descartar que las volvieran a contar de memoria, pero no que un modelo conozca el estilo y la construcción de los originales.

¿Y la extensión?

Los textos más largos tienden a superar más pruebas, porque hay más espacio para personajes y mundo. Gemini 4, Luna y Hemmingway-1 escribieron demasiado largo pese a pedírselo repetidamente. Por eso calculamos los valores una segunda vez solo con las historias que se desvían como máximo 200 palabras del original. Los resultados cambian como mucho un punto porcentual, en Hemmingway-1 tres. La longitud excesiva no da ventaja a ningún modelo.

Un intento que no funcionó

Queríamos aplicar las pruebas también a los textos en alemán de nuestro benchmark y poner a su lado una referencia humana: los comienzos de doce novelas cortas alemanas de Kafka, Musil, Zweig, Fontane, Thomas Mann y Schnitzler, recortados a la misma extensión que las tareas.

El resultado fue sorprendente e instructivo: en 300 palabras, los clásicos salieron peor parados que la mayoría de los modelos, aunque los evaluadores reconocieron cada uno de los textos. La razón está en el instrumento de medida. Los modelos escribieron escenas cerradas; los clásicos ofrecen comienzos de novela que a las 300 palabras todavía no tienen que resolver nada. Las pruebas premian lo que muestra una historia terminada. Sobre fragmentos, este instrumento no mide la calidad literaria. Como referencia de comparación solo sirven textos completos, y eso es exactamente lo que hicimos en el experimento con las historias del New Yorker.

Lo que no sabemos

Hay una salvedad que nos importa. A los evaluadores solo los hemos comprobado con historias del New Yorker y con historias de IA de 2023. Las historias de 2026 son terreno nuevo para ellos, y los evaluadores son a su vez modelos de 2026. Es posible que valoren el estilo de su propia generación más de lo que lo harían los expertos humanos. Si las expertas ven hoy realmente las mejores historias de IA casi al nivel del New Yorker solo puede aclararlo una contraprueba humana. La tenemos prevista como siguiente paso en nuestra arena de textos.

Qué significa esto para Hermes 3000

• La elección del modelo se mantiene. Nuestro benchmark se apoya justo en lo que los evaluadores de IA hacen bien hoy: ordenar textos por calidad. GPT-6.1 Sol, disponible en Hermes para los libros de pago, también va por delante aquí.
• Indicaciones, no veredictos. Cuando Hermes comenta un pasaje («el final resulta abrupto»), es una indicación, no un diagnóstico. Según el estudio, este tipo de juicio individual es poco fiable, tanto en personas como en máquinas. En cambio, lo comprobable, como incoherencias lógicas, errores temporales o cambios de perspectiva, lo detectan bien los modelos.
• La originalidad sigue siendo cosa tuya. En cuanto a oficio, los modelos pueden hoy sorprendentemente mucho. Lo que consiguen con menos frecuencia es lo sorprendente: la idea propia, la forma inusual. Esa es la parte de un libro que tiene que venir de ti.

Preguntas frecuentes

¿Saben los modelos de IA juzgar la literatura en 2026?

En parte. Reconocen con fiabilidad si un texto está al nivel de la literatura profesional y ordenan textos por calidad más o menos tan bien como un experto individual. Qué debilidad concreta tiene un texto determinado no saben señalarlo de forma fiable.

¿Escriben hoy los modelos de IA tan bien como las personas?

Según nuestras pruebas, los mejores modelos de 2026 cumplen casi tantos criterios de un buen relato como los relatos publicados en el New Yorker; GPT-6.1 Sol, un 91 % frente a un 92 %. La distancia está en la originalidad. Los que evaluaron fueron evaluadores de IA; la confirmación por parte de expertos humanos está aún pendiente.

¿Copiaron los modelos las historias originales?

No. Ninguna historia de 2026 comparte una secuencia de ocho palabras con su original; la secuencia común más larga tiene entre cinco y seis palabras.

¿Qué es el Torrance Test of Creative Writing?

Un conjunto de 14 preguntas de sí/no sobre la calidad de un relato en los ámbitos de fluidez, flexibilidad, originalidad y elaboración. Lo desarrollaron en 2023 investigadores de la Universidad de Columbia y de Salesforce Research junto con escritores y agentes literarios.

¿Puedo comprobar los resultados?

Sí. El código, las pruebas, las historias de IA de 2026, todos los juicios y el análisis están publicados en GitHub. Solo los originales del New Yorker no están incluidos, por motivos de derechos de autor.

Pruébalo tú mismo

En Hermes 3000 puedes, en cada libro, en ⋮ → Configuración de IA, hacer que varios modelos continúen el mismo comienzo de frase en la arena de modelos y decidir tú mismo qué te gusta. Hasta 50 páginas estándar Hermes 3000 es gratuito: Pruébalo ahora.