Cómo evaluar modelos de escritura creativa según el género y el estilo

¿Qué se debe evaluar primero: el género o el estilo?

El género y el estilo influyen en distintos aspectos de un fragmento. El género establece las expectativas del lector respecto al ritmo de la trama, la atmósfera, la ambientación y los tipos de detalles relevantes. El estilo abarca decisiones como la longitud de las oraciones, la elección léxica, el punto de vista, el ritmo y el grado de descripción que emplea el texto. Aunque estas categorías se solapan, analizarlas en fases independientes permite realizar una evaluación más clara.

Comience por el género. Evalúe si el modelo es capaz de cumplir con la función básica de la escena: por ejemplo, establecer una premisa inquietante en una historia de fantasmas, mantener una pista en un relato de misterio o construir una ambientación especulativa y coherente. Luego, evalúe el estilo sobre una premisa de escena predeterminada, especificando rasgos observables en lugar de depender de términos amplios como «literario» o «cinematográfico». Una instrucción que pida una «tercera persona cercana, descripciones sobrias, oraciones cortas bajo tensión y ninguna explicación de los sentimientos del personaje» ofrece más elementos de evaluación que «crea una atmósfera envolvente».

Esta distinción constituye un método de trabajo, no una afirmación de que el género o el estilo puedan medirse de manera objetiva. La [guía de diseño de instrucciones de Google Cloud](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/introduction-prompt-design) recomienda formular instrucciones claras y específicas, brindar contexto, aportar ejemplos y comparar diferentes indicaciones. Asimismo, la [guía de diseño de instrucciones de OpenAI](https://developers.openai.com/api/docs/guides/prompting) aconseja experimentar y mantener la claridad tanto en los ejemplos como en los detalles específicos de la tarea. Estos principios respaldan la realización de pruebas controladas; no determinan que una estructura de instrucción única sea óptima para todas las tareas creativas.

Diseñe una comparación reducida y equitativa

Seleccione una tarea representativa del tipo de escritura en el que realmente necesita apoyo. Procure que sea lo bastante breve como para analizarla al detalle: una escena de 250 palabras, la descripción de un entorno o la revisión de un párrafo bastan para revelar diferencias útiles sin convertir la prueba en una competencia por ver qué modelo genera el borrador más extenso.

Redacte una instrucción base que contenga los hechos inalterables de la historia, la extensión del pasaje, el punto de vista y cualquier límite de contenido. A continuación, elabore variantes de prueba modificando únicamente la característica que desee evaluar. Si evalúa el manejo del género, conserve la misma premisa y solicite diferentes enfoques de género. Si evalúa el estilo, mantenga el género y los hechos de la escena, alterando solo los rasgos de voz requeridos. No cambie la premisa, la extensión, el punto de vista y el estilo a la vez; de lo contrario, si los resultados difieren, no podrá atribuir la variación a un cambio en particular.

Utilice los mismos parámetros de configuración del modelo siempre que sea posible y documente el nombre del modelo, la fecha, el texto del prompt y cualquier ajuste aplicado. Si no puede controlar los parámetros, registre esa limitación y evite considerar una sola respuesta como una métrica concluyente del modelo. Generar una segunda versión puede ayudar a confirmar si un resultado prometedor o deficiente es reproducible, aunque esto no transforma una prueba personal en una referencia estadística concluyente.

Antes de generar el contenido, defina de tres a cinco criterios relevantes para la tarea. Para una escena de misterio, estos podrían ser: la pista está presente pero no se explica; el conocimiento del narrador se mantiene coherente; la prosa preserva la tensión; y la escena concluye con una disyuntiva significativa. En una prueba de estilo, los criterios podrían incluir la coherencia del punto de vista, la variedad sintáctica, el uso de imágenes concretas y la sobriedad expresiva. Incorpore al menos un requisito indispensable («debe incluir») y uno restrictivo («no debe incluir»). De lo contrario, la fluidez superficial de un fragmento podría enmascarar el incumplimiento de una condición.

Ejemplo práctico: prueba de una escena sutil de misterio

Supongamos que está escribiendo el borrador de un relato de misterio contemporáneo sobre un conserje que halla una huella húmeda dentro de un archivo cerrado bajo llave. El pasaje debe adoptar una tercera persona cercana y un tono contenido. Los siguientes ejemplos son indicaciones con fines ilustrativos, no resultados de una prueba real de modelos.

Primero, realice una comprobación de género con una instrucción como esta:

Ejemplo de instrucción de prueba: Escribe una escena de misterio contemporáneo de 250 palabras en tercera persona cercana. Un conserje entra al amanecer a un archivo cerrado bajo llave y encuentra una huella húmeda junto a una ventana seca. Mantén la causa sin explicación. Incluye un detalle concreto que pueda servir de pista, pero no identifiques a ningún sospechoso ni expliques el origen de la huella. Emplea una prosa sobria y concluye con una encrucijada sin resolver.

Evalúe el resultado según su lista de criterios. ¿Mantiene el archivo cerrado con llave y la ventana seca? ¿Preserva la incertidumbre o inventa una explicación? ¿Aparece un detalle que funcione como pista sin ser señalado como tal? ¿El desenlace plantea una elección en lugar de limitarse a cortar el texto? Califique cada punto como «cumplido», «parcialmente cumplido» o «no cumplido», y copie la oración exacta en la que se fundamenta su valoración. La cita servirá para sus notas, evitando que una impresión abstracta como «buena tensión» sustituya a una observación concreta.

Luego, mantenga fijos los hechos de la escena y las exigencias del misterio, pero modifique la instrucción de estilo. Una variante podría requerir oraciones breves y cortantes con una mínima reflexión interior; otra podría pedir oraciones más extensas y observacionales, preservando la tercera persona cercana. Compare cómo estas especificaciones transforman la prosa. El propósito no es definir qué estilo es universalmente superior, sino determinar qué resultado aporta material más aprovechable para la escena y la voz deseada.

Por último, solicite una revisión puntual sobre el texto más convincente. Por ejemplo: «Mantén intactos los hechos de la huella y de la habitación cerrada bajo llave. Elimina la frase que explica las sospechas del conserje; transmite la inquietud únicamente a través de sus acciones». Examine el resultado para detectar si se alteraron detalles de la historia por error y si realmente se suprimió la explicación. Una evaluación exhaustiva considera tanto la capacidad de revisión como la fluidez del borrador inicial, ya que el proceso de escritura real suele exigir varias rondas de modificaciones localizadas.

Utilice una rúbrica y adopte una decisión editorial

Una rúbrica simple ayuda a mantener la objetividad de la comparación:

Asuma la última fila como una decisión relativa a su proceso creativo y no como una calificación objetiva de mérito literario. Podría ser preferible un borrador menos pulido que conserve la premisa y aporte una imagen potente, frente a un texto impecable que resuelva el misterio antes de tiempo. También es posible concluir que ninguno de los modelos es adecuado para la tarea. Si opta por puntuaciones numéricas, defina el significado de cada valor con antelación y evite atribuir significación estadística a discrepancias mínimas de puntaje.

Este enfoque se alinea además con una concepción iterativa de la creación literaria. En un estudio empírico con escritores noveles, Chakrabarty y sus colaboradores analizaron la interacción de los autores con un sistema colaborativo de redacción y definieron la escritura como un proceso iterativo; la investigación describe una dinámica interactiva en lugar de una única instrucción que produce un relato terminado. Las características de los participantes, del sistema y de las tareas de escritura evaluadas condicionan el alcance de las conclusiones. El trabajo aporta un marco de referencia útil para evaluar su propio ciclo de revisiones, pero no constituye una demostración de que un modelo o flujo de trabajo específico funcione para cualquier escritor. Consulte [«Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers»](https://arxiv.org/abs/2309.12570).

Diagnostique las deficiencias antes de cambiar de herramienta

Cuando un fragmento resulte insatisfactorio, identifique con precisión el motivo. Si contradice un hecho establecido, destaque dicho dato en el prompt y elimine cualquier detalle contradictorio. Si la prosa respeta la premisa pero no logra la voz adecuada, sustituya los adjetivos ambiguos por atributos concretos o agregue un breve ejemplo redactado por usted. Si el modelo tiende a resolver un misterio que debe quedar abierto, indíquele de forma explícita que conserve la incertidumbre y no especifique las causas. Modifique una sola variable por intento y repita la comparación.

Si el texto cumple con la lista de criterios pero sigue sin convencerle, el inconveniente puede deberse a cuestiones de preferencia o encaje estilístico antes que a un fallo en el seguimiento de instrucciones. Defina qué resulta inadecuado en términos concretos: un exceso de explicaciones, metáforas predecibles, diálogos poco naturales o un ritmo que no se ajusta al buscado. Tras ello, valore si conviene solicitar una revisión específica o si resulta más práctico redactar la escena por su cuenta. La capacidad de un modelo para producir prosa verosímil no implica que comprenda la intención del autor ni que el texto deba conservarse obligatoriamente.

Límites de la evaluación de modelos

Un número reducido de pruebas no basta para determinar que un modelo domine un género en su totalidad, del mismo modo que el criterio de un único escritor no representa al conjunto de los lectores. Los resultados varían, ciertas instrucciones pueden favorecer a un modelo concreto y la familiaridad con un género influye en los elementos que se perciben. Mantenga conclusiones acotadas: afirmar que «en estas dos pruebas, esta versión preservó mejor los datos de la escena» resulta mucho más fundamentado que sostener que «este es el mejor modelo para escribir novela de misterio».

Conviene también ser cauteloso al solicitar la imitación del estilo de autores consagrados. Si busca un efecto técnico específico, describa directamente ese rasgo —por ejemplo, una sintaxis austera, una observación minuciosa o un humor sobrio— y evalúe el cumplimiento de esas características. Esto permite contrastar de forma más rigurosa las decisiones de escritura requeridas, sin asumir que el nombre de un autor equivale a una descripción técnica fiable de su estilo.

El resultado más valioso de una prueba es el registro documentado del proceso: la tarea, los prompts, el modelo con sus ajustes, la lista de criterios, las evidencias de los resultados y las revisiones aplicadas. Con esa información, podrá elegir el modelo que mejor se adecúe a una tarea específica, o concluir que resulta más eficiente continuar la revisión de la escena por su cuenta.

Sigue explorando este tema