Cómo comprobar si un personaje de IA sigue siendo convincente tras diez conversaciones
Para comprobar si un personaje de IA de ficción sigue teniendo atractivo tras diez conversaciones, dale a un evaluador un personaje y un entorno consistentes y, a continuación, invítalo a diez situaciones distintas y verosímiles. Haz un seguimiento de las escenas que elija, de si el personaje se mantiene fiel al canon establecido, de qué nuevo material narrativo genera cada intercambio y de si el evaluador decide completar el conjunto. Trata estos elementos como pistas observables para mejorar el personaje, no como una medida del tiempo que se puede mantener a alguien conversando.
Define qué significa «seguir siendo convincente» para esta prueba
Una décima conversación debería mostrar si el personaje puede seguir sosteniendo una interacción que merezca la pena una vez pasada la novedad inicial. Para este ejercicio, el atractivo significa que el evaluador encuentra razones para elegir escenas variadas, puede reconocer al personaje en circunstancias cambiantes y obtiene algo útil o sorprendente del intercambio. La finalización es una acción voluntaria final: el evaluador opta por terminar la décima conversación planificada. Ninguna de estas observaciones por sí sola demuestra que todos los jugadores vayan a encontrar al personaje convincente.
Mantén la pregunta delimitada: «¿Ofrece este personaje suficiente material coherente y fresco como para que este evaluador elija y complete diez conversaciones?». No utilices el tiempo total transcurrido como la puntuación decisiva. Un intercambio prolongado podría reflejar una escena absorbente, pero también podría reflejar confusión o una instrucción no resuelta. La pregunta de la prueba del personaje se centra en la elección de escenas, el canon, la novedad y la finalización voluntaria, no en si una suscripción de consumo compensa su coste durante un periodo de catorce días.
Prepara una ficha de canon y diez propuestas de escenas
Antes de la prueba, redacta una breve ficha de canon con los datos que el personaje debe mantener: su función, historia relevante, preferencias establecidas, relaciones, límites y formas distintivas de hablar. Incluye también algunos rasgos flexibles: cómo se comporta cuando se sorprende, de qué se da cuenta o qué tipo de detalles suele pasar por alto. Esto hace que la coherencia sea observable sin exigir que el personaje repita las mismas frases hechas. Las investigaciones sobre agentes de diálogo condicionados por una personalidad consideran la coherencia de dicha personalidad como una cualidad evaluable, y un estudio sobre agentes basados en modelos de lenguaje en interacción descubrió que los perfiles diferían en coherencia y alineación lingüística durante la interacción. Esos estudios justifican la comprobación del comportamiento a lo largo de múltiples intercambios; no establecen un umbral universal de diez conversaciones. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)
Prepara diez propuestas de escenas que creen diferentes oportunidades sin imponer las réplicas del personaje. Por ejemplo, el personaje podría tener que elegir un pequeño regalo, planear una visita a un lugar conocido, aclarar un malentendido sin importancia, ayudar a organizar un evento comunitario o decidir qué hacer en una tarde libre inesperada. Mantén cada propuesta dentro del mundo establecido del personaje y de sus decisiones personales ordinarias. Varía la situación y el tipo de decisión, preservando al mismo tiempo la continuidad suficiente para que los acontecimientos anteriores importen.
Evita redactar diez versiones de la misma instrucción con cambios superficiales. Una escena útil pide al jugador que tome una decisión significativa o que aporte su propia idea. La investigación y la teoría sobre la narrativa interactiva consideran que la capacidad de agencia del jugador es algo más que la mera presencia de opciones: la comprensión y la interpretación del jugador también moldean la experiencia. En esta prueba de juego, eso sugiere registrar lo que el evaluador realmente elige y cómo dirige la escena, no simplemente contar cuántas indicaciones respondió el personaje. (Connecting player and character agency in videogames)
Lleva a cabo diez conversaciones sin guiar hacia la respuesta «correcta»
Ofrece al evaluador una introducción breve y neutral: está probando el personaje y las escenas, y la prueba trata sobre la experiencia y no sobre su rendimiento. Hazle saber que puede detenerse en cualquier momento. Presenta una escena cada vez en un formato constante y evita sugerir qué haría que una escena fuera emocionante o qué opción debería tomar el personaje. Las directrices de pruebas de usabilidad moderadas recomiendan tareas claras y verosímiles que no desvelen la respuesta, además de observar a los participantes y formular preguntas de seguimiento abiertas. Adapta esa disciplina al juego creativo: deja claro el planteamiento y luego da espacio al evaluador para que responda a su manera. (Using moderated usability testing)
Tras cada intercambio, registra unas cuantas observaciones concretas: qué escena seleccionó o desarrolló el evaluador, si introdujo una nueva dirección, si el personaje mantuvo o contradijo el canon y qué nuevo elemento narrativo surgió. Anota una línea o elección específica cuando sirva de ejemplo para una observación. Mantén estos apuntes separados de las interpretaciones: «el evaluador cambió el plan de visitar el mercado» es una observación; «el personaje fomentó la capacidad de agencia» es una posible interpretación. Las notas breves sobre puntos concretos son más fáciles de comparar entre sesiones que las impresiones generales. (Taking notes and recording user research sessions)
Una vez finalizado el intercambio, haz un número reducido de preguntas neutrales. «¿Qué te gustaría hacer a continuación con este personaje?» puede revelar si el evaluador es capaz de imaginar otra escena. «¿Hubo algo que no encajara con lo que entendías de él?» puede sacar a la luz una ruptura del canon. «¿Qué parte te pareció conocida y cuál novedosa?» puede aclarar si la novedad provino del personaje, de la situación o de la propia aportación del evaluador. Pregunta qué motivó una respuesta en lugar de dar tú mismo la explicación.
Utiliza una tarjeta de puntuación sencilla de diez filas
Utiliza una fila por conversación. Una escala compacta ayuda a sintetizar patrones, pero las notas y los ejemplos importan más que la aritmética. La siguiente rúbrica es una ayuda práctica para la prueba de juego, no un instrumento de investigación validado.
Conversación: 1–10; Elección o rumbo de la escena: Lo que el evaluador eligió, añadió o redirigió; Canon: 0 = contradicción; 1 = confuso; 2 = coherente; Novedad útil: 0 = repite sin aportar; 1 = algo de material nuevo; 2 = desarrollo diferenciado y aprovechable; ¿Completada por elección propia?: Sí / No
En cuanto al canon, califica con contradicción solo cuando el personaje choque con un dato de la ficha de canon o con un hecho establecido, no simplemente porque actúe de forma diferente en una situación nueva. Respecto a la novedad, contabiliza un detalle, una decisión, un desarrollo en las relaciones o un giro de escena que dé al evaluador algo a lo que responder o sobre lo que construir. Un detalle sorprendente que no tenga sentido en el mundo del personaje no es novedad útil. Mantén la elección de escenas como algo descriptivo en lugar de calificar las preferencias del evaluador: la variedad significa que el personaje se adapta a distintas direcciones, no que el evaluador deba seleccionar una gama predeterminada.
Registra la finalización por separado de las demás puntuaciones. Si el evaluador termina voluntariamente la conversación diez, anótalo; si se detiene, pregúntale si está dispuesto a decir qué le llevó a parar. No interpretes la finalización como una prueba de agrado ni la no finalización como una prueba de fracaso. Una persona puede detenerse por razones ajenas al personaje, y una secuencia completada puede seguir conteniendo escenas repetitivas o contradictorias. La combinación de comportamiento y explicación resulta más informativa que un único resultado binario.
Interpreta el patrón y decide qué revisar
Busca en qué momentos cambia la experiencia a lo largo de la secuencia. Si el evaluador sigue eligiendo diferentes tipos de escenas pero las respuestas del personaje se vuelven genéricas, trabaja en la voz y en la toma de decisiones bajo diversas circunstancias. Si el personaje sigue siendo reconocible pero las escenas terminan repetidamente sin una nueva decisión o detalle, revisa las propuestas o dale al personaje metas y preferencias más específicas con las que actuar. Si el evaluador empieza a reconducir las escenas, analiza si las situaciones preparadas resultaban demasiado parecidas, demasiado limitadas o simplemente menos interesantes que las ideas que él aportó.
Una voz diferenciada debe manifestarse en aquello de lo que el personaje se da cuenta, lo que desea y lo que dice, no solo en un tic verbal repetido. Una guía de narrativa sobre diálogos describe la voz como un reflejo de la personalidad y recomienda hacer que los diálogos se ajusten a los rasgos, antecedentes y emociones del personaje. Aplica ese principio al revisar una transcripción: ¿podría esa frase pertenecer verosímilmente a este personaje en esta situación y muestra una perspectiva reconocible? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)
A continuación, elige una modificación concreta y repite la misma prueba de diez escenas con otro evaluador, o bien mediante una nueva tanda claramente documentada. Mantén las instrucciones y las definiciones de puntuación al comparar versiones, de modo que una alteración en la prueba misma no se confunda con un cambio en el personaje. Si la primera ronda reveló una contradicción con el canon, añade una escena que ponga a prueba de forma natural el dato en cuestión; si reveló intercambios repetitivos, añade situaciones con distintos tipos de decisiones. Se trata de un ciclo de diagnóstico, no de una estimación poblacional. Un solo evaluador puede identificar fricciones y posibilidades concretas, pero no puede demostrar en qué medida el resultado se generalizará.
Lo que diez conversaciones pueden —y no pueden— revelarte
El formato de diez conversaciones es útil como una prueba de esfuerzo focalizada: te ayuda a advertir si la variedad de escenas, el canon reconocible y el material fresco sobreviven más allá de un intercambio inicial. Puede mostrar dónde un evaluador en particular perdió el interés, encontró una dirección prometedora o topó con una contradicción. No demuestra el atractivo a largo plazo, no predice la retención ni determina cómo responderán todos los públicos. Utilízalo para decidir qué inspeccionar y revisar; después, recopila más pruebas de juego si necesitas certeza con diferentes lectores y estilos de juego.
La señal más clara es un patrón respaldado por ejemplos: el evaluador tuvo espacio para elegir, el personaje respondió de formas acordes al canon establecido, las escenas aportaron material diferenciado sobre el que construir y el evaluador decidió completar la secuencia. Cuando uno de esos elementos se debilita, las notas deberían orientar la siguiente decisión creativa —ajustar la voz del personaje, clarificar el canon o rediseñar las propuestas de escenas— en lugar de limitarse a añadir más temas de conversación.