Como testar se um personagem de IA continua envolvente após dez conversas

Defina o que significa “continuar envolvente” para este teste

Uma décima conversa deve demonstrar se o personagem consegue continuar sustentando uma experiência que valha a pena depois que o entusiasmo inicial passou. Para este exercício, o apelo significa que o testador encontra motivos para escolher cenas variadas, consegue reconhecer o personagem em meio a mudanças de circunstâncias e obtém algo útil ou surpreendente da interação. A conclusão é uma ação voluntária final: o testador opta por finalizar a décima conversa planejada. Nenhuma dessas observações isoladas prova que todos os jogadores acharão o personagem envolvente.

Mantenha a pergunta em foco: “Este personagem oferece material consistente e inédito o suficiente para que este testador escolha e conclua dez conversas?” Não use o tempo total gasto como o critério decisivo. Um diálogo longo pode refletir uma cena envolvente, mas também pode indicar confusão ou um prompt mal resolvido. A questão do playtest de personagens diz respeito à escolha de cenas, coerência com o cânone, novidade e conclusão voluntária — e não a avaliar se uma assinatura de consumo compensa seu custo ao longo de um período de quatorze dias.

Prepare uma ficha de cânone e dez convites de cena

Antes do teste, elabore uma breve ficha de cânone com fatos que o personagem deve preservar: seu papel, histórico relevante, preferências consolidadas, relacionamentos, limites e maneiras distintas de falar. Inclua também alguns traços flexíveis: como ele se comporta quando é surpreendido, o que costuma notar ou que tipos de detalhes tende a ignorar. Isso torna a consistência observável sem exigir que o personagem repita os mesmos bordões. Pesquisas sobre agentes de diálogo condicionados por personas tratam a consistência da persona como uma qualidade a ser avaliada, e um estudo sobre agentes de modelos de linguagem em interação revelou que os perfis diferiam em termos de consistência e alinhamento linguístico durante a interação. Esses estudos justificam a verificação do comportamento ao longo de múltiplos diálogos; eles não estabelecem um limite universal de dez conversas. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)

Prepare dez convites de cena que criem oportunidades diferentes sem ditar as falas do personagem. Por exemplo, o personagem pode precisar escolher um pequeno presente, planejar uma visita a um local familiar, desfazer um mal-entendido inofensivo, ajudar a organizar um evento comunitário ou decidir o que fazer com uma tarde livre inesperada. Mantenha cada convite dentro do universo estabelecido do personagem e no âmbito de suas escolhas pessoais comuns. Varie a situação e o tipo de decisão, preservando continuidade suficiente para que os eventos anteriores tenham impacto.

Evite escrever dez versões do mesmo prompt com alterações superficiais. Uma cena útil exige que o jogador faça uma escolha significativa ou traga uma ideia própria. Pesquisas e teorias sobre narrativas interativas tratam a agência do jogador como algo muito além da simples presença de opções: a compreensão e a interpretação do jogador também moldam a experiência. Neste playtest, isso sugere registrar o que o testador realmente escolhe e como ele conduz a cena, em vez de simplesmente contar quantas perguntas o personagem respondeu. (Connecting player and character agency in videogames)

Realize dez conversas sem induzir a resposta “certa”

Dê ao testador uma introdução breve e neutra: ele está experimentando o personagem e as cenas, e o teste visa avaliar a experiência, e não o seu desempenho individual. Avise que ele pode interromper a qualquer momento. Apresente uma cena por vez em um formato consistente e evite sugerir o que tornaria uma cena interessante ou qual opção o personagem deveria seguir. As diretrizes para testes de usabilidade moderados recomendam tarefas claras e verossímeis que não revelem a resposta, além da observação atenta dos participantes e do uso de perguntas de acompanhamento abertas. Adapte essa disciplina ao jogo criativo: estruture o cenário de forma clara e deixe espaço para o testador responder à sua própria maneira. (Using moderated usability testing)

Após cada interação, registre algumas observações concretas: qual cena o testador selecionou ou desenvolveu, se ele introduziu uma nova direção, se o personagem respeitou ou contradisse o cânone e que novo elemento de história surgiu. Anote uma fala ou escolha específica quando ela exemplificar bem a observação. Mantenha esses registros separados das interpretações: “o testador mudou o plano de ir ao mercado” é uma observação; “o personagem estimulou a agência” é uma possível interpretação. Notas breves e focadas em pontos únicos são mais fáceis de comparar entre diferentes sessões do que impressões gerais. (Taking notes and recording user research sessions)

Ao término da interação, faça algumas poucas perguntas neutras. “O que você gostaria de fazer a seguir com este personagem?” pode revelar se o testador consegue imaginar outra cena. “Houve algo inconsistente com o que você havia entendido sobre ele?” pode apontar uma quebra de cânone. “Que parte pareceu familiar e que parte pareceu nova?” pode esclarecer se o ineditismo veio do personagem, da situação ou da contribuição do próprio testador. Pergunte o que motivou uma resposta em vez de tentar adivinhar ou fornecer a explicação você mesmo.

Utilize uma tabela de avaliação simples com dez linhas

Utilize uma linha por conversa. Uma escala compacta ajuda a resumir padrões, mas as anotações e os exemplos práticos importam mais do que a pontuação numérica. A seguinte rubrica é uma ferramenta prática de playtest, não um instrumento de pesquisa formalmente validado.

Conversa: 1–10; Escolha ou condução da cena: O que o testador escolheu, acrescentou ou redirecionou; Cânone: 0 = contradição; 1 = incerto; 2 = consistente; Ineditismo útil: 0 = repete sem acrescentar; 1 = algum material novo; 2 = desenvolvimento marcante e aproveitável; Concluído por escolha própria?: Sim / Não

Para o cânone, pontue uma contradição apenas quando o personagem divergir de um fato da ficha de cânone ou de um evento previamente estabelecido — não apenas porque ele agiu de maneira diferente em uma situação nova. Para o ineditismo, considere um detalhe, uma decisão, o desenvolvimento de um relacionamento ou uma reviravolta na cena que dê ao testador algo para reagir ou construir em cima. Um detalhe surpreendente que não faz sentido no universo do personagem não constitui ineditismo útil. Mantenha a escolha de cena como um campo descritivo em vez de avaliar as preferências do testador: variedade significa que o personagem acolhe diferentes direções, e não que o testador é obrigado a cobrir uma lista predeterminada.

Registre a conclusão separadamente das outras pontuações. Se o testador concluir voluntariamente a décima conversa, anote o fato; se ele parar antes, pergunte se ele estaria disposto a compartilhar o que o levou a interromper. Não interprete a conclusão como prova de afeto, nem a não conclusão como prova de fracasso. Uma pessoa pode parar por motivos alheios ao personagem, e uma sequência concluída ainda pode conter cenas repetitivas ou contraditórias. A combinação de comportamento e justificativa é muito mais informativa do que um simples resultado binário.

Analise o padrão e decida o que revisar

Observe em que momentos a experiência se transforma ao longo da sequência. Se o testador continuar escolhendo tipos diferentes de cenas, mas as respostas do personagem se tornarem genéricas, trabalhe a voz e as tomadas de decisão sob circunstâncias variadas. Se o personagem permanecer reconhecível, mas as cenas terminarem repetidamente sem uma nova decisão ou detalhe, reformule os convites ou atribua ao personagem metas e preferências mais concretas para nortear suas ações. Se o testador começar a redirecionar as cenas, avalie se as situações preparadas soaram parecidas demais, restritivas demais ou simplesmente menos interessantes do que as ideias propostas por ele.

Uma voz marcante deve transparecer no que o personagem percebe, deseja e diz — não apenas em um vício de linguagem repetitivo. Um guia de narrativa sobre diálogos descreve a voz como um reflexo da personalidade e recomenda adequar o diálogo aos traços, à bagagem e às emoções do personagem. Use esse princípio ao revisar uma transcrição: a fala poderia plausivelmente pertencer a este personagem nesta situação específica e demonstra uma perspectiva reconhecível? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)

Em seguida, selecione uma revisão específica e repita o mesmo teste de dez cenas com outro testador ou em uma nova rodada devidamente documentada. Mantenha os prompts e as definições de pontuação inalterados ao comparar as versões, garantindo que uma mudança no próprio teste não se passe por uma alteração no personagem. Se a primeira rodada revelou uma contradição de cânone, adicione uma cena que teste naturalmente o fato em questão; se revelou interações repetitivas, adicione situações com diferentes tipos de escolhas. Este é um ciclo de diagnóstico, não uma estimativa estatística de população. Um único testador pode apontar pontos de atrito e possibilidades concretas, mas não consegue demonstrar o quão abrangente será a validação desses resultados.

O que dez conversas podem — e não podem — revelar

O formato de dez conversas é eficaz como um teste de estresse focado: ele ajuda você a verificar se a variedade de cenas, a fidelidade ao cânone e o material inédito continuam presentes após o diálogo inicial. Ele consegue demonstrar onde um testador específico perdeu o interesse, encontrou um rumo promissor ou esbarrou em uma contradição. O teste não prova um apelo de longo prazo, não prevê a retenção de usuários nem determina como o público em geral reagirá. Use-o para decidir o que analisar e revisar e, depois, realize mais sessões de playtest se precisar de mais segurança diante de diferentes tipos de leitores e estilos de jogo.

O sinal mais evidente é um padrão embasado por exemplos: o testador teve espaço para fazer escolhas, o personagem respondeu de maneira condizente com o cânone estabelecido, as cenas forneceram material inédito para ser explorado e o testador decidiu levar a sequência até o fim. Quando um desses pilares enfraquece, os registros devem indicar a próxima decisão criativa — ajustar a voz do personagem, esclarecer o cânone ou reformular os convites de cena — em vez de simplesmente criar mais prompts de conversa.

Continue explorando o tema