Como observar um playtest de diálogo com IA em jogos em 20 minutos
Para um estúdio pequeno testando uma cena de diálogo generativo, observe o que os jogadores fazem com as respostas do NPC: se eles tentam perguntas diferentes, agem com base em informações úteis, recuperam-se de fatos inventados e saem do diálogo para concluir a cena. Um questionário curto pode capturar o que os jogadores dizem ter sentido ou entendido depois; mas não consegue, por si só, mostrar as escolhas e desvios que aconteceram momento a momento. Use uma ficha simples de eventos durante a sessão de jogo e, em seguida, faça perguntas de acompanhamento direcionadas. Trate as observações como evidências sobre esta cena e versão específica — não como uma medida de satisfação ou prova de como todos os jogadores se comportarão.
O que você deve observar em uma cena de diálogo generativo?
Escolha uma cena com um objetivo claro e um NPC cujas respostas possam mudar a maneira como o jogador o persegue. Por exemplo, em uma cena fictícia, o jogador precisa abrir um portão selado de uma estufa antes que um ciclo de ventilação termine. Um NPC de manutenção pode oferecer pistas por meio de uma conversa de formato livre. A rota pretendida é encontrar a manopla de uma válvula azul no depósito de ferramentas, mas o NPC pode ocasionalmente inventar um detalhe, como afirmar que a manopla está na sala de bombas inundada.
Os quatro indicadores abaixo concentram-se no comportamento do jogador e nas consequências dentro da cena. Eles não exigem julgar se uma pergunta é inteligente ou se o jogador parece estar se divertindo com o jogo.
Indicador: **Perguntas variadas** — Registre um evento quando…: O jogador muda a formulação, o assunto ou a abordagem após uma resposta — por exemplo, pergunta onde está uma válvula e, em seguida, pergunta qual é a cor dela ou qual sala é segura. — Evidência de estado a anotar: O que ele perguntou, o que o NPC respondeu e se a pergunta seguinte decorreu dessa resposta. Distinga uma pergunta genuinamente diferente de uma quase repetição. — Pergunte depois…: “O que você estava tentando descobrir com essas perguntas?”
Indicador: **A resposta altera a próxima ação** — Registre um evento quando…: O jogador se move, inspeciona algo ou muda de plano de uma forma que decorre da resposta do NPC. — Evidência de estado a anotar: A resposta, a próxima ação do jogador e qualquer alternativa visível que ele tenha ignorado. Marque a conexão como clara, plausível ou incerta; uma ação após uma resposta não prova que a resposta a causou. — Pergunte depois…: “Qual parte da conversa, se houver, afetou o que você fez em seguida?”
Indicador: **Fato inventado causa um caminho errado** — Registre um evento quando…: O jogador segue uma afirmação específica não fundamentada ou falsa do NPC e toma uma atitude improdutiva por causa dela. — Evidência de estado a anotar: A afirmação exata, a ação que ela provocou, o custo ou desvio visível na versão do jogo e como o jogador descobriu ou corrigiu o erro. Verifique os fatos pretendidos da cena após a sessão antes de rotular uma afirmação como inventada. — Pergunte depois…: “O que fez essa rota parecer a correta? Quando você decidiu mudar de rumo?”
Indicador: **O jogador consegue encerrar o diálogo e concluir a cena** — Registre um evento quando…: O jogador sai, pausa ou recusa continuar a conversa e ainda assim consegue buscar e concluir o objetivo. — Evidência de estado a anotar: Se uma saída está visível, o que acontece após sair, se o progresso útil continua possível e se o jogador atinge o estado de conclusão da cena. Registre impedimentos separadamente da escolha do jogador de continuar conversando. — Pergunte depois…: “Você se sentiu capaz de sair da conversa? O que fez você continuar ou parar?”
Estas são definições de eventos, não pontuações de qualidade. Anote as palavras e ações reais do jogador em vez de deduzir a intenção a partir de expressões faciais, silêncio ou tempo de jogo. Se um evento não ocorrer, registre “não observado nesta sessão”, e não uma suposta falha.
Mantenha a ficha de observação vinculada à versão do jogo
Antes de cada sessão, registre a versão da build, o objetivo inicial, os fatos conhecidos da cena e o estado de conclusão permitido. Durante a partida, anote a pergunta do jogador, a resposta do NPC, a próxima ação visível e qualquer alteração consolidada no estado do jogo. Uma fala que soa útil ainda pode estar errada se apontar para um local que não existe nesta versão.
Após a sessão, compare os fatos sob suspeita de terem sido inventados com a ficha real da cena. Marque uma alegação sem suporte como confirmada apenas quando os fatos da cena a contradisserem; caso contrário, rotule-a como não resolvida e investigue. Mantenha uma anotação separada para intervenções do facilitador ou interrupções técnicas, pois elas podem alterar o que o jogador fará a seguir. Esse pequeno rastro de evidências torna a discussão posterior mais precisa, sem transformar uma única sessão em um resultado universal.
Como conduzir uma sessão delimitada de 20 minutos
Diga ao participante: “Por favor, jogue esta cena como você jogaria normalmente. Você pode conversar com o personagem ou sair da conversa quando quiser. Posso ficar em silêncio para poder observar o que você tenta fazer.” Evite ensiná-lo a fazer perguntas variadas ou alertá-lo sobre fatos inventados; isso mudaria o comportamento que a sessão pretende revelar. Se ele pedir ajuda, responda de forma consistente, registre a intervenção e analise o comportamento posterior levando essa ajuda em consideração.
Um cronograma viável é:
**Minutos 0–2: Configuração.** Explique a tarefa e os controles sem descrever a solução pretendida. Inicie o cronômetro quando o jogador assumir o controle e comece a cena no mesmo estado para cada participante.
**Minutos 2–15: Observação.** Deixe o jogador explorar e conversar. Registre cada resposta relevante e a ação seguinte, especialmente quando uma alegação o enviar para algum lugar. Guarde incentivos neutros, como “O que você está pensando?”, para momentos em que o jogador parou e precisa de um estímulo para continuar; anote que você interveio.
**Minutos 15–20: Encerramento e perguntas.** Se o jogador não tiver terminado, interrompa aos 15 minutos de jogo e registre o estado atual, em vez de dar a entender que ele falhou em um teste de velocidade. Faça as perguntas de acompanhamento vinculadas aos eventos observados e, em seguida, faça uma pergunta ampla: “O que, se houver algo, ficou pouco claro sobre a conversa ou sobre o seu próximo passo?” Registre os relatos do participante separadamente do comportamento observado.
O limite de 20 minutos é uma fronteira prática de sessão para este exemplo, não um parâmetro empírico. Um jogador que passa mais tempo conversando não demonstrou, por isso, maior satisfação, e um jogador que termina rapidamente não necessariamente entendeu ou gostou da cena. Se a tarefa exigir mais tempo na sua versão, ajuste o cronograma antes das sessões e mantenha-o consistente.
Separe o que aconteceu do que o jogador diz
No [post-mortem de The Turing Test](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic), o diretor de design David Jones descreve o teste de quebra-cabeças com estudantes, a coleta de avaliações de diversão, dificuldade e tempo de jogo, dando maior importância à observação do comportamento do jogador. Ele descreve a combinação de avaliações e observação para analisar a curva de dificuldade. Para uma cena de diálogo, a lição útil é manter os dois tipos de evidência juntos, porém distintos: o registro de eventos mostra o que o jogador fez; o acompanhamento registra sua explicação ou avaliação. Nenhum dos dois explica o outro automaticamente.
O [post-mortem de Mark of the Ninja](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-), da Klei, descreve testes frequentes com novos jogadores para examinar premissas de design. A equipe procurou a motivação por trás das reclamações e observou onde os novos jogadores tinham dificuldades, ajustando então as pistas e o design. Aplicado aqui, o rumo errado tomado por um jogador é uma pista a ser investigada — não um pretexto para simplesmente tornar o diálogo do NPC mais longo. Pergunte o que na resposta, na interface ou na cena tornou aquela rota convincente e verifique a gravação ou o estado da build antes de decidir o que alterar.
O [anúncio do Teammates da Ubisoft](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf) descreve um teste fechado com jogadores para uma experiência jogável com IA generativa. Ele estabelece que a equipe anunciou testes fechados; no entanto, não apresenta resultados de jogadores publicados no comunicado citado, de modo que não pode embasar afirmações sobre o que os jogadores fizeram ou se a experiência foi bem-sucedida.
Transforme as observações em uma decisão para a próxima versão
Após a sessão, revise a linha do tempo e conecte cada resposta do NPC à ação seguinte do jogador. Para cada aparente caminho errado, confirme os fatos relevantes da cena e, em seguida, identifique a fonte provável: o NPC forneceu um detalhe falso, o jogador interpretou mal uma resposta verdadeira, ou uma pista do local ou de interação apontou para outro lugar. Essas explicações são hipóteses até serem confrontadas com a sequência gravada e, se oportuno, com outra sessão.
Utilize os quatro indicadores para escolher uma alteração prática ou teste de acompanhamento. Se o jogador fizer várias perguntas distintas, mas receber respostas que não orientam a ação, avalie se a cena oferece informações práticas. Se uma alegação inventada específica o enviar para a sala errada, considere se a cena precisa de uma forma de verificar a afirmação ou de se recuperar sem chegar a um beco sem saída. Se o jogador não conseguir sair do diálogo e concluir a cena, inspecione a saída e o fluxo do objetivo. Se ele sair e concluir a cena, registre que o caminho estava disponível nesta versão; pergunte o que ele entendeu antes de concluir que estava claro.
Uma única sessão de 20 minutos pode expor uma confusão pontual ou uma rota ausente, mas não pode determinar o quão comum é esse problema. Mantenha as anotações de eventos do observador, os fatos verificados da cena e as respostas retrospectivas do jogador separados ao decidir o que investigar a seguir. Isso fornece a uma equipe pequena um relato valioso de como esse jogador navegou por esta cena de diálogo generativo, indo além de um questionário isolado.