Comment observer un playtest de dialogue de jeu avec IA en 20 minutes
Pour un petit studio testant une scène de dialogue génératif, observez ce que les joueurs font des réponses du PNJ : essaient-ils différentes questions, agissent-ils en fonction d'informations utiles, se rétablissent-ils après des faits inventés et quittent-ils le dialogue pour terminer la scène ? Un court questionnaire peut saisir ce que les joueurs disent avoir ressenti ou compris a posteriori ; il ne peut pas, à lui seul, montrer les choix et les détours qui se sont produits instant après instant. Utilisez une grille d'événements simple pendant la partie, puis posez des questions de suivi ciblées. Considérez ces observations comme des indices sur cette scène et cette version spécifique — et non comme une mesure de satisfaction ou une preuve de la façon dont tous les joueurs se comporteront.
Que devez-vous observer dans une scène de dialogue génératif ?
Choisissez une scène avec un objectif clair et un PNJ dont les réponses pourraient modifier la manière dont le joueur l'aborde. Par exemple, dans une scène fictive, le joueur doit ouvrir la porte scellée d'une serre avant la fin d'un cycle de ventilation. Un PNJ de maintenance peut offrir des indices via une conversation libre. Le chemin prévu consiste à trouver une poignée de vanne bleue dans la remise à outils, mais le PNJ peut parfois inventer un détail, par exemple en affirmant que la poignée se trouve dans la salle des pompes inondée.
Les quatre indicateurs ci-dessous se concentrent sur le comportement du joueur et les conséquences dans la scène. Ils n'exigent pas de juger si une question est intelligente ou si le joueur semble apprécier le jeu.
Indicateur : **Questions variées** — Enregistrer un événement quand… : Le joueur modifie la formulation, le sujet ou l'approche après une réponse — par exemple, demande où se trouve une vanne, puis demande de quelle couleur elle est ou quelle pièce est sûre. — Éléments factuels à noter : Ce qu'il a demandé, ce que le PNJ a répondu, et si la question suivante découlait de cette réponse. Distinguez une demande réellement différente d'une quasi-répétition. — Demander ensuite… : « Que cherchiez-vous à savoir avec ces questions ? »
Indicateur : **La réponse modifie l'action suivante** — Enregistrer un événement quand… : Le joueur se déplace, inspecte quelque chose ou modifie son plan d'une manière qui fait suite à la réponse du PNJ. — Éléments factuels à noter : La réponse, l'action suivante du joueur et toute alternative visible qu'il a ignorée. Notez le lien comme clair, plausible ou incertain ; une action qui suit une réponse ne prouve pas que la réponse en est la cause. — Demander ensuite… : « Quelle partie de la conversation, le cas échéant, a influencé ce que vous avez fait ensuite ? »
Indicateur : **Un fait inventé provoque une fausse piste** — Enregistrer un événement quand… : Le joueur se fie à une affirmation spécifique, infondée ou fausse du PNJ et effectue une action improductive en conséquence. — Éléments factuels à noter : L'affirmation exacte, l'action qu'elle a suscitée, le coût ou le détour visible dans la version du jeu, et la manière dont le joueur a découvert ou corrigé l'erreur. Vérifiez les faits prévus pour la scène après la session avant de qualifier une affirmation d'inventée. — Demander ensuite… : « Qu'est-ce qui vous a fait penser que cet itinéraire était le bon ? Quand avez-vous décidé de changer de direction ? »
Indicateur : **Le joueur peut quitter le dialogue et terminer la scène** — Enregistrer un événement quand… : Le joueur quitte, met en pause ou refuse de poursuivre la conversation et peut toujours poursuivre et accomplir l'objectif. — Éléments factuels à noter : Si une sortie est visible, ce qui se passe après le départ, si une progression utile reste possible, et si le joueur atteint l'état d'achèvement de la scène. Enregistrez les blocages séparément du choix d'un joueur de continuer à parler. — Demander ensuite… : « Vous êtes-vous senti capable de quitter la conversation ? Qu'est-ce qui vous a poussé à continuer ou à vous arrêter ? »
Ce sont des définitions d'événements, pas des scores de qualité. Notez les paroles et les actions réelles du joueur plutôt que de déduire ses intentions à partir de ses expressions faciales, de ses silences ou de son temps de jeu. Si un événement ne se produit pas, notez « non observé lors de cette session », et non un échec présumé.
Garder la grille d'observation liée à la version du jeu
Avant chaque session, enregistrez la version du build, l'objectif initial, les faits établis de la scène et l'état d'achèvement autorisé. Pendant la partie, notez la question du joueur, la réponse du PNJ, la prochaine action visible et tout changement d'état du jeu validé. Une réplique qui semble utile peut tout de même être erronée si elle pointe vers un endroit qui n'existe pas dans cette version.
Après la session, comparez les faits suspects inventés avec la fiche descriptive réelle de la scène. Ne marquez une affirmation infondée comme confirmée que lorsque les faits de la scène la contredisent ; sinon, qualifiez-la de non résolue et menez l'enquête. Gardez une note séparée pour les interventions de l'animateur ou les interruptions techniques, car celles-ci peuvent modifier ce que le joueur fait ensuite. Cette petite piste de preuves rend la discussion ultérieure plus précise sans transformer une seule session de jeu en vérité universelle.
Comment mener une session délimitée de 20 minutes
Dites au participant : « Veuillez jouer cette scène comme vous le feriez normalement. Vous pouvez parler au personnage ou quitter la conversation dès que vous le souhaitez. Je resterai peut-être silencieux pour pouvoir observer ce que vous tentez de faire. » Évitez de lui apprendre à poser des questions variées ou de l'avertir de faits inventés ; cela modifierait le comportement même que la session est censée révéler. S'il demande de l'aide, répondez de manière cohérente, consignez l'intervention et évaluez son comportement ultérieur en gardant cette aide à l'esprit.
Un déroulement pratique est le suivant :
**Minutes 0 à 2 : Mise en place.** Expliquez la tâche et les commandes sans décrire la solution attendue. Démarrez le chronomètre dès que le joueur prend les commandes, et commencez la scène dans le même état pour chaque participant.
**Minutes 2 à 15 : Observation.** Laissez le joueur explorer et discuter. Notez chaque réponse pertinente et l'action suivante, en particulier lorsqu'une affirmation l'envoie quelque part. Réservez les relances neutres telles que « À quoi pensez-vous ? » aux moments où le joueur s'est arrêté et a besoin d'une incitation pour continuer ; notez que vous êtes intervenu.
**Minutes 15 à 20 : Clôture et questions.** Si le joueur n'a pas terminé, arrêtez-vous à 15 minutes de jeu et notez l'état actuel plutôt que de sous-entendre qu'il a échoué à un test de rapidité. Posez les questions de suivi liées aux événements observés, puis posez une question générale : « Y a-t-il eu des éléments confus dans la conversation ou sur la marche à suivre ? » Enregistrez les déclarations du joueur séparément du comportement observé.
La limite de 20 minutes est un cadre pratique pour cet exemple, non un repère empirique absolu. Un joueur qui passe plus de temps à parler n'a pas pour autant démontré une plus grande satisfaction, et un joueur qui termine rapidement n'a pas nécessairement compris ou apprécié la scène. Si la tâche nécessite plus de temps dans votre version, ajustez le planning avant les sessions et gardez-le constant.
Distinguer ce qui s'est passé de ce que dit le joueur
Dans le [post-mortem de The Turing Test](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic), le directeur du design David Jones décrit le test des énigmes avec des étudiants, la collecte des évaluations de plaisir et de difficulté ainsi que du temps de jeu, tout en accordant une importance primordiale à l'observation du comportement des joueurs. Il y explique comment il combine évaluations et observation pour jauger la courbe de difficulté. Pour une scène de dialogue, la leçon utile est de conserver ces deux types de données ensemble tout en les distinguant : le journal d'événements montre ce que le joueur a fait ; le questionnaire de suivi recueille ses explications ou ses notes. L'un n'explique pas automatiquement l'autre.
Le [post-mortem de Mark of the Ninja](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-) par Klei décrit des tests fréquents avec de nouveaux joueurs pour vérifier les hypothèses de conception. L'équipe recherchait la motivation derrière les plaintes et observait les points de blocage des nouveaux joueurs, pour ensuite ajuster les indices et le design. Appliqué ici, la fausse piste d'un joueur est une piste à investiguer — pas une incitation à simplement rallonger le dialogue du PNJ. Demandez-vous ce qui, dans la réponse, l'interface ou la scène, a rendu cet itinéraire convaincant, et vérifiez l'enregistrement ou l'état du build avant de décider quoi modifier.
L'[annonce d'Ubisoft Teammates](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf) décrit un test joueur fermé pour une expérience jouable d'IA générative. Elle établit que l'équipe a annoncé des tests fermés ; elle ne fournit pas de retours de joueurs publiés dans l'annonce citée, et ne peut donc pas étayer d'affirmations sur ce que les joueurs ont fait ou sur la réussite de l'expérience.
Transformer les observations en décisions pour la prochaine version
Après la session, passez en revue la chronologie et reliez chaque réponse du PNJ à l'action suivante du joueur. Pour chaque fausse piste apparente, vérifiez les faits pertinents de la scène, puis déterminez l'origine probable : le PNJ a fourni un faux détail, le joueur a mal interprété une réponse exacte, ou un indice dans le décor ou l'interaction l'a orienté ailleurs. Ces explications restent des hypothèses jusqu'à ce qu'elles soient confrontées à la séquence enregistrée et, si utile, à une autre session.
Utilisez les quatre indicateurs pour sélectionner une modification ou un test de suivi concret. Si le joueur pose plusieurs questions distinctes mais obtient des réponses qui ne l'aident pas à agir, examinez si la scène propose des informations exploitables. Si une affirmation inventée précise l'envoie dans la mauvaise pièce, déterminez si la scène a besoin d'un moyen de vérifier l'affirmation ou de se réorienter sans impasse. Si le joueur ne peut pas quitter le dialogue et terminer la scène, inspectez les conditions de sortie et la fluidité de l'objectif. S'il parvient à quitter le dialogue et à terminer la scène, notez que ce chemin était accessible dans cette version ; demandez-lui ce qu'il a compris avant d'en conclure que c'était clair.
Une unique session de 20 minutes peut mettre en lumière une confusion spécifique ou un chemin manquant, mais elle ne peut pas déterminer la fréquence de ce problème. Gardez séparées les notes d'événements de l'observateur, les faits vérifiés de la scène et les réponses rétrospectives du joueur lorsque vous décidez des prochaines pistes à explorer. Cela permet à une petite équipe d'obtenir un compte rendu utile de la façon dont ce joueur a navigué dans cette scène de dialogue génératif, bien au-delà de ce qu'apporterait un simple questionnaire.