Hoe je in 20 minuten een speeltest met AI-gamedialogen observeert

Kies een scène met één duidelijk doel en een NPC wiens antwoorden van invloed kunnen zijn op hoe de speler dat doel probeert te bereiken. In een fictieve scène moet de speler bijvoorbeeld een afgesloten kaspoort openen voordat een ventilatiecyclus eindigt. Een onderhoudsmedewerker-NPC kan via een gesprek in vrije vorm aanwijzingen geven. De bedoelde route is om een blauwe klephendel in de gereedschapsschuur te vinden, maar de NPC kan soms een detail verzinnen, zoals beweren dat de hendel in de ondergelopen pompruimte ligt.

De vier onderstaande indicatoren richten zich op het gedrag van de speler en de gevolgen voor de scène. Je hoeft niet te beoordelen of een vraag slim is of dat een speler plezier lijkt te hebben in het spel.

Indicator: Afwisselende vragen — Noteer een gebeurtenis wanneer…: De speler de formulering, het onderwerp of de aanpak verandert na een antwoord — bijvoorbeeld eerst vraagt waar een klep zit en daarna welke kleur die heeft of welke ruimte veilig is. — Noteer als bewijs: Wat de speler vroeg, wat de NPC antwoordde en of de volgende vraag voortbouwde op dat antwoord. Maak onderscheid tussen een echt andere vraag en een bijna identieke herhaling. — Vraag achteraf…: “Wat probeerde je met die vragen te weten te komen?”

Indicator: Antwoord verandert de volgende actie — Noteer een gebeurtenis wanneer…: De speler zich verplaatst, iets inspecteert of het plan wijzigt op een manier die aansluit bij het antwoord van de NPC. — Noteer als bewijs: Het antwoord, de volgende actie van de speler en eventuele zichtbare alternatieven die die links liet liggen. Geef aan of het verband duidelijk, aannemelijk of onzeker is; een actie na een antwoord bewijst niet dat het antwoord die actie heeft veroorzaakt. — Vraag achteraf…: “Welk deel van het gesprek heeft, als dat zo is, invloed gehad op wat je daarna deed?”

Indicator: Verzonnen feit leidt tot een verkeerde afslag — Noteer een gebeurtenis wanneer…: De speler een concrete, niet-onderbouwde of onjuiste bewering van de NPC volgt en daardoor een onproductieve actie onderneemt. — Noteer als bewijs: De exacte bewering, de actie die erop volgde, de zichtbare kosten of omweg in de build en hoe de speler de fout ontdekte of herstelde. Controleer na de sessie de bedoelde feiten van de scène voordat je een bewering als verzonnen bestempelt. — Vraag achteraf…: “Waardoor leek die route de juiste? Wanneer besloot je van koers te veranderen?”

Indicator: Speler kan de dialoog beëindigen en de scène voltooien — Noteer een gebeurtenis wanneer…: De speler het gesprek beëindigt, pauzeert of verdere conversatie afslaat en het doel nog steeds kan nastreven en voltooien. — Noteer als bewijs: Of er een zichtbare afsluitoptie is, wat er gebeurt nadat de speler het gesprek verlaat, of voortgang nog mogelijk is en of de speler de voltooiingsstatus van de scène bereikt. Noteer blokkades apart van een speler die ervoor kiest te blijven praten. — Vraag achteraf…: “Had je het gevoel dat je het gesprek kon verlaten? Waardoor ging je door of stopte je?”

Dit zijn definities van gebeurtenissen, geen kwaliteitsscores. Noteer de daadwerkelijke woorden en handelingen van de speler in plaats van intenties af te leiden uit gezichtsuitdrukkingen, stilte of speeltijd. Als een gebeurtenis niet plaatsvindt, noteer dan “niet waargenomen in deze sessie” en ga niet uit van een mislukking.

Noteer vóór elke sessie de buildversie, het startdoel, de bekende feiten van de scène en de toegestane voltooiingsstatus. Schrijf tijdens het spelen de vraag van de speler, het antwoord van de NPC, de volgende zichtbare actie en elke vastgelegde wijziging in de gamestatus op. Een antwoord dat behulpzaam klinkt, kan nog steeds onjuist zijn als het verwijst naar een locatie die in deze build niet bestaat.

Vergelijk na de sessie vermoedelijk verzonnen feiten met het daadwerkelijke scèneoverzicht. Bevestig een niet-onderbouwde bewering alleen als de feiten van de scène ermee in tegenspraak zijn; label de bewering anders als onopgelost en onderzoek die verder. Houd een aparte notitie bij van aanwijzingen van de begeleider of technische onderbrekingen, omdat die kunnen veranderen wat de speler daarna doet. Met dit kleine bewijsspoor wordt de latere bespreking preciezer, zonder van één speelsessie een universele conclusie te maken.

Vertel de deelnemer: “Speel deze scène zoals je dat normaal zou doen. Je kunt met het personage praten of het gesprek verlaten wanneer je maar wilt. Misschien blijf ik stil zodat ik kan kijken wat je probeert.” Leer ze niet om afwisselende vragen te stellen en waarschuw ze niet voor verzonnen feiten; dat zou het gedrag veranderen dat de sessie juist zichtbaar moet maken. Als ze om hulp vragen, reageer dan steeds op dezelfde manier, noteer de tussenkomst en houd er rekening mee bij het beoordelen van het latere gedrag.

Een werkbare planning is:

Minuut 0–2: Voorbereiden. Leg de taak en de bediening uit zonder de bedoelde oplossing te beschrijven. Start de klok zodra de speler de controle krijgt en begin elke deelnemer in dezelfde toestand van de scène.

Minuut 2–15: Observeren. Laat de speler verkennen en praten. Noteer elk relevant antwoord en de volgende actie, vooral wanneer een bewering de speler ergens naartoe stuurt. Gebruik neutrale vragen zoals “Waar denk je aan?” alleen wanneer de speler is gestopt en een zetje nodig heeft om verder te gaan; noteer dat je bent tussengekomen.

Minuut 15–20: Afronden en vragen stellen. Als de speler nog niet klaar is, stop dan na 15 minuten spelen en noteer de huidige toestand, zonder te suggereren dat die een snelheidstest niet heeft gehaald. Stel de vervolgvragen die aansluiten bij de waargenomen gebeurtenissen en daarna één algemene vraag: “Was er iets onduidelijk aan het gesprek of aan wat je daarna moest doen?” Noteer wat de speler zelf rapporteert apart van het waargenomen gedrag.

De limiet van 20 minuten is een praktische sessiegrens voor dit voorbeeld, geen empirische norm. Een speler die langer praat, heeft daarmee niet aangetoond meer tevreden te zijn, en een speler die snel klaar is, heeft de scène niet noodzakelijkerwijs begrepen of ervan genoten. Als de taak in jouw build meer tijd vraagt, pas de planning dan vóór de sessies aan en houd die voor iedereen gelijk.

In The Turing Test postmortem beschrijft ontwerpdirecteur David Jones hoe ze puzzels met studenten testten, beoordelingen van plezier en moeilijkheid en speeltijd verzamelden, en meer belang hechtten aan het observeren van spelersgedrag. Hij vertelt dat ze beoordelingen en observaties combineerden om de moeilijkheidscurve te beoordelen. Voor een dialoogscène is de nuttige les om die twee soorten bewijs samen maar afzonderlijk te bewaren: het gebeurtenissenlogboek laat zien wat de speler deed; de vervolgvragen leggen hun uitleg of beoordeling vast. Het ene verklaart het andere niet automatisch.

Klei beschrijft in de Mark of the Ninja postmortem hoe ze regelmatig tests met nieuwe spelers uitvoerden om ontwerpveronderstellingen te onderzoeken. Het team zocht naar de reden achter klachten en keek waar nieuwe spelers vastliepen; daarna pasten ze aanwijzingen en het ontwerp aan. Pas dit hier toe: een verkeerde afslag van een speler is een aanwijzing om te onderzoeken, geen reden om de dialoog van de NPC simpelweg langer te maken. Vraag welk element in het antwoord, de interface of de scène de route overtuigend maakte en controleer de opname of gamestatus voordat je beslist wat je aanpast.

Ubisoft beschrijft in de aankondiging van Teammates een gesloten spelerstest voor een speelbare generatieve AI-ervaring. De aankondiging bevestigt dat het team een gesloten test heeft aangekondigd; de geciteerde aankondiging bevat geen gepubliceerde resultaten van spelers en biedt dus geen onderbouwing voor uitspraken over wat spelers deden of of de ervaring succesvol was.

Bekijk na de sessie de tijdlijn en koppel elk antwoord van de NPC aan de volgende actie van de speler. Controleer bij elke mogelijke verkeerde afslag de relevante feiten van de scène en bepaal daarna de vermoedelijke oorzaak: de NPC gaf een onjuist detail, de speler las een juist antwoord verkeerd of een locatie- of interactieaanwijzing stuurde de speler een andere kant op. Dit blijven hypotheses totdat ze zijn gecontroleerd aan de hand van de opgenomen reeks en, waar nuttig, een andere sessie.

Gebruik de vier indicatoren om een concrete vervolgwijziging of test te kiezen. Als de speler verschillende vragen stelt maar antwoorden krijgt die niet tot actie leiden, onderzoek dan of de scène bruikbare informatie biedt. Als een specifieke verzonnen bewering de speler naar de verkeerde ruimte stuurt, overweeg dan of de scène een manier nodig heeft om die bewering te controleren of van een doodlopend spoor te herstellen. Als de speler de dialoog niet kan verlaten en de scène kan voltooien, bekijk dan de stroom rond het verlaten van het gesprek en het doel. Als de speler het gesprek wél kan verlaten en de scène kan voltooien, noteer dan dat die route in deze build beschikbaar was; vraag wat de speler begreep voordat je concludeert dat alles duidelijk was.

Eén sessie van 20 minuten kan een bepaalde verwarring of ontbrekende route aan het licht brengen, maar kan niet aantonen hoe vaak dat probleem voorkomt. Houd bij het bepalen wat je vervolgens onderzoekt de gebeurtenisnotities van de observator, de geverifieerde feiten van de scène en de antwoorden van de speler achteraf apart. Zo krijgt een klein team een bruikbaar beeld van hoe deze speler door deze scène met generatieve dialogen navigeerde, op basis van meer dan alleen een vragenlijst.