Hoe test je of een AI-personage na tien gesprekken nog steeds boeiend is

Een tiende gesprek moet laten zien of het personage interessant spel kan blijven bieden nadat de aanvankelijke nieuwigheid is verdwenen. Voor deze oefening betekent aantrekkingskracht dat de tester redenen vindt om uiteenlopende scènes te kiezen, het personage in wisselende omstandigheden blijft herkennen en iets nuttigs of verrassends uit de uitwisseling haalt. De reeks vrijwillig afmaken is een laatste handeling: de tester kiest ervoor het geplande tiende gesprek te voltooien. Geen van deze waarnemingen bewijst op zichzelf dat elke speler het personage boeiend zal vinden.

Houd de vraag beperkt: ‘Biedt dit personage genoeg consistent en nieuw materiaal om deze testspeler tien gesprekken te laten kiezen en afmaken?’ Gebruik de totale bestede tijd niet als doorslaggevende score. Een lang gesprek kan wijzen op een meeslepende scène, maar ook op verwarring of een prompt die niet is afgerond. Bij een test van een personage gaat het om scènekeuze, canon, nieuwigheid en vrijwillig afronden, niet om de vraag of een consumentenabonnement gedurende een periode van veertien dagen de prijs waard is.

Schrijf vóór de test een korte canonkaart met feiten die het personage moet behouden: de rol, belangrijke gebeurtenissen uit het verleden, vaste voorkeuren, relaties, grenzen en kenmerkende spreekstijl. Voeg ook enkele flexibele eigenschappen toe: hoe het personage zich gedraagt als het verrast wordt, wat het opmerkt of welke details het vaak mist. Zo kun je consistentie waarnemen zonder te eisen dat het personage steeds dezelfde stopzinnetjes herhaalt. Onderzoek naar dialoogagenten die op persona’s zijn afgestemd, beschouwt consistentie van de persona als een te beoordelen kwaliteit. Een studie van taalmodelagenten die met elkaar interageren, liet zien dat profielen tijdens interacties verschilden in consistentie en taalkundige afstemming. Deze studies vormen een aanleiding om gedrag over meerdere uitwisselingen te controleren; ze stellen geen universele grens van tien gesprekken vast. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)

Bereid tien scène-uitnodigingen voor die uiteenlopende mogelijkheden bieden zonder de replieken van het personage voor te schrijven. Het personage kan bijvoorbeeld een klein cadeau moeten uitkiezen, een bezoek aan een vertrouwde plek plannen, een onschuldige misvatting rechtzetten, helpen bij het organiseren van een buurtactiviteit of beslissen wat het met een onverwacht vrije middag doet. Houd elke uitnodiging binnen de bestaande wereld en de gewone persoonlijke keuzes van het personage. Wissel de situatie en het soort beslissing af, maar zorg voor genoeg continuïteit om eerdere gebeurtenissen relevant te maken.

Voorkom dat je tien versies van dezelfde prompt schrijft met alleen oppervlakkige wijzigingen. In een bruikbare scène moet de speler een betekenisvolle keuze maken of zelf een idee aandragen. Onderzoek en theorie over interactieve verhalen beschouwen de handelingsvrijheid van spelers als meer dan alleen de aanwezigheid van opties: ook hun begrip en interpretatie geven vorm aan de ervaring. In deze test betekent dat dat je vastlegt wat de tester daadwerkelijk kiest en hoe die een scène stuurt, in plaats van alleen te tellen hoeveel prompts het personage heeft beantwoord. (Connecting player and character agency in videogames)

Geef de tester een korte, neutrale introductie: die gaat het personage en de scènes uitproberen, en de test gaat over de ervaring, niet over de prestaties van de tester. Vertel dat die op elk moment kan stoppen. Bied steeds één scène aan in een vaste vorm en suggereer niet wat een scène spannend zou maken of welke optie het personage moet kiezen. Richtlijnen voor gemodereerde bruikbaarheidstests adviseren heldere, geloofwaardige taken die het antwoord niet verklappen, deelnemers te observeren en open vervolgvragen te stellen. Pas die aanpak toe op creatief spel: maak de situatie duidelijk en laat de tester daarna vrij reageren. (Using moderated usability testing)

Noteer na elke uitwisseling enkele concrete waarnemingen: welke scène de tester koos of verder uitwerkte, of die een nieuwe wending introduceerde, of het personage de canon behield of ermee in tegenspraak was, en welk nieuw verhaalelement naar voren kwam. Noteer een specifieke uitspraak of keuze als die een waarneming illustreert. Houd deze los van interpretaties: ‘de tester veranderde het plan om naar de markt te gaan’ is een waarneming; ‘het personage gaf de tester ruimte om zelf te sturen’ is een mogelijke interpretatie. Korte notities over één punt zijn makkelijker te vergelijken tussen sessies dan algemene indrukken. (Taking notes and recording user research sessions)

Stel na afloop van de uitwisseling een paar neutrale vragen. ‘Wat zou je hierna met dit personage willen doen?’ kan laten zien of de tester zich nog een scène kan voorstellen. ‘Was er iets dat niet strookte met wat je over het personage dacht?’ kan een afwijking van de canon aan het licht brengen. ‘Welk deel voelde vertrouwd en welk deel was nieuw?’ kan verduidelijken of de nieuwigheid voortkwam uit het personage, de situatie of de eigen inbreng van de tester. Vraag wat aanleiding gaf tot een antwoord, in plaats van zelf de verklaring aan te dragen.

Gebruik één rij per gesprek. Een beknopte schaal helpt patronen samen te vatten, maar de notities en voorbeelden zijn belangrijker dan de rekensom. De volgende beoordelingsrubriek is een praktisch hulpmiddel voor een speltest, geen gevalideerd onderzoeksinstrument.

Gesprek: 1–10; Scènekeuze of sturing: Wat de tester koos, toevoegde of een andere richting gaf; Canon: 0 = tegenstrijdig; 1 = onduidelijk; 2 = consistent; Bruikbare nieuwigheid: 0 = herhaling zonder toevoeging; 1 = enig nieuw materiaal; 2 = onderscheidende, bruikbare ontwikkeling; Vrijwillig afgemaakt?: Ja / Nee

Geef voor canon alleen een tegenstrijdigheidsscore als het personage ingaat tegen een feit op de canonkaart of een vastgestelde gebeurtenis, niet alleen omdat het zich in een nieuwe situatie anders gedraagt. Tel voor nieuwigheid een detail, beslissing, ontwikkeling in een relatie of wending in een scène mee waarop de tester kan reageren of voortbouwen. Een verrassend detail dat niet past in de wereld van het personage is geen bruikbare nieuwigheid. Beschrijf de scènekeuze zonder de voorkeuren van de tester te beoordelen: variatie betekent dat het personage met verschillende richtingen overweg kan, niet dat de tester een vooraf bepaald bereik aan keuzes moet maken.

Noteer of de tester de reeks afmaakte los van de andere scores. Als de tester het tiende gesprek vrijwillig afrondt, noteer dat dan. Als die stopt, vraag dan of die wil vertellen waarom. Beschouw het afmaken niet als bewijs van genegenheid, en het niet afmaken niet als bewijs dat de test is mislukt. Iemand kan om redenen buiten het personage stoppen, en ook een voltooide reeks kan repetitieve of tegenstrijdige scènes bevatten. Een combinatie van gedrag en uitleg levert meer informatie op dan één binaire uitkomst.

Let op waar de ervaring tijdens de reeks verandert. Als de tester steeds verschillende soorten scènes kiest, maar de antwoorden van het personage algemener worden, werk dan aan de stem en de besluitvorming in uiteenlopende omstandigheden. Blijft het personage herkenbaar, maar eindigen scènes telkens zonder een nieuwe beslissing of een nieuw detail, pas dan de uitnodigingen aan of geef het personage specifiekere doelen en voorkeuren waarop het kan inspelen. Begint de tester scènes een andere richting op te sturen, onderzoek dan of de voorbereide situaties te veel op elkaar leken, te beperkt waren of gewoon minder interessant dan de ideeën van de tester zelf.

Een onderscheidende stem moet blijken uit wat het personage opmerkt, wil en zegt, en niet alleen uit een terugkerende verbale tic. Een gids over verhalen schrijven beschrijft stem als een weerspiegeling van persoonlijkheid en raadt aan de dialoog te laten passen bij de eigenschappen, achtergrond en emoties van een personage. Pas dat principe toe bij het beoordelen van een transcript: zou deze uitspraak in deze situatie geloofwaardig van dit personage kunnen komen, en laat ze een herkenbaar perspectief zien? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)

Kies vervolgens één concrete aanpassing en herhaal dezelfde test met tien scènes met een andere testspeler, of in een duidelijk gedocumenteerde nieuwe testronde. Houd de prompts en scoredefinities gelijk wanneer je versies vergelijkt, zodat een verandering in de test zelf niet voor een verandering in het personage wordt aangezien. Als de eerste ronde een tegenspraak met de canon aan het licht bracht, voeg dan een scène toe die het relevante feit op natuurlijke wijze toetst. Als de uitwisselingen repetitief bleken, voeg dan situaties toe waarin andere soorten keuzes nodig zijn. Dit is een diagnostische cyclus, geen schatting van de populatie. Eén testspeler kan concrete knelpunten en mogelijkheden aanwijzen, maar niet laten zien in hoeverre de uitkomst voor anderen geldt.

De opzet met tien gesprekken is bruikbaar als gerichte stresstest: je ziet ermee of de variatie in scènes, herkenbare canon en nieuw materiaal behouden blijven na het openingsgesprek. De test kan laten zien waar een bepaalde tester interesse verloor, een veelbelovende richting vond of op een tegenspraak stuitte. Hij bewijst geen langdurige aantrekkingskracht, voorspelt geen behoud van gebruikers en laat niet zien hoe alle doelgroepen zullen reageren. Gebruik de resultaten om te bepalen wat je moet onderzoeken en aanpassen, en verzamel meer speltests als je zekerheid nodig hebt over verschillende lezers en speelstijlen.

Het duidelijkste signaal is een patroon met voorbeelden: de tester kon zelf kiezen, het personage reageerde op manieren die bij de vastgestelde canon pasten, de scènes leverden onderscheidend materiaal op om op voort te bouwen en de tester koos ervoor de reeks af te maken. Valt een van die elementen weg, dan moeten de notities richting geven aan de volgende creatieve keuze: pas de stem van het personage aan, verduidelijk de canon of herontwerp de scène-uitnodigingen. Voeg niet simpelweg meer gespreksprompts toe.