Så testar du om en AI-karaktär fortfarande är engagerande efter tio samtal

Det tionde samtalet bör visa om karaktären kan fortsätta erbjuda givande spel när den inledande nyhetens behag har lagt sig. I den här övningen innebär dragningskraft att testpersonen hittar skäl att välja varierade scener, känner igen karaktären under förändrade omständigheter och får något användbart eller överraskande ut av utbytet. Att slutföra serien är en frivillig handling: testpersonen väljer att genomföra det planerade tionde samtalet. Inget av dessa observationer bevisar ensamt att alla spelare kommer att tycka att karaktären är engagerande.

Håll frågan avgränsad: ”Erbjuder den här karaktären tillräckligt med konsekvent och nytt material för att den här testpersonen ska välja och slutföra tio samtal?” Använd inte den totala tiden som avgörande poäng. Ett långt utbyte kan bero på en fängslande scen, men också på förvirring eller en obesvarad uppmaning. Frågan i karaktärstestet gäller scenval, kanon, nyhet och frivilligt slutförande – inte om en konsumentprenumeration är värd kostnaden under en fjortondagarsperiod.

Skriv före testet ett kort kanonkort med fakta som karaktären måste bevara: roll, viktig bakgrund, etablerade preferenser, relationer, gränser och särskilda sätt att tala. Ta också med några flexibla egenskaper: hur karaktären beter sig när den blir överraskad, vad den lägger märke till eller vilka slags detaljer den brukar missa. Då går det att observera konsekvens utan att kräva att karaktären upprepar samma slagord. Forskning om dialogagenter som styrs av personas behandlar personkonsekvens som en egenskap att utvärdera, och en studie av språkmodellagenter i interaktion fann skillnader i konsekvens och språklig anpassning mellan profiler. Studierna talar för att kontrollera beteendet över flera utbyten, men fastställer ingen universell gräns på tio samtal. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)

Förbered tio sceninbjudningar som skapar olika möjligheter utan att diktera karaktärens repliker. Karaktären kan till exempel behöva välja en liten present, planera ett besök på en bekant plats, reda ut ett harmlöst missförstånd, hjälpa till att ordna ett evenemang i området eller bestämma vad den ska göra med en oväntat ledig eftermiddag. Håll varje inbjudan inom karaktärens etablerade värld och vanliga personliga val. Variera situationen och beslutstypen, men behåll tillräcklig kontinuitet för att tidigare händelser ska kunna spela roll.

Undvik att skriva tio versioner av samma uppmaning med ytliga ändringar. En användbar scen ber spelaren fatta ett meningsfullt beslut eller bidra med en egen idé. Forskning och teori om interaktivt berättande ser spelarens handlingsutrymme som mer än att det bara finns alternativ: spelarens förståelse och tolkning formar också upplevelsen. I det här testet innebär det att anteckna vad testpersonen faktiskt väljer och hur hen styr scenen, inte bara räkna hur många uppmaningar karaktären besvarade. (Connecting player and character agency in videogames)

Ge testpersonen en kort, neutral introduktion: hen ska prova karaktären och scenerna, och testet handlar om upplevelsen snarare än om personens prestation. Berätta att hen kan avbryta när som helst. Presentera en scen i taget i ett konsekvent format och undvik att föreslå vad som skulle göra scenen spännande eller vilket alternativ karaktären bör välja. Vägledning för modererade användbarhetstester rekommenderar tydliga och trovärdiga uppgifter som inte avslöjar svaret, samt att man observerar deltagarna och ställer öppna följdfrågor. Tillämpa samma noggrannhet på kreativt spelande: gör upplägget tydligt och ge sedan testpersonen utrymme att svara på sitt eget sätt. (Using moderated usability testing)

Anteckna några konkreta observationer efter varje utbyte: vilken scen testpersonen valde eller utvecklade, om hen introducerade en ny riktning, om karaktären bevarade eller motsade kanon och vilket nytt berättelseelement som uppstod. Notera en specifik replik eller ett val när det belyser en observation. Håll observationerna åtskilda från tolkningar: ”testpersonen ändrade planen och ville gå till marknaden” är en observation; ”karaktären gav utrymme för handlingsfrihet” är en möjlig tolkning. Korta anteckningar med en tydlig poäng är lättare att jämföra mellan sessioner än allmänna intryck. (Taking notes and recording user research sessions)

När utbytet är slut ställer du ett fåtal neutrala frågor. ”Vad skulle du vilja göra härnäst med den här karaktären?” kan visa om testpersonen kan föreställa sig en scen till. ”Var något inkonsekvent med din bild av karaktären?” kan synliggöra ett brott mot kanon. ”Vad kändes bekant och vad kändes nytt?” kan klargöra om nyheten kom från karaktären, situationen eller testpersonens eget bidrag. Fråga vad som låg bakom ett svar i stället för att själv ge förklaringen.

Använd en rad per samtal. En kompakt skala hjälper dig att sammanfatta mönster, men anteckningarna och exemplen är viktigare än uträkningen. Följande bedömningsmall är ett praktiskt hjälpmedel för testning, inte ett validerat forskningsinstrument.

Samtal: 1–10; Scenval eller riktning: Vad testpersonen valde, lade till eller styrde om; Kanon: 0 = motsägelse; 1 = oklart; 2 = konsekvent; Användbar nyhet: 0 = upprepas utan tillägg; 1 = visst nytt material; 2 = tydlig, användbar utveckling; Slutförde frivilligt?: Ja / Nej

Ge bara poäng för en motsägelse av kanon när karaktären strider mot en uppgift på kanonkortet eller en etablerad händelse – inte bara för att karaktären beter sig annorlunda i en ny situation. Räkna en detalj, ett beslut, en relationsutveckling eller en scenförändring som nyhet om den ger testpersonen något att reagera på eller bygga vidare på. En överraskande detalj som inte passar in i karaktärens värld är ingen användbar nyhet. Beskriv scenvalet i stället för att betygsätta testpersonens preferenser: variation innebär att karaktären klarar olika riktningar, inte att testpersonen måste välja inom ett förutbestämt spann.

Anteckna slutförandet separat från de andra poängen. Om testpersonen frivilligt genomför samtal tio noterar du det; om hen avbryter frågar du om hen vill berätta vad som fick hen att sluta. Tolka inte slutförande som bevis på uppskattning eller avbrutet test som bevis på misslyckande. Personen kan sluta av skäl som inte har med karaktären att göra, och en slutförd serie kan ändå innehålla upprepade eller motsägelsefulla scener. Kombinationen av beteende och förklaring säger mer än ett enda ja- eller nejresultat.

Se efter var upplevelsen förändras under serien. Om testpersonen fortsätter välja olika slags scener men karaktärens svar blir generiska, arbeta med rösten och beslutsfattandet i varierande situationer. Om karaktären förblir igenkännbar men scenerna gång på gång slutar utan ett nytt beslut eller en ny detalj, revidera inbjudningarna eller ge karaktären mer specifika mål och preferenser att agera utifrån. Om testpersonen börjar styra om scenerna kan du undersöka om de förberedda situationerna kändes för lika, för begränsade eller helt enkelt mindre intressanta än testpersonens egna idéer.

En särpräglad röst bör märkas i vad karaktären lägger märke till, vill och säger – inte bara i en upprepad språklig egenhet. En guide till berättande beskriver rösten som en spegling av personligheten och rekommenderar att dialogen passar karaktärens egenskaper, bakgrund och känslor. Använd den principen när du granskar en utskrift: skulle repliken kunna komma från den här karaktären i den här situationen, och visar den ett igenkännbart perspektiv? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)

Välj sedan en specifik ändring och upprepa samma test med tio scener med en annan testperson, eller genomför en tydligt dokumenterad ny omgång. Behåll uppmaningarna och poängdefinitionerna när du jämför versioner, så att en ändring i själva testet inte misstas för en förändring av karaktären. Om den första omgången avslöjade en motsägelse av kanon lägger du till en scen som på ett naturligt sätt testar den relevanta uppgiften; om utbytena kändes repetitiva lägger du till situationer med olika slags val. Det här är en diagnostisk process, inte en uppskattning av en hel population. En enda testperson kan upptäcka konkreta problem och möjligheter, men kan inte visa hur väl resultatet gäller generellt.

Formatet med tio samtal fungerar som ett fokuserat stresstest: det hjälper dig att se om variationen i scener, igenkännbar kanon och nytt material består efter den inledande konversationen. Det kan visa var en viss testperson tappade intresset, hittade en lovande riktning eller stötte på en motsägelse. Det bevisar inte långsiktig dragningskraft, förutsäger inte kvarhållande och fastställer inte hur alla målgrupper kommer att reagera. Använd det för att avgöra vad du ska granska och revidera, och genomför sedan fler tester om du vill känna dig tryggare med resultatet för olika läsare och spelstilar.

Den tydligaste signalen är ett mönster som stöds av exempel: testpersonen hade utrymme att välja, karaktären svarade på sätt som passade den etablerade kanon, scenerna gav upphov till distinkt material att bygga vidare på och testpersonen valde att slutföra serien. När någon av dessa delar faller bort bör anteckningarna peka mot nästa hantverksbeslut – justera karaktärens röst, förtydliga kanon eller utforma sceninbjudningarna på nytt – i stället för att bara lägga till fler samtalsuppmaningar.