Så observerar du ett AI-speltest med dialog på 20 minuter

Välj en scen med ett tydligt mål och en NPC vars svar kan påverka hur spelaren försöker nå det. I en fiktiv scen kan spelaren till exempel behöva öppna en förseglad växthusport innan en ventilationscykel tar slut. En underhålls-NPC kan ge ledtrådar genom en fri konversation. Den avsedda vägen är att hitta ett blått ventilhandtag i redskapsboden, men NPC:n kan ibland hitta på en detalj, som att påstå att handtaget finns i det översvämmade pumprummet.

De fyra indikatorerna nedan fokuserar på spelarnas beteenden och konsekvenserna i scenen. De kräver inte att du bedömer om en fråga är smart eller om en spelare verkar tycka om spelet.

Indikator: Varierade frågor — Registrera en händelse när…: Spelaren ändrar formulering, ämne eller tillvägagångssätt efter ett svar, till exempel frågar var en ventil finns och sedan vilken färg den har eller vilket rum som är säkert. — Notera belägg från sessionen: Vad spelaren frågade, vad NPC:n svarade och om nästa fråga följde av svaret. Skilj en verkligt annorlunda fråga från en nästan identisk upprepning. — Fråga efteråt…: ”Vad försökte du ta reda på med de frågorna?”

Indikator: Svaret påverkar nästa handling — Registrera en händelse när…: Spelaren förflyttar sig, undersöker något eller ändrar sin plan på ett sätt som följer av NPC:ns svar. — Notera belägg från sessionen: Svaret, spelarens nästa handling och eventuella synliga alternativ som spelaren går förbi. Markera sambandet som tydligt, rimligt eller osäkert; en handling efter ett svar bevisar inte att svaret orsakade den. — Fråga efteråt…: ”Påverkade någon del av samtalet vad du gjorde härnäst?”

Indikator: Påhittad uppgift leder till en felaktig omväg — Registrera en händelse när…: Spelaren följer ett specifikt påstående från NPC:n som saknar stöd eller är falskt och vidtar en resultatlös åtgärd på grund av det. — Notera belägg från sessionen: Det exakta påståendet, handlingen det ledde till, den synliga kostnaden eller omvägen i versionen samt hur spelaren upptäckte eller rättade till felet. Kontrollera scenens avsedda fakta efter sessionen innan du klassar ett påstående som påhittat. — Fråga efteråt…: ”Vad fick den vägen att verka rätt? När bestämde du dig för att byta riktning?”

Indikator: Spelaren kan avsluta dialogen och slutföra scenen — Registrera en händelse när…: Spelaren avslutar eller pausar samtalet, eller avböjer att fortsätta prata, och ändå kan fortsätta mot och slutföra målet. — Notera belägg från sessionen: Om det finns en synlig utgång, vad som händer efter att spelaren lämnar, om det fortfarande går att göra framsteg och om spelaren når scenens sluttillstånd. Registrera hinder separat från att spelaren väljer att fortsätta prata. — Fråga efteråt…: ”Kände du att du kunde lämna samtalet? Vad fick dig att fortsätta eller sluta?”

Det här är definitioner av händelser, inte kvalitetsbetyg. Anteckna spelarens faktiska ord och handlingar i stället för att dra slutsatser om avsikter utifrån ansiktsuttryck, tystnad eller speltid. Om en händelse inte inträffar, anteckna ”observerades inte under den här sessionen” i stället för att anta att spelaren misslyckades.

Anteckna versionen, startmålet, kända fakta om scenen och godkänt sluttillstånd inför varje session. Under spelandet skriver du ner spelarens fråga, NPC:ns svar, nästa synliga handling och varje förändring av spelläget. En replik som låter hjälpsam kan ändå vara fel om den pekar mot en plats som inte finns i den här versionen.

Efter sessionen jämför du misstänkta påhittade fakta med scenens faktablad. Bekräfta ett påstående som saknar stöd endast när det motsägs av scenfakta; annars markerar du det som oklart och undersöker saken. Anteckna ledarens uppmaningar och tekniska avbrott separat, eftersom de kan påverka vad spelaren gör härnäst. Den här lilla beläggskedjan gör den senare diskussionen mer precis utan att göra ett enda speltillfälle till ett universellt resultat.

Säg till deltagaren: ”Spela gärna scenen som du brukar. Du kan prata med karaktären eller lämna samtalet när du vill. Jag kanske är tyst så att jag kan se vad du provar.” Undvik att lära dem att ställa varierade frågor eller varna dem för påhittade fakta; det skulle förändra beteendet som sessionen ska synliggöra. Om de ber om hjälp, svara konsekvent, anteckna ingripandet och ta hänsyn till hjälpen när du bedömer senare beteenden.

Ett fungerande tidsschema är:

Minut 0–2: Förbered. Förklara uppgiften och kontrollerna utan att beskriva den avsedda lösningen. Starta klockan när spelaren får kontrollen och börja varje deltagares session i samma tillstånd.

Minut 2–15: Observera. Låt spelaren utforska och prata. Logga varje relevant svar och nästa handling, särskilt när ett påstående skickar spelaren någonstans. Spara neutrala uppmaningar som ”Vad tänker du på?” till tillfällen då spelaren har stannat upp och behöver en uppmaning för att fortsätta; anteckna att du ingrep.

Minut 15–20: Avsluta och fråga. Om spelaren inte har blivit klar, avbryt efter 15 minuters spelande och anteckna det aktuella läget i stället för att antyda att spelaren misslyckades med ett hastighetstest. Ställ följdfrågorna som hör till observerade händelser och ställ sedan en bred fråga: ”Var det något som var oklart med samtalet eller vad du skulle göra härnäst?” Anteckna spelarens egen beskrivning separat från det observerade beteendet.

Gränsen på 20 minuter är en praktisk tidsram för sessionen i det här exemplet, inte ett empiriskt riktvärde. Att en spelare pratar längre betyder inte att spelaren är mer nöjd, och att spelaren blir klar snabbt betyder inte nödvändigtvis att hen har förstått eller tyckt om scenen. Om uppgiften kräver mer tid i din spelversion bör du justera schemat före sessionerna och hålla det konsekvent.

I efteranalysen av The Turing Test beskriver designchefen David Jones hur teamet testade pussel med studenter, samlade in betyg på nöje och svårighetsgrad samt speltid, och lade större vikt vid att observera spelarnas beteenden. Han beskriver hur de kombinerade betygen och observationerna för att bedöma svårighetskurvan. För en dialogscen är den användbara lärdomen att samla in de två typerna av belägg, men hålla dem åtskilda: händelseloggen visar vad spelaren gjorde, medan följdfrågorna dokumenterar spelarens förklaring eller betyg. Ingetdera förklarar automatiskt det andra.

I efteranalysen av Klei’s Mark of the Ninja beskrivs hur teamet ofta testade med nya spelare för att undersöka sina designantaganden. Teamet sökte efter motivationen bakom klagomål och såg var nya spelare körde fast, och justerade sedan signaler och design. Tillämpat här är spelarens felaktiga omväg en ledtråd att undersöka, inte en anledning att bara göra NPC:ns dialog längre. Fråga vad i svaret, gränssnittet eller scenen som fick vägen att verka övertygande och kontrollera inspelningen eller spelläget innan du bestämmer vad som ska ändras.

Ubisofts tillkännagivande om Teammates beskriver ett slutet spelartest av en spelbar upplevelse med generativ AI. Det visar att teamet meddelade att slutna tester skulle hållas, men det innehåller inga publicerade spelarresultat. Därför kan det inte belägga vad spelarna gjorde eller om upplevelsen lyckades.

Granska tidslinjen efter sessionen och koppla varje svar från NPC:n till spelarens nästa handling. För varje misstänkt felaktig omväg kontrollerar du relevanta fakta om scenen och identifierar sedan den troliga orsaken: NPC:n gav en falsk detalj, spelaren misstolkade ett korrekt svar eller en plats eller interaktionssignal pekade spelaren åt ett annat håll. De här förklaringarna är hypoteser tills de har kontrollerats mot den inspelade händelsekedjan och, när det är användbart, en till session.

Använd de fyra indikatorerna för att välja en konkret ändring eller ett uppföljande test. Om spelaren ställer flera olika frågor men får svar som inte hjälper hen att agera, undersök om scenen ger handlingsbar information. Om ett specifikt påhittat påstående skickar spelaren till fel rum kan du överväga om scenen behöver ett sätt att kontrollera påståendet eller återhämta sig utan att köra fast. Om spelaren inte kan lämna dialogen och slutföra scenen bör du granska hur utgången och målet fungerar. Om spelaren lämnar dialogen och slutför scenen antecknar du att den vägen var tillgänglig i den här versionen; fråga vad spelaren förstod innan du drar slutsatsen att det var tydligt.

En enda 20-minuterssession kan avslöja en viss förvirring eller en saknad väg, men den kan inte fastställa hur vanligt problemet är. Håll observatörens händelseanteckningar, de verifierade fakta om scenen och spelarens svar i efterhand åtskilda när du bestämmer vad du ska undersöka härnäst. Det ger ett litet team en användbar redogörelse för hur en spelare navigerade i just den här scenen med generativ dialog, utöver vad enbart en enkät kan visa.