Maakt spraakinteractie een mysteriespel echt meeslepender?

In een mysteriespel moet een spraaksysteem meer doen dan geluid omzetten in woorden. Het moet behouden wat de speler bedoelde te vragen en dat koppelen aan het juiste bewijs of de juiste reactie van een personage. Een transcript dat “Waar was de sleutel?” verandert in “Waar was de koffer?” kan het gesprek een andere kant op sturen, zelfs als de spraakherkenner denkt dat de uitvoer aannemelijk is.

Spraakherkenning is niet perfect nauwkeurig, en de gebruikelijke woordfoutmarge vertelt niet het hele verhaal: sommige vervangingen zijn belangrijker dan andere. De documentatie van Google legt uit dat de woordfoutmarge invoegingen, vervangingen en weglatingen telt, maar waarschuwt ook dat deze maatstaf fouten beoordeelt op basis van het aantal woorden. Voor een mysteriespel betekent dit dat een korte testscore aangevuld moet worden met een controle van belangrijke woorden, zoals namen, plaatsen, voorwerpen en vraagtermen. Google Cloud: Spraakherkenningsnauwkeurigheid meten en verbeteren

Een praktische vergelijking bestaat eruit een kleine reeks representatieve vragen voor te bereiden die een speler over dezelfde aanwijzing zou kunnen stellen en elke vraag vervolgens met spraak en tekst uit te proberen. Noteer of het antwoord over het bedoelde onderwerp gaat, of een belangrijke naam of detail verkeerd is verstaan en of de speler de vraag moest herhalen of anders formuleren. Neem vragen op met namen van personages en minder gebruikelijke termen uit aanwijzingen: spraaksystemen kunnen moeite hebben met namen buiten hun woordenschat, en Google raadt aan om voor zulke termen woordgroepsuggesties op te geven bij het gebruik van zijn dienst. Google Cloud: Aanbevolen werkwijzen

Deze vergelijking is een hulpmiddel bij het nemen van beslissingen, geen gepubliceerde benchmark voor elk spel of elke spraakengine. Test in de daadwerkelijke speelomgeving, met onder meer het gebruikelijke achtergrondgeluid van het spel en de microfoon die de speler zal gebruiken. Een resultaat uit een stille ruimte of met een andere microfoon geeft mogelijk geen goed beeld van de speelomstandigheden; ook de richtlijnen van Google voor nauwkeurigheid bevelen representatieve audio uit de beoogde omgeving aan. Google Cloud: Spraakherkenningsnauwkeurigheid meten en verbeteren

Een vraag kan correct worden herkend en toch onhandig aanvoelen als het spel te lang wacht met het tonen of uitspreken van het antwoord. Omgekeerd kan een snel antwoord dat de zin van een acteur afkapt of wordt geactiveerd terwijl de speler nog bezig is met de vraag, storend zijn. De nuttige maatstaf is niet simpelweg de gemiddelde reactietijd van het systeem; observeer de hele uitwisseling: wanneer de speler begint, wanneer het spel het einde van de uiting herkent, wanneer feedback verschijnt en wanneer het antwoord begint.

Dit onderscheid volgt uit de manier waarop spraakinteractie wordt verwerkt. De spraakherkenningsinterface van Android maakt bijvoorbeeld onderscheid tussen gedeeltelijke resultaten, het einde van de spraak en definitieve resultaten; afhankelijk van de implementatie van de dienst kunnen gedeeltelijke resultaten nul, één of meerdere keren binnenkomen. Dat laat zien waarom een transcript of antwoord voor de speler kan veranderen terwijl de spraak nog wordt verwerkt, en waarom ontwikkelaars het zichtbare gedrag moeten testen in plaats van aan te nemen dat elke herkenner hetzelfde werkt. Android Developers: RecognitionListener

Noteer tijdens een eenvoudige speelt test twee soorten vertraging: de tijd tussen het afronden van een vraag en het zien dat die is begrepen, en de tijd tussen de bevestiging en een bruikbare reactie op het verhaal. Noteer ook of het spel wacht op een duidelijke pauze, te gretig reageert op een aarzeling of de speler laat twijfelen of de microfoon nog luistert. Dit zijn observaties om te verzamelen, geen universele tijdsdrempels: de bronnen bepalen niet welke reactietijd een mysteriespel gegarandeerd meeslepender maakt.

Mysteriescènes bevatten vaak dialogen, vertellingen of een personage dat een antwoord afmaakt. Als de speler een vervolgvraag probeert te stellen terwijl het spel spreekt, moet het systeem duidelijk reageren: stoppen, pauzeren, de vraag in de wachtrij zetten of negeren. Een spraakinterface die onderbrekingen slecht afhandelt, kan de speler laten wachten op informatie die die al begrepen heeft, of ertoe leiden dat die over belangrijke verhaalinhoud heen praat.

Onderzoek naar gesproken dialooginterfaces heeft dit probleem rechtstreeks bestudeerd. Een onderzoek uit 1995 stelde voor om gesproken uitvoer op te delen in informatie-eenheden en de beurtwisseling te volgen, zodat een onderbreking door de gebruiker soepeler kon worden afgehandeld. Volgens het onderzoek vond meer dan de helft van de deelnemers de afhandeling soepel, maar de specifieke bevindingen over taakduur en gesprekken gelden voor de omstandigheden van dat onderzoek, niet voor mysteriespellen in het algemeen. De overdraagbare ontwerpvraag is of het spel het deel van een aanwijzing bewaart dat de speler al heeft gehoord en duidelijk maakt wat er na een onderbreking gebeurt. Kikuchi et al., “Omgaan met onderbrekingen door gebruikers om timingvrije uitingen in een gesproken dialooginterface mogelijk te maken”

Probeer tijdens het testen een gesproken antwoord op een natuurlijk moment te onderbreken en stel dan een korte vervolgvraag. Controleer of het spel snel stopt, of de vervolgvraag wordt vastgelegd en of de speler de onderbroken informatie opnieuw kan afspelen of bekijken. Als dat niet zo is, voegt spraak misschien een nieuwe taak voor beurtwisseling toe in plaats van een soepelere manier om de fictieve scène te onderzoeken.

Een leesbaar transcript geeft de speler de kans om een verkeerd verstaan naam of een verkeerd begrepen vraag op te merken voordat het spel daarop reageert. Het maakt ook de status van het systeem duidelijker: de speler kan zien of het niets heeft verstaan, het verkeerde heeft verstaan of de juiste woorden heeft verstaan maar een onverwacht antwoord heeft gegeven. Een transcript is alleen nuttig als het tijdens het spelen leesbaar is en een duidelijke manier biedt om een belangrijke fout opnieuw te proberen of te corrigeren.

Platform-API's laten zien dat sommige systemen gedeeltelijke en definitieve herkenningsresultaten kunnen leveren, maar de timing en beschikbaarheid van gedeeltelijke tekst kunnen afhangen van de herkenningsdienst. Behandel een tussentijds transcript niet als bevestigde invoer, tenzij de interface dat duidelijk aangeeft. Controleer tijdens een test in het spel of de definitief herkende vraag lang genoeg zichtbaar blijft om na te lezen, of correcties eenvoudig zijn en of een foutmelding uitlegt wat de speler vervolgens kan doen. Android Developers: RecognitionListener

Een zichtbaar transcript mag niet worden aangezien voor bewijs van nauwkeurigheid. Google merkt op dat betrouwbaarheidsscores en woordfoutmarge onafhankelijke maatstaven zijn, dus een resultaat dat betrouwbaar oogt bewijst niet dat de cruciale naam of aanwijzing correct is herkend. Voor de speler is het veiliger om het ontwerp zo in te richten dat die de woorden kan bekijken en de vraag kan corrigeren of herhalen, in plaats van te vragen op een verborgen score te vertrouwen. Google Cloud: Spraakherkenningsnauwkeurigheid meten en verbeteren

Tekstinvoer als alternatief is meer dan een handige optie voor een stille ruimte. Zo kan een speler dezelfde fictieve interactie op een andere manier voltooien wanneer spraak niet beschikbaar of onhandig is, of herhaaldelijk verkeerd wordt herkend. De richtlijnen voor menselijke factoren van het Europees Instituut voor telecommunicatienormen bevelen een niet-talige methode aan voor informatie die anders via spraak zou worden ingevoerd, samen met feedback zoals het teruglezen van wat het systeem heeft verstaan en een functie om ongedaan te maken. ETSI: Menselijke factoren; inclusieve e-diensten voor iedereen

Voor een eerlijke vergelijking moet tekst toegang bieden tot dezelfde vraagopties en verhaalreacties als spraak. Als spelers alleen door te spreken vrije vragen kunnen stellen, is tekst geen gelijkwaardig alternatief; als tekst alleen een beperkte lijst biedt terwijl spraak open vragen accepteert, vermeld dat verschil dan bij het beoordelen van de ervaring. De richtlijnen van het W3C over tekstalternatieven benadrukken dat dezelfde informatie en functionaliteit behouden moeten blijven bij alternatieven. Dat is een nuttig principe om na te gaan of een andere invoermethode de speler geen toegang tot het verloop van de scène ontneemt. W3C WAI: Richtlijn 1.1 begrijpen, tekstalternatieven

Vergelijk beide invoermethoden aan de hand van dezelfde fictieve taak: stel een vraag over een aanwijzing, vraag door op een antwoord en corrigeer één opzettelijk verkeerd verstaan of verkeerd getypte vraag. Noteer bij elke poging of de bedoelde vraag werd begrepen, hoeveel pogingen nodig waren, of een vertraging of onderbreking de uitwisseling verstoorde, of de woorden zichtbaar waren en of de andere invoermethode dezelfde taak voltooide. Houd de resultaten bij als observaties onder jouw testomstandigheden, niet als algemene uitspraken over alle spelers of apparaten.

Spraak is een veelbelovende toevoeging wanneer de bedoelde vraag van een speler betrouwbaar leidt tot een relevant antwoord, de beurtwisseling afhandelt zonder de scène verwarrend te maken, fouten zichtbaar en herstelbaar maakt en tekst beschikbaar houdt. Als die voorwaarden niet goed worden vervuld, kan spreken nog steeds een optionele manier zijn om vragen in te voeren, maar op zichzelf is dat geen bewijs dat een mysteriespel meeslepender is geworden. Het duidelijkste antwoord komt voort uit de interactie die de speler daadwerkelijk kan voltooien en de hindernissen die die onderweg tegenkomt.