Czy interakcja głosowa naprawdę zwiększa immersję w grze detektywistycznej?
Sterowanie głosem może sprawić, że fikcyjna zagadka wydaje się bardziej bezpośrednia, jeśli gracz może zadać pytanie w naturalny sposób i otrzymać trafną odpowiedź bez zmagania się z interfejsem. Samo mówienie nie gwarantuje jednak immersji. Błędy rozpoznawania, niezręczne pauzy, przerwania i niewidoczna transkrypcja mogą odwracać uwagę od fabuły. Aby ocenić, czy głos pomaga, porównaj go z wprowadzaniem tekstu pod kątem najważniejszych kwestii: Czy gra zrozumiała, o co gracz chciał zapytać? Czy odpowiedziała w odpowiednim momencie? Czy gracz mógł zobaczyć i poprawić to, co system usłyszał? Czy tekst nadal był dostępny?
Zacznij od trafności rozpoznawania pytań, a nie od nowości mówienia
W grze detektywistycznej system głosowy musi robić więcej niż zamieniać dźwięk na słowa. Musi zachować intencję pytania gracza i powiązać je z właściwym dowodem lub odpowiedzią postaci. Transkrypcja, która zmienia „Gdzie był klucz?” na „Gdzie była walizka?”, może skierować rozmowę na inny tor, nawet jeśli system rozpoznawania mowy uzna swój wynik za prawdopodobny.
Rozpoznawanie mowy nie jest całkowicie dokładne, a typowy współczynnik błędów słów nie daje pełnego obrazu: niektóre zamiany mają większe znaczenie niż inne. Dokumentacja Google wyjaśnia, że współczynnik błędów słów uwzględnia wstawienia, zamiany i pominięcia, a zarazem przestrzega, że metryka traktuje błędy według liczby słów. W grze detektywistycznej oznacza to, że krótki wynik testu warto uzupełnić sprawdzeniem słów o istotnym znaczeniu, takich jak imiona, miejsca, przedmioty i słowa pytające. Google Cloud: Mierz i poprawiaj dokładność rozpoznawania mowy
Praktyczne porównanie polega na przygotowaniu niewielkiego zestawu reprezentatywnych pytań, które gracz mógłby zadać na temat tej samej wskazówki, a następnie wypróbowaniu każdego z nich w formie głosowej i tekstowej. Zapisz, czy odpowiedź dotyczy zamierzonego tematu, czy błędnie rozpoznano ważne imię lub szczegół oraz czy gracz musiał powtórzyć pytanie lub ująć je inaczej. Uwzględnij pytania zawierające imiona postaci i mniej typowe określenia związane ze wskazówkami: systemy rozpoznawania mowy mogą mieć trudności z nazwami spoza słownika, a Google zaleca podawanie podpowiedzi frazowych dla takich określeń w swojej usłudze. Google Cloud: Sprawdzone metody
To porównanie jest pomocą przy podejmowaniu decyzji, a nie opublikowanym punktem odniesienia dla każdej gry czy każdego silnika rozpoznawania mowy. Testuj w rzeczywistych warunkach rozgrywki, uwzględniając typowe dźwięki tła gry oraz mikrofon, z którego będzie korzystać gracz. Wynik uzyskany w cichym pomieszczeniu lub przy użyciu innego mikrofonu może nie odzwierciedlać warunków gry; wytyczne Google dotyczące dokładności również zalecają używanie reprezentatywnych nagrań z docelowego środowiska. Google Cloud: Mierz i poprawiaj dokładność rozpoznawania mowy
Sprawdź, czy odpowiedź pojawia się w odpowiednim momencie
Pytanie może zostać rozpoznane poprawnie, a mimo to interakcja może wydawać się niezręczna, jeśli gra zbyt długo czeka z wyświetleniem lub odtworzeniem odpowiedzi. Z kolei szybka odpowiedź, która ucina kwestię aktora albo pojawia się, gdy gracz jeszcze kończy pytanie, może przeszkadzać. Przydatnym pomiarem nie jest po prostu średni czas odpowiedzi systemu; obserwuj całą wymianę: kiedy gracz zaczyna mówić, kiedy gra rozpoznaje koniec wypowiedzi, kiedy pojawia się informacja zwrotna i kiedy rozpoczyna się odpowiedź.
To rozróżnienie wynika ze sposobu obsługi interakcji głosowej. Na przykład interfejs rozpoznawania mowy w Androidzie oddziela wyniki częściowe, koniec wypowiedzi i wyniki końcowe; wyniki częściowe mogą pojawić się zero, jeden lub wiele razy, w zależności od implementacji usługi. Pokazuje to, dlaczego transkrypcja widoczna dla gracza lub odpowiedź mogą się zmieniać w trakcie przetwarzania mowy i dlaczego programiści powinni testować widoczne zachowanie, zamiast zakładać, że wszystkie systemy rozpoznawania działają tak samo. Android Developers: RecognitionListener
Podczas prostego testu rozgrywki zanotuj dwa rodzaje opóźnień: czas od zakończenia pytania do potwierdzenia, że zostało zrozumiane, oraz czas od potwierdzenia do użytecznej odpowiedzi fabularnej. Zaznacz też, czy gra czeka na wyraźną pauzę, reaguje zbyt pochopnie na zawahanie, czy pozostawia gracza w niepewności, czy mikrofon nadal nasłuchuje. To obserwacje do zebrania, a nie uniwersalne progi czasowe: źródła nie wskazują jednego czasu odpowiedzi, który gwarantowałby większą immersję w grze detektywistycznej.
Traktuj przerywanie jako element rozmowy
Sceny detektywistyczne często obejmują dialogi, narrację lub postać kończącą odpowiedź. Jeśli gracz próbuje zadać pytanie uzupełniające, gdy gra mówi, system powinien jasno reagować: zatrzymać się, wstrzymać, dodać pytanie do kolejki albo je zignorować. Interfejs głosowy, który źle radzi sobie z przerywaniem, może zmusić gracza do wysłuchania informacji, którą już zrozumiał, albo skłaniać go do mówienia w trakcie ważnego fragmentu fabuły.
W badaniach nad interfejsami dialogowymi opartymi na mowie bezpośrednio analizowano ten problem. W badaniu z 1995 roku zaproponowano planowanie wypowiedzi ustnych w jednostkach informacji oraz monitorowanie kolejności wypowiedzi, aby płynniej obsługiwać przerwania ze strony użytkownika. Badanie wykazało, że ponad połowa uczestników uznała obsługę przerwań za płynną, jednak podane w nim wyniki dotyczące czasu zadania i rozmowy odnoszą się do warunków tego badania, a nie do gier detektywistycznych w ogóle. Przenośne pytanie projektowe brzmi: czy gra zachowuje tę część wskazówki, którą gracz już usłyszał, i jasno komunikuje, co dzieje się po przerwaniu? Kikuchi i in., „Obsługa przerwań użytkownika w celu uzyskania wypowiedzi o dowolnym czasie w interfejsie dialogowym opartym na mowie”
Podczas testów spróbuj przerwać w naturalnym momencie wypowiedzi, a następnie zadaj krótkie pytanie uzupełniające. Sprawdź, czy gra szybko przestaje mówić, czy rejestruje pytanie uzupełniające oraz czy gracz może ponownie odtworzyć lub przejrzeć przerwany fragment. Jeśli nie, sterowanie głosem może dodawać kłopotliwy obowiązek pilnowania kolejności wypowiedzi zamiast ułatwiać badanie fikcyjnej sceny.
Zadbaj o to, by rozpoznane słowa były widoczne i można je było poprawić
Czytelna transkrypcja pozwala graczowi wychwycić błędnie rozpoznane imię lub pytanie, zanim gra na nie zareaguje. Dzięki niej stan systemu staje się mniej tajemniczy: gracz może ustalić, czy system niczego nie usłyszał, usłyszał coś innego, czy rozpoznał właściwe słowa, ale udzielił nieoczekiwanej odpowiedzi. Transkrypcja jest przydatna tylko wtedy, gdy da się ją odczytać podczas rozgrywki i gdy oferuje jasny sposób ponowienia lub poprawienia istotnego błędu.
Interfejsy API platform pokazują, że niektóre systemy mogą udostępniać częściowe i końcowe wyniki rozpoznawania, ale czas i dostępność tekstu częściowego mogą zależeć od usługi rozpoznawania. Nie traktuj wstępnej transkrypcji jako potwierdzonego wejścia, chyba że interfejs wyraźnie ją oznacza. Podczas testu gry sprawdź, czy końcowa wersja rozpoznanego pytania pozostaje widoczna na tyle długo, by ją przejrzeć, czy łatwo wprowadzić poprawki i czy komunikat o błędzie wyjaśnia, co gracz może zrobić dalej. Android Developers: RecognitionListener
Widoczna transkrypcja nie stanowi dowodu poprawności. Google zaznacza, że wyniki pewności i współczynnik błędów słów są niezależnymi miarami, więc pozornie pewny wynik nie dowodzi, że poprawnie rozpoznano kluczowe imię lub wskazówkę. Bezpieczniej jest pozwolić graczowi sprawdzić słowa i poprawić lub powtórzyć pytanie, niż wymagać od niego zaufania do ukrytego wyniku. Google Cloud: Mierz i poprawiaj dokładność rozpoznawania mowy
Pozostaw tekst jako pełnoprawną alternatywę
Alternatywa w postaci tekstu to coś więcej niż udogodnienie w cichym pomieszczeniu. Pozwala graczowi wybrać inny sposób wykonania tej samej fikcyjnej interakcji, gdy mowa jest niedostępna, niewygodna lub wielokrotnie błędnie rozpoznawana. Wytyczne Europejskiego Instytutu Norm Telekomunikacyjnych dotyczące czynników ludzkich zalecają metodę niewerbalną do wprowadzania informacji, które w przeciwnym razie byłyby podawane głosem, oraz informację zwrotną, na przykład odczytanie tego, co system zrozumiał, i funkcję cofania. ETSI: Czynniki ludzkie; inkluzywne e-usługi dla wszystkich
Aby porównanie było rzetelne, tekst powinien dawać dostęp do tych samych opcji pytań i odpowiedzi fabularnych co głos. Jeśli gracz może zadawać pytania swobodnym tekstem tylko głosowo, tekst nie jest równoważną alternatywą; jeśli za pomocą tekstu można wybrać tylko wąski zestaw opcji, podczas gdy mowa pozwala zadawać otwarte pytania, uwzględnij tę różnicę w ocenie doświadczenia. Wytyczne W3C dotyczące alternatyw tekstowych podkreślają zachowanie tych samych informacji i funkcji w różnych wariantach — to przydatna zasada przy sprawdzaniu, czy zmiana trybu wprowadzania nie odbiera graczowi możliwości przejścia przez scenę. W3C WAI: Omówienie wytycznej 1.1, alternatywy tekstowe
Przeprowadź krótkie porównanie, by zdecydować, czy głos ma sens
Porównaj oba tryby wprowadzania w ramach tego samego fikcyjnego zadania: zapytaj o wskazówkę, zadaj pytanie uzupełniające do odpowiedzi i popraw jedno pytanie celowo błędnie rozpoznane lub wpisane. Przy każdej próbie zanotuj, czy system zrozumiał intencję pytania, ile razy trzeba było ponawiać próbę, czy opóźnienie lub przerwanie zakłóciło wymianę, czy słowa były widoczne i czy alternatywny tryb wprowadzania pozwolił wykonać to samo zadanie. Traktuj wyniki jako obserwacje z warunków testu, a nie ogólne twierdzenia o wszystkich graczach czy urządzeniach.
Głos jest obiecującym dodatkiem, gdy niezawodnie przekazuje intencję pytania gracza i prowadzi do trafnej odpowiedzi, obsługuje kolejność wypowiedzi bez dezorientowania w scenie, ujawnia błędy i pozwala je naprawić, a przy tym pozostawia dostęp do tekstu. Jeśli te warunki nie są spełnione, mówienie może nadal służyć jako opcjonalny sposób zadawania pytań, ale samo w sobie nie dowodzi, że gra detektywistyczna stała się bardziej immersyjna. Najtrafniejszą odpowiedź daje interakcja, którą gracz rzeczywiście może przeprowadzić, oraz napotykane po drodze utrudnienia.