Co urządzenie AI zyskuje dzięki fizycznej formie? Zacznij od elementów sterujących, nie od dotyku

Ekran prezentuje informacje cyfrowe, a interfejs fizyczny może dodatkowo przypisywać działaniom miejsce, kształt i ruch. W swojej przełomowej pracy o „Tangible Bits” Hiroshi Ishii i Brygg Ullmer opisują połączenie informacji cyfrowych z uchwytnymi obiektami i powierzchniami, tak aby użytkownicy mogli manipulować informacjami za pomocą fizycznych przedmiotów. Wśród ich przykładów jest przesuwanie fizycznych modeli w celu sterowania cyfrową mapą. Ten pomysł projektowy sprawdza się w kreatywnej zabawie: pokrętło zmieniające tempo, żeton wybierający postać albo suwak łączący dwa dźwięki przekładają cyfrowe możliwości na konkretne działania. Ishii i Ullmer, „Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms”

Zysk nie polega po prostu na „większej liczbie zmysłów”. Chodzi o ściślejsze powiązanie ruchu dłoni ze zmianami na ekranie lub w dźwięku. Dzięki temu łatwiej śledzić eksperymenty: przekręć pokrętło, a rytm się zmieni; przesuń żeton, a zmieni się wybrany element. To wniosek projektowy wynikający z badań nad interfejsami namacalnymi, a nie gwarancja, że fizyczne elementy sterujące zawsze poprawiają zabawę. Fizyczny obiekt jest przydatny, gdy jego kształt i ruch odpowiadają działaniu, które użytkownicy mogą łatwo zrozumieć.

Przycisk przydaje się, gdy ktoś chce zdecydowanie rozpocząć lub zakończyć działanie: rozpocząć nagrywanie, zarejestrować wariant, cofnąć zmianę albo przełączyć tryb. Dzięki odpowiedniemu umiejscowieniu łatwo go znaleźć bez nawigowania po menu. Przycisk komunikuje też prostą zasadę interakcji: naciśnij tutaj, aby to zrobić. Przy powtarzającej się zabawie niewielki zestaw wyraźnie odróżniających się elementów sterujących może być łatwiejszy do opanowania niż długie polecenie głosowe.

Głos lepiej nadaje się do poleceń, które trudno ująć w pojedynczym naciśnięciu, takich jak „zwolnij to” lub „pokaż mi trzy jaśniejsze opcje”. Mówienie wymaga jednak ustalenia kolejności wypowiedzi: użytkownik musi skończyć, system musi zdecydować, kiedy odpowiedzieć, a użytkownik musi zauważyć, że system przejął głos. Badania nad dialogiem człowieka z robotem uwzględniającym kontekst traktują moment rozpoczęcia wypowiedzi jako jedno z głównych wyzwań; eksperymenty z systemami pokazują, że przetwarzanie przyrostowe może skrócić przerwy i umożliwić wcześniejsze działanie. Gervits i in., „It’s About Time: Turn-Entry Timing For Situated Human-Robot Dialogue”

Praktyczny układ polega na tym, by zostawić głos do otwartych poleceń, a przycisku używać do wyznaczania jasnych granic: naciśnij, aby nagrywać, wypowiedz polecenie, a potem naciśnij, aby zachować lub odrzucić wynik. To proponowany wzorzec projektowy, a nie opisana funkcja konkretnego produktu AI. Ogranicza niepewność co do tego, kiedy zaczyna się nasłuchiwanie lub kończy nagranie, a jednocześnie pozwala korzystać z poleceń konwersacyjnych, gdy są przydatne.

Wyświetlacz pomaga, gdy aktywność wiąże się ze stanami, które warto widzieć: sekwencją kroków, warstwami rysunku, opcjami do porównania albo podglądem, który można zaakceptować lub zmienić. Jego wartość zależy od tego, czy użytkownik widzi wynik podczas wykonywania zadania. Jeśli wyświetlacz znajduje się z boku lub zasłania go dłoń, użytkownik może musieć przerwać gest, żeby sprawdzić, co się stało. Jeśli zajmuje większość przestrzeni roboczej, może ograniczać miejsce na materiały i fizyczne elementy sterujące.

W przypadku kreatywnego urządzenia używanego na biurku przydatnym sprawdzianem projektu jest umieszczenie wyświetlacza tak, by użytkownik mógł na niego zerkać, trzymając ręce na elementach sterujących lub materiałach. Pokazuj istotne zmiany stanu — co jest wybrane, co jest nagrywane i co się zmieniło — zamiast zmuszać użytkownika do domyślania się tego na podstawie odpowiedzi głosowej. To zalecenie wynika z celu interfejsów namacalnych, jakim jest łączenie fizycznych działań z informacjami cyfrowymi; jest wnioskiem projektowym, a nie zmierzoną zasadą dotyczącą idealnego kąta lub rozmiaru ekranu.

Haptyka to sygnały dotykowe, takie jak krótkie wibracje lub impulsy przypominające kliknięcie. Mogą potwierdzać wybór lub sprawiać wrażenie, że element sterujący osiągnął kolejny stopień. Wytyczne Apple dotyczące interfejsów zalecają stosowanie haptyki w spójny sposób, wyraźne łączenie każdego odczucia z działaniem, które je wywołuje, łączenie dotyku z innymi rodzajami informacji zwrotnej oraz unikanie zbędnych lub zbyt częstych efektów. Zalecają też, by haptykę można było wyłączyć. Apple Human Interface Guidelines: „Playing haptics”

Podczas kreatywnej zabawy krótki impuls może potwierdzić rozpoczęcie nagrywania albo przesunięcie wirtualnego pokrętła na nowy stopień. Nie powinien zastępować informacji, które trzeba zobaczyć lub usłyszeć: sama wibracja może nie wyjaśniać, które ustawienie się zmieniło. Przydatnym testem jest wyłączenie haptyki. Jeśli wtedy trudno zrozumieć działanie, dodaj też wskazówkę wizualną lub dźwiękową. Jeśli nic ważnego nie ginie, efekt haptyczny może być ozdobny, a nie funkcjonalny.

Namacalny element sterujący sprawdza się najlepiej, gdy jego ruch daje stabilny, widoczny rezultat. Rozważ hipotetyczne urządzenie do zabawy dźwiękiem, wyposażone w jedno pokrętło i ekran. Użytkownik obraca pokrętło, by zmienić tempo pętli, obserwuje zmianę wyświetlanej wartości i słyszy jej efekt. Krótki impuls haptyczny przy kilku istotnych pozycjach mógłby oznaczać kolejne stopnie. To przykład poglądowy, a nie opis przetestowanego produktu ani zmierzonego wyniku.

Taki układ zapewnia trzy rodzaje informacji zwrotnej o odrębnych rolach: obrót jest sygnałem wejściowym, wyświetlacz pokazuje bieżący stan, a dźwięk ujawnia efekt twórczy. Informacja dotykowa może potwierdzić zmianę, ale nie jest głównym elementem działania. Jeśli to samo pokrętło przełącza się w nieprzewidywalny sposób między niezwiązanymi zadaniami, trudniej nauczyć się jego fizycznej metafory; może być potrzebne naciśnięcie przycisku lub etykieta na ekranie, by wskazać aktywny tryb. Badania nad metaforami ucieleśnionymi w interakcji namacalnej również podkreślają, że projektanci powinni znaleźć odpowiednie powiązanie między działaniem a wynikiem i ocenić je z użytkownikami. Antle i in., „Embodied metaphors in tangible interaction design”

Zacznij od działania, które użytkownik najczęściej powtarza, a potem zastanów się, jaki rodzaj informacji zwrotnej najlepiej je wyjaśni. Użyj fizycznego przycisku do celowego, pojedynczego polecenia; głosu do elastycznych próśb; wyświetlacza do pokazywania stanu lub porównywania; namacalnego elementu sterującego, gdy poruszanie lub układanie czegoś stanowi część zadania twórczego; a haptyki do krótkiego potwierdzenia, któremu służy wskazówka dotykowa.

Prosty prototyp pozwala sprawdzić połączenie tych rozwiązań bez skomplikowanego sprzętu. Umieść obok ekranu kilka opisanych przycisków, pozwól, by wypowiedziane polecenie zmieniało jedno ustawienie, a fizyczny element sterujący odwzoruj za pomocą suwaka lub pokrętła. Obserwuj, czy ktoś potrafi rozpocząć, zmienić i zakończyć niewielkie zadanie twórcze, rozumiejąc przy tym, co system usłyszał i co się zmieniło. Jeśli fizyczne działanie nie zwiększa przejrzystości ani kontroli i nie daje przyjemniejszego sposobu eksplorowania, nie musi być realizowane fizycznie. Jeśli przynosi takie korzyści, informacja zwrotna za pośrednictwem dotyku może je wzmacniać — użyteczność fizycznej formy wynika jednak z całego układu elementów sterujących, ich rozmieszczenia, czasu reakcji i odpowiedzi systemu.

Praktyczna odpowiedź brzmi: dotyk to jeden z przydatnych kanałów, ale nie ten, który definiuje urządzenie. Urządzenie AI sprawia wrażenie, że ma znaczącą fizyczną formę, gdy jego elementy sterujące pomagają użytkownikowi działać, zobaczyć, co się zmieniło, i kontynuować tworzenie z mniejszą liczbą przerw. Wybierz informację dotykową do potwierdzeń, którym służy sygnał haptyczny; dobieraj przyciski, dobrze umieszczony wyświetlacz, głos lub namacalne elementy sterujące do zadań, którym mają służyć.