Poza brzmieniem jak człowiek: cztery lepsze cele projektowania czatów AI

Rozmowa może brzmieć płynnie, a mimo to nie dawać użytkownikowi wiarygodnego obrazu systemu. W eksperymencie z udziałem 2165 osób badacze sprawdzali, czy pseudo-model językowy używał wyłącznie tekstu czy tekstu i mowy oraz czy mówił o sobie „ja” czy „system”. Połączenie mowy z tekstem podniosło oceny antropomorfizmu i trafności informacji; w jednym kontekście forma pierwszoosobowa podwyższyła oceny trafności i obniżyła postrzegane ryzyko. Wyniki te dotyczą konkretnego układu badania, pokazują jednak, że sygnał sprawiający, iż system wydaje się bardziej ludzki, może też wpływać na ocenę jego informacji. Google Research, „Believing Anthropomorphism: Examining the Role of Anthropomorphic Cues on User Trust in Large Language Models”

Dlatego sygnały antropomorficzne i jakość interakcji warto oceniać osobno. Audyt sygnałów antropomorficznych sprawdza, co interfejs sugeruje na temat tożsamości AI lub jej ludzkich cech. Audyt ryzyka błędnej oceny sprawdza, czy sygnał może skłonić użytkowników do przeceniania trafności lub wiarygodności wyników. Poniższe cele projektowe dotyczą innego pytania: co dana osoba powinna móc zrozumieć, zrobić i zdecydować podczas wymiany? Przyjazny ton może iść w parze z tymi celami, o ile nie zaciemnia możliwości systemu ani stanu zadania.

Zestaw narzędzi Microsoft Human-AI eXperience Toolkit porządkuje wskazówki według tego, jak system AI zachowuje się przy pierwszym użyciu, podczas interakcji, gdy popełnia błąd i z upływem czasu. Taka struktura przydaje się przy projektowaniu czatów, ponieważ przenosi uwagę z osobowości postaci na zmieniające się potrzeby osoby korzystającej z systemu. Microsoft, „Guidelines for Human-AI Interaction”

Jasność zaczyna się od zadania użytkownika, a nie od idealnie konwersacyjnego głosu. Osoba prosząca o trzy pomysły na weekend potrzebuje opcji, które może porównać; ktoś proszący o przeredagowanie tekstu potrzebuje wersji roboczej, którą może poprawić. Interfejs powinien wyraźnie odróżniać żądane działanie od zwróconego wyniku. Jeśli AI proponuje, streszcza lub przekształca materiał, należy jasno oznaczyć jej wkład i zachować wystarczający kontekst, by użytkownik mógł go ocenić.

Użyteczna interakcja może też pokazywać, co AI potrafi, a czego nie, dokładnie wtedy, gdy ta informacja ma znaczenie. Na przykład jeśli asystent czatu może zaproponować plan, ale nie potrafi dokonać rezerwacji, odpowiedź nie powinna pozostawiać niejasności co do działania. Należy wskazać, co jest gotowe, co wymaga jeszcze udziału użytkownika i które szczegóły pozostają niepewne. To zalecenie projektowe wynika z nacisku, jaki HAX kładzie na odpowiednie zachowanie podczas całej interakcji; nie jest twierdzeniem, że jeden wzorzec sformułowania sprawdzi się w każdym produkcie.

Prosty test jasności polega na zadaniu komuś po krótkiej wymianie pytań: O co poproszono system? Co faktycznie zrobił? Co trzeba sprawdzić lub zdecydować przed wykorzystaniem wyniku? Jeśli odpowiedzi odbiegają od zamierzonego znaczenia interfejsu, popraw sformułowania, strukturę lub wskazówki dotyczące kolejnych kroków, zanim dodasz więcej osobowości.

Zabawowy charakter daje ludziom możliwość poznawania narzędzia i jego możliwości. W badaniu 372 wpisów użytkowników na temat ChatGPT badacze wyróżnili zabawowe interakcje obejmujące żartowanie, rzucanie systemowi wyzwań i testowanie jego granic. Autorzy opisują te interakcje jako sposób poznawania możliwości i sprawczości AI, zaznaczając jednocześnie, że badana próba obejmuje wpisy z wczesnego okresu korzystania z ChatGPT. Nikghalb i Cheng, „Interrogating AI: Characterizing Emergent Playful Interactions with ChatGPT”

Praktyczny wniosek dla projektantów nie brzmi: zmień każdego asystenta w komika. Chodzi o to, by ułatwić swobodne eksperymentowanie bez większych konsekwencji: pozwolić spojrzeć na sprawę z innej perspektywy, porównać alternatywy lub poprawić wersję roboczą bez utraty poprzedniej. Krótka kreatywna podpowiedź, na przykład „Podaj trzy nieoczekiwane motywy”, może zachęcać do eksploracji, a zarazem pomagać trzymać się celu użytkownika. Zabawowy tryb powinien być dostępny, a nie narzucony użytkownikowi jako występ, który musi oglądać.

Badania nad zabawowymi narzędziami do współtworzenia z AI odróżniają zabawowość od kreatywności, opisując zarazem zabawę jako możliwy czynnik sprzyjający twórczym odpowiedziom. Omawiają interfejs, zachowanie AI i dialog jako obszary, w których można wprowadzać rozwiązania projektowe, traktując zabawowość jako doświadczenie, które należy wspierać, a nie jako rezultat, który można zagwarantować. Liapis i in., „Designing for Playfulness in Human-AI Authoring Tools”

Interfejs czatu może wydawać się naturalny, a mimo to gubić wątek pracy. Stan zadania obejmuje aktualny cel użytkownika, podjęte już decyzje, nadal dostępne opcje i kolejny krok. Gdy rozmowa obejmuje wiele etapów, krótkie podsumowanie może pokazać, jak system obecnie rozumie sytuację: „Zostały dwie opcje; wolisz krótki spacer; nie wybrałem jeszcze miejsca”. Dzięki temu użytkownik może skorygować zapis, zanim rozmowa będzie kontynuowana.

Wzorzec interakcji powinien odpowiadać złożoności zadania. W artykule Dinga i Chana na temat współtworzenia tekstu przez ludzi i AI rozróżniono kuratorowanie o ustalonym zakresie, niezależne zadania kreatywne oraz złożone, współzależne zadania kreatywne. Przyporządkowano im różne wzorce interakcji, od ograniczonej ingerencji po iteracyjną współpracę. Użyteczny wniosek projektowy jest taki, że odpowiedź w jednej turze może pasować do zwięzłego podsumowania o ograniczonym zakresie, natomiast rozwijające się zadanie kreatywne skorzysta na turach, które pokazują dostępne wybory i pozwalają użytkownikowi kształtować rezultat. Ding i Chan, „Mapping the Design Space of Interactions in Human-AI Text Co-creation Tasks”

Aby praktycznie sprawdzić stan zadania, prześledź przykładowe zadanie przez całą rozmowę. W każdej turze zapytaj, czy użytkownik potrafi stwierdzić, co zostało zrobione, co pozostaje nierozstrzygnięte i jak skorygować błędne założenie. Jeśli odpowiedź wymaga pamiętania kilku wcześniejszych tur, dodaj zwięzłe podsumowanie lub widoczną listę decyzji. Jeśli system nie potrafi niezawodnie zachować jakiejś informacji, jasno pokaż to ograniczenie, zamiast sugerować ciągłość, której nie zapewnia.

Kontrola oznacza zapewnienie użytkownikowi praktycznego sposobu na ukierunkowanie lub poprawienie interakcji. W czacie może to być tak proste, jak umożliwienie wyboru między opcjami, edycji wygenerowanej wersji roboczej, zmiany ograniczenia albo poproszenia systemu o zatrzymanie się i podsumowanie. Takie elementy sterujące są najcenniejsze wtedy, gdy wpływają na decyzję ważną dla użytkownika; menu zmian, które nie zmieniają niczego istotnego, dodaje złożoności, ale nie daje sprawczości.

W eksperymencie z udziałem agenta konwersacyjnego w dyskusjach grupowych porównano sposoby określania oczekiwań dotyczących jego zdolności do rozpoznawania uczestników, którzy niewiele wnieśli do rozmowy. Testowano informacje o trafności, wyjaśnienie metody wykrywania i wykorzystywanych danych oraz element sterujący pozwalający na zmianę ustawień. W tym konkretnym badaniu wyjaśnienie pomagało użytkownikom zrozumieć algorytm i okazało się ogólnie najskuteczniejsze; samo udostępnienie elementu sterującego prowadziło do bardziej negatywnej oceny doświadczenia dyskusji. Wynik ten przestrzega przed uznawaniem elementu sterującego za użyteczny tylko dlatego, że istnieje: wyjaśnij, co zmienia, i zadbaj o to, by jego skutki były zrozumiałe. Do i in., „Inform, Explain, or Control: Techniques to Adjust End-User Performance Expectations for a Conversational Agent Facilitating Group Chat Discussions”

Praktyczna sekwencja projektowania to: pokaż aktualną interpretację, zaproponuj kilka istotnych kolejnych działań i ułatw wprowadzanie poprawek. Na przykład po wygenerowaniu planu wyjścia system może zapytać, czy skrócić trasę, zamienić jedną z aktywności czy zachować wersję roboczą. Każda opcja wskazuje konkretną zmianę. To tylko przykład; ilustruje ogólny wzorzec interakcji, a nie funkcję konkretnego produktu.

Oceniając projekt czatu, prześledź jedno typowe zadanie od początku do końca. Sprawdź, czy pierwsza wymiana jasno określa rolę systemu; czy użytkownik potrafi odróżnić sugestię od wykonanego działania; czy rozmowa zachęca do eksperymentowania bez narzucania zabawowej persony; oraz czy prawidłowo przedstawia podjęte decyzje i nierozstrzygnięte kroki. Następnie sprawdź, czy użytkownik może skorygować system i zrozumieć skutki każdego dostępnego elementu sterującego.

Na koniec przejrzyj język i sposób prezentacji pod kątem sygnałów, które mogą sugerować ludzką tożsamość lub szczególną wiarygodność. Zastanów się, czy wypowiedzi w pierwszej osobie, głos, język emocjonalny lub awatar przypominający człowieka mogą wpływać na ocenę odpowiedzi przez użytkownika. Taki przegląd uzupełnia testy sprawdzające, czy interakcja jest zrozumiała i użyteczna, ale ich nie zastępuje. Lepszym miernikiem jakości projektu czatu jest to, czy dana osoba może realizować własne zadanie, jasno rozumiejąc wkład AI i kolejną decyzję, a nie to, czy rozmowa uchodzi za pogawędkę z człowiekiem.