Jak mierzyć przydatność krótkiej rozmowy z AI bez optymalizowania jej pod kątem długości sesji

Zanim wybierzesz miarę, opisz konkretne, codzienne zadanie w sposób, który da się zaobserwować. „Wymyślić kilka zabawnych nazw dla balkonowego ogródka z ziołami” łatwiej ocenić niż „odbyć angażującą rozmowę”. Pierwszy przykład daje recenzentom konkretne kryteria: czy system zaproponował nazwy pasujące do prośby i czy osoba mogła wybrać jedną z nich lub ją zmodyfikować?

Jest to zgodne z szerszą zasadą użyteczności: należy oceniać, czy określeni użytkownicy osiągają określone cele skutecznie, sprawnie i z zadowoleniem w danym kontekście. Definicja ISO traktuje te cechy jako powiązane, ale odrębne, dlatego żadna pojedyncza miara — w tym czas trwania — nie zastępuje wszystkich pozostałych. ISO 9241-11:2018, Ergonomia interakcji człowiek–system — Część 11: Użyteczność: definicje i pojęcia

W przypadku próśb twórczych określ ukończenie zadania jako uzyskanie przydatnego rezultatu, a nie jednej poprawnej odpowiedzi. Ktoś może zakończyć rozmowę z jednym wybranym pomysłem, krótką listą albo lepszym kierunkiem do kolejnej próby. Zapisz wcześniej, co wystarczy do wykonania zadania. Dzięki temu zespoły nie będą po cichu zmieniać definicji sukcesu na „użytkownik dalej rozmawiał”.

Praktyczną ocenę można zacząć od dwóch pytań: czy rozmowa doprowadziła do określonego rezultatu i czy odpowiedzi asystenta pasowały do prośby? Odpowiedzi na te pytania powinny pozostać odrębne. Odpowiedź może być trafna, ale nie pozostawić osobie żadnej użytecznej opcji; ktoś może też ukończyć zadanie, ignorując rozpraszającą lub ogólnikową odpowiedź.

Ukończenie zadania to popularna i prosta miara, ale sprowadza rezultaty do odpowiedzi „tak” albo „nie” i nie wyjaśnia, dlaczego komuś się nie powiodło ani jak dobrze poszło ukończone zadanie. Połącz ją z krótką oceną rozmowy lub bezpośrednią opinią użytkownika. Nielsen Norman Group, „Wskaźnik sukcesu: najprostsza miara użyteczności”

Badania nad dialogiem wspierają bardziej szczegółowe podejście. W jednym z badań dialogów zorientowanych na zadania oznaczano trafność, interesujący charakter, zrozumienie, ukończenie zadania i sprawność zarówno na poziomie pojedynczych wypowiedzi, jak i całej rozmowy. Wykazano, że jedna ogólna ocena może pomijać przydatne rozróżnienia, a poziom zadowolenia różnił się między oceniającymi i dialogami. Wyniki te nie stanowią uniwersalnego wzoru oceny, ale dostarczają uzasadnionego zestawu wymiarów, które można dostosować do zadania twórczego. Siro, Aliannejadi i de Rijke, „Zrozumienie zadowolenia użytkowników z systemów dialogowych zorientowanych na zadania”

Sprawdź, czy każda odpowiedź odnosi się do najnowszej prośby i uwzględnia istotny kontekst wcześniejszych wypowiedzi. Jeśli na przykład osoba powie „niech będą mniej formalne”, przydatna kolejna odpowiedź powinna odpowiednio zmienić propozycje. Odnotuj możliwe do uniknięcia powtórzenia, pominięte ograniczenia lub prośby o doprecyzowanie, które nie pomagają posunąć zadania naprzód.

Badanie inteligentnych asystentów wykazało, że zadowolenie zależało od scenariusza: w niektórych zadaniach duże znaczenie miało ich ukończenie, a w innych — wysiłek. Zwrócono też uwagę, że zachowanie kontekstu rozmowy było istotne i że ogólnego zadowolenia z zadania nie da się sprowadzić do zadowolenia z poszczególnych zapytań. W praktyce oznacza to, że należy sprawdzać zarówno konkretne odpowiedzi, jak i całą rozmowę, interpretując każdą z nich w odniesieniu do zadania. Microsoft Research, „Zrozumienie zadowolenia użytkowników z inteligentnych asystentów”

W przypadku rozmowy twórczej krótka ocena przeprowadzona przez człowieka może oznaczać odpowiedzi jako trafne, częściowo trafne lub nie na temat oraz odnotowywać, czy asystent uwzględniał poprawki. To proponowana metoda oceny, a nie sprawdzony wzorzec. Jeśli etykiety przypisuje automatyczny klasyfikator, ręcznie sprawdź próbki: schludny wynik nadal może nie wychwycić propozycji, która technicznie pasuje do polecenia, ale nie daje osobie niczego użytecznego.

Kontrola użytkownika przejawia się w drobnych momentach: osoba może zawęzić prośbę, poprosić o inny styl, skorygować nieporozumienie lub zakończyć rozmowę, gdy uzyska wystarczający wynik. Przejrzyj transkrypcje i sprawdź, czy system reagował na wskazówki, zamiast uparcie prowadzić rozmowę w obranym przez siebie kierunku. Jeśli interfejs oferuje opcje zatrzymania, edycji, ponownego wygenerowania lub usunięcia odpowiedzi, sprawdź, czy działają zgodnie z oczekiwaniami użytkowników.

W badaniach nad agentami konwersacyjnymi autonomię opisywano między innymi jako kontrolę nad rozmową, pytaniami i odpowiedziami. Uzasadnia to traktowanie kontroli jako cechy wymagającej oceny, ale nie wyznacza jednej uniwersalnej miary produktowej. Yang i Aurisicchio, „Projektowanie agentów konwersacyjnych: podejście oparte na teorii autodeterminacji”

Proste pytanie do użytkownika może pomóc zmierzyć kontrolę: „Czy udało Ci się doprowadzić rozmowę do takiego wyniku, jakiego chciałeś/chciałaś?”. Zadaj je po rozmowie, obok pytania o ukończenie zadania. We wszystkich sesjach stosuj te same warianty odpowiedzi i umożliw krótkie wyjaśnienie. Niska ocena to sygnał, by przyjrzeć się rozmowie, a nie dowód na konkretną przyczynę.

Dobrym momentem na zakończenie jest chwila, gdy osoba ma już to, czego potrzebuje, i może odejść bez kolejnej podpowiedzi ze strony systemu. W przypadku ogródka ziołowego może to być moment, w którym wybierze nazwę. Rozmowa zakończona wtedy może być przydatniejsza od rozmowy przedłużanej ogólnikowymi pytaniami uzupełniającymi. To zasada pomiaru wyciągnięta z samego zadania: jeśli cel został osiągnięty, dodatkowe wypowiedzi nie zwiększają automatycznie wartości rozmowy.

Śledź, czy zadanie wydaje się ukończone i czy osoba zdecydowała się kontynuować, ale interpretuj te zdarzenia w kontekście. Kolejna wypowiedź może wynikać z ciekawości, potrzeby naniesienia poprawki lub niepełnej odpowiedzi. Ciche wyjście może oznaczać zadowolenie, rozproszenie albo rozczarowanie. Sama długość rozmowy nie pozwala rozróżnić tych wyjaśnień. Aby je zbadać, przeglądaj wybrane transkrypcje lub zbieraj krótkie opinie użytkowników.

Czas trwania może pomóc odpowiedzieć na pytania operacyjne, na przykład czy dany proces zwykle wymaga wielu wypowiedzi. Nadal jest to miara czasu aktywności, a nie bezpośredni dowód na przydatność odpowiedzi. Google Analytics definiuje na przykład czas zaangażowania jako czas trwania zaangażowania użytkownika powiązanego ze zdarzeniami; w wytycznych dla programistów ostrzega też, że sztuczne wydłużanie sesji zniekształca dane o zachowaniu. Są to definicje analityczne i przestrogi dotyczące implementacji, a nie miara jakości rozmów twórczych. Google Analytics, „Dokumentacja protokołu pomiarowego” oraz Google Analytics, „Pomiar sesji i zaangażowania użytkowników”

Porównuj czas tylko wśród podobnych zadań i razem z ukończeniem zadania, trafnością, kontrolą użytkownika oraz wyraźnym zakończeniem. Krótszy medianowy czas trwania może oznaczać bardziej bezpośrednią odpowiedź, ale może też wynikać z rezygnacji użytkowników. Dłuższy czas może świadczyć o owocnym dopracowywaniu wyniku albo o niepotrzebnych utrudnieniach. Potwierdzenia trzeba szukać w rezultacie zadania i doświadczeniach użytkowników, a nie wyłącznie w zegarze.

W niewielkim badaniu zleć uczestnikom jedno jasno sformułowane zadanie twórcze, pozwól im swobodnie korzystać z czatu i zapisuj, czy osiągnęli określony przez siebie rezultat. Oceń próbkę rozmów pod kątem trafności, uwzględniania kontekstu oraz możliwości pokierowania rozmową lub jej zakończenia. Po każdym zadaniu zapytaj, czy uzyskali przydatny wynik i czy mieli poczucie, że mogą kierować rozmową. Zapisz czas trwania jako kontekst, a następnie przyjrzyj się przypadkom, w których czas rozmowy nie zgadza się z deklarowaną przydatnością.

Raportuj miary osobno, zamiast łączyć je w jeden wynik „zaangażowania”. Opisz zadanie, sposób oceny jego ukończenia, osoby oceniające odpowiedzi i metodę zbierania opinii użytkowników. Jeśli próba jest mała lub definicja zadania subiektywna, przedstaw wyniki jako wstępne wskazówki, a nie uogólniaj ich na wszystkich użytkowników i każde zadanie twórcze.

Krótka rozmowa ma znaczenie, gdy prowadzi osobę od konkretnej prośby do przydatnego rezultatu, pozostawiając jej kontrolę nad przebiegiem i momentem zakończenia. Mierz te wyniki bezpośrednio. Traktuj długość sesji jako wskazówkę pomagającą opisać doświadczenie, ale nie pozwól, by definiowała sukces.