Så mäter du en användbar kort AI-chatt utan att optimera för sessionens längd

Innan du väljer ett mått kan du beskriva en vanlig uppgift i observerbara termer. ”Få några lekfulla namn till en balkongodling med örter” är lättare att bedöma än ”ha en engagerande konversation”. Det första ger granskarna något konkret att leta efter: föreslog systemet namn som passade önskemålet, och kunde personen välja eller anpassa ett av dem?

Detta följer en bredare användbarhetsprincip: bedöm om angivna användare uppnår angivna mål effektivt, ändamålsenligt och med tillfredsställelse i ett visst sammanhang. ISO:s definition behandlar dessa som närbesläktade men åtskilda egenskaper, så inget enskilt mått – inte heller tidsåtgång – kan representera dem alla. ISO 9241-11:2018, Ergonomi för interaktion mellan människa och system — Del 11: Användbarhet: definitioner och begrepp

För kreativa önskemål kan du definiera slutförande som ett användbart resultat snarare än ett enda rätt svar. Personen kanske går därifrån med en vald idé, en kortlista eller en bättre riktning för nästa försök. Skriv i förväg ned vad som räcker för uppgiften. Då undviker team att i tysthet omdefiniera framgång till att ”användaren fortsatte chatta”.

En praktisk granskning kan börja med två frågor: nådde utbytet det angivna målet, och passade assistentens svar önskemålet? Håll svaren åtskilda. Ett svar kan vara relevant men ändå inte ge personen något användbart att välja mellan; personen kan också slutföra en uppgift efter att ha ignorerat ett distraherande eller generiskt svar.

Uppgiftsslutförande är ett vanligt och enkelt mått, men det pressar ihop resultaten till ett ja eller nej och förklarar inte varför någon misslyckades eller hur väl en slutförd uppgift gick. Kombinera det med en kort granskning av konversationen eller ett direkt betyg från användaren. Nielsen Norman Group, ”Framgångsgrad: det enklaste användbarhetsmåttet”

Dialogforskning stöder denna mer detaljerade syn. I en studie av uppgiftsorienterad dialog märktes relevans, intresse, förståelse, uppgiftsslutförande och effektivitet på både tur- och konversationsnivå. Studien visade att ett enda helhetsbetyg kan missa användbara skillnader och att nöjdheten varierade mellan bedömare och dialoger. Resultaten utgör ingen universell bedömningsformel, men ger en välgrundad uppsättning dimensioner att anpassa till en kreativ uppgift. Siro, Aliannejadi och de Rijke, ”Förstå användarnöjdhet med uppgiftsorienterade dialogsystem”

Granska om varje svar bemöter den senaste begäran och använder relevant sammanhang från tidigare turer. Om personen till exempel säger ”gör dem mindre formella” bör nästa användbara svar ändra förslagen därefter. Räkna undvikbara upprepningar, missade begränsningar eller frågor om förtydliganden som inte hjälper uppgiften framåt.

En studie av intelligenta assistenter visade att nöjdheten varierade mellan olika scenarier: uppgiftsslutförande var särskilt viktigt för vissa uppgifter, medan arbetsinsatsen var viktigare för andra. Studien rapporterade också att det var viktigt att bevara samtalets sammanhang och att den övergripande nöjdheten med uppgiften inte kunde reduceras till nöjdheten med enskilda frågor. I praktiken innebär det att granska både enskilda svar och hela utbytet, och att tolka vart och ett utifrån uppgiften. Microsoft Research, ”Förstå användarnöjdhet med intelligenta assistenter”

Vid ett kreativt utbyte kan en kort mänsklig granskning märka svar som relevanta, delvis relevanta eller irrelevanta och notera om assistenten följde korrigeringar. Dessa etiketter är en föreslagen granskningsmetod, inte ett validerat riktmärke. Om en automatisk klassificerare sätter etiketterna bör du kontrollera stickprov manuellt: ett prydligt betyg kan ändå missa ett förslag som tekniskt sett matchar prompten men inte ger personen något användbart.

Användarkontroll märks i små ögonblick: personen kan precisera önskemålet, be om en annan stil, rätta ett missförstånd eller sluta när hen fått tillräckligt. Granska transkriptioner för att se om systemet följde personens instruktioner i stället för att gång på gång driva sin egen linje i samtalet. Om gränssnittet har kontroller för att stoppa, redigera, skapa ett nytt svar eller rensa ett svar bör du testa om de fungerar som människor förväntar sig.

Forskning om konversationsagenter har beskrivit autonomi i termer som omfattar kontroll över samtalet, frågorna och svaren. Det stöder att kontroll granskas som en kvalitetsaspekt, även om forskningen inte fastställer ett universellt produktmått för den. Yang och Aurisicchio, ”Utforma konversationsagenter: ett angreppssätt utifrån självbestämmandeteorin”

En enkel fråga till användaren kan göra kontroll mätbar: ”Kunde du få samtalet att leda till den typ av resultat du ville ha?” Ställ den efter utbytet, tillsammans med en fråga om uppgiftsslutförande. Använd samma svarsalternativ i alla sessioner och ge utrymme för en kort förklaring. Ett lågt betyg är en signal om att granska konversationen, inte ett bevis på en viss orsak.

Ett bra slut är när personen har det hen behöver och kan lämna utan ytterligare en uppmaning från systemet. I exemplet med örtodlingen kan det vara när personen har valt ett namn. En konversation som slutar där kan vara mer användbar än en som förlängs med generiska följdfrågor. Detta är en mätprincip som följer av uppgiften: om målet är uppnått ger extra turer inte automatiskt mer värde.

Följ upp om uppgiften verkar vara slutförd och om personen valde att fortsätta, men tolka händelserna i sitt sammanhang. En följdtur kan bero på nyfikenhet, ett nödvändigt förtydligande eller ett ofullständigt svar. En tyst utgång kan betyda att personen är nöjd, distraherad eller besviken. Enbart konversationens längd kan inte skilja mellan dessa förklaringar. Undersök dem genom att granska ett urval av transkriptioner eller samla in kort återkoppling från användare.

Tidsåtgång kan hjälpa till att besvara operativa frågor, till exempel om ett visst flöde regelmässigt kräver många turer. Den mäter ändå förfluten aktivitet, inte direkt om ett svar var användbart. Google Analytics definierar till exempel engagemangstid som hur länge användaren är engagerad i samband med händelser. Dokumentationen för utvecklare varnar också för att artificiellt förlängda sessioner förvränger beteendedata. Detta är analysdefinitioner och implementeringsråd, inte ett kvalitetsmått för kreativ chatt. Google Analytics, ”Referens för Measurement Protocol” och Google Analytics, ”Mäta sessioner och användarengagemang”

Jämför tidsåtgång bara mellan liknande uppgifter och tillsammans med uppgiftsslutförande, relevans, användarkontroll och ett tydligt avslut. En kortare mediantid kan bero på ett mer direkt svar, men också på att användarna ger upp. En längre tidsåtgång kan betyda produktiv bearbetning – eller onödigt krångel. Stödet måste komma från resultatet av uppgiften och vad personerna upplevde, inte bara från klockan.

I en mindre studie kan du ge deltagarna en tydligt formulerad kreativ uppgift, låta dem använda chatten på sitt vanliga sätt och registrera om de nådde det resultat de själva definierade. Granska ett urval av utbyten för relevans, hur väl sammanhanget följdes och möjligheter att styra eller avsluta. Efter varje uppgift frågar du om de fick ett användbart resultat och kände att de kunde styra samtalet. Registrera tidsåtgången som sammanhang och granska sedan de fall där tidsåtgång och upplevd användbarhet skiljer sig åt.

Redovisa måtten separat i stället för att slå ihop dem till ett enda ”engagemangsbetyg”. Ange uppgiften, hur slutförande bedömdes, vem som granskade svaren och hur återkoppling från användare samlades in. Om urvalet är litet eller uppgiftsdefinitionen subjektiv bör du beskriva resultaten som vägledande, snarare än att generalisera dem till alla användare eller kreativa önskemål.

Ett kort utbyte är värdefullt när det tar personen från ett specifikt önskemål till ett resultat som går att använda, samtidigt som personen kan styra vägen dit och själv välja när samtalet ska avslutas. Mät resultaten direkt. Låt sessionens längd hjälpa dig att förstå upplevelsen, men låt den inte definiera framgång.