Hoe je een nuttige korte AI-chat meet zonder de sessieduur te optimaliseren

Benoem vóór je een meetwaarde kiest één alledaagse taak in waarneembare termen. ‘Een paar speelse namen bedenken voor een kruidentuin op het balkon’ is makkelijker te beoordelen dan ‘een boeiend gesprek voeren’. Bij de eerste taak weten beoordelaars waar ze op moeten letten: stelde het systeem namen voor die bij het verzoek pasten, en kon de persoon er een kiezen of aanpassen?

Dit sluit aan bij een breder bruikbaarheidsprincipe: beoordeel of bepaalde gebruikers in een bepaalde context bepaalde doelen effectief, efficiënt en naar tevredenheid bereiken. De ISO-definitie beschouwt dit als samenhangende, maar afzonderlijke eigenschappen. Daarom kan geen enkele maatstaf — ook de duur niet — voor al die eigenschappen tegelijk staan. ISO 9241-11:2018, Ergonomie van mens-systeeminteractie — Deel 11: Bruikbaarheid: definities en concepten

Definieer bij creatieve verzoeken de voltooiing als een nuttig resultaat, niet als één juist antwoord. Iemand kan vertrekken met één gekozen idee, een shortlist of een betere richting voor een volgende poging. Leg vooraf vast wat voor de taak als voldoende geldt. Zo voorkom je dat teams succes ongemerkt gaan definiëren als ‘de gebruiker bleef chatten’.

Een praktische beoordeling kan beginnen met twee vragen: heeft de uitwisseling het genoemde resultaat opgeleverd, en sloten de antwoorden van de assistent aan bij het verzoek? Houd de antwoorden gescheiden. Een antwoord kan relevant zijn, maar de persoon toch geen bruikbare keuze bieden; iemand kan een taak ook voltooien nadat die een afleidend of algemeen antwoord heeft genegeerd.

Taakvoltooiing is een gangbare, eenvoudige maatstaf, maar reduceert resultaten tot ja of nee en verklaart niet waarom iemand faalde of hoe goed een voltooide taak verliep. Combineer deze maatstaf met een korte beoordeling van het gesprek of een rechtstreekse beoordeling door de gebruiker. Nielsen Norman Group, ‘Success Rate: The Simplest Usability Metric’

Onderzoek naar dialoogsystemen ondersteunt deze uitgebreidere kijk. In een studie naar taakgerichte dialogen werden relevantie, interessantheid, begrip, taakvoltooiing en efficiëntie op beurt- en gespreksniveau geannoteerd. De studie liet zien dat één algemene beoordeling nuttige verschillen kan missen en dat de tevredenheid tussen beoordelaars en dialogen varieerde. Deze bevindingen vormen geen universele beoordelingsformule, maar bieden wel een onderbouwde reeks dimensies die je kunt aanpassen aan een creatieve taak. Siro, Aliannejadi en de Rijke, ‘Understanding User Satisfaction with Task-oriented Dialogue Systems’

Beoordeel of elk antwoord ingaat op het meest recente verzoek en relevante context uit eerdere beurten gebruikt. Als de persoon bijvoorbeeld zegt ‘maak die minder formeel’, moet een nuttig volgend antwoord de suggesties daarop aanpassen. Noteer vermijdbare herhaling, gemiste randvoorwaarden of verduidelijkingsvragen die de taak niet verder helpen.

Uit een studie naar intelligente assistenten bleek dat de tevredenheid per scenario verschilde: in sommige taken woog taakvoltooiing zwaar, in andere de inspanning. De studie meldde ook dat het belangrijk was de gesprekscontext te behouden en dat de algemene tevredenheid over een taak niet kon worden teruggebracht tot tevredenheid over afzonderlijke vragen. De praktische les is om zowel specifieke antwoorden als het hele gesprek te bekijken en elk antwoord te beoordelen in het licht van de taak. Microsoft Research, ‘Understanding User Satisfaction with Intelligent Assistants’

Bij een creatieve uitwisseling kan een korte menselijke beoordeling antwoorden labelen als relevant, deels relevant of niet ter zake, en noteren of de assistent correcties opvolgde. Dit zijn voorgestelde beoordelingslabels, geen gevalideerde benchmark. Als een geautomatiseerde classifier de labels toekent, controleer dan handmatig steekproeven: een nette score kan nog steeds een suggestie missen die technisch gezien bij de prompt past, maar waar de persoon niets mee kan.

Je ziet de controle van de gebruiker terug in kleine momenten: de persoon kan het verzoek aanscherpen, om een andere stijl vragen, een misverstand corrigeren of stoppen zodra die genoeg heeft. Controleer transcripties om te zien of het systeem op aanwijzingen reageerde in plaats van telkens zijn eigen gesprekslijn te volgen. Als de interface knoppen biedt om een antwoord te stoppen, bewerken, opnieuw te genereren of te wissen, test dan of die acties zich gedragen zoals mensen verwachten.

In onderzoek naar conversatieagenten is autonomie onder meer beschreven als controle over het gesprek, de vragen en de antwoorden. Dit ondersteunt het beoordelen van controle als een kwaliteit, maar stelt er geen universele productmaatstaf voor vast. Yang en Aurisicchio, ‘Designing Conversational Agents: A Self-Determination Theory Approach’

Met een korte vraag aan de gebruiker kun je controle meetbaar maken: ‘Kon je het gesprek sturen naar het soort resultaat dat je wilde?’ Stel die vraag na de uitwisseling, naast een vraag over taakvoltooiing. Houd de antwoordopties in alle sessies gelijk en geef ruimte voor een korte toelichting. Een lage score is een reden om het gesprek nader te bekijken, geen bewijs voor een specifieke oorzaak.

Een goed eindpunt is bereikt wanneer de persoon heeft wat die nodig heeft en kan vertrekken zonder nog een prompt van het systeem. In het voorbeeld van de kruidentuin kan dat het moment zijn waarop die een naam kiest. Een gesprek dat daar eindigt, kan nuttiger zijn dan een gesprek dat langer duurt door algemene vervolgvragen. Dit is een meetprincipe dat uit de taak wordt afgeleid: als het doel is bereikt, leveren extra beurten niet automatisch meer waarde op.

Houd bij of de taak voltooid lijkt en of de persoon ervoor kiest om door te gaan, maar interpreteer die gebeurtenissen in hun context. Een extra beurt kan voortkomen uit nieuwsgierigheid, een noodzakelijke correctie of een onvolledig antwoord. Een stil vertrek kan betekenen dat de persoon tevreden is, afgeleid werd of teleurgesteld is. Alleen de gesprekslengte kan deze verklaringen niet van elkaar onderscheiden; gebruik beoordelingen van steekproeven uit transcripties of korte feedback van gebruikers om dit te onderzoeken.

De duur kan helpen bij operationele vragen, bijvoorbeeld of een bepaalde flow doorgaans veel beurten vereist. Toch meet de duur verstreken activiteit, geen rechtstreeks bewijs dat een antwoord nuttig was. Google Analytics definieert betrokkenheidstijd bijvoorbeeld als de duur van gebruikersbetrokkenheid die bij gebeurtenissen hoort; de ontwikkelaarsrichtlijnen waarschuwen ook dat sessies kunstmatig verlengen gedragsgegevens vertekent. Dit zijn definities en implementatiewaarschuwingen voor analytics, geen kwaliteitsmaatstaf voor creatieve chats. Google Analytics, ‘Measurement Protocol reference’ en Google Analytics, ‘Measure sessions and user engagement’

Vergelijk de tijd alleen bij vergelijkbare taken en naast taakvoltooiing, relevantie, controle door de gebruiker en een duidelijk eindpunt. Een kortere mediane duur kan wijzen op een directer antwoord, maar ook op gebruikers die afhaken. Een langere duur kan duiden op productieve iteratie of onnodige frictie. Ondersteunend bewijs moet komen uit het taakresultaat en de ervaringen van mensen, niet alleen van de klok.

Geef deelnemers voor een klein onderzoek één duidelijk geformuleerde creatieve taak, laat ze de chat op natuurlijke wijze gebruiken en registreer of ze het resultaat bereikten dat ze zelf hadden bepaald. Beoordeel een steekproef van gesprekken op relevantie, het volgen van context en mogelijkheden om bij te sturen of te stoppen. Vraag na elke taak of ze een nuttig resultaat kregen en het gevoel hadden het gesprek te kunnen sturen. Noteer de duur als context en bekijk vervolgens de gevallen waarin de duur en de gerapporteerde bruikbaarheid niet overeenkomen.

Rapporteer de meetwaarden afzonderlijk in plaats van ze samen te voegen tot één score voor ‘betrokkenheid’. Vermeld de taak, hoe de voltooiing is beoordeeld, wie de antwoorden heeft nagekeken en hoe de feedback van gebruikers is verzameld. Als de steekproef klein is of de taakdefinitie subjectief, beschrijf de bevindingen dan als indicatief en generaliseer ze niet naar alle gebruikers of creatieve verzoeken.

Een korte uitwisseling is waardevol wanneer ze iemand van een specifiek verzoek naar een bruikbaar resultaat brengt, terwijl die persoon de route en het eindpunt zelf kan bepalen. Meet die resultaten rechtstreeks. Gebruik de sessieduur om de ervaring toe te lichten, maar laat die niet bepalen wat succes is.