Meer dan menselijk klinken: vier betere doelen voor het ontwerpen van AI-chat

Een gesprek kan vloeiend klinken zonder de gebruiker een betrouwbaar beeld van het systeem te geven. In een experiment met 2.165 deelnemers varieerden onderzoekers of een pseudotaalmodel alleen tekst gebruikte of spraak met tekst, en of het naar zichzelf verwees als ‘ik’ of als ‘het systeem’. Spraak plus tekst verhoogde de beoordelingen van deelnemers voor antropomorfisme en informatieaccuraatheid; formuleringen in de eerste persoon verhoogden de accuraatheidsbeoordelingen en verlaagden in één context het waargenomen risico. Deze bevindingen zijn specifiek voor de opzet van het onderzoek, maar laten zien dat een signaal waardoor een systeem menselijker lijkt ook invloed kan hebben op het oordeel over de informatie ervan. Google Research, ‘Believing Anthropomorphism: Examining the Role of Anthropomorphic Cues on User Trust in Large Language Models’

Daarom verdienen antropomorfe signalen en de kwaliteit van de interactie afzonderlijke evaluaties. Bij een evaluatie van antropomorfe signalen wordt nagegaan wat de interface suggereert over de identiteit of menselijke eigenschappen van de AI. Bij een evaluatie van beoordelingsrisico’s wordt nagegaan of een signaal gebruikers ertoe kan brengen de accuraatheid of betrouwbaarheid van de uitvoer te overschatten. De onderstaande ontwerpdoelen gaan over een andere vraag: wat moet iemand tijdens de uitwisseling kunnen begrijpen, doen en beslissen? Een warme toon kan samengaan met deze doelen, mits die de mogelijkheden of taakstatus van het systeem niet verhult.

Microsofts Human-AI eXperience Toolkit ordent richtlijnen rond hoe een AI-systeem zich gedraagt bij het eerste gebruik, tijdens interactie, wanneer het een fout maakt en na verloop van tijd. Die structuur is nuttig voor chatontwerp omdat de aandacht verschuift van de persoonlijkheid van een personage naar de veranderende behoeften van degene die het systeem gebruikt. Microsoft, ‘Guidelines for Human-AI Interaction’

Duidelijkheid begint bij de taak van de gebruiker, niet bij een perfect conversatiestemgeluid. Iemand die drie ideeën voor weekendactiviteiten vraagt, heeft opties nodig die te vergelijken zijn; iemand die om een herschrijving vraagt, heeft een concept nodig dat kan worden aangepast. De interface moet het gevraagde handelen en het gegeven resultaat makkelijk van elkaar te onderscheiden maken. Als de AI materiaal voorstelt, samenvat of bewerkt, label die bijdrage dan duidelijk en behoud voldoende context zodat de gebruiker erover kan oordelen.

Een nuttige interactie kan ook duidelijk maken wat de AI wel en niet kan op het moment dat die informatie ertoe doet. Als een chatassistent bijvoorbeeld een plan kan voorstellen maar geen boeking kan maken, mag het antwoord onduidelijkheid over de actie niet laten bestaan. Geef aan wat klaarstaat, waarvoor de gebruiker nog iets moet doen en welke details onzeker blijven. Dit is een ontwerpaanbeveling die is afgeleid van HAX’ nadruk op passend gedrag gedurende een interactie, geen bewering dat één formulering in elk product werkt.

Een eenvoudige duidelijkheidscontrole is om iemand na een kort gesprek te vragen: Wat vroeg je het systeem te doen? Wat heeft het daadwerkelijk gedaan? Wat moet je controleren of beslissen voordat je het resultaat gebruikt? Als de antwoorden afwijken van wat de interface bedoelt, pas dan de formulering, structuur of aanwijzingen voor de volgende stap aan voordat je meer persoonlijkheid toevoegt.

Speelsheid biedt mensen een manier om een hulpmiddel en de mogelijkheden ervan te verkennen. In een onderzoek naar 372 door gebruikers gemaakte berichten over ChatGPT identificeerden onderzoekers speelse uitwisselingen met grappen, uitdagingen aan het systeem en het testen van de grenzen ervan. De auteurs beschrijven deze interacties als een manier waarop mensen de mogelijkheden en handelingsruimte van AI verkennen, en merken op dat de steekproef berichten weerspiegelt uit een vroege periode van ChatGPT-gebruik. Nikghalb en Cheng, ‘Interrogating AI: Characterizing Emergent Playful Interactions with ChatGPT’

Voor ontwerpers betekent dit in de praktijk niet dat elke assistent een komiek moet worden. Het betekent dat experimenteren zonder veel risico makkelijk moet zijn: bied manieren om een andere invalshoek te proberen, alternatieven te vergelijken of een concept aan te passen zonder de eerdere versie kwijt te raken. Een korte creatieve aanwijzing zoals ‘Geef me drie onverwachte thema’s’ kan uitnodigen tot verkenning en tegelijk het doel van de gebruiker in beeld houden. Speelsheid moet een beschikbare modus zijn, geen optreden dat de gebruiker moet ondergaan.

Onderzoek naar speelse tools voor mens-AI-creatie onderscheidt speelsheid van creativiteit, maar beschrijft spel wel als iets dat creatieve reacties kan bevorderen. Het bespreekt de interface, het AI-gedrag en de dialoog als ontwerpmogelijkheden, en ziet speelsheid als een ervaring die ondersteund kan worden, niet als een gegarandeerd resultaat. Liapis et al., ‘Designing for Playfulness in Human-AI Authoring Tools’

Een chatinterface kan natuurlijk aanvoelen en toch het overzicht over het werk verliezen. De taakstatus omvat het huidige doel van de gebruiker, al genomen beslissingen, openstaande opties en de volgende stap. Wanneer de uitwisseling uit meerdere stappen bestaat, kan een beknopte samenvatting laten zien hoe het systeem de situatie op dat moment begrijpt: ‘Je hebt nog twee opties; je geeft de voorkeur aan een korte wandeling; ik heb nog geen locatie gekozen.’ Zo kan de gebruiker de weergave corrigeren voordat het gesprek verdergaat.

Het interactiepatroon moet passen bij de complexiteit van de taak. In hun artikel over tekstcreatie door mens en AI onderscheiden Ding en Chan curatie met een vaste scope, onafhankelijke creatieve taken en complexe, onderling afhankelijke creatieve taken. Ze koppelen die aan verschillende interactiepatronen, van beperkte tussenkomst tot iteratieve samenwerking. Een nuttige ontwerpconclusie is dat een antwoord in één beurt geschikt kan zijn voor een afgebakende samenvatting, terwijl een creatieve taak in ontwikkeling baat heeft bij beurten die keuzes zichtbaar maken en de gebruiker het resultaat laten vormgeven. Ding en Chan, ‘Mapping the Design Space of Interactions in Human-AI Text Co-creation Tasks’

Volg voor een praktische statuscontrole een representatieve taak door het gesprek heen. Vraag bij elke beurt of de gebruiker kan zien wat is afgerond, wat nog niet is opgelost en hoe een verkeerde aanname kan worden gecorrigeerd. Als het antwoord afhangt van het onthouden van meerdere eerdere beurten, voeg dan een beknopte samenvatting of een zichtbare lijst met beslissingen toe. Als het systeem een detail niet betrouwbaar kan onthouden, maak die beperking dan duidelijk in plaats van continuïteit te suggereren die er niet is.

Controle betekent dat iemand een bruikbare manier krijgt om de interactie te sturen of aan te passen. In chat kan dat zo eenvoudig zijn als iemand laten kiezen uit opties, een gegenereerd concept laten bewerken, een randvoorwaarde laten wijzigen of het systeem vragen te stoppen en samen te vatten. Deze mogelijkheden zijn het waardevolst wanneer ze invloed hebben op een beslissing die de gebruiker belangrijk vindt; een menu met aanpassingen die niets wezenlijks veranderen, voegt complexiteit toe zonder regie te geven.

In een experiment met een gespreksagent tijdens groepsdiscussies werden manieren vergeleken om verwachtingen te scheppen over diens vermogen om deelnemers te herkennen die weinig bijdroegen. Het onderzoek testte informatie over accuraatheid, een uitleg van de detectiemethode en de gebruikte gegevens, en een instelbediening. In dat specifieke onderzoek hielp de uitleg gebruikers het algoritme te begrijpen en werkte die over het geheel genomen het best; alleen een instelbediening aanbieden leidde tot een negatievere ervaring van de discussie. Dit resultaat waarschuwt ervoor een bediening niet zomaar nuttig te noemen omdat die bestaat: leg uit wat er verandert en maak de gevolgen begrijpelijk. Do et al., ‘Inform, Explain, or Control: Techniques to Adjust End-User Performance Expectations for a Conversational Agent Facilitating Group Chat Discussions’

Een praktische ontwerpvolgorde is: toon de huidige interpretatie, bied een klein aantal betekenisvolle vervolgstappen aan en maak correcties eenvoudig. Na het genereren van een plan voor een uitstapje kan het systeem bijvoorbeeld vragen of de gebruiker de route wil inkorten, een activiteit wil vervangen of het concept wil behouden. Elke optie noemt een concrete wijziging. Het voorbeeld is ter illustratie; het beschrijft een algemeen interactiepatroon, geen functie van een specifiek product.

Beoordeel bij het evalueren van een chatontwerp één gewone taak van begin tot eind. Controleer of de eerste uitwisseling duidelijk maakt wat de rol van het systeem is; of de gebruiker een suggestie kan onderscheiden van een uitgevoerde actie; of een verkennende beurt uitnodigt tot experimenteren zonder een speelse persoonlijkheid op te dringen; en of het gesprek beslissingen en onopgeloste stappen correct weergeeft. Controleer vervolgens of de gebruiker het systeem kan corrigeren en de gevolgen van elke beschikbare bediening begrijpt.

Bekijk tot slot de taal en presentatie op signalen die kunnen wijzen op een menselijke identiteit of bijzondere betrouwbaarheid. Ga na of uitspraken in de eerste persoon, stem, emotionele taal of een mensachtige avatar het oordeel van een gebruiker over een antwoord kunnen beïnvloeden. Die controle vult tests aan om na te gaan of de interactie begrijpelijk en nuttig is, maar vervangt ze niet. Een betere maatstaf voor een chatontwerp is of iemand zijn eigen taak kan uitvoeren met een duidelijk beeld van de bijdrage van de AI en de volgende keuze, niet of de uitwisseling doorgaat voor een gesprek met een mens.