Hoe bewerk je een lang chatbotantwoord dat de kern mist?

Een antwoord is relevant wanneer de lezer het hoofdidee kan verbinden met wat die heeft gevraagd. De lengte alleen zegt niet of het antwoord slaagt: een uitgebreide uitleg kan precies goed zijn voor een vraag waarvoor stappen, voorwaarden of vergelijkingen nodig zijn. De nuttige diagnostische vraag is of het antwoord vroeg ingaat op de specifieke taak van de gebruiker en of het resterende materiaal helpt om die taak uit te voeren.

Dit is een redactionele methode, geen checklist die door de hieronder genoemde onderzoeken is gevalideerd. Onderzoek naar relevantie in gespreksreacties kan helpen het probleem te kaderen, maar toont niet aan dat deze specifieke controle in drie rondes antwoorden verbetert.

Zo onderzoekt het COLING 2016-artikel van Wu, Wang en Xue contextbewuste rangschikking van kandidaat-chatbotreacties op basis van gespreksgegevens van sociale media. Het NAACL 2019-artikel van See en collega’s onderzoekt hoe relevant reacties zijn, naast andere instelbare kenmerken zoals herhaling, specificiteit en het stellen van vragen, in menselijke beoordelingen van PersonaChat-gesprekken. Dit zijn onderzoeken naar computationele rangschikking van reacties en gegenereerde losse gesprekjes; geen van beide test de bewerkingsprocedure in dit artikel of beoordeelt rechtstreeks lange antwoorden in de stijl van klantenondersteuning. Gebruik ze als context voor waarom verwantschap ertoe doet, niet als bewijs dat een bepaalde bewerking werkt.

Lees het bericht van de gebruiker en beschrijf de taak in één eenvoudige zin. Wees specifiek genoeg om te kunnen beoordelen of het antwoord de taak heeft uitgevoerd. Een vraag als ‘Welke compacte schetsuitrusting kan ik meenemen in de trein?’ kan bijvoorbeeld worden: ‘Stel een compacte uitrusting voor om in de trein te schetsen.’

Scheid de taak van terloopse formuleringen. Een gebruiker kan vermelden dat die een klein tafeltje heeft, een kleine tas meeneemt of liever potloden dan pennen gebruikt. Die details kunnen beperkingen aan het antwoord opleggen, maar zijn geen afzonderlijke vragen tenzij de gebruiker ernaar vraagt. Behoud beperkingen die bepalen wat als een nuttig antwoord geldt.

Als het bericht meerdere vragen bevat, noteer die dan voordat je het antwoord controleert. Zo voorkom je dat de redacteur één beantwoorde deelvraag behandelt alsof daarmee de hele vraag is afgedekt. Als het doel van de gebruiker echt onduidelijk is, kan een verduidelijkende vraag nuttiger zijn dan gokken; dit artikel richt zich op situaties waarin de vraag duidelijk is, maar het antwoord afdwaalt.

Lees het antwoord vanaf het begin en markeer de eerste zin die de taak rechtstreeks verder helpt. Die hoeft niet het volledige antwoord te geven. De zin moet de gebruiker een betekenisvolle reactie op de vraag geven en niet alleen aankondigen waar de chatbot het over zal hebben.

Voor het voorbeeld van schetsen in de trein is ‘Neem een klein schetsboek en een potlood mee in een smal etui’ een direct begin. ‘In de trein kan het lastig zijn om tekenmaterialen te kiezen’ sluit aan bij de situatie, maar stelt geen schetsuitrusting voor. Als het antwoord meerdere alinea’s nodig heeft om tot een aanbeveling te komen, is die vertraging een nuttig signaal voor de redactie.

Markeer een zin niet als antwoord alleen omdat die het onderwerp van de gebruiker herhaalt. ‘Een schetsset voor in de trein moet handig zijn’ benoemt het onderwerp, maar voldoet nog niet aan de vraag om een suggestie. Zoek naar de handeling, keuze, uitleg of informatie waar de gebruiker om vroeg.

Controleer elke zin nadat je het antwoord hebt gevonden. Vraag jezelf bij elke zin af: helpt deze de gebruiker om met het antwoord aan de slag te gaan, een belangrijke voorwaarde te begrijpen of een keuze te maken tussen nuttige opties? Zo niet, schrap de zin. Is de informatie nuttig maar ondergeschikt, verplaats die dan naar na het directe antwoord of naar een korte optionele toelichting.

Hier volgt een bewust eenvoudig voorbeeld van voor en na. De details zijn ter illustratie en zijn geen onderzoeksresultaten.

Voor

In de trein kan het lastig zijn om tekenmaterialen te kiezen. Sommige kunstenaars geven de voorkeur aan groot papier, terwijl anderen kleine boekjes gebruiken. Potloden zijn er in allerlei soorten. Misschien wil je ook bedenken hoe je gereedschap in een tas past. Er zijn veel mogelijke uitrustingen, afhankelijk van je voorkeuren.

Na

Neem een klein schetsboek en een potlood mee in een smal etui. De compacte uitrusting past op een klein treintafeltje. Als je liever geen puntenslijper meeneemt, is een vulpotlood een andere optie.

Het herziene antwoord begint met de gevraagde uitrusting, geeft daarna een praktische reden en noemt één optionele variant. Algemene observaties die niet helpen bij het kiezen van een schetsset zijn geschrapt. Het antwoord is gerichter, maar de verbetering bestaat niet simpelweg uit minder woorden: als de gebruiker naar verschillende materialen, toegankelijkheidsbehoeften of een volledige set tekenmaterialen had gevraagd, zouden die details nodig kunnen zijn.

Gebruik drie bewerkingskeuzes in plaats van op gevoel te schrappen:

Met deze test spoor je ook herhaalde punten op. Als twee zinnen dezelfde bijdrage leveren, behoud dan de duidelijkste, tenzij de tweede een afzonderlijke voorwaarde toevoegt. Schrap daarentegen geen noodzakelijk voorbehoud alleen omdat het antwoord er langer van wordt.

Sommige vragen zijn niet goed in één zin te beantwoorden. Een gebruiker die vraagt hoe die een apparaat kan troubleshooten, heeft misschien een reeks stappen nodig, een waarschuwing over wanneer die moet stoppen en een manier om te controleren of elke stap heeft gewerkt. Bij een vergelijkingsvraag zijn mogelijk afwegingen nodig. Een vraag met meerdere beperkingen kan vragen om uitleg over welke voorwaarde de aanbeveling bepaalde.

Behoud in zulke gevallen de details en orden ze rond de taak. Begin met de conclusie of de eerste nuttige handeling en geef daarna stappen, redenen, alternatieven en uitzonderingen in de volgorde waarin de lezer ze nodig heeft. Koppen of genummerde stappen helpen wanneer ze het antwoord beter scanbaar maken; bij slechts enkele korte punten zijn ze onnodige versiering.

Controleer niet alleen op overtollig materiaal, maar ook op ontbrekende informatie. Een antwoord kan beknopt zijn en toch tekortschieten doordat het een beperking negeert, een gevraagd onderdeel overslaat of een instructie geeft zonder de voorwaarde die nodig is om die toe te passen. Relevantie draait om het dienen van de vraag, niet om het minimaliseren van het aantal woorden.

Vergelijk het antwoord na de revisie met de taakzin uit ronde 1. Kan de lezer de hoofdreactie dicht bij het begin vinden? Draagt elke latere zin een reden, stap, optie, beperking of nuttige nuancering bij? Heeft de bewerking details behouden die de gebruiker nodig heeft?

Als het antwoord deze controles doorstaat, sluit het waarschijnlijk beter aan op de vraag, of het nu kort of lang is. Komt de kern nog steeds laat, haal die dan naar voren en controleer de tussenliggende zinnen opnieuw. Beschouw dit als een praktische redactionele afweging: het aangehaalde onderzoek informeert het algemene idee van verwantschap tussen reacties, terwijl de procedure in drie rondes een beredeneerd hulpmiddel voor redactie is en geen getoetst resultaat.