Wat kan AI verkeerd lezen in een dagboeksamenvatting? Een praktische gids voor broncontrole
Als je AI vraagt een dagboekaantekening samen te vatten, controleer dan of elke uitspraak de details en de mate van zekerheid uit de aantekening behoudt. Let vooral op wie wat deed, wanneer het gebeurde, of een plan is uitgevoerd en of de samenvatting een terloopse gedachte omzet in een vast besluit. Je kunt dit eenvoudig controleren: kun je in de oorspronkelijke aantekening woorden aanwijzen die elke bewering ondersteunen?
Waarom een vloeiende samenvatting de feiten toch kan veranderen
Een samenvatting kan helder en aannemelijk klinken en toch afwijken van de bron. Onderzoek naar samenvatten behandelt feitelijke consistentie als een afzonderlijke kwestie, los van de vraag of de tekst prettig leest: de methode van één studie controleert samenvattingszinnen aan de hand van ondersteunende passages in de bron en meldt dat die passages mensen hielpen beweringen te verifiëren. Kryscinski et al., “Evaluating the Factual Consistency of Abstractive Text Summarization”
Dat onderscheid is belangrijk bij een dagboek, omdat de bron kort, informeel en vol impliciete context kan zijn. Een systeem kan telegramstijl omzetten in verzorgde tekst, maar zo ook een relatie, oorzaak of conclusie toevoegen die nooit in de aantekening stond. NIST omschrijft confabulatie als gegenereerde inhoud die kan afwijken van de invoer en merkt op dat zelfverzekerde formuleringen onjuiste inhoud overtuigend kunnen laten klinken. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”
Controleer personen, handelingen en wie ergens verantwoordelijk voor is
Controleer eerst de basisgebeurtenis: wie handelde, wat diegene deed en wie verantwoordelijk is voor een plan of voorkeur. Voornaamwoorden, verwijzingen naar groepen en weggelaten onderwerpen zijn gemakkelijk verkeerd te lezen als een aantekening is ingekort. “Sam zei dat we vrijdag konden afspreken; ik kijk mijn agenda na” betekent niet dat de schrijver heeft ingestemd met een afspraak. Een samenvatting als “Ik was van plan vrijdag met Sam af te spreken” maakt van een suggestie een besluit.
Let ook op verwisselde rollen. Als er in een aantekening staat “Ik stuurde Jo het recept nadat ze erom had gevraagd”, mag de samenvatting niet suggereren dat Jo het heeft gestuurd. Controleer elke naam en elk woord als “ik”, “we”, “zij” of “iemand” in de samenvatting aan de hand van het origineel. Als uit het dagboek niet duidelijk blijkt wie iets deed, moet een getrouwe samenvatting die onzekerheid behouden of het detail weglaten.
Behoud tijd, volgorde en of een plan is uitgevoerd
Maak onderscheid tussen een gebeurtenis in het verleden, een huidige bedoeling, een mogelijkheid en een voltooide handeling. “Misschien de bus nemen”, “besloten de bus te nemen” en “nam de bus” zijn verschillende verslagen. Evenzo is “een tafel gereserveerd voor zaterdag” niet hetzelfde als “zaterdag uit eten geweest”. Controleer de tijdsvormen en werkwoorden als overwoog, plande, annuleerde en rondde af.
De volgorde kan ertoe doen, ook als alle gebeurtenissen in de samenvatting staan. Als er in de aantekening staat dat een winkel gesloten was en de schrijver daarom thuis thee zette, verandert het verhaal als die gebeurtenissen worden omgedraaid. Controleer bij langere aantekeningen het begin, midden en einde; vertrouw niet alleen op een samenvatting die de algemene strekking lijkt weer te geven. Onderzoek naar het samenvatten van lange documenten heeft gemeld dat modellen informatie aan het begin en einde van een bron kunnen bevoordelen. De voorgestelde methode gebruikt overlappende gedeelten om dit probleem aan te pakken. Deze bevinding heeft betrekking op geëvalueerde samenvattingssystemen en is geen garantie voor een bepaalde dagboektool. Li et al., “Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency”
Let op zekerheid, toon en verzonnen verklaringen
Een dagboek kan een vermoeden, een vraag of een onafgemaakte gedachte vastleggen. Een samenvatting kan “misschien heeft de winkel de openingstijden gewijzigd” per ongeluk veranderen in “de winkel heeft de openingstijden gewijzigd”. Ook kan ze een reden toevoegen die de schrijver niet heeft gegeven: “Ik sloeg de markt over omdat het regende” voegt een oorzakelijk verband toe als het origineel alleen regen en een gemiste markt vermeldt.
Vergelijk woorden die de mate van zekerheid aangeven, niet alleen de zelfstandige naamwoorden. “Ik denk”, “misschien”, “ik ben het vergeten” en “ik weet het niet zeker” beperken elk wat de aantekening als vaststaand weergeeft. Een korte samenvatting hoeft niet elke nuancering te behouden, maar mag een onzekere interpretatie niet presenteren als een vaststaand feit. Behandel verzorgde verklaringen en stellige conclusies als beweringen waarvoor directe onderbouwing in de bron nodig is.
Een snelle methode om zinnen één voor één te controleren
Voer deze controle in drie rondes uit voordat je een samenvatting bewaart of opnieuw gebruikt:
Markeer elke feitelijke bewering. Onderstreep namen, datums, handelingen, aantallen, locaties, besluiten en redenen. Splits een zin op in afzonderlijke beweringen als die meerdere details bevat.
Zoek de formulering in de bron. Zoek voor elke bewering de ondersteunende frase of zin. Als er geen formulering is die de bewering ondersteunt, markeer die dan als “niet vermeld” in plaats van de leemte op te vullen met wat waarschijnlijk lijkt.
Vergelijk stelligheid en volgorde. Controleer of de samenvatting een mogelijkheid niet als zekerheid presenteert, een gebeurtenis naar een andere dag verplaatst, de volgorde omdraait of een bedoeling verandert in een uitgevoerde handeling.
Pas alleen aan wat nodig is. Corrigeer het niet-onderbouwde detail, behoud een onduidelijkheid of verwijder een bewering die je niet kunt controleren. Lees de herziene samenvatting daarna nog één keer naast de aantekening.
Stel bijvoorbeeld dat er in een aantekening staat: “Lee gevraagd of de plantenwinkel basilicum had. Ze hadden het niet. Ik ga dit weekend naar de markt als ik tijd heb.” “Ik heb basilicum gekocht op de markt” wordt niet ondersteund: in de aantekening staat niet dat de schrijver naar de markt is gegaan of iets heeft gekocht. “Ik ga dit weekend misschien op de markt naar basilicum zoeken” houdt het plan onzeker. Dit zijn voorbeelden ter illustratie, geen onderzoeksresultaten.
Wanneer je om een kortere of letterlijkere samenvatting vraagt
Als de gegenereerde versie steeds motieven of conclusies toevoegt, stel de opdracht dan strikter af: vraag alleen om gebeurtenissen en expliciete plannen, behoud onzekerheid en laat redenen weg tenzij ze in de aantekening staan. Je kunt ook vragen om een korte lijst met beweringen en bij elke bewering de ondersteunende frase uit de aantekening. Controleer vervolgens of de geciteerde frase de bewering daadwerkelijk ondersteunt: een bronpassage naast een zin maakt controle gemakkelijker, maar de overeenkomst met de bron moet wel echt zijn.
Bij een korte aantekening is het misschien sneller om de samenvatting rechtstreeks met de aantekening te vergelijken dan om een nieuwe versie te laten maken. Controleer een lange aantekening gedeelte voor gedeelte en let extra op details in het midden. Bewaar de samenvatting alleen als de beweringen overeenkomen met wat er staat; als een detail niet bevestigd kan worden, pas het dan aan of verwijder het in plaats van de vloeiende formulering als bewijs te beschouwen.