Vad kan en AI misstolka i en dagbokssammanfattning? En praktisk guide till källkontroll

En sammanfattning kan låta tydlig och trovärdig samtidigt som den glider bort från källan. Inom sammanfattningsforskning behandlas faktamässig överensstämmelse som en separat fråga från om texten är välskriven: en metod i en studie kontrollerar sammanfattningens meningar mot stödjande textavsnitt i källan och rapporterar att dessa avsnitt hjälpte människor att verifiera påståenden. Kryscinski et al., ”Evaluating the Factual Consistency of Abstractive Text Summarization”

Den skillnaden spelar roll i en dagbok eftersom källan kan vara kort, informell och full av underförstådd kontext. Ett system kan omvandla kortfattade anteckningar till välformulerad text, men sådan bearbetning kan också lägga till en relation, orsak eller slutsats som aldrig nämndes i anteckningen. NIST beskriver konfabulering som genererat innehåll som kan avvika från indata och påpekar att självsäkra formuleringar kan göra falskt innehåll övertygande. NIST, ”Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”

Kontrollera först själva händelsen: vem agerade, vad personen gjorde och vem som står bakom en plan eller preferens. Pronomen, hänvisningar till grupper och utelämnade subjekt är lätta att misstolka när en anteckning är komprimerad. ”Sam sa att vi kunde träffas på fredag; jag ska kolla min kalender” visar inte att skribenten gick med på att träffas. En sammanfattning som säger ”Jag planerade att träffa Sam på fredag” har förvandlat ett förslag till ett beslut.

Håll också utkik efter om rollerna har kastats om. Om det står ”Jag skickade receptet till Jo efter att hon frågade” i en anteckning ska sammanfattningen inte antyda att Jo skickade det. Kontrollera varje namn och varje ”jag”, ”vi”, ”de” eller ”någon” i sammanfattningen mot originalet. Om dagboken inte tydligt anger vem som agerade bör en trogen sammanfattning bevara den osäkerheten eller utelämna detaljen.

Skilj mellan en händelse i det förflutna, en aktuell avsikt, en möjlighet och en genomförd handling. ”Kanske tar jag bussen”, ”bestämde mig för att ta bussen” och ”tog bussen” är olika uppgifter. På samma sätt är ”bokade ett bord till lördag” inte samma sak som ”gick ut och åt på lördag”. Kontrollera tempus och verb som övervägde, planerade, ställde in och avslutade.

Händelseförloppet kan spela roll även om alla händelser finns med i sammanfattningen. Om det står i anteckningen att en butik var stängd och att skribenten därför gjorde te hemma, förändras skildringen om händelserna kastas om. För längre anteckningar bör du kontrollera början, mitten och slutet i stället för att förlita dig på en sammanfattning som verkar fånga helhetstemat. Forskning om sammanfattning av långa dokument har rapporterat att modeller kan prioritera information nära början och slutet av en källa; den föreslagna metoden använder överlappande avsnitt för att hantera problemet. Det resultatet gäller utvärderade sammanfattningssystem och är ingen garanti för ett visst dagboksverktyg. Li et al., ”Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency”

En dagbok kan innehålla en gissning, en fråga eller en ofullständig tanke. En sammanfattning kan av misstag göra ”butiken kanske har ändrat sina öppettider” till ”butiken har ändrat sina öppettider”. Den kan också lägga till en orsak som skribenten inte angett: ”Jag hoppade över marknaden eftersom det regnade” lägger till ett orsakssamband om originalet bara nämner regn och en utebliven marknadstur.

Jämför ord som uttrycker säkerhet, inte bara substantiv. ”Jag tror”, ”kanske”, ”jag glömde” och ”jag är inte säker” begränsar alla vad anteckningen faktiskt fastslår. En kort sammanfattning behöver inte behålla varje reservation, men den bör inte framställa en osäker tolkning som ett fastslaget faktum. Behandla välformulerade förklaringar och självsäkra slutsatser som påståenden som behöver direkt stöd i källan.

Gör den här kontrollen i tre steg innan du behåller eller återanvänder en sammanfattning:

Markera varje sakpåstående. Stryk under namn, datum, handlingar, antal, platser, beslut och orsaker. Dela upp en mening i separata påståenden om den innehåller flera detaljer.

Hitta formuleringen i källan. Leta upp frasen eller meningen som stöder varje påstående. Om det inte finns någon formulering som stöder det ska du märka det som ”inte angivet” i stället för att fylla i luckan med det som verkar sannolikt.

Jämför graden av säkerhet och händelseförloppet. Kontrollera att sammanfattningen inte har gjort en möjlighet säker, flyttat en händelse till en annan dag, kastat om ordningen eller ändrat en avsikt till en genomförd handling.

Gör begränsade korrigeringar. Rätta den detalj som saknar stöd, bevara en tvetydighet eller ta bort ett påstående som inte går att kontrollera. Läs sedan den reviderade sammanfattningen en gång till bredvid anteckningen.

Anta till exempel att det står så här i en anteckning: ”Frågade Lee om växtbutiken hade basilika. De hade slut. Jag ska titta på helgmarknaden om jag får tid.” ”Jag köpte basilika på marknaden” saknar stöd: anteckningen nämner varken ett besök eller ett köp. ”Jag kanske letar efter basilika på marknaden i helgen” behåller planen som osäker. Det här är illustrerande exempel, inte forskningsresultat.

Om den genererade versionen fortsätter att lägga till motiv eller slutsatser bör du ge uppgiften snävare ramar: be om endast händelser och uttryckliga planer, bevara osäkerheten och utelämna orsaker om de inte anges i anteckningen. Du kan också be om en kort lista över påståendena med den stödjande frasen från anteckningen bredvid varje påstående. Kontrollera sedan att det citerade uttrycket faktiskt stöder påståendet: det blir lättare att verifiera när källtexten visas bredvid en mening, men kopplingen till källan måste ändå finnas på riktigt.

För en kort anteckning går det ofta snabbare att jämföra sammanfattningen direkt med anteckningen än att generera en ny version. För en lång anteckning bör du kontrollera den avsnitt för avsnitt och vara extra uppmärksam på detaljer i mitten. Behåll sammanfattningen endast när dess påståenden stämmer med det som står; om en detalj inte kan bekräftas ska du revidera eller ta bort den i stället för att behandla välformulerad text som bevis.