Was kann eine KI in einer Tagebuch-Zusammenfassung falsch interpretieren? Ein praktischer Leitfaden zur Quellenprüfung
Wenn Sie eine KI bitten, einen Tagebucheintrag zusammenzufassen, prüfen Sie, ob jede Aussage die Details und den Grad der Gewissheit des Eintrags beibehält. Achten Sie besonders darauf, wer was getan hat, wann es geschah, ob ein Plan ausgeführt wurde und ob die Zusammenfassung einen flüchtigen Gedanken in eine feste Entscheidung verwandelt. Eine nützliche Prüfung ist einfach: Können Sie im ursprünglichen Eintrag auf Worte zeigen, die jede Behauptung belegen?
Warum eine flüssige Zusammenfassung dennoch die Tatsachen verändern kann
Eine Zusammenfassung kann klar und plausibel klingen und sich dennoch von ihrer Quelle entfernen. Die Forschung zur Textzusammenfassung behandelt die faktische Konsistenz als eine separate Frage davon, ob sich der Text gut liest: Die Methode einer Studie gleicht Sätze der Zusammenfassung mit belegenden Abschnitten in der Quelle ab und berichtet, dass diese Abschnitte Menschen dabei geholfen haben, Aussagen zu verifizieren. Kryscinski et al., „Evaluating the Factual Consistency of Abstractive Text Summarization“
Diese Unterscheidung ist bei einem Tagebuch wichtig, da die Quelle kurz, informell und voller implizitem Kontext sein kann. Ein System glättet Notizen möglicherweise zu geschliffener Prosa, doch diese Glättung kann auch eine Beziehung, eine Ursache oder eine Schlussfolgerung einführen, die im Eintrag nie genannt wurde. Das NIST beschreibt Konfabulation als generierten Inhalt, der von seiner Eingabe abweichen kann, und stellt fest, dass selbstbewusste Formulierungen falsche Inhalte überzeugend wirken lassen können. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“
Personen, Handlungen und Zuordnungen überprüfen
Überprüfen Sie zunächst das grundlegende Ereignis: Wer hat gehandelt, was wurde getan und wer hat einen Plan oder eine Vorliebe geäußert. Pronomen, Gruppenbezüge und ausgelassene Subjekte werden bei komprimierten Notizen leicht missverstanden. „Sam meinte, wir könnten uns am Freitag treffen; ich prüfe meinen Kalender“ bedeutet nicht, dass die schreibende Person einem Treffen zugestimmt hat. Eine Zusammenfassung mit dem Satz „Ich plante, mich am Freitag mit Sam zu treffen“ hat einen Vorschlag in eine Entscheidung verwandelt.
Achten Sie auch auf vertauschte Rollen. Wenn in einem Eintrag steht: „Ich habe Jo das Rezept geschickt, nachdem sie danach gefragt hatte“, sollte die Zusammenfassung nicht implizieren, dass Jo es geschickt hat. Lesen Sie jedes Mal Namen sowie „ich“, „wir“, „sie“ oder „jemand“ in der Zusammenfassung im Vergleich zum Original gegen. Wenn das Tagebuch den Handelnden unklar lässt, sollte eine getreue Zusammenfassung diese Ungewissheit beibehalten oder das Detail weglassen.
Zeit, Chronologie und das tatsächliche Stattfinden von Plänen bewahren
Unterscheiden Sie ein vergangenes Ereignis von einer aktuellen Absicht, einer Möglichkeit und einer abgeschlossenen Handlung. „Könnte den Bus nehmen“, „beschloss, den Bus zu nehmen“ und „nahm den Bus“ sind unterschiedliche Aufzeichnungen. Ebenso ist „einen Tisch für Samstag reserviert“ nicht dasselbe wie „ging am Samstag zum Abendessen“. Prüfen Sie Zeitformen und Verben wie *überlegte*, *plante*, *sagte ab* und *schloss ab*.
Die Chronologie kann selbst dann eine Rolle spielen, wenn alle Ereignisse in der Zusammenfassung vorkommen. Wenn der Eintrag besagt, dass ein Geschäft geschlossen war und die Person sich deshalb zu Hause einen Tee kochte, verändert das Umkehren dieser Ereignisse den Bericht. Prüfen Sie bei längeren Einträgen Anfang, Mitte und Ende, anstatt sich auf eine Zusammenfassung zu verlassen, die den Gesamteindruck zu erfassen scheint. Die Forschung zur Zusammenfassung langer Dokumente hat gezeigt, dass Modelle Informationen am Anfang und am Ende einer Quelle bevorzugen können; ihre vorgeschlagene Methode verwendet überlappende Abschnitte, um dieses Problem zu beheben. Dieser Befund betrifft evaluierte Zusammenfassungssysteme und stellt keine Garantie für ein bestimmtes Tagebuch-Werkzeug dar. Li et al., „Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency“
Auf Gewissheit, Tonfall und erfundene Erklärungen achten
Ein Tagebuch kann eine Vermutung, eine Frage oder einen unfertigen Gedanken festhalten. Eine Zusammenfassung kann versehentlich „vielleicht hat das Geschäft seine Öffnungszeiten geändert“ zu „das Geschäft hat seine Öffnungszeiten geändert“ aufwerten. Sie kann auch eine Begründung hinzufügen, die im Text gar nicht genannt wurde: „Ich bin nicht zum Markt gegangen, weil es geregnet hat“ fügt einen Kausalzusammenhang hinzu, wenn das Original lediglich Regen und einen verpassten Markt erwähnt.
Vergleichen Sie Signalwörter für Gewissheit, nicht nur Substantive. „Ich glaube“, „vielleicht“, „ich habe vergessen“ und „ich bin mir nicht sicher“ schränken jeweils ein, was der Eintrag tatsächlich belegt. Eine kurze Zusammenfassung muss nicht jede Relativierung beibehalten, sie sollte jedoch eine unsichere Interpretation nicht als feststehende Tatsache darstellen. Betrachten Sie geschliffene Erklärungen und selbstsichere Schlussfolgerungen als Behauptungen, die eines direkten Belegs in der Quelle bedürfen.
Eine schnelle Verifizierungsmethode Satz für Satz
Nutzen Sie diese Überprüfung in drei Schritten, bevor Sie eine Zusammenfassung behalten oder weiterverwenden:
Markieren Sie jede Tatsachenbehauptung. Unterstreichen Sie Namen, Daten, Handlungen, Mengenangaben, Orte, Entscheidungen und Begründungen. Teilen Sie einen Satz in einzelne Aussagen auf, wenn er mehrere Details enthält.
Finden Sie den Wortlaut in der Quelle. Suchen Sie für jede Behauptung den Ausdruck oder Satz, der sie stützt. Wenn kein Wortlaut dies bestätigt, kennzeichnen Sie die Stelle als „nicht erwähnt“, anstatt die Lücke mit Wahrscheinlichem zu füllen.
Prüfen Sie Verbindlichkeit und Reihenfolge. Vergewissern Sie sich, dass die Zusammenfassung eine Möglichkeit nicht als sicher darstellt, ein Ereignis nicht auf einen anderen Tag verlegt, die Reihenfolge nicht umkehrt oder eine Absicht nicht in eine vollendete Handlung abändert.
Korrigieren Sie gezielt. Bessern Sie das unbelegte Detail aus, wahren Sie bestehende Unklarheiten oder löschen Sie eine Behauptung, die sich nicht überprüfen lässt. Lesen Sie die überarbeitete Zusammenfassung anschließend noch einmal Seite an Seite mit dem Eintrag.
Angenommen, ein Eintrag lautet: „Habe Lee gefragt, ob der Pflanzenladen Basilikum hat. Es war keines da. Ich schaue auf dem Wochenmarkt, wenn ich Zeit habe.“ „Ich habe auf dem Markt Basilikum gekauft“ ist nicht belegt: Der Eintrag erwähnt weder einen Besuch noch einen Kauf. „Möglicherweise suche ich dieses Wochenende auf dem Markt nach Basilikum“ behält den unverbindlichen Charakter des Plans bei. Dies sind veranschaulichende Beispiele, keine Forschungsergebnisse.
Wann Sie nach einer kürzeren oder wörtlicheren Zusammenfassung fragen sollten
Wenn die generierte Version fortlaufend Motive oder Schlussfolgerungen hinzudichtet, stecken Sie der Aufgabe engere Grenzen: Bitten Sie ausschließlich um Ereignisse und ausdrückliche Pläne, verlangen Sie die Wahrung von Ungewissheiten und schließen Sie Begründungen aus, sofern sie nicht ausdrücklich im Eintrag stehen. Sie können auch eine kurze Liste von Aussagen anfordern, neben denen jeweils die belegende Textstelle aus dem Eintrag zitiert wird. Prüfen Sie dann, ob das Zitat die Aussage tatsächlich stützt: Ein neben dem Satz angezeigter Quelltext erleichtert die Überprüfung, aber die Übereinstimmung mit der Quelle muss dennoch gegeben sein.
Bei einer kurzen Notiz ist der direkte Vergleich der Zusammenfassung mit dem Eintrag oft schneller als das Generieren einer neuen Version. Prüfen Sie einen langen Eintrag Abschnitt für Abschnitt und achten Sie besonders auf Details im Mittelteil. Behalten Sie die Zusammenfassung nur dann, wenn ihre Aussagen mit dem Geschriebenen übereinstimmen; lässt sich ein Detail nicht bestätigen, überarbeiten oder entfernen Sie es, anstatt wohlklingende Formulierungen als Beweis zu betrachten.