Que peut mal interpréter une IA dans le résumé d'un journal ? Un guide pratique de vérification des sources
Lorsque vous demandez à une IA de résumer une entrée de journal intime, vérifiez si chaque affirmation préserve les détails et le degré de certitude du texte d'origine. Portez une attention particulière à qui a fait quoi, au moment où cela s'est produit, au fait qu'un projet ait été mené à bien ou non, et vérifiez si le résumé ne transforme pas une pensée passagère en une décision ferme. Un contrôle utile et simple consiste à se demander : pouvez-vous identifier les mots exacts dans l'entrée originale qui appuient chaque affirmation ?
Pourquoi un résumé fluide peut tout de même altérer les faits
Un résumé peut sembler clair et plausible tout en s'éloignant de sa source. La recherche sur la synthèse textuelle traite la cohérence factuelle comme une question distincte de la fluidité de lecture : la méthode d'une étude compare les phrases du résumé à des segments justificatifs dans la source et indique que ces segments ont aidé les utilisateurs à vérifier les affirmations. Kryscinski et al., « Evaluating the Factual Consistency of Abstractive Text Summarization »
Cette distinction est essentielle dans un journal intime, car la source peut être brève, informelle et pleine de contexte implicite. Un système peut transformer des abréviations ou notes brutes en une prose soignée, mais ce lissage peut également introduire une relation, une cause ou une conclusion que l'entrée n'a jamais formulée. Le NIST décrit la confabulation comme un contenu généré qui peut diverger de ses données d'entrée, et note qu'une formulation assurée peut rendre persuasif un contenu faux. NIST, « Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile »
Vérifiez les personnes, les actions et l'attribution
Vérifiez d'abord l'événement de base : qui a agi, ce que la personne a fait et à qui appartient un projet ou une préférence. Les pronoms, les références de groupe et les sujets omis sont faciles à mal interpréter lorsqu'une note est condensée. « Sam a dit qu'on pourrait se voir vendredi ; je vais regarder mon emploi du temps » n'établit pas que l'auteur a accepté le rendez-vous. Un résumé indiquant « J'ai prévu de voir Sam vendredi » a transformé une suggestion en une décision.
Recherchez également les inversions de rôles. Si une entrée indique « J'ai envoyé la recette à Jo après qu'elle me l'a demandée », le résumé ne doit pas laisser entendre que Jo l'a envoyée. Relisez chaque nom et chaque « je », « nous », « ils » ou « quelqu'un » dans le résumé en le comparant à l'original. Lorsque le journal laisse l'acteur dans le flou, un résumé fidèle doit préserver cette incertitude ou omettre ce détail.
Préservez le temps, la chronologie et la réalisation des projets
Distinguez un événement passé d'une intention actuelle, d'une éventualité et d'une action achevée. « Pourrait prendre le bus », « a décidé de prendre le bus » et « a pris le bus » sont des mentions différentes. De même, « a réservé une table pour samedi » n'est pas identique à « est allé dîner samedi ». Vérifiez les temps et les verbes comme *envisagé*, *prévu*, *annulé* et *terminé*.
La chronologie peut avoir son importance même lorsque tous les événements figurent dans le résumé. Si l'entrée indique qu'un magasin était fermé, et que l'auteur a donc préparé du thé chez lui, inverser ces événements change le récit. Pour les entrées plus longues, vérifiez les débuts, les milieux et les fins plutôt que de vous fier à un résumé qui semble simplement capturer le thème général. Des recherches sur la synthèse de documents longs ont rapporté que les modèles peuvent privilégier les informations situées au début et à la fin d'une source ; leur méthode proposée utilise des sections chevauchantes pour pallier ce problème. Ce constat concerne les systèmes de résumé évalués, et non une garantie concernant un outil de journal en particulier. Li et al., « Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency »
Surveillez la certitude, le ton et les explications inventées
Un journal intime peut consigner une supposition, une question ou une pensée inachevée. Un résumé peut involontairement faire passer « le magasin a peut-être changé ses horaires » à « le magasin a changé ses horaires ». Il peut aussi ajouter une explication que l'auteur n'a pas donnée : « J'ai manqué le marché parce qu'il pleuvait » ajoute un lien de causalité si l'original mentionne simplement la pluie et un marché manqué.
Comparez les marqueurs de certitude, pas seulement les noms. « Je pense », « peut-être », « j'ai oublié » et « je ne suis pas sûr » limitent chacun ce que l'entrée établit. Un résumé court n'a pas besoin de conserver chaque précaution de langage, mais il ne doit pas présenter une interprétation incertaine comme un fait avéré. Traitez les explications soignées et les conclusions péremptoires comme des affirmations nécessitant un appui direct dans la source.
Une méthode rapide de vérification phrase par phrase
Utilisez ce contrôle en trois étapes avant de conserver ou de réutiliser un résumé :
Repérez chaque affirmation factuelle. Soulignez les noms, les dates, les actions, les quantités, les lieux, les décisions et les raisons. Divisez une phrase en affirmations distinctes si elle contient plusieurs détails.
Trouvez la formulation dans la source. Pour chaque affirmation, localisez la locution ou la phrase qui la justifie. Si aucune formulation ne l'appuie, qualifiez-la de « non mentionnée » plutôt que de combler le vide par ce qui semble probable.
Comparez l'intensité et la chronologie. Vérifiez que le résumé n'a pas transformé une possibilité en certitude, déplacé un événement à un autre jour, inversé l'ordre ou transformé une intention en action accomplie.
Corrigez de façon ciblée. Rectifiez le détail non étayé, préservez une ambiguïté ou supprimez une affirmation impossible à vérifier. Relisez ensuite le résumé révisé une fois de plus à côté de l'entrée d'origine.
Par exemple, supposons qu'une entrée indique : « Demandé à Lee si le fleuriste avait du basilic. Ils n'en avaient plus. J'irai voir au marché ce week-end si j'ai le temps. » « J'ai acheté du basilic au marché » n'est pas étayé : l'entrée ne mentionne ni visite ni achat. « Il se peut que je cherche du basilic au marché ce week-end » conserve le caractère hypothétique du projet. Ce sont des exemples illustratifs, non des résultats de recherche.
Quand demander un résumé plus court ou plus littéral
Si la version générée persiste à ajouter des motifs ou des conclusions, imposez des limites plus strictes à la consigne : demandez uniquement les événements et les projets explicites, préservez l'incertitude et omettez les raisons à moins que l'entrée ne les formule. Vous pouvez également demander une brève liste d'affirmations accompagnée de la phrase justificative de l'entrée à côté de chacune d'elles. Vérifiez ensuite que la phrase citée soutient réellement l'affirmation : afficher le texte source à côté d'une phrase facilite la vérification, mais la correspondance avec la source doit demeurer authentique.
Pour une note courte, comparer directement le résumé avec l'entrée peut être plus rapide que de générer une autre version. Pour une longue entrée, examinez-la section par section et portez une attention accrue aux détails situés au milieu. Ne conservez le résumé que si ses affirmations reflètent fidèlement l'écrit ; si un détail ne peut être confirmé, corrigez-le ou retirez-le plutôt que de considérer une formulation fluide comme une preuve.