Что ИИ может неверно истолковать в саммари дневника? Практическое руководство по сверке с источником
Когда вы просите ИИ составить краткое содержание записи дневника, проверяйте, сохраняет ли каждое утверждение детали оригинала и степень уверенности. Обратите особое внимание на то, кто и что сделал, когда это произошло, был ли завершен план и не превращает ли пересказ мимолетную мысль в твердое решение. Полезная проверка предельно проста: можете ли вы указать на слова в исходной записи, которые подтверждают каждое утверждение?
Почему гладкое саммари всё равно может искажать факты
Саммари может звучать четко и правдоподобно, при этом отдаляясь от своего источника. В исследованиях по суммаризации фактическая согласованность рассматривается отдельно от того, насколько легко читается текст: метод одного из исследований сопоставляет предложения саммари с подтверждающими фрагментами в источнике и показывает, что такие фрагменты помогают людям проверять утверждения. Kryscinski et al., «Evaluating the Factual Consistency of Abstractive Text Summarization»
Это различие имеет значение для дневника, поскольку исходный текст может быть кратким, неформальным и полным скрытого контекста. Система способна превратить краткие наброски в гладкую прозу, но такое сглаживание может также добавить взаимосвязь, причину или вывод, о которых в записи никогда не говорилось. NIST описывает конфабуляцию как сгенерированный контент, который может расходиться с исходными данными, и отмечает, что уверенные формулировки могут делать ложную информацию убедительной. NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile»
Проверяйте действующих лиц, действия и принадлежность
Сначала проверьте базовое событие: кто действовал, что сделал и кому принадлежит план или предпочтение. Местоимения, упоминания групп и пропущенные подлежащие легко истолковать неверно при сжатии заметки. Фраза «Сэм сказал, что мы могли бы встретиться в пятницу; я сверюсь с графиком» не доказывает, что автор согласился на встречу. Саммари, в котором говорится «Я запланировал встречу с Сэмом на пятницу», превратило предложение в решение.
Также обращайте внимание на подмену ролей. Если в записи сказано «Я отправил Джо рецепт после того, как она попросила», саммари не должно намекать, что его отправила Джо. Перепроверьте каждое имя и слова «я», «мы», «они» или «кто-то» в саммари, сравнивая с оригиналом. Если в дневнике действующее лицо не указано четко, точное саммари должно сохранить эту неопределенность или вовсе опустить деталь.
Сохраняйте время, последовательность и статус выполнения планов
Отличайте прошедшее событие от текущего намерения, возможности и завершенного действия. «Возможно, поеду на автобусе», «решил поехать на автобусе» и «поехал на автобусе» — это разные факты. Точно так же «забронировал столик на субботу» — это не то же самое, что «поужинал в субботу». Проверяйте грамматическое время и такие глаголы, как *рассматривал*, *планировал*, *отменил* и *закончил*.
Последовательность может иметь значение, даже если все события присутствуют в саммари. Если в записи сказано, что магазин был закрыт, поэтому автор заварил чай дома, перестановка этих событий меняет смысл описанного. В длинных записях проверяйте начало, середину и конец, а не полагайтесь на краткое содержание, которое кажется улавливающим общую суть. Исследования по суммаризации длинных документов показали, что модели могут отдавать предпочтение информации ближе к началу и концу источника; предложенный ими метод использует перекрывающиеся разделы для решения этой проблемы. Этот вывод относится к оцененным системам суммаризации, а не является гарантией для какого-либо конкретного инструмента ведения дневника. Li et al., «Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency»
Следите за уверенностью, тоном и вымышленными объяснениями
В дневнике может быть зафиксирована догадка, вопрос или незавершенная мысль. Саммари может случайно повысить статус фразы «может быть, магазин изменил часы работы» до «магазин изменил часы работы». Оно также может приписать причину, которой автор не называл: «Я пропустил рынок, потому что шел дождь» добавляет причинно-следственную связь, если в оригинале просто упоминаются дождь и пропущенный поход на рынок.
Сравнивайте слова, выражающие степень уверенности, а не только существительные. «Я думаю», «возможно», «я забыл» и «я не уверен» — каждое из этих выражений ограничивает то, что утверждается в записи. Краткое саммари не обязано сохранять каждую оговорку, но оно не должно преподносить предположительную интерпретацию как установленный факт. Относитесь к гладким объяснениям и уверенным выводам как к утверждениям, требующим прямого подтверждения в источнике.
Быстрый метод проверки по предложениям
Используйте эту трехэтапную проверку перед тем, как сохранить или использовать саммари:
Выделите каждое фактическое утверждение. Подчеркните имена, даты, действия, количества, места, решения и причины. Разделите предложение на отдельные утверждения, если оно содержит несколько деталей.
Найдите формулировку в источнике. Для каждого утверждения найдите фразу или предложение, которое его подтверждает. Если подтверждающих слов нет, пометьте его как «не указано», вместо того чтобы заполнять пробел тем, что кажется вероятным.
Сравните степень уверенности и последовательность. Убедитесь, что саммари не превратило вероятность в уверенность, не перенесло событие на другой день, не изменило порядок на обратный и не подменило намерение совершенным действием.
Вносите точечные исправления. Исправьте неподтвержденную деталь, сохраните двусмысленность или удалите утверждение, которое нельзя проверить. Затем прочитайте исправленное саммари рядом с записью еще раз.
Например, предположим, что в записи сказано: «Спросил у Ли, есть ли в цветочном магазине базилик. У них закончился. Загляну на выходных на рынок, если будет время». Утверждение «Я купил базилик на рынке» ничем не подтверждено: в записи нет сведений ни о визите, ни о покупке. Вариант «Возможно, я поищу базилик на рынке в эти выходные» оставляет план ориентировочным. Это наглядные примеры, а не результаты научных исследований.
Когда стоит запросить более краткое или буквальное саммари
Если сгенерированная версия продолжает добавлять мотивы или выводы, задайте задаче более строгие рамки: запросите только события и явные планы, сохраняйте неопределенность и не включайте причины, если они не указаны в записи. Вы также можете запросить краткий список утверждений с подтверждающей цитатой из записи рядом с каждым из них. Затем убедитесь, что процитированная фраза действительно подтверждает это утверждение: исходный текст, показанный рядом с предложением, облегчает проверку, но соответствие источнику всё равно должно быть реальным.
Для короткой заметки прямое сравнение саммари с записью может быть быстрее, чем генерация новой версии. Для длинной записи проверяйте ее раздел за разделом и обращайте особое внимание на детали в середине. Сохраняйте саммари только тогда, когда его утверждения соответствуют написанному; если деталь нельзя подтвердить, исправьте или удалите ее, а не воспринимайте гладкую формулировку как доказательство.