Как отредактировать длинный ответ чат-бота, который упускает суть?
Когда чат-бот дает длинный ответ, но практически не затрагивает запрос пользователя, проверьте его в три этапа: определите конкретный запрос, найдите первое предложение, отвечающее на него, а затем удалите или переместите информацию, которая не помогает. Цель состоит не в том, чтобы сделать каждый ответ коротким, а в том, чтобы сделать релевантность ответа очевидной и дать необходимым деталям четкую функцию.
Что означает «релевантный» применительно к ответу?
Ответ релевантен, когда читатель может соотнести его главную мысль с тем, о чем он спросил. Сама по себе длина текста не показывает, успешен ли он: подробное объяснение может идеально подойти для запроса, требующего пошаговых действий, условий или сравнений. Полезный диагностический вопрос заключается в том, обращается ли ответ к конкретной задаче пользователя в самом начале и помогает ли оставшийся материал выполнить эту задачу.
Это редакторский метод, а не чек-лист, подтвержденный приведенными ниже исследованиями. Исследования релевантности ответов в диалоге помогают сформулировать проблему, но не доказывают, что именно эта трехэтапная проверка улучшает ответы.
Например, в [статье Ву, Вана и Сюэ на COLING 2016](https://aclanthology.org/C16-1063/) изучается контекстно-зависимое ранжирование вариантов ответов чат-бота с использованием данных диалогов из социальных сетей. [Статья Си и коллег на NAACL 2019](https://aclanthology.org/N19-1170/) рассматривает смысловую связанность ответов наряду с другими контролируемыми признаками, включая повторы, специфичность и постановку вопросов, в оценках людьми диалогов PersonaChat. Это исследования вычислительного ранжирования ответов и генерации светской беседы (chit-chat); ни одно из них не тестирует методику редактирования из этой статьи и не оценивает напрямую длинные ответы в стиле технической поддержки. Используйте их как контекст того, почему смысловая связь важна, а не как доказательство эффективности конкретного способа правки.
Этап 1: Определение конкретного запроса пользователя
Прочитайте сообщение пользователя и сформулируйте задачу одним простым предложением. Сделайте формулировку достаточно конкретной, чтобы по ней можно было судить, решил ли ответ поставленную задачу. Вопрос вроде «Какой компактный набор для скетчинга взять с собой в поезд?» можно свести к следующему: «Порекомендовать компактный набор для зарисовок в поезде».
Отделите саму задачу от второстепенных формулировок. Пользователь может упомянуть, что у него маленький столик, небольшая сумка или что он предпочитает карандаши ручкам. Эти детали могут задавать рамки ответа, но они не являются отдельными просьбами, если только пользователь прямо об этом не спросит. Сохраняйте те ограничения, которые влияют на то, какой ответ считать полезным.
Если сообщение содержит несколько запросов, перечислите их перед вычиткой ответа. Это не позволит редактору принять ответ на один подвопрос за исчерпывающий ответ на весь запрос. Если цель пользователя действительно неоднозначна, уточняющий вопрос может быть полезнее догадок; эта статья посвящена случаям, когда запрос ясен, но ответ уходит в сторону.
Этап 2: Поиск первого предложения, содержащего ответ
Просмотрите ответ с самого начала и отметьте первое предложение, которое напрямую продвигает решение задачи. Оно не обязательно должно быть полным ответом. Главное, чтобы оно давало содержательный отклик на запрос, а не просто анонсировало тему, которую чат-бот собирается обсудить.
Для примера со скетчингом в поезде фраза «Возьмите небольшой блокнот и карандаш в тонком пенале» — это прямой старт. Фраза «В путешествиях на поезде бывает труднее подобрать принадлежности для рисования» связана с ситуацией, но не предлагает конкретный набор. Если ответу требуется несколько абзацев, чтобы добраться до рекомендации, эта задержка — явный сигнал для редактирования.
Не помечайте предложение как ответ только потому, что в нем повторяется тема вопроса. «Набор для скетчинга в поезде должен быть удобным» называет тему, но еще не выполняет просьбу о рекомендации. Ищите действие, выбор, объяснение или информацию, которую запросил пользователь.
Этап 3: Удаление или перемещение материала, не служащего задаче
Проанализируйте каждое предложение после того, как ответ найден. Задайте вопрос к каждому из них: помогает ли это пользователю применить ответ на практике, понять важное условие или выбрать между полезными вариантами? Если нет — вырезайте. Если информация полезна, но вторична, переместите ее после прямого ответа или вынесите в короткое необязательное примечание.
Ниже приведен намеренно упрощенный пример «до и после». Детали носят иллюстративный характер и не являются результатами исследований.
До
В путешествиях на поезде бывает труднее подобрать принадлежности для рисования. Некоторые художники предпочитают большие листы бумаги, тогда как другие используют маленькие блокноты. Карандаши бывают разных видов. Также стоит подумать о том, как ваши инструменты поместятся в сумку. Существует множество возможных вариантов в зависимости от ваших предпочтений.
После
Возьмите небольшой блокнот и карандаш в тонком пенале. Такой компактный набор поместится на маленьком столике в поезде. Если вы предпочитаете не носить с собой точилку, альтернативным вариантом может стать механический карандаш.
Отредактированный ответ начинается с запрошенного набора, затем дает практическое обоснование и один дополнительный вариант. В нем убраны общие рассуждения, которые никак не помогают выбрать набор для зарисовок. Текст стал более сфокусированным, но улучшение заключается не просто в сокращении слов: если бы пользователь спросил о различных художественных материалах, требованиях доступности или полном комплекте для рисования, эти подробности могли бы понадобиться.
Принятие решения: вырезать, переместить или оставить
Используйте три редакторских действия вместо интуитивного удаления:
Этот тест также помогает выявить повторы мыслей. Если два предложения несут одну и ту же смысловую нагрузку, оставьте более ясное из них, если только второе не добавляет принципиально нового условия. И наоборот: не удаляйте необходимое предостережение только потому, что оно увеличивает объем ответа.
Когда более длинный ответ — это правильный ответ
Некоторые запросы невозможно качественно решить одним предложением. Пользователю, спрашивающему, как устранить неполадку в устройстве, может потребоваться строгая последовательность действий, предупреждение о том, когда следует остановиться, и способ понять, сработал ли каждый шаг. Запрос на сравнение может требовать разбора компромиссов. Запрос с множеством ограничений может потребовать пояснения, какое именно условие определило рекомендацию.
В таких случаях сохраняйте детали и выстраивайте их вокруг задачи. Начинайте с вывода или первого полезного действия, затем приводите шаги, причины, альтернативы и исключения в том порядке, в котором они нужны читателю. Подзаголовки или нумерованные списки полезны, когда они облегчают беглый просмотр ответа; но они становятся лишним украшательством, если ответ состоит всего из нескольких коротких пунктов.
Проверяйте текст как на избыточность, так и на неполноту. Ответ может быть лаконичным, но неудачным из-за того, что он игнорирует ограничение, пропускает запрошенную часть или дает инструкцию без условий, необходимых для ее выполнения. Релевантность заключается в решении задачи, а не в минимизации количества слов.
Быстрая финальная проверка
После редактирования сопоставьте получившийся ответ с задачей в одно предложение из Этапа 1. Находит ли читатель главный ответ ближе к началу? Содержит ли каждое последующее предложение причину, шаг, вариант, ограничение или полезную оговорку? Сохранились ли при правке важные для пользователя детали?
Если проверки пройдены, ответ, скорее всего, стал гораздо лучше соответствовать запросу, независимо от того, короткий он или длинный. Если главная мысль по-прежнему появляется с запозданием, сдвиньте ее ближе к началу и пересмотрите разделяющие предложения еще раз. Относитесь к этому как к практическому редакторскому суждению: процитированные исследования объясняют общую идею смысловой связанности, в то время как трехэтапная методика служит логическим подспорьем для редактирования, а не экспериментально доказанным правилом.