Как провести наблюдение за плейтестом диалогов с ИИ в игре за 20 минут
Для небольшой студии, тестирующей одну сцену с генеративным диалогом, важно наблюдать за тем, что игроки делают с ответами NPC: пробуют ли они задавать другие вопросы, действуют ли на основе полезной информации, справляются ли с выдуманными фактами и выходят ли из диалога, чтобы завершить сцену. Короткий опросник может зафиксировать то, что игроки, по их словам, почувствовали или поняли постфактум; сам по себе он не способен показать выбор и обходные пути, возникающие ежеминутно. Используйте простой лист фиксации событий во время игры, а затем задавайте точечные уточняющие вопросы. Относитесь к наблюдениям как к данным об этой конкретной сцене и сборке, а не как к измерению удовлетворенности или доказательству того, как будут вести себя все игроки.
За чем стоит наблюдать в сцене с генеративным диалогом?
Выберите сцену с одной четкой целью и NPC, чьи ответы могут изменить способ ее достижения игроком. Например, в вымышленной сцене игрок должен открыть заблокированные ворота теплицы до окончания цикла вентиляции. NPC-техник может давать подсказки в формате свободной беседы. Запланированный путь — найти синюю рукоятку вентиля в сарае с инструментами, но NPC может периодически выдумывать детали, например, заявляя, что рукоятка находится в затопленной насосной.
Четыре приведенных ниже показателя сфокусированы на поведении игрока и последствиях внутри сцены. Они не требуют оценки того, насколько умен вопрос или получает ли игрок удовольствие от игры.
Показатель: **Разнообразие вопросов** — Фиксируйте событие, когда…: игрок меняет формулировку, тему или подход после ответа — например, сначала спрашивает, где находится вентиль, а затем интересуется его цветом или тем, какая комната безопасна. — Фактические данные для записи: что спросил игрок, что ответил NPC и вытекал ли следующий вопрос из полученного ответа. Отличайте действительно иной запрос от простого перефразирования. — Спросите после сессии…: «Что вы пытались узнать с помощью этих вопросов?»
Показатель: **Ответ меняет следующее действие** — Фиксируйте событие, когда…: игрок перемещается, осматривает объект или меняет свой план в соответствии с ответом NPC. — Фактические данные для записи: ответ, следующее действие игрока и любые видимые альтернативы, которые он проигнорировал. Отмечайте связь как явную, вероятную или сомнительную; действие после ответа само по себе не доказывает, что именно ответ стал его причиной. — Спросите после сессии…: «Какая часть разговора (если таковая была) повлияла на ваши дальнейшие действия?»
Показатель: **Выдуманный факт приводит к неверному шагу** — Фиксируйте событие, когда…: игрок следует конкретному неподтвержденному или ложному утверждению NPC и совершает из-за этого нерезультативное действие. — Фактические данные для записи: точное утверждение, действие, к которому оно привело, видимые в сборке затраты времени или обходной путь, а также то, как игрок обнаружил или исправил ошибку. Сверьтесь с запланированными фактами сцены после сессии, прежде чем называть утверждение выдумкой. — Спросите после сессии…: «Почему этот маршрут показался вам правильным? В какой момент вы решили сменить направление?»
Показатель: **Игрок может прервать диалог и завершить сцену** — Фиксируйте событие, когда…: игрок выходит из диалога, ставит его на паузу или отказывается от дальнейшего разговора и при этом сохраняет возможность продолжить и выполнить задачу. — Фактические данные для записи: видна ли возможность выхода, что происходит после ухода, остается ли доступным полезный прогресс и достигает ли игрок состояния завершения сцены. Фиксируйте блокирующие факторы отдельно от ситуации, когда игрок просто сам решает продолжить разговор. — Спросите после сессии…: «Чувствовали ли вы возможность выйти из разговора? Что побудило вас продолжить или закончить его?»
Это описания событий, а не баллы за качество. Записывайте фактические слова и действия игрока, вместо того чтобы додумывать намерения по выражению лица, молчанию или времени в игре. Если событие не произошло, запишите «не наблюдалось в данной сессии», а не предполагаемый провал.
Привязывайте лист наблюдений к версии сборки
Перед каждой сессией фиксируйте версию сборки, начальную цель, известные факты сцены и допустимое состояние завершения. Во время игры записывайте вопрос игрока, ответ NPC, следующее видимое действие и любое зафиксированное изменение состояния игры. Реплика, которая звучит полезно, все равно может оказаться ошибочной, если указывает на локацию, которой нет в этой сборке.
После сессии сопоставьте предполагаемые выдуманные факты с фактическим описанием сцены. Отмечайте неподтвержденное утверждение как доказанную выдумку только тогда, когда факты сцены противоречат ему; в противном случае помечайте его как нерешенное и разбирайтесь дальше. Отдельно записывайте подсказки модератора или технические сбои, поскольку они могут изменить последующие действия игрока. Такая небольшая доказательная база делает последующее обсуждение более точным, не превращая единичное прохождение в абсолютный вывод.
Как провести ограниченную 20-минутную сессию
Скажите участнику: «Пожалуйста, проходите эту сцену так, как вы делали бы это обычно. Вы можете говорить с персонажем или покинуть диалог в любой момент, когда захотите. Я могу сохранять молчание, чтобы наблюдать за вашими действиями». Не учите их задавать разнообразные вопросы и не предупреждайте о выдуманных фактах — это изменит поведение, ради выявления которого и проводится сессия. Если игрок просит о помощи, отвечайте единообразно, фиксируйте вмешательство и оценивайте последующее поведение с учетом этой подсказки.
Рабочий регламент выглядит следующим образом:
**Минуты 0–2: Подготовка.** Объясните задачу и управление, не раскрывая задуманного решения. Запустите таймер, как только игрок получит управление, и начинайте сцену в одинаковом состоянии для каждого участника.
**Минуты 2–15: Наблюдение.** Позвольте игроку исследовать окружение и разговаривать. Фиксируйте каждый значимый ответ и следующее за ним действие, особенно если утверждение направляет игрока куда-либо. Используйте нейтральные фразы вроде «О чем вы сейчас думаете?» только тогда, когда игрок остановился и нуждается в стимуле для продолжения; обязательно записывайте факт своего вмешательства.
**Минуты 15–20: Завершение и опрос.** Если игрок не закончил, остановите игру на 15-й минуте и зафиксируйте текущее состояние, не создавая впечатления, что он провалил тест на скорость. Задайте уточняющие вопросы, привязанные к зафиксированным событиям, а затем задайте один общий вопрос: «Что именно (если такое было) осталось неясным в разговоре или в вашем следующем шаге?» Записывайте слова игрока отдельно от наблюдаемого поведения.
Ограничение в 20 минут — это практическая рамка сессии для данного примера, а не эмпирический стандарт. Игрок, который дольше разговаривает, вовсе не демонстрирует тем самым большую удовлетворенность, а игрок, который закончил быстро, не обязательно понял сцену или получил от нее удовольствие. Если в вашей сборке задача требует больше времени, скорректируйте график до начала сессий и придерживайтесь его единообразно.
Разделяйте происходившее и слова игрока
В [постмортеме The Turing Test](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic) дизайн-директор Дэвид Джонс описывает тестирование головоломок со студентами: сбор оценок увлекательности, сложности и времени прохождения с акцентом на наблюдение за поведением игроков. Он рассказывает о совмещении субъективных оценок и наблюдений для калибровки кривой сложности. Для сцены с диалогами полезный урок заключается в том, чтобы держать оба типа данных вместе, но не смешивать их: журнал событий показывает, что игрок сделал, а опрос фиксирует его объяснение или оценку. Одно не объясняет другое автоматически.
В [постмортеме Mark of the Ninja](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-) от Klei описаны регулярные тесты с новыми игроками для проверки дизайнерских гипотез. Команда искала истинные причины жалоб, наблюдала за тем, где именно новички испытывали трудности, а затем корректировала подсказки и дизайн. В нашем контексте неверный шаг игрока — это повод для исследования, а не сигнал просто сделать реплики NPC длиннее. Спросите себя, что именно в ответе, интерфейсе или окружении сделало этот маршрут убедительным, и сверьтесь с видеозаписью или состоянием сборки, прежде чем решать, что менять.
В [анонсе Teammates от Ubisoft](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf) сообщается о закрытом тестировании игрового процесса с генеративным ИИ. Этот документ подтверждает сам факт объявления закрытого теста, однако в указанном источнике нет опубликованных результатов тестирования, поэтому на него нельзя опираться в рассуждениях о поведении игроков или успешности опыта.
Превращайте наблюдения в решения для следующей сборки
После сессии изучите хронологию и сопоставьте каждый ответ NPC со следующим действием игрока. Для каждого очевидного ложного шага проверьте соответствующие факты сцены, а затем определите вероятную причину: NPC выдал ложную деталь, игрок неверно истолковал правдивый ответ либо визуальная подсказка локации или взаимодействия увела его в сторону. Эти объяснения остаются лишь гипотезами, пока вы не проверите их по записи и, если необходимо, в ходе еще одной сессии.
Используйте четыре показателя, чтобы выбрать конкретное изменение или тест для следующей итерации. Если игрок задает несколько принципиально разных вопросов, но получает ответы, которые не помогают действовать, проверьте, дает ли сцена применимую информацию. Если конкретное выдуманное утверждение уводит его в неверную комнату, подумайте, не требуется ли сцене способ верифицировать информацию или вернуться на путь без тупика. Если игрок не может выйти из диалога и завершить задачу, проверьте механику выхода и логику движения к цели. Если он выходит и завершает сцену, зафиксируйте, что путь в этой сборке был доступен; но сначала спросите, как он понял задачу, прежде чем делать вывод о ее очевидности.
Одна 20-минутная сессия может выявить конкретное недопонимание или отсутствующий маршрут, но она не способна показать распространенность этой проблемы. Держите записи наблюдений, проверенные факты сцены и ретроспективные ответы игрока отдельно друг от друга, решая, что исследовать дальше. Это даст небольшой команде ценную информацию о том, как игрок ориентировался в сцене с генеративным диалогом, чего невозможно добиться только с помощью опросника.