Cara Mengamati Playtest Dialog Game AI dalam 20 Menit
Bagi studio kecil yang menguji satu adegan dialog generatif, amati apa yang dilakukan pemain terhadap jawaban NPC: apakah mereka mencoba pertanyaan yang berbeda, bertindak berdasarkan informasi yang berguna, pulih dari fakta karangan, dan meninggalkan dialog untuk menyelesaikan adegan. Kuesioner singkat dapat menangkap apa yang dikatakan pemain tentang apa yang mereka rasakan atau pahami setelahnya; kuesioner saja tidak dapat menunjukkan pilihan dan jalan memutar yang terjadi dari waktu ke waktu. Gunakan lembar peristiwa sederhana selama bermain, lalu ajukan pertanyaan tindak lanjut yang terfokus. Perlakukan observasi sebagai bukti tentang adegan dan build ini—bukan sebagai ukuran kepuasan atau bukti tentang bagaimana semua pemain akan berperilaku.
Apa yang harus Anda amati dalam adegan dialog generatif?
Pilih adegan dengan satu tujuan yang jelas dan NPC yang jawabannya dapat mengubah cara pemain mencapainya. Misalnya, dalam adegan fiksi, pemain harus membuka gerbang rumah kaca yang terkunci sebelum siklus ventilasi berakhir. NPC pemeliharaan dapat memberikan petunjuk melalui percakapan bebas. Rute yang diinginkan adalah menemukan pegangan katup biru di gudang peralatan, tetapi NPC kadang-kadang dapat mengarang detail, seperti mengklaim pegangan tersebut ada di ruang pompa yang banjir.
Empat indikator di bawah ini fokus pada perilaku pemain dan konsekuensi adegan tersebut. Indikator ini tidak memerlukan penilaian apakah suatu pertanyaan cerdas atau apakah seorang pemain tampak menikmati game.
Indikator: **Pertanyaan bervariasi** — Catat suatu peristiwa ketika…: Pemain mengubah susunan kata, subjek, atau pendekatan setelah suatu jawaban—misalnya, menanyakan di mana letak katup, lalu menanyakan apa warnanya atau ruangan mana yang aman. — Bukti nyata yang perlu dicatat: Apa yang mereka tanyakan, apa jawaban NPC, dan apakah pertanyaan berikutnya mengikuti jawaban tersebut. Bedakan pertanyaan yang benar-benar berbeda dari pengulangan yang mirip. — Tanyakan setelahnya…: “Apa yang ingin Anda pelajari dengan pertanyaan-pertanyaan tersebut?”
Indikator: **Jawaban mengubah tindakan selanjutnya** — Catat suatu peristiwa ketika…: Pemain bergerak, memeriksa sesuatu, atau mengubah rencana mereka dengan cara yang mengikuti jawaban NPC. — Bukti nyata yang perlu dicatat: Jawaban tersebut, tindakan pemain selanjutnya, dan alternatif nyata apa pun yang mereka lewati. Tandai hubungannya sebagai jelas, masuk akal, atau tidak pasti; suatu tindakan setelah sebuah jawaban tidak membuktikan bahwa jawaban tersebut yang menyebabkannya. — Tanyakan setelahnya…: “Bagian mana dari percakapan, jika ada, yang memengaruhi apa yang Anda lakukan selanjutnya?”
Indikator: **Fakta karangan menyebabkan salah langkah** — Catat suatu peristiwa ketika…: Pemain mengikuti klaim NPC tertentu yang tidak berdasar atau salah dan mengambil tindakan yang tidak produktif karenanya. — Bukti nyata yang perlu dicatat: Klaim yang tepat, tindakan yang dipicunya, biaya atau jalan memutar yang terlihat dalam build, dan bagaimana pemain menemukan atau memperbaiki kesalahan tersebut. Periksa fakta adegan yang dimaksudkan setelah sesi sebelum melabeli suatu klaim sebagai karangan. — Tanyakan setelahnya…: “Apa yang membuat rute tersebut tampak tepat? Kapan Anda memutuskan untuk mengubah arah?”
Indikator: **Pemain dapat menghentikan dialog dan menyelesaikan adegan** — Catat suatu peristiwa ketika…: Pemain keluar, menjeda, atau menolak percakapan lebih lanjut dan masih dapat mengejar serta menyelesaikan tujuan. — Bukti nyata yang perlu dicatat: Apakah opsi keluar terlihat, apa yang terjadi setelah keluar, apakah kemajuan yang berguna tetap memungkinkan, dan apakah pemain mencapai kondisi penyelesaian adegan. Catat hambatan secara terpisah dari keputusan pemain yang memilih untuk terus berbicara. — Tanyakan setelahnya…: “Apakah Anda merasa bisa meninggalkan percakapan? Apa yang membuat Anda melanjutkan atau berhenti?”
Ini adalah definisi peristiwa, bukan skor kualitas. Catat kata-kata dan tindakan aktual pemain daripada menyimpulkan niat dari ekspresi wajah, keheningan, atau durasi bermain. Jika suatu peristiwa tidak terjadi, catat “tidak teramati dalam sesi ini”, bukan menganggapnya sebagai kegagalan."
Jaga agar lembar observasi tetap terikat pada build
Sebelum setiap sesi, catat versi build, tujuan awal, fakta adegan yang diketahui, dan status penyelesaian yang diizinkan. Selama bermain, tulis pertanyaan pemain, jawaban NPC, tindakan nyata berikutnya, dan perubahan status game apa pun yang terjadi. Kalimat yang terdengar membantu tetap bisa salah jika merujuk ke lokasi yang tidak ada dalam build ini.
Setelah sesi, bandingkan dugaan fakta karangan dengan lembar adegan yang sebenarnya. Tandai klaim tanpa dasar sebagai terkonfirmasi hanya jika fakta adegan bertentangan dengannya; jika tidak, beri label belum terselesaikan dan selidiki. Buat catatan terpisah untuk arahan fasilitator atau gangguan teknis, karena hal tersebut dapat mengubah apa yang dilakukan pemain selanjutnya. Jejak bukti kecil ini membuat diskusi selanjutnya menjadi lebih tepat tanpa mengubah satu sesi permainan menjadi hasil yang universal.
Cara menjalankan sesi berbatas waktu 20 menit
Beri tahu peserta: “Silakan mainkan adegan ini seperti biasanya. Anda dapat berbicara dengan karakter atau meninggalkan percakapan kapan pun Anda mau. Saya mungkin akan tetap diam agar saya dapat mengamati apa yang Anda coba.” Hindari mengajari mereka untuk mengajukan pertanyaan yang bervariasi atau memperingatkan mereka tentang fakta karangan; hal itu akan mengubah perilaku yang ingin diungkapkan oleh sesi ini. Jika mereka meminta bantuan, berikan respons secara konsisten, catat intervensi tersebut, dan perlakukan perilaku selanjutnya dengan mempertimbangkan bantuan tersebut.
Jadwal yang dapat diterapkan adalah:
**Menit 0–2: Persiapan.** Jelaskan tugas dan kontrol tanpa menjelaskan solusi yang dimaksud. Mulai hitungan waktu saat pemain memegang kendali, dan mulai adegan dalam status yang sama untuk setiap peserta.
**Menit 2–15: Amati.** Biarkan pemain menjelajah dan berbicara. Catat setiap jawaban yang relevan dan tindakan berikutnya, terutama ketika sebuah klaim mengarahkan mereka ke suatu tempat. Gunakan dorongan netral seperti “Apa yang sedang Anda pikirkan?” untuk momen ketika pemain terhenti dan membutuhkan dorongan untuk melanjutkan; catat bahwa Anda telah melakukan intervensi.
**Menit 15–20: Penutupan dan tanya jawab.** Jika pemain belum selesai, hentikan pada 15 menit bermain dan catat status saat ini daripada menyiratkan bahwa mereka gagal dalam uji kecepatan. Ajukan pertanyaan tindak lanjut yang terkait dengan peristiwa yang diamati, lalu ajukan satu pertanyaan umum: “Apa saja, jika ada, yang tidak jelas tentang percakapan atau langkah Anda selanjutnya?” Catat laporan mandiri secara terpisah dari perilaku yang diamati.
Batas waktu 20 menit adalah batasan sesi praktis untuk contoh ini, bukan tolok ukur empiris. Pemain yang menghabiskan waktu lebih lama untuk berbicara tidak serta-merta menunjukkan kepuasan yang lebih besar, dan pemain yang selesai dengan cepat belum tentu memahami atau menikmati adegan tersebut. Jika tugas tersebut memerlukan lebih banyak waktu dalam build Anda, sesuaikan jadwal sebelum sesi dan jaga agar tetap konsisten.
Pisahkan apa yang terjadi dari apa yang dikatakan pemain
Dalam [postmortem The Turing Test](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic), pengarah desain David Jones menjelaskan pengujian teka-teki bersama siswa, mengumpulkan penilaian kesenangan dan kesulitan serta waktu bermain, dan menempatkan kepentingan yang lebih besar pada pengamatan perilaku pemain. Dia menjelaskan penggabungan penilaian dan observasi untuk menilai kurva kesulitan. Untuk adegan dialog, pelajaran yang berguna adalah menjaga kedua jenis bukti tetap bersama tetapi berbeda: log peristiwa menunjukkan apa yang dilakukan pemain; tindak lanjut mencatat penjelasan atau penilaian mereka. Keduanya tidak secara otomatis menjelaskan satu sama lain.
[Postmortem Mark of the Ninja](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-) dari Klei menjelaskan pengujian yang sering dilakukan dengan pemain baru untuk memeriksa asumsi desain. Tim mencari motivasi di balik keluhan dan melihat di mana pemain baru mengalami kesulitan, lalu menyesuaikan petunjuk dan desain. Diterapkan di sini, kesalahan langkah pemain adalah petunjuk untuk diselidiki—bukan dorongan untuk sekadar membuat dialog NPC lebih panjang. Tanyakan apa dalam jawaban, antarmuka, atau adegan yang membuat rute tersebut meyakinkan, dan periksa rekaman atau status build sebelum memutuskan apa yang akan diubah.
[Pengumuman Teammates](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf) dari Ubisoft menjelaskan uji pemain tertutup untuk pengalaman AI generatif yang dapat dimainkan. Ini menetapkan bahwa tim mengumumkan pengujian tertutup; dokumen tersebut tidak memberikan hasil pemain yang dipublikasikan dalam pengumuman yang dikutip, sehingga tidak dapat mendukung klaim tentang apa yang dilakukan pemain atau apakah pengalaman tersebut berhasil.
Ubah observasi menjadi keputusan build berikutnya
Setelah sesi, tinjau lini masa dan hubungkan setiap jawaban NPC dengan tindakan pemain selanjutnya. Untuk setiap kesalahan langkah yang tampak, verifikasi fakta adegan yang relevan, lalu identifikasi kemungkinan sumbernya: NPC memberikan detail palsu, pemain salah membaca jawaban yang benar, atau petunjuk lokasi atau interaksi mengarahkan mereka ke tempat lain. Penjelasan ini merupakan hipotesis sampai diperiksa terhadap urutan yang direkam dan, jika berguna, sesi lainnya.
Gunakan empat indikator untuk memilih perubahan atau pengujian tindak lanjut yang konkret. Jika pemain mengajukan beberapa pertanyaan berbeda tetapi mendapatkan jawaban yang tidak memandu tindakan, tinjau kembali apakah adegan tersebut menawarkan informasi yang dapat ditindaklanjuti. Jika klaim karangan tertentu mengirim mereka ke ruangan yang salah, pertimbangkan apakah adegan tersebut memerlukan cara untuk memverifikasi klaim atau memulihkan diri tanpa jalan buntu. Jika pemain tidak dapat meninggalkan dialog dan menyelesaikannya, periksa alur keluar dan alur tujuan. Jika mereka keluar dan menyelesaikan adegan, catat bahwa jalur tersebut tersedia dalam build ini; tanyakan apa yang mereka pahami sebelum menyimpulkan bahwa jalur tersebut sudah jelas.
Satu sesi berdurasi 20 menit dapat mengungkap kebingungan tertentu atau rute yang hilang, tetapi tidak dapat menentukan seberapa umum masalah tersebut. Pisahkan catatan peristiwa pengamat, fakta adegan yang diverifikasi, dan jawaban retrospektif pemain saat memutuskan apa yang akan diselidiki selanjutnya. Hal ini memberi tim kecil laporan berguna tentang bagaimana pemain ini menavigasi adegan dialog generatif ini, melampaui kuesioner saja.