Cara Memerhati Ujian Main Dialog Permainan AI dalam 20 Minit

Pilih babak dengan satu objektif yang jelas dan NPC yang jawapannya boleh mengubah cara pemain mencapainya. Sebagai contoh, dalam babak fiksyen, pemain mesti membuka pintu pagar rumah hijau yang berkunci sebelum kitaran pengudaraan tamat. NPC penyelenggaraan boleh memberikan petunjuk melalui perbualan bebas. Laluan yang dimaksudkan ialah mencari pemegang injap biru di bangsal peralatan, tetapi NPC itu kadangkala mungkin mereka-reka butiran, seperti mendakwa pemegang itu berada di bilik pam yang dinaiki air.

Empat petunjuk di bawah menumpukan pada tingkah laku pemain dan akibat dalam babak. Petunjuk ini tidak memerlukan anda menilai sama ada soalan itu bijak atau sama ada pemain kelihatan menikmati permainan.

Petunjuk: Soalan yang pelbagai — Catat peristiwa apabila…: Pemain mengubah kata-kata, topik atau pendekatan selepas menerima jawapan—contohnya, bertanya lokasi injap, kemudian bertanya warnanya atau bilik mana yang selamat. — Bukti yang perlu dicatat: Apa yang ditanya, jawapan NPC dan sama ada soalan seterusnya berpunca daripada jawapan itu. Bezakan pertanyaan yang benar-benar berbeza daripada soalan yang hampir berulang. — Tanya selepas itu…: “Apakah yang cuba anda ketahui melalui soalan-soalan itu?”

Petunjuk: Jawapan mengubah tindakan seterusnya — Catat peristiwa apabila…: Pemain bergerak, memeriksa sesuatu atau mengubah rancangan dengan cara yang menyusuli jawapan NPC. — Bukti yang perlu dicatat: Jawapan, tindakan pemain yang seterusnya dan sebarang pilihan lain yang kelihatan tetapi diketepikan. Tandakan kaitannya sebagai jelas, munasabah atau tidak pasti; tindakan selepas jawapan tidak membuktikan bahawa jawapan itu yang menyebabkannya. — Tanya selepas itu…: “Jika ada, bahagian perbualan yang mana mempengaruhi tindakan anda yang seterusnya?”

Petunjuk: Fakta yang direka-reka menyebabkan kesilapan laluan — Catat peristiwa apabila…: Pemain mengikut dakwaan khusus NPC yang tidak disokong atau palsu lalu mengambil tindakan yang tidak membuahkan hasil kerananya. — Bukti yang perlu dicatat: Dakwaan tepat, tindakan yang dicetuskan, kos atau jalan memutar yang kelihatan dalam binaan, serta cara pemain menyedari atau membetulkan kesilapan itu. Semak fakta yang dimaksudkan dalam babak selepas sesi sebelum melabel sesuatu dakwaan sebagai rekaan. — Tanya selepas itu…: “Apakah yang membuatkan laluan itu kelihatan seperti pilihan yang betul? Bilakah anda memutuskan untuk menukar arah?”

Petunjuk: Pemain boleh menghentikan dialog dan menamatkan babak — Catat peristiwa apabila…: Pemain keluar, berhenti seketika atau menolak perbualan selanjutnya, namun masih dapat mengejar dan mencapai objektif. — Bukti yang perlu dicatat: Sama ada pilihan keluar kelihatan, apa yang berlaku selepas keluar, sama ada kemajuan yang berguna masih boleh dicapai, dan sama ada pemain mencapai keadaan tamat babak. Catat halangan secara berasingan daripada pilihan pemain untuk terus berbual. — Tanya selepas itu…: “Adakah anda rasa boleh meninggalkan perbualan itu? Apakah yang membuatkan anda terus berbual atau berhenti?”

Ini ialah takrif peristiwa, bukannya skor kualiti. Catat kata-kata dan tindakan sebenar pemain dan bukannya membuat andaian tentang niat berdasarkan ekspresi muka, kesenyapan atau tempoh bermain. Jika sesuatu peristiwa tidak berlaku, catat “tidak diperhatikan dalam sesi ini”, bukannya menganggapnya sebagai kegagalan.

Sebelum setiap sesi, catat versi binaan, objektif permulaan, fakta babak yang diketahui dan keadaan tamat yang dibenarkan. Semasa permainan, catat soalan pemain, jawapan NPC, tindakan seterusnya yang kelihatan dan sebarang perubahan keadaan permainan yang berlaku. Ayat yang kedengaran membantu masih boleh jadi salah jika menunjukkan lokasi yang tiada dalam binaan ini.

Selepas sesi, bandingkan fakta yang disyaki direka-reka dengan helaian babak sebenar. Sahkan dakwaan yang tidak disokong hanya apabila fakta babak bercanggah dengannya; jika tidak, labelkannya sebagai belum dipastikan dan siasat lebih lanjut. Catat secara berasingan sebarang petunjuk daripada fasilitator atau gangguan teknikal kerana perkara itu boleh mengubah tindakan pemain yang seterusnya. Jejak bukti ringkas ini menjadikan perbincangan kemudian lebih tepat tanpa menganggap satu sesi permainan sebagai hasil yang terpakai secara umum.

Beritahu peserta: “Sila mainkan babak ini seperti kebiasaan anda. Anda boleh bercakap dengan watak itu atau meninggalkan perbualan bila-bila masa. Saya mungkin berdiam diri supaya dapat melihat apa yang anda cuba.” Elakkan daripada mengajar mereka supaya bertanya soalan yang pelbagai atau memberi amaran tentang fakta yang direka-reka; perkara itu akan mengubah tingkah laku yang ingin didedahkan oleh sesi ini. Jika mereka meminta bantuan, beri respons secara konsisten, catat campur tangan itu dan pertimbangkan bantuan tersebut semasa menilai tingkah laku selepasnya.

Jadual yang praktikal ialah:

Minit 0–2: Persediaan. Terangkan tugasan dan kawalan tanpa menghuraikan penyelesaian yang dimaksudkan. Mulakan jam apabila pemain mendapat kawalan, dan mulakan babak dalam keadaan yang sama bagi setiap peserta.

Minit 2–15: Pemerhatian. Biarkan pemain meneroka dan berbual. Catat setiap jawapan yang berkaitan serta tindakan seterusnya, terutama apabila sesuatu dakwaan membawa mereka ke tempat tertentu. Gunakan gesaan neutral seperti “Apakah yang sedang anda fikirkan?” hanya apabila pemain berhenti dan memerlukan gesaan untuk meneruskan; catat bahawa anda telah campur tangan.

Minit 15–20: Tamatkan dan tanya. Jika pemain belum selesai, hentikan permainan selepas 15 minit dan catat keadaan semasa tanpa membayangkan bahawa mereka gagal dalam ujian kepantasan. Ajukan soalan susulan yang berkaitan dengan peristiwa yang diperhatikan, kemudian tanya satu soalan umum: “Jika ada, apakah yang tidak jelas tentang perbualan atau langkah anda yang seterusnya?” Catat laporan kendiri secara berasingan daripada tingkah laku yang diperhatikan.

Had 20 minit ialah sempadan sesi yang praktikal untuk contoh ini, bukannya penanda aras empirikal. Pemain yang menghabiskan lebih banyak masa berbual tidak semestinya menunjukkan kepuasan yang lebih tinggi, dan pemain yang menamatkan permainan dengan cepat tidak semestinya memahami atau menikmati babak itu. Jika tugasan memerlukan lebih banyak masa dalam binaan anda, laraskan jadual sebelum sesi dan kekalkan jadual itu secara konsisten.

Dalam bedah siasat The Turing Test, pengarah reka bentuk David Jones menerangkan ujian teka-teki bersama pelajar, pengumpulan penilaian keseronokan dan kesukaran serta tempoh bermain, dan kepentingan yang lebih besar yang diberikan kepada pemerhatian tingkah laku pemain. Beliau menerangkan gabungan penilaian dan pemerhatian untuk menilai lengkung kesukaran. Bagi babak dialog, pengajaran yang berguna ialah mengumpulkan kedua-dua jenis bukti tetapi mengekalkannya secara berasingan: log peristiwa menunjukkan tindakan pemain; soalan susulan merekodkan penjelasan atau penilaian mereka. Kedua-duanya tidak secara automatik menerangkan satu sama lain.

Bedah siasat Mark of the Ninja oleh Klei menerangkan ujian kerap bersama pemain baharu untuk mengkaji andaian reka bentuk. Pasukan itu mencari sebab di sebalik aduan dan memerhatikan bahagian yang menyukarkan pemain baharu, kemudian melaraskan petunjuk dan reka bentuk. Dalam konteks ini, kesilapan laluan pemain ialah petunjuk untuk disiasat—bukan alasan untuk sekadar memanjangkan dialog NPC. Tanya apakah dalam jawapan, antara muka atau babak yang membuatkan laluan itu kelihatan meyakinkan, dan semak rakaman atau keadaan binaan sebelum menentukan perubahan yang perlu dibuat.

Pengumuman Teammates oleh Ubisoft menerangkan ujian tertutup untuk pengalaman AI generatif yang boleh dimainkan. Pengumuman itu mengesahkan bahawa pasukan tersebut mengumumkan ujian tertutup; ia tidak menerbitkan hasil pemain dalam pengumuman yang dirujuk, jadi pengumuman itu tidak dapat menyokong dakwaan tentang tindakan pemain atau sama ada pengalaman itu berjaya.

Selepas sesi, semak garis masa dan hubungkan setiap jawapan NPC dengan tindakan pemain yang seterusnya. Bagi setiap kesilapan laluan yang kelihatan, sahkan fakta babak yang berkaitan, kemudian kenal pasti punca yang mungkin: NPC memberikan butiran palsu, pemain tersalah tafsir jawapan yang benar, atau petunjuk lokasi atau interaksi mengarahkan mereka ke tempat lain. Penjelasan ini kekal sebagai hipotesis sehingga disemak berdasarkan urutan yang dirakam dan, jika berguna, sesi lain.

Gunakan empat petunjuk itu untuk memilih perubahan atau ujian susulan yang konkrit. Jika pemain mengemukakan beberapa soalan yang berbeza tetapi menerima jawapan yang tidak membantu mereka bertindak, semak sama ada babak itu menyediakan maklumat yang boleh ditindaklanjuti. Jika dakwaan tertentu yang direka-reka menghantar mereka ke bilik yang salah, pertimbangkan sama ada babak itu memerlukan cara untuk mengesahkan dakwaan tersebut atau pulih tanpa jalan buntu. Jika pemain tidak dapat meninggalkan dialog dan menamatkan babak, periksa aliran keluar dan objektif. Jika mereka meninggalkan dialog lalu menamatkan babak, catat bahawa laluan itu tersedia dalam binaan ini; tanya apa yang mereka fahami sebelum membuat kesimpulan bahawa laluan itu jelas.

Satu sesi selama 20 minit boleh mendedahkan kekeliruan tertentu atau laluan yang tiada, tetapi tidak dapat menentukan berapa kerap masalah itu berlaku. Semasa memutuskan perkara yang perlu disiasat seterusnya, asingkan catatan peristiwa pemerhati, fakta babak yang disahkan dan jawapan retrospektif pemain. Dengan cara itu, pasukan kecil dapat memahami cara pemain ini menavigasi babak dialog generatif ini, melebihi apa yang dapat diperoleh daripada soal selidik sahaja.