Cara Menguji Sama Ada Watak AI Masih Menarik Selepas Sepuluh Perbualan

Perbualan kesepuluh sepatutnya menunjukkan sama ada watak itu boleh terus menyokong permainan yang bermakna selepas kebaharuan pada peringkat pengenalan berlalu. Untuk latihan ini, daya tarikan bermaksud penguji menemui sebab untuk memilih pelbagai adegan, dapat mengenali watak itu dalam keadaan yang berubah-ubah, dan memperoleh sesuatu yang berguna atau mengejutkan daripada pertukaran tersebut. Penyelesaian ialah tindakan sukarela yang terakhir: penguji memilih untuk menamatkan perbualan kesepuluh yang dirancang. Tiada satu pun pemerhatian ini sahaja membuktikan bahawa setiap pemain akan menganggap watak itu menarik.

Pastikan persoalannya khusus: “Adakah watak ini menawarkan bahan yang cukup konsisten dan segar untuk penguji permainan ini memilih dan melengkapkan sepuluh perbualan?” Jangan gunakan jumlah masa yang diluangkan sebagai skor penentu. Perbualan yang panjang mungkin menunjukkan adegan yang mengasyikkan, tetapi mungkin juga berpunca daripada kekeliruan atau arahan yang tidak selesai. Soalan ujian permainan watak berkaitan pilihan adegan, kanon, kebaharuan dan penyelesaian secara sukarela—bukannya sama ada langganan pengguna berbaloi dengan harganya sepanjang tempoh empat belas hari.

Sebelum ujian, tulis kad kanon ringkas dengan fakta yang mesti dikekalkan oleh watak itu: peranan, sejarah penting, pilihan yang telah ditetapkan, hubungan, batasan dan gaya pertuturan yang tersendiri. Sertakan juga beberapa ciri yang fleksibel: cara mereka berkelakuan apabila terkejut, perkara yang mereka perhatikan, atau jenis butiran yang cenderung terlepas pandang. Ini menjadikan konsistensi boleh diperhatikan tanpa menuntut watak itu mengulang ungkapan lazim yang sama. Kajian tentang ejen dialog yang dikondisikan oleh persona menganggap konsistensi persona sebagai kualiti yang perlu dinilai, dan kajian terhadap ejen model bahasa yang berinteraksi mendapati bahawa profil berbeza dari segi konsistensi dan penjajaran linguistik semasa interaksi. Kajian-kajian itu mendorong pemeriksaan tingkah laku merentas beberapa pertukaran; kajian tersebut tidak menetapkan ambang universal sepuluh perbualan. (Membina Ejen Dialog Konsisten Persona dengan Pembelajaran Pengukuhan Luar Talian; Ejen LLM dalam Interaksi: Mengukur Konsistensi Personaliti dan Penjajaran Linguistik dalam Populasi Model Bahasa Besar yang Berinteraksi)

Sediakan sepuluh jemputan adegan yang membuka peluang berbeza tanpa menentukan dialog watak. Contohnya, watak itu mungkin perlu memilih hadiah kecil, merancang lawatan ke tempat yang biasa dikunjungi, membetulkan salah faham yang tidak serius, membantu mengatur acara komuniti, atau memutuskan perkara yang hendak dilakukan pada petang lapang yang tidak dijangka. Pastikan setiap jemputan sesuai dengan dunia yang telah ditetapkan bagi watak itu dan pilihan peribadi yang biasa. Pelbagaikan situasi dan jenis keputusan sambil mengekalkan kesinambungan yang cukup supaya peristiwa terdahulu boleh memberi kesan.

Elakkan menulis sepuluh versi arahan yang sama dengan perubahan luaran sahaja. Adegan yang berguna meminta pemain membuat pilihan yang bermakna atau membawa idea sendiri. Kajian dan teori tentang naratif interaktif menganggap agensi pemain lebih daripada sekadar kehadiran pilihan: pemahaman dan tafsiran pemain turut membentuk pengalaman. Dalam ujian permainan ini, hal tersebut bermakna kita perlu merekodkan pilihan sebenar penguji dan cara mereka mengarahkan adegan, bukan sekadar mengira jumlah arahan yang dijawab oleh watak itu. (Menghubungkan agensi pemain dan watak dalam permainan video)

Berikan penguji pengenalan ringkas dan neutral: mereka sedang mencuba watak dan adegan, dan ujian ini menilai pengalaman, bukannya prestasi mereka. Beritahu mereka bahawa mereka boleh berhenti pada bila-bila masa. Kemukakan satu adegan pada satu masa dalam format yang konsisten, dan jangan mencadangkan perkara yang akan menjadikan adegan itu menarik atau pilihan yang patut dibuat oleh watak. Panduan ujian kebolehgunaan bermoderator mengesyorkan tugasan yang jelas dan munasabah, yang tidak mendedahkan jawapan, di samping memerhatikan peserta dan mengemukakan soalan susulan terbuka. Sesuaikan amalan itu dengan permainan kreatif: jelaskan latar, kemudian berikan ruang kepada penguji untuk memberi respons dengan cara mereka sendiri. (Menggunakan ujian kebolehgunaan bermoderator)

Selepas setiap pertukaran, catat beberapa pemerhatian konkrit: adegan yang dipilih atau dikembangkan oleh penguji, sama ada mereka memperkenalkan hala tuju baharu, sama ada watak mengekalkan atau bercanggah dengan kanon, dan unsur cerita baharu yang muncul. Catat baris dialog atau pilihan tertentu apabila ia menggambarkan sesuatu pemerhatian. Asingkan pemerhatian ini daripada tafsiran: “penguji mengubah rancangan untuk pergi ke pasar” ialah pemerhatian; “watak itu memberi ruang kepada agensi” ialah tafsiran yang mungkin. Nota ringkas yang berfokus pada satu perkara lebih mudah dibandingkan merentas sesi berbanding tanggapan umum. (Mencatat nota dan merakam sesi penyelidikan pengguna)

Setelah pertukaran tamat, ajukan beberapa soalan neutral. “Apakah yang anda mahu lakukan seterusnya dengan watak ini?” boleh mendedahkan sama ada penguji dapat membayangkan adegan lain. “Adakah apa-apa yang tidak konsisten dengan pemahaman anda tentang watak ini?” boleh menonjolkan pelanggaran kanon. “Bahagian mana yang terasa biasa dan bahagian mana yang terasa baharu?” boleh menjelaskan sama ada kebaharuan datang daripada watak, situasi atau sumbangan penguji sendiri. Tanyakan apa yang mendorong sesuatu jawapan dan bukannya memberikan penjelasan sendiri.

Gunakan satu baris bagi setiap perbualan. Skala ringkas membantu merumuskan pola, tetapi nota dan contoh lebih penting daripada pengiraan. Rubrik berikut ialah alat bantu praktikal untuk ujian permainan, bukannya instrumen penyelidikan yang disahkan.

Perbualan: 1–10; Pilihan atau hala tuju adegan: Perkara yang dipilih, ditambah atau diubah hala oleh penguji; Kanon: 0 = bercanggah; 1 = tidak jelas; 2 = konsisten; Kebaharuan yang berguna: 0 = mengulang tanpa menambah apa-apa; 1 = ada bahan baharu; 2 = perkembangan yang tersendiri dan boleh digunakan; Selesai secara sukarela?: Ya / Tidak

Bagi kanon, beri skor percanggahan hanya apabila watak itu bercanggah dengan fakta pada kad kanon atau peristiwa yang telah ditetapkan—bukan sekadar kerana watak itu bertindak secara berbeza dalam situasi baharu. Bagi kebaharuan, kira butiran, keputusan, perkembangan hubungan atau perubahan adegan yang memberikan sesuatu kepada penguji untuk direspons atau dikembangkan. Butiran mengejutkan yang tidak masuk akal dalam dunia watak itu bukan kebaharuan yang berguna. Catat pilihan adegan secara deskriptif dan bukannya menilai keutamaan penguji: kepelbagaian bermaksud watak itu dapat menyesuaikan diri dengan hala tuju yang berbeza, bukan bermaksud penguji mesti memilih julat yang telah ditentukan.

Catat penyelesaian secara berasingan daripada skor lain. Jika penguji secara sukarela menyelesaikan perbualan kesepuluh, catatkan perkara itu; jika mereka berhenti, tanyakan sama ada mereka sudi berkongsi sebabnya. Jangan anggap penyelesaian sebagai bukti kasih sayang atau kegagalan menyelesaikan sebagai bukti kegagalan. Seseorang mungkin berhenti atas sebab yang tiada kaitan dengan watak itu, dan siri yang selesai masih boleh mengandungi adegan yang berulang atau bercanggah. Gabungan tingkah laku dan penjelasan lebih bermaklumat daripada satu keputusan ya atau tidak.

Perhatikan perubahan pengalaman sepanjang siri. Jika penguji terus memilih pelbagai jenis adegan tetapi jawapan watak menjadi umum, perbaiki gaya pertuturan dan pembuatan keputusan dalam pelbagai keadaan. Jika watak kekal mudah dikenali tetapi adegan berulang kali berakhir tanpa keputusan atau butiran baharu, semak semula jemputan atau berikan matlamat dan pilihan yang lebih khusus untuk ditindaklanjuti oleh watak. Jika penguji mula mengubah hala adegan, periksa sama ada situasi yang disediakan terasa terlalu serupa, terlalu terhad atau sekadar kurang menarik berbanding idea yang mereka bawa sendiri.

Suara yang tersendiri harus terserlah melalui perkara yang diperhatikan, diingini dan dikatakan oleh watak itu—bukan hanya melalui tabiat lisan yang diulang-ulang. Panduan penceritaan tentang dialog menerangkan suara sebagai cerminan personaliti dan mengesyorkan agar dialog disesuaikan dengan ciri, latar belakang dan emosi watak. Gunakan prinsip itu semasa meneliti transkrip: mungkinkah dialog itu diucapkan oleh watak ini dalam situasi tersebut, dan adakah ia menunjukkan sudut pandangan yang mudah dikenali? (Bahagian 8 – Menulis Dialog – Panduan Penceritaan untuk Pemula)

Kemudian pilih satu semakan khusus dan ulang ujian sepuluh adegan yang sama dengan penguji permainan lain, atau jalankan sesi baharu yang didokumentasikan dengan jelas. Kekalkan arahan dan takrif skor semasa membandingkan versi supaya perubahan pada ujian itu sendiri tidak disalah anggap sebagai perubahan pada watak. Jika ujian pertama mendedahkan percanggahan kanon, tambahkan adegan yang menguji fakta berkaitan secara semula jadi; jika ia mendedahkan pertukaran yang berulang, tambahkan situasi dengan pelbagai jenis pilihan. Ini ialah kitaran diagnostik, bukannya anggaran populasi. Seorang penguji permainan boleh mengenal pasti masalah dan kemungkinan yang konkrit, tetapi tidak dapat menunjukkan sejauh mana hasil itu boleh digeneralisasikan.

Format sepuluh perbualan berguna sebagai ujian tekanan yang berfokus: format ini membantu anda melihat sama ada kepelbagaian adegan, kanon yang mudah dikenali dan bahan segar kekal selepas perbualan pembukaan. Format ini boleh menunjukkan saat penguji tertentu hilang minat, menemui hala tuju yang menjanjikan atau terserempak dengan percanggahan. Format ini tidak membuktikan daya tarikan jangka panjang, meramalkan pengekalan pengguna atau menentukan respons semua khalayak. Gunakannya untuk menentukan perkara yang perlu diperiksa dan disemak, kemudian kumpulkan lebih banyak hasil ujian permainan jika anda memerlukan keyakinan merentas pembaca dan gaya bermain yang berbeza.

Petunjuk yang paling jelas ialah pola yang disertakan contoh: penguji mempunyai ruang untuk memilih, watak memberi respons yang sesuai dengan kanon yang ditetapkan, adegan menghasilkan bahan tersendiri untuk dikembangkan, dan penguji memilih untuk melengkapkan siri tersebut. Apabila salah satu unsur ini tiada, nota sepatutnya menunjukkan keputusan penulisan seterusnya—laraskan gaya pertuturan watak, jelaskan kanon atau reka semula jemputan adegan—dan bukannya sekadar menambah lebih banyak arahan perbualan.