Cara Menguji Apakah Karakter AI Masih Menarik Setelah Sepuluh Percakapan
Untuk menguji apakah karakter AI fiksi masih memiliki daya tarik setelah sepuluh percakapan, berikan karakter dan latar yang konsisten kepada seorang playtester, lalu undang mereka ke dalam sepuluh situasi yang berbeda dan masuk akal. Lacak adegan yang mereka pilih, apakah karakternya tetap setia pada kanon yang telah ditetapkan, materi cerita baru apa yang tercipta dari setiap pertukaran pesan, dan apakah penguji memilih untuk menyelesaikan seluruh rangkaian. Perlakukan hal-hal ini sebagai petunjuk yang dapat diamati untuk menyempurnakan karakter, bukan sebagai ukuran seberapa lama seseorang dapat terus diajak mengobrol.
Tentukan apa arti “masih menarik” untuk pengujian ini
Percakapan ke-10 harus menunjukkan apakah karakter tersebut dapat terus mendukung pengalaman bermain yang bernilai setelah rasa penasaran di awal mereda. Untuk latihan ini, daya tarik berarti bahwa penguji menemukan alasan untuk memilih adegan yang beragam, dapat mengenali karakter di tengah perubahan situasi, serta mendapatkan sesuatu yang berguna atau mengejutkan dari percakapan tersebut. Penyelesaian adalah tindakan sukarela terakhir: penguji memilih untuk menuntaskan percakapan ke-10 yang direncanakan. Tidak ada satu pun dari pengamatan ini yang secara mandiri membuktikan bahwa setiap pemain akan menganggap karakter tersebut menarik.
Buat pertanyaannya tetap mengerucut: “Apakah karakter ini menawarkan materi yang cukup konsisten dan segar bagi playtester ini untuk memilih dan menyelesaikan sepuluh percakapan?” Jangan gunakan total waktu yang dihabiskan sebagai skor penentu. Percakapan yang panjang bisa mencerminkan adegan yang memikat, tetapi bisa juga mencerminkan kebingungan atau prompt yang belum tuntas. Pertanyaan dalam playtest karakter menyangkut pilihan adegan, kanon, kebaruan, dan penyelesaian sukarela—bukan apakah langganan konsumen sepadan dengan biayanya selama periode empat belas hari.
Siapkan kartu kanon dan sepuluh undangan adegan
Sebelum pengujian, tulis kartu kanon singkat berisi fakta-fakta yang harus dipertahankan oleh karakter: peran mereka, sejarah penting, preferensi yang telah ditetapkan, hubungan, batasan, dan gaya bicara yang khas. Sertakan juga beberapa sifat fleksibel: bagaimana perilaku mereka saat terkejut, apa yang mereka perhatikan, atau detail macam apa yang biasanya mereka lewatkan. Ini membuat konsistensi dapat diamati tanpa menuntut karakter mengulang kalimat slogan yang sama. Penelitian tentang agen dialog yang dikondisikan persona memperlakukan konsistensi persona sebagai kualitas yang perlu dievaluasi, dan sebuah studi tentang agen model bahasa yang saling berinteraksi menemukan bahwa profil memiliki perbedaan dalam hal konsistensi dan penyelarasan linguistik selama interaksi. Studi-studi tersebut melandasi pentingnya memeriksa perilaku dalam beberapa kali pertukaran; studi tersebut tidak menetapkan ambang batas sepuluh percakapan yang mutlak. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)
Siapkan sepuluh undangan adegan yang menciptakan peluang berbeda tanpa mendikte dialog karakter. Misalnya, karakter tersebut mungkin perlu memilih hadiah kecil, merencanakan kunjungan ke tempat yang familier, meluruskan kesalahpahaman yang tidak berbahaya, membantu mengatur acara komunitas, atau memutuskan apa yang harus dilakukan di suatu sore luang yang tak terduga. Jaga agar setiap undangan tetap berada di dalam dunia karakter yang telah ditetapkan dan pilihan pribadi yang wajar. Variasikan situasi dan jenis keputusannya, sambil tetap mempertahankan kontinuitas yang cukup agar peristiwa-peristiwa sebelumnya tetap bermakna.
Hindari menulis sepuluh versi dari prompt yang sama dengan perubahan yang dangkal. Adegan yang bermanfaat meminta pemain untuk membuat pilihan yang bermakna atau menyumbangkan ide mereka sendiri. Penelitian dan teori tentang narasi interaktif memandang agensi pemain lebih dari sekadar keberadaan pilihan semata: pemahaman dan interpretasi pemain juga turut membentuk pengalaman tersebut. Dalam playtest ini, hal itu mengindikasikan pentingnya mencatat apa yang sebenarnya dipilih penguji dan bagaimana mereka mengarahkan adegan, bukan sekadar menghitung berapa banyak prompt yang dijawab karakter. (Connecting player and character agency in videogames)
Jalankan sepuluh percakapan tanpa mengarahkan respons yang “benar”
Beri penguji pengantar yang singkat dan netral: mereka sedang mencoba karakter dan adegan, dan pengujian ini berkaitan dengan pengalaman, bukan performa mereka. Beri tahu bahwa mereka dapat berhenti kapan saja. Tampilkan satu adegan dalam satu waktu dengan format yang konsisten, dan hindari menyarankan apa yang akan membuat sebuah adegan menarik atau opsi mana yang harus diambil oleh karakter. Panduan uji keterpakaian yang dimoderasi merekomendasikan tugas yang jelas dan masuk akal tanpa membocorkan jawabannya, serta mengamati peserta dan mengajukan pertanyaan lanjutan terbuka. Adaptasikan disiplin tersebut ke dalam permainan kreatif: buat pengaturannya jelas, lalu beri ruang bagi penguji untuk merespons dengan cara mereka sendiri. (Using moderated usability testing)
Setelah setiap percakapan, catat beberapa pengamatan konkret: adegan mana yang dipilih atau dikembangkan penguji, apakah mereka membawa arah baru, apakah karakter mempertahankan atau bertentangan dengan kanon, dan elemen cerita baru apa yang muncul. Catat kalimat atau pilihan spesifik saat hal itu menggambarkan suatu pengamatan. Pisahkan ini dari interpretasi: “penguji mengubah rencana untuk mengunjungi pasar” adalah pengamatan; “karakter mengundang agensi” adalah kemungkinan interpretasi. Catatan singkat berbasis poin tunggal lebih mudah dibandingkan lintas sesi daripada kesan umum. (Taking notes and recording user research sessions)
Setelah percakapan berakhir, ajukan sejumlah kecil pertanyaan netral. “Apa yang ingin Anda lakukan selanjutnya dengan karakter ini?” dapat mengungkap apakah penguji dapat membayangkan adegan lain. “Apakah ada yang tidak konsisten dengan apa yang Anda pahami tentang mereka?” dapat mengungkap pelanggaran kanon. “Bagian mana yang terasa familier, dan bagian mana yang terasa baru?” dapat memperjelas apakah kebaruan berasal dari karakter, situasi, atau kontribusi penguji itu sendiri. Tanyakan apa yang melandasi jawaban tersebut alih-alih memberikan penjelasannya sendiri.
Gunakan kartu penilaian sepuluh baris sederhana
Gunakan satu baris per percakapan. Skala yang ringkas membantu merangkum pola, tetapi catatan dan contoh jauh lebih penting daripada perhitungan matematis. Rubrik berikut adalah alat bantu playtest praktis, bukan instrumen penelitian tervalidasi.
Percakapan: 1–10; Pilihan atau arah adegan: Apa yang dipilih, ditambahkan, atau dialihkan oleh penguji; Kanon: 0 = kontradiksi; 1 = tidak jelas; 2 = konsisten; Kebaruan yang bermanfaat: 0 = berulang tanpa menambah hal baru; 1 = ada beberapa materi baru; 2 = perkembangan yang berbeda dan dapat digunakan; Selesai atas pilihan sendiri?: Ya / Tidak
Untuk kanon, berikan nilai kontradiksi hanya jika karakter bertentangan dengan fakta pada kartu kanon atau peristiwa yang telah ditetapkan—bukan sekadar karena karakter bertindak berbeda dalam situasi baru. Untuk kebaruan, hitung detail, keputusan, perkembangan hubungan, atau perubahan alur adegan yang memberi penguji sesuatu untuk ditanggapi atau dibangun. Detail mengejutkan yang tidak masuk akal di dunia karakter bukanlah kebaruan yang bermanfaat. Buat pilihan adegan tetap bersifat deskriptif alih-alih menilai preferensi penguji: variasi berarti karakter dapat mengakomodasi arah yang berbeda, bukan berarti penguji harus memilih rentang yang telah ditentukan sebelumnya.
Catat penyelesaian secara terpisah dari skor lainnya. Jika penguji secara sukarela menyelesaikan percakapan kesepuluh, catat hal itu; jika mereka berhenti, tanyakan apakah mereka bersedia menceritakan apa yang menyebabkan mereka berhenti. Jangan mengartikan penyelesaian sebagai bukti ketertarikan atau ketidakselesaian sebagai bukti kegagalan. Seseorang mungkin berhenti karena alasan di luar karakter tersebut, dan rangkaian yang selesai pun masih bisa memuat adegan yang repetitif atau kontradiktif. Kombinasi perilaku dan penjelasan memberikan lebih banyak informasi daripada satu hasil biner.
Baca polanya dan putuskan apa yang perlu direvisi
Perhatikan di bagian mana pengalaman berubah di sepanjang rangkaian percakapan. Jika penguji terus memilih berbagai jenis adegan tetapi balasan karakter menjadi generik, perbaiki suara (voice) dan pengambilan keputusan dalam berbagai situasi. Jika karakter tetap dapat dikenali tetapi adegan berulang kali berakhir tanpa keputusan atau detail baru, revisi undangan adegan atau beri karakter tujuan dan preferensi yang lebih spesifik untuk ditindaklanjuti. Jika penguji mulai mengalihkan adegan, periksa apakah situasi yang disiapkan terasa terlalu mirip, terlalu sempit, atau kurang menarik dibandingkan ide yang mereka bawa.
Suara yang khas harus terpancar dari apa yang diperhatikan, diinginkan, dan dikatakan karakter—bukan sekadar dari kebiasaan verbal (catchphrase) yang diulang-ulang. Panduan mendongeng tentang dialog mendeskripsikan suara sebagai cerminan kepribadian dan merekomendasikan penyesuaian dialog dengan sifat, latar belakang, dan emosi karakter. Gunakan prinsip itu saat meninjau transkrip: mungkinkah kalimat tersebut wajar diucapkan oleh karakter ini dalam situasi ini, dan apakah kalimat tersebut menunjukkan sudut pandang yang dapat dikenali? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)
Kemudian pilih satu revisi spesifik dan ulangi pengujian sepuluh adegan yang sama dengan playtester lain, atau dengan sesi baru yang terdokumentasi secara jelas. Pertahankan prompt dan definisi skor saat membandingkan versi agar perubahan dalam pengujian itu sendiri tidak disalahartikan sebagai perubahan pada karakter. Jika sesi pertama mengungkapkan kontradiksi kanon, tambahkan adegan yang secara alami menguji fakta yang relevan; jika sesi tersebut menunjukkan percakapan yang repetitif, tambahkan situasi dengan jenis pilihan yang berbeda. Ini adalah siklus diagnostik, bukan estimasi populasi. Seorang playtester tunggal dapat mengidentifikasi hambatan dan potensi konkret, tetapi tidak dapat menunjukkan seberapa luas hasil tersebut dapat digeneralisasi.
Apa yang dapat—dan tidak dapat—diberitahukan oleh sepuluh percakapan
Format sepuluh percakapan ini berguna sebagai uji ketahanan (stress test) yang terfokus: format ini membantu Anda mengamati apakah variasi adegan, kanon yang dapat dikenali, dan materi segar dapat bertahan melampaui percakapan pembuka. Format ini dapat menunjukkan di mana penguji tertentu kehilangan minat, menemukan arah yang menjanjikan, atau menemui kontradiksi. Format ini tidak membuktikan daya tarik jangka panjang, memprediksi retensi, atau menentukan bagaimana semua audiens akan merespons. Gunakan cara ini untuk memutuskan apa yang perlu diperiksa dan direvisi, lalu kumpulkan lebih banyak playtest jika Anda membutuhkan keyakinan terhadap berbagai pembaca dan gaya bermain.
Sinyal paling jelas adalah pola yang disertai contoh: penguji memiliki ruang untuk memilih, karakter merespons dengan cara yang sesuai dengan kanon yang ditetapkan, adegan menghasilkan materi berbeda untuk dikembangkan, dan penguji memilih untuk menyelesaikan seluruh rangkaian. Ketika salah satu elemen tersebut hilang, catatan yang ada harus mengarahkan pada keputusan keahlian (craft decision) berikutnya—menyesuaikan suara karakter, memperjelas kanon, atau mendesain ulang undangan adegan—alih-alih sekadar menambahkan lebih banyak prompt percakapan.