Apa yang Dapat—dan Tidak Dapat—Diberitahukan oleh Pembaca Simulasi AI Tentang Tulisan Anda
Jika Anda sedang merevisi halaman, panduan, atau serangkaian instruksi, model bahasa dapat membantu Anda menemukan susunan kata yang mungkin membingungkan pembaca. Model ini dapat menunjukkan frasa yang tidak jelas, menggambarkan kemungkinan salah tafsir, atau memeriksa apakah draf tampaknya menjawab pertanyaan yang diajukan. Namun, reaksi simulasi tidak dapat menunjukkan bahwa pembaca yang Anda tuju memahami teks tersebut, membawa konteks yang tepat ke dalamnya, atau menyelesaikan tugas yang digambarkannya. Untuk itu, amatilah beberapa orang sungguhan dari audiens Anda mencoba tugas tersebut dan menjelaskan apa yang mereka pahami.
Apa yang dapat dikritisi oleh model secara bermanfaat dalam sebuah draf
Sebuah model dapat memeriksa kata-kata dan struktur yang Anda berikan. Mintalah model tersebut untuk mengidentifikasi istilah-istilah yang mungkin asing, langkah-langkah yang tampaknya hilang, instruksi dengan lebih dari satu makna yang masuk akal, atau pertanyaan yang belum terjawab oleh draf. Anda juga dapat memintanya untuk menyatakan bukti apa dalam teks yang mengarah pada setiap pengamatan. Ini berguna sebagai pemeriksaan editorial tahap awal: ini menciptakan kandidat hal-hal yang perlu diselidiki, bukan temuan tentang pembaca sebenarnya.
Buat tugasnya tetap konkret. Misalnya, dengan halaman yang menjelaskan cara memilih perjalanan harian (day trip), minta model untuk menunjukkan detail mana yang dibutuhkan pembaca untuk membandingkan pilihan dan di mana detail tersebut muncul. Mintalah bagian teks yang spesifik dan kemungkinan kesalahpahaman, lalu periksa setiap saran terhadap tujuan Anda dan teks tersebut. Jawaban yang fasih bukanlah bukti bahwa siapa pun akan membaca bagian tersebut dengan cara itu.
Perintah persona (persona prompts) mungkin menambahkan beberapa struktur yang berguna, tetapi deskripsi seperti “pengunjung pertama kali yang sibuk” tidak serta-merta menjadikan model tersebut pengunjung itu. Penelitian tentang persona prompting menemukan bahwa manfaatnya bergantung pada apakah variabel persona sesuai dengan pola dalam anotasi manusia; di banyak kumpulan data subjektif, variabel-variabel tersebut hanya sedikit menjelaskan variasi yang ada. Perlakukan reaksi berbasis persona sebagai hipotesis, bukan sebagai sampel yang representatif dari opini audiens. Hu dan Collier, “Quantifying the Persona Effect in LLM Simulations”
Apa yang tidak dapat dipastikan oleh reaksi simulasi
Respons model tidak dapat memastikan apa yang diperhatikan, disimpulkan, diingat, atau dilakukan oleh pembaca tertentu. Model menerima teks dan perintah, lalu menghasilkan jawaban. Pembaca sungguhan menghadapi materi tersebut dengan pengetahuan, tujuan, distraksi, ekspektasi, dan situasi mereka sendiri. Faktor-faktor tersebut menentukan apakah sebuah kalimat masuk akal dan apakah orang tersebut dapat mengambil tindakan berdasarkan kalimat itu.
Perbedaan ini paling penting ketika pertanyaannya bersifat perilaku: Bisakah seseorang menemukan informasi yang tepat? Apakah mereka menafsirkan petunjuk sesuai tujuan yang dimaksud? Bisakah mereka menyelesaikan tugas tanpa petunjuk tambahan? Model dapat bernalar tentang pertanyaan-pertanyaan ini, tetapi penjelasannya tentang apa yang akan dilakukannya tetaplah teks yang dihasilkan. Model tersebut belum menavigasi halaman secara independen atau membuktikan bahwa seseorang di audiens Anda dapat menggunakannya.
Penelitian tentang simulasi model juga memperingatkan agar tidak menganggap respons yang jelas atau beragam sebagai bukti kesetiaan (fidelity). Sebuah studi tahun 2025 tentang simulasi respons survei menemukan bahwa pendekatan yang diuji kesulitan untuk mereproduksi respons pengguna secara akurat; model dapat mempertahankan sudut pandang melintasi perubahan demografis dan kesulitan beradaptasi dengan perbedaan bernuansa antar-profil. Studi tersebut tidak menguji secara langsung setiap kritik penulisan atau tugas kegunaan, tetapi mendukung batasan praktis: pembaca simulasi yang terdengar masuk akal bukanlah validasi tentang bagaimana audiens sesungguhnya akan merespons. Yu dkk., “An Analysis of Large Language Models for Simulating User Responses in Surveys”
Apa yang dapat diungkapkan oleh pengujian pembaca nyata berskala kecil
Pengujian kualitatif berskala kecil dapat menunjukkan di mana peserta sebenarnya merasa ragu, apa yang mereka lewatkan, bagaimana mereka menafsirkan frasa, dan apakah mereka mencapai titik akhir yang dimaksudkan. Anda dapat memberi setiap orang tugas yang realistis, membiarkan mereka menggunakan draf atau halaman tersebut, dan mengamati apa yang terjadi. Pertanyaan tindak lanjut dapat memperjelas apa yang mereka pikirkan tentang arti sebuah kata atau mengapa mereka memilih langkah tertentu. Itu menggabungkan perilaku yang dapat diamati dengan penjelasan peserta itu sendiri.
Untuk tugas konten, tentukan keberhasilan sebelum sesi dimulai. Jika teksnya berupa panduan perjalanan harian, misalnya, Anda mungkin meminta peserta untuk memilih opsi yang sesuai dengan preferensi yang dinyatakan dan menjelaskan informasi apa yang membentuk pilihan tersebut. Perhatikan apakah mereka menemukan detail yang relevan, kata atau bagian mana yang memperlambat mereka, dan apakah penjelasan mereka cocok dengan perbedaan yang dimaksudkan untuk disampaikan oleh panduan tersebut. Contoh ini adalah usulan desain pengujian, bukan klaim tentang panduan atau hasil tertentu.
Panduan pemerintah tentang pengujian kegunaan kualitatif merekomendasikan untuk merekrut orang-orang yang berpotensi menjadi pengguna, memberi mereka tugas, menghindari instruksi yang berlebihan, dan meninjau penyelesaian tugas serta kesalahan umum setelahnya. Nielsen Norman Group juga menggambarkan studi kegunaan sebagai cara untuk menyelidiki apakah konten mudah ditemukan dan dipahami atau apakah orang dapat menyelesaikan suatu tugas. Keduanya menekankan pengamatan terhadap apa yang dilakukan peserta; itu adalah bukti yang tidak dapat disediakan oleh respons simulasi. GOV.UK, “Usability testing: qualitative studies”, Nielsen Norman Group, “Checklist for Planning Usability Studies”
Cara menjalankan pengujian kecil yang berguna
Mulailah dengan satu keputusan atau tugas yang memang dimaksudkan untuk didukung oleh teks tersebut. Rekrut orang-orang yang menyerupai audiens yang dituju dalam aspek-aspek yang relevan, terutama dalam pengalaman mereka dengan subjek tersebut. Kemudian tulis skenario yang memberi mereka alasan untuk menggunakan materi tanpa memberi tahu mereka di mana jawabannya atau kata apa yang harus dicari. Tugas yang mengulang label dari halaman dapat secara tidak sengaja menguji pencocokan kata, alih-alih menguji apakah konten membantu seseorang mencapai tujuannya; NN/G merekomendasikan untuk menulis tugas yang konkret tanpa petunjuk yang mengarahkan perilaku (prime behavior).
Selama sesi, biarkan peserta melanjutkan dengan panduan minimal. Catat apa yang mereka lakukan, di mana mereka berhenti sejenak, apa yang mereka katakan dengan kata-kata mereka sendiri, dan apakah mereka menyelesaikan tugas. Jika mereka meminta bantuan, catat titik di mana mereka membutuhkannya. Setelah itu, minta mereka untuk menjelaskan apa yang mereka pahami dan apa yang akan mereka lakukan selanjutnya. Panduan GOV.UK menyarankan lima hingga enam peserta untuk pengujian kegunaan kualitatif; NN/G umumnya merekomendasikan lima peserta untuk studi kualitatif tradisional. Ini adalah titik awal praktis untuk menemukan masalah, bukan ukuran sampel yang membuat temuan menjadi representatif untuk seluruh populasi. Jika Anda membutuhkan persentase atau perbandingan yang dapat digeneralisasi, Anda memerlukan desain kuantitatif dengan sampel yang lebih besar dan ukuran yang terkontrol. GOV.UK, “Usability testing: qualitative studies”, NN/G, “Quantitative vs. Qualitative Usability Testing”
Ubah observasi menjadi revisi, bukan klaim umum
Setelah beberapa sesi, cari hambatan yang berulang dan kegagalan tunggal yang berdampak. Jika beberapa peserta salah memahami frasa yang sama, itu adalah kandidat kuat untuk revisi. Jika satu orang tidak dapat menyelesaikan tugas, periksa kondisinya dan tanyakan apakah kegagalan tersebut penting bagi audiens yang dituju; jangan memperlakukan satu sesi sebagai tingkat representasi seluruh populasi. Studi kualitatif kecil dimaksudkan untuk mengungkap masalah dan memandu perubahan, bukan memperkirakan berapa banyak orang dalam audiens yang lebih luas yang akan mengalaminya. NN/G mencatat bahwa temuan kualitatif bergantung pada sampel peserta dan interpretasi peneliti, sementara klaim kegunaan numerik membutuhkan studi kuantitatif dengan ukuran yang sesuai.
Revisi teks, lalu uji versi revisi dengan pembaca baru jika memungkinkan. Model dapat membantu Anda mengeksplorasi susunan frasa alternatif atau menandai ambiguitas baru di antara putaran pengujian. Pisahkan jenis bukti dalam catatan Anda: “model memprediksi ini mungkin membingungkan” adalah dorongan untuk penyelidikan; “dua peserta menafsirkan langkah ini secara berbeda dan satu orang tidak mencapai titik akhir” adalah pengamatan dari pengujian. Keduanya secara terpisah tidak membuktikan bahwa setiap pembaca akan memiliki pengalaman yang sama, tetapi yang kedua memberi tahu Anda apa yang terjadi dalam tugas yang Anda amati.
Pembagian kerja yang praktis
Gunakan model untuk menghasilkan pertanyaan tentang draf tersebut. Gunakan pembaca nyata untuk menjawab pertanyaan tentang pemahaman aktual dan kinerja tugas. Ketika tugas bergantung pada audiens, lingkungan, atau pengalaman sebelumnya yang spesifik, rekrutlah orang-orang yang memenuhi kondisi tersebut daripada meminta model untuk mengarangnya. Dan ketika Anda membutuhkan tingkat atau perbandingan yang andal, rancanglah studi kuantitatif daripada memaksakan segelintir sesi kualitatif menjadi sebuah klaim statistik.
Pembagian ini memungkinkan kritik simulasi mempercepat revisi tanpa mencampuradukkan reaksi yang masuk akal dengan bukti keberhasilan pembaca. Pertanyaan penentunya bukanlah apakah model dapat menghasilkan suara pembaca yang meyakinkan; melainkan apakah pembaca yang dituju dapat memahami materi tersebut dan melakukan apa yang ingin dibantu oleh teks tersebut.