Mengapa Chatbot Fiksyen Melupakan Persediaannya Selepas Perbualan Panjang? Panduan Lima Pemeriksaan

Pilih satu butiran yang sepatutnya kekal dan mudah diperiksa. Contohnya: “Mira, penjaga rumah api fiksyen, menyimpan kompas loyang di dalam laci meja hijau.” Gunakan fakta yang sama sepanjang pemeriksaan, dan ajukan soalan khusus seperti “Apakah warna lacinya?” Elakkan maklumat peribadi atau butiran yang penting di luar ujian ini.

Catatkan arahan tepat, jawapan, anggaran panjang perbualan dan sama ada anda memulakan sembang baharu. Jika anda menguji chatbot milik orang lain, gunakan hanya persediaan dan perbualan ujian yang anda dibenarkan akses. Jangan anggap satu jawapan sebagai kesimpulan: hasil penjanaan boleh berbeza-beza, dan satu kegagalan tidak menunjukkan sama ada fakta itu ada tetapi terlepas pandang atau tiada dalam maklumat yang diberikan kepada model.

Penyelidikan menyokong sikap berhati-hati ketika mentafsir kegagalan dalam sembang panjang. Liu dan rakan-rakannya mendapati bahawa prestasi dalam tugasan mendapatkan semula maklumat boleh berubah mengikut kedudukan butiran yang berkaitan dalam input panjang, dan sering merosot apabila butiran itu muncul di bahagian tengah. Eksperimen mereka melibatkan soal jawab dan carian nilai-kunci, bukannya lakon peranan fiksyen atau mana-mana aplikasi tertentu. Kajian 2026 oleh Luz de Araujo dan rakan-rakannya meneliti kesetiaan persona secara langsung dalam dialog lanjutan dan melaporkan kemerosotan sepanjang dialog bagi model yang mereka nilai. Kedua-dua makalah itu tidak mengenal pasti punca kegagalan chatbot tertentu. (Liu et al., “Lost in the Middle,” 2024; De Araujo et al., “Persistent Personas?”, 2026)

Dalam sembang sedia ada, tanyakan tentang kompas dan laci. Kemudian buka perbualan baharu, berikan semula persediaan watak pada awal perbualan, dan ajukan soalan yang sama. Jika jawapan dalam sembang baharu betul tetapi gagal dalam sembang lama yang sudah panjang, had konteks panjang menjadi satu kemungkinan. Butiran yang diberikan mungkin tidak lagi tersedia dalam bentuk yang sama, atau model mungkin semakin sukar menggunakannya apabila perbualan bertambah panjang.

Corak ini tidak menetapkan sempadan tetingkap konteks yang tepat. Sembang baharu juga mengubah keadaan lain: fakta itu diletakkan hampir di awal perbualan dan arahan seterusnya yang mungkin bersaing dengannya digugurkan. Tetingkap konteks ialah jumlah perbualan dan input lain yang boleh diproses oleh sistem pada satu-satu masa; ia tidak semestinya sama dengan memori tersimpan merentas sembang. Melainkan perkhidmatan itu mendokumenkan hadnya, jangan membuat kesimpulan tentang bilangan token daripada satu kegagalan.

Jika perkhidmatan itu menawarkan ciri carian, ingatan semula atau sejarah perbualan yang didokumenkan, uji sama ada ciri itu dapat menemukan teks persediaan yang tepat. Anda juga boleh meminta chatbot mendapatkan semula fakta itu daripada pertukaran terdahulu yang berkaitan, jika ciri tersebut disokong. Bandingkan hasilnya dengan garis dasar sembang baharu.

Jika persediaan itu masih ada dalam sejarah atau rekod memori yang boleh diakses tetapi chatbot tidak menggunakannya, kegagalan carian semula atau pemilihan ialah salah satu kemungkinan. Puncanya juga mungkin kesan kedudukan dalam konteks, jawapan yang lemah, atau ciri yang berfungsi secara berbeza daripada jangkaan. Tanpa melihat maklumat yang diberikan kepada model untuk menghasilkan jawapan itu, anda tidak dapat membezakannya dengan yakin. Jangan anggap chatbot mencari dalam setiap mesej terdahulu hanya kerana antara muka memaparkan transkrip penuh.

Sesetengah sistem mungkin meringkaskan giliran terdahulu menjadi ringkasan yang lebih pendek. Jika aplikasi memaparkan ringkasan itu, periksa sama ada ia masih menyatakan bahawa lacinya hijau dan komp asnya daripada loyang. Jika ringkasan itu hanya mengatakan bahawa Mira “menyimpan kompas berdekatan,” tanyakan secara khusus tentang warna yang digugurkan dan bandingkan jawapannya dengan versi yang persediaannya diberikan secara jelas.

Ringkasan yang salah atau tidak lengkap menyokong kemungkinan bahawa pemampatan telah mengubah maklumat yang dibawa ke hadapan. Namun, ringkasan yang anda lihat mungkin bukan ringkasan yang digunakan oleh sistem, dan anda tidak boleh menganggap ringkasan tersembunyi itu wujud. Anggap pemeriksaan ini sebagai bukti hanya apabila produk benar-benar memaparkan rekod atau dokumentasi yang berkaitan.

Kekalkan fakta itu, kemudian perhatikan arahan seterusnya yang mungkin mempengaruhi cara chatbot menjawab. Babak fiksyen mungkin menyatakan, “Mira berasa tidak pasti hari ini lalu meneka bahawa laci itu berwarna biru.” Arahan itu bercanggah dengan persediaan yang menyatakan laci itu hijau. Ajukan soalan fakta yang neutral, kemudian soalan yang dibingkaikan dalam babak tersebut. Jika jawapan chatbot berbeza, pilihan kata atau keutamaan arahan mungkin mempengaruhi jawapan.

Untuk ujian yang lebih jelas, buang atau ubah satu arahan yang bercanggah sambil mengekalkan bahagian persediaan fiksyen yang lain. Jika pematuhan kembali, konflik menjadi penjelasan yang lebih kukuh berbanding sekadar lupa. Chatbot juga mungkin salah membaca arahan atau mereka-reka jawapan; perubahan selepas penyuntingan tidak mendedahkan aturan keutamaan dalaman sistem. Penyelidikan tentang dialog persona lanjutan menunjukkan bahawa kesetiaan persona dan pematuhan arahan boleh dinilai sepanjang interaksi panjang, tetapi penyelidikan itu tidak dapat memberitahu anda aturan yang diutamakan oleh perkhidmatan tertentu. (“Persistent Personas?”)

Butiran dalam sembang semasa, profil watak tersimpan dan memori merentas sembang ialah perkara yang berbeza. Semak tetapan atau dokumentasi produk itu sendiri untuk mengetahui sama ada ia menawarkan maklumat watak kekal, sama ada penyimpanan perlu diaktifkan atau disahkan, dan sama ada butiran yang dipilih memang sepatutnya dibawa ke perbualan lain. Gunakan sembang baharu untuk mengujinya hanya jika perkhidmatan menyatakan bahawa ciri itu sepatutnya berfungsi di sana.

Jika produk itu tidak mempunyai cara yang didokumenkan untuk menyimpan butiran watak seperti ini, kegagalan mengingatinya dalam sembang lain bukan bukti bahawa memori tersimpan telah dipadamkan. Jika ciri sedemikian tersedia, periksa entri tersimpan yang kelihatan serta skopnya sebelum membuat kesimpulan. Nota tersimpan mungkin mengekalkan butiran “laci hijau” tanpa perlu mengekalkan setiap mesej terdahulu dalam perbualan aktif, tetapi jangan mendakwa mana-mana aplikasi berfungsi begini tanpa bukti khusus produk.

Gunakan pemerhatian sebagai petunjuk, sambil memastikan setiap tafsiran lebih terbatas daripada corak itu sendiri:

Pemerhatian: Sembang baharu dengan persediaan yang diberikan berjaya; sembang lama yang panjang gagal Kemungkinan tafsiran: Kepekaan terhadap konteks panjang atau kedudukan Ini tidak membuktikan: Titik pemotongan tetingkap konteks yang tepat

Pemerhatian: Sejarah atau memori yang didokumenkan mengandungi fakta itu, tetapi jawapan tidak menyebutnya Kemungkinan tafsiran: Kegagalan carian semula atau penggunaan Ini tidak membuktikan: Bahawa carian semula sahaja yang menyebabkan kegagalan

Pemerhatian: Ringkasan yang dipaparkan menggugurkan atau mengubah butiran itu Kemungkinan tafsiran: Kehilangan atau perubahan dalam ringkasan Ini tidak membuktikan: Bahawa input sebenar model menggunakan ringkasan itu

Pemerhatian: Membuang arahan babak yang bercanggah memulihkan pematuhan Kemungkinan tafsiran: Konflik atau tafsiran arahan Ini tidak membuktikan: Hierarki arahan dalaman aplikasi

Pemerhatian: Butiran tiada dalam sembang baharu dan tiada ciri penyimpanan merentas sembang yang didokumenkan Kemungkinan tafsiran: Tiada laluan memori kekal yang dapat dibuktikan Ini tidak membuktikan: Bahawa memori sedia ada telah dipadamkan

Jika terdapat beberapa corak, puncanya mungkin bertindih. Contohnya, ringkasan mungkin menggugurkan warna laci sementara arahan seterusnya turut menyebut laci biru. Pastikan setiap ujian kecil, ubah satu keadaan pada satu-satu masa dan kekalkan kata-kata yang tepat supaya perbandingan kekal berguna.

Watak yang kedengaran berbeza ialah gejala yang berasingan daripada lupa fakta persediaan tertentu. Konsistensi suara berkaitan gaya, pemilihan kata atau cara penyampaian; pemeriksaan di atas berkaitan sama ada butiran fiksyen yang nyata tersedia dan dipatuhi. Kemas kini model atau perkhidmatan boleh mengubah gaya, tetapi melainkan perkhidmatan mendokumenkan perubahan itu atau menyediakan maklumat model yang boleh dibandingkan, perubahan suara tidak membuktikan bahawa kemas kini berlaku.

Begitu juga, pembetulan yang diterima dalam satu balasan tidak semestinya menjadi pembetulan kekal. Ujinya dahulu dalam sembang yang sama, kemudian dalam sembang baharu hanya jika produk mendakwa pembetulan sepatutnya dibawa ke sana. Jika watak mengikuti arahan “laci itu hijau” sekali tetapi kemudian kembali kepada jawapan lama, itu menggambarkan ketekalan pembetulan; hal itu sendiri tidak mengenal pasti sama ada puncanya konteks, carian semula, ringkasan, konflik arahan atau reka bentuk memori.

Bagi pereka, lima kes yang sama mencadangkan penilaian praktikal: kekalkan fakta fiksyen yang tidak berbahaya, ubah panjang perbualan dan kedudukan fakta itu, paparkan atau log nota dan ringkasan yang diperoleh semula apabila sesuai, perkenalkan arahan bercanggah yang terkawal, dan nyatakan sama ada fakta itu dijangka kekal merentas sesi. Catatkan sumber rujukan bagi setiap ujian. Ini memudahkan kegagalan dihasilkan semula dan membantu membezakan masalah kandungan daripada jangkaan yang tidak pernah dijanjikan oleh produk.

Kesimpulan yang cermat harus menyatakan bukti dan batasannya: “Perbandingan dengan sembang baharu menunjukkan kesan perbualan panjang, tetapi saya tidak dapat memastikan sama ada butiran itu dipotong, tidak diperoleh semula atau diketepikan.” Ini lebih berguna daripada melabel setiap kegagalan sebagai masalah memori—dan lebih tepat apabila pelaksanaan aplikasi tidak diketahui.