Apakah yang Boleh Disalahertikan oleh AI dalam Ringkasan Jurnal? Panduan Praktikal untuk Menyemak Sumber

Ringkasan boleh kedengaran jelas dan munasabah walaupun menyimpang daripada sumbernya. Penyelidikan tentang peringkasan menganggap konsistensi fakta sebagai persoalan yang berasingan daripada sama ada teks itu sedap dibaca: kaedah dalam satu kajian menyemak ayat ringkasan dengan petikan sokongan dalam sumber, dan melaporkan bahawa petikan tersebut membantu orang mengesahkan dakwaan. Kryscinski et al., “Evaluating the Factual Consistency of Abstractive Text Summarization”

Perbezaan itu penting dalam diari kerana sumbernya mungkin ringkas, tidak formal dan sarat dengan konteks tersirat. Sistem mungkin mengolah nota ringkas menjadi prosa yang kemas, tetapi pengolahan itu juga boleh memperkenalkan hubungan, sebab atau kesimpulan yang tidak pernah dinyatakan dalam catatan. NIST mentakrifkan konfabulasi sebagai kandungan yang dijana dan boleh menyimpang daripada inputnya, serta menyatakan bahawa susunan kata yang yakin boleh menjadikan kandungan palsu kelihatan meyakinkan. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”

Mula-mula, sahkan peristiwa asas: siapa yang bertindak, apa yang mereka lakukan, dan siapa yang bertanggungjawab atas sesuatu rancangan atau pilihan. Kata ganti nama, rujukan kepada kumpulan dan subjek yang digugurkan mudah disalahertikan apabila nota dipendekkan. “Sam berkata kita boleh berjumpa pada hari Jumaat; saya akan semak jadual saya” tidak membuktikan bahawa penulis bersetuju untuk berjumpa. Ringkasan yang mengatakan “Saya merancang untuk berjumpa Sam pada hari Jumaat” telah mengubah cadangan menjadi keputusan.

Perhatikan juga jika peranan tertukar. Jika catatan mengatakan “Saya menghantar resipi kepada Jo selepas dia memintanya,” ringkasan itu tidak sepatutnya membayangkan bahawa Jo yang menghantarnya. Semak semula setiap nama dan perkataan “saya”, “kami”, “mereka” atau “seseorang” dalam ringkasan dengan catatan asal. Jika pelaku tidak jelas dalam diari, ringkasan yang setia sepatutnya mengekalkan ketidakpastian itu atau menggugurkan butiran tersebut.

Bezakan peristiwa lampau daripada niat semasa, kemungkinan dan tindakan yang telah selesai. “Mungkin naik bas”, “memutuskan untuk naik bas” dan “telah naik bas” ialah rekod yang berbeza. Begitu juga, “menempah meja untuk hari Sabtu” tidak sama dengan “pergi makan malam pada hari Sabtu”. Semak kala dan kata kerja seperti mempertimbangkan, merancang, membatalkan dan menyelesaikan.

Urutan boleh menjadi penting walaupun semua peristiwa muncul dalam ringkasan. Jika catatan menyebut bahawa kedai tutup, lalu penulis membuat teh di rumah, membalikkan urutan peristiwa itu mengubah kisahnya. Bagi catatan yang lebih panjang, semak bahagian awal, tengah dan akhir; jangan bergantung pada ringkasan yang nampaknya menangkap tema keseluruhannya. Penyelidikan tentang peringkasan dokumen panjang melaporkan bahawa model mungkin mengutamakan maklumat yang berhampiran dengan permulaan dan penghujung sumber; kaedah yang dicadangkan menggunakan bahagian yang bertindih untuk menangani masalah ini. Dapatan itu berkaitan dengan sistem peringkasan yang dinilai, bukan jaminan tentang mana-mana alat jurnal tertentu. Li et al., “Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency”

Diari mungkin mencatat tekaan, soalan atau fikiran yang belum selesai. Ringkasan boleh secara tidak sengaja mengubah “mungkin kedai itu menukar waktu operasinya” menjadi “kedai itu menukar waktu operasinya”. Ringkasan juga boleh menambah alasan yang tidak diberikan oleh penulis: “Saya tidak pergi ke pasar kerana hujan” menambah hubungan sebab-akibat jika catatan asal hanya menyebut hujan dan pasar yang tidak dikunjungi.

Bandingkan perkataan yang menunjukkan tahap kepastian, bukan kata nama sahaja. “Saya rasa”, “barangkali”, “saya terlupa” dan “saya tidak pasti” masing-masing mengehadkan perkara yang dapat dipastikan daripada catatan. Ringkasan pendek tidak perlu mengekalkan setiap ungkapan berhati-hati, tetapi tidak sepatutnya menyampaikan tafsiran yang tidak pasti sebagai fakta muktamad. Anggap penjelasan yang kemas dan kesimpulan yang yakin sebagai dakwaan yang memerlukan sokongan langsung daripada sumber.

Gunakan semakan tiga peringkat ini sebelum menyimpan atau menggunakan semula ringkasan:

Tandakan setiap dakwaan fakta. Gariskan nama, tarikh, tindakan, kuantiti, lokasi, keputusan dan sebab. Pecahkan ayat kepada dakwaan berasingan jika mengandungi beberapa butiran.

Cari perkataan dalam sumber. Bagi setiap dakwaan, cari frasa atau ayat yang menyokongnya. Jika tiada perkataan yang menyokongnya, tandakannya sebagai “tidak dinyatakan” dan bukannya mengisi kekosongan berdasarkan perkara yang kelihatan munasabah.

Bandingkan tahap kepastian dan urutan. Pastikan ringkasan tidak menjadikan kemungkinan sebagai kepastian, memindahkan peristiwa ke hari lain, membalikkan urutan atau mengubah niat menjadi tindakan yang telah selesai.

Buat pembetulan yang terhad. Betulkan butiran yang tidak disokong, kekalkan kekaburan atau padamkan dakwaan yang tidak dapat disemak. Kemudian baca semula ringkasan yang telah disemak bersama catatan itu.

Sebagai contoh, andaikan satu catatan berbunyi: “Bertanya kepada Lee sama ada kedai tanaman itu ada selasih. Mereka kehabisan stok. Saya akan melihat-lihat di pasar hujung minggu jika ada masa.” “Saya membeli selasih di pasar” tidak disokong: catatan itu tidak mencatatkan kunjungan atau pembelian. “Saya mungkin mencari selasih di pasar hujung minggu ini” mengekalkan sifat rancangan yang belum pasti. Ini ialah contoh ilustrasi, bukan dapatan penyelidikan.

Jika versi yang dijana terus menambah motif atau kesimpulan, tetapkan batas yang lebih khusus: minta hanya peristiwa dan rancangan yang dinyatakan secara jelas, kekalkan ketidakpastian, dan tinggalkan sebab melainkan catatan menyatakannya. Anda juga boleh meminta senarai ringkas dakwaan dengan frasa sokongan daripada catatan di sebelah setiap dakwaan. Kemudian semak sama ada frasa yang dipetik itu benar-benar menyokong dakwaan tersebut: memaparkan teks sumber bersama ayat memudahkan pengesahan, tetapi padanan dengan sumber itu tetap perlu benar-benar wujud.

Bagi nota pendek, membandingkan ringkasan secara langsung dengan catatan mungkin lebih cepat daripada menjana versi lain. Bagi catatan panjang, semak bahagian demi bahagian dan berikan perhatian tambahan kepada butiran di bahagian tengah. Simpan ringkasan hanya apabila dakwaannya sepadan dengan apa yang ditulis; jika sesuatu butiran tidak dapat disahkan, semak semula atau buang butiran itu dan bukannya menganggap susunan kata yang lancar sebagai bukti.