Apa Saja yang Bisa Salah Dibaca AI dalam Ringkasan Jurnal? Panduan Praktis Memeriksa Sumber

Mengapa ringkasan yang lancar masih bisa mengubah catatan

Sebuah ringkasan bisa terdengar jelas dan masuk akal meskipun menyimpang dari sumbernya. Penelitian tentang peringkasan memperlakukan konsistensi faktual sebagai pertanyaan terpisah dari apakah teks tersebut enak dibaca: metode salah satu studi memeriksa kalimat-kalimat ringkasan terhadap rentang teks pendukung di sumbernya, dan melaporkan bahwa rentang tersebut membantu orang memverifikasi klaim. Kryscinski et al., “Evaluating the Factual Consistency of Abstractive Text Summarization”

Perbedaan itu penting dalam catatan harian karena sumbernya mungkin singkat, informal, dan penuh dengan konteks tersirat. Suatu sistem mungkin memperhalus tulisan singkat menjadi prosa yang rapi, tetapi penghalusan juga dapat memperkenalkan hubungan, penyebab, atau kesimpulan yang tidak pernah dinyatakan dalam catatan tersebut. NIST menggambarkan konfabulasi sebagai konten yang dihasilkan yang dapat menyimpang dari masukannya, dan mencatat bahwa susunan kata yang meyakinkan dapat membuat konten palsu menjadi persuasif. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”

Periksa orang, tindakan, dan kepemilikan

Pertama, verifikasi peristiwa dasarnya: siapa yang bertindak, apa yang mereka lakukan, dan siapa pemilik suatu rencana atau preferensi. Kata ganti, rujukan kelompok, dan subjek yang dihilangkan mudah salah dibaca saat sebuah catatan dipadatkan. “Sam bilang kita bisa bertemu hari Jumat; saya akan periksa jadwal saya” tidak menyatakan bahwa si penulis setuju untuk bertemu. Ringkasan yang mengatakan “Saya berencana bertemu Sam hari Jumat” telah mengubah saran menjadi keputusan.

Perhatikan juga peran yang tertukar. Jika sebuah catatan berbunyi “Saya mengirimi Jo resep setelah dia memintanya,” ringkasan tidak boleh menyiratkan bahwa Jo yang mengirimkannya. Baca ulang setiap nama dan “saya,” “kita,” “mereka,” atau “seseorang” dalam ringkasan terhadap teks aslinya. Ketika catatan harian membiarkan pelakunya tidak jelas, ringkasan yang setia harus mempertahankan ketidakpastian itu atau membiarkan detail tersebut tidak disertakan.

Pertahankan waktu, urutan, dan apakah suatu rencana terlaksana

Bedakan peristiwa masa lalu dari niat saat ini, sebuah kemungkinan, dan tindakan yang selesai. “Mungkin naik bus,” “memutuskan untuk naik bus,” dan “naik bus” adalah catatan yang berbeda. Begitu pula, “memesan meja untuk hari Sabtu” tidak sama dengan “pergi makan malam pada hari Sabtu.” Periksa bentuk waktu (tense) dan kata kerja seperti *mempertimbangkan*, *merencanakan*, *membatalkan*, dan *menyelesaikan*.

Urutan kejadian bisa jadi penting bahkan ketika semua peristiwa muncul dalam ringkasan. Jika catatan mengatakan sebuah toko tutup, jadi penulis membuat teh di rumah, membalikkan urutan peristiwa tersebut akan mengubah isi ceritanya. Untuk catatan yang lebih panjang, periksa bagian awal, tengah, dan akhir daripada hanya mengandalkan ringkasan yang tampaknya menangkap tema secara keseluruhan. Penelitian tentang peringkasan dokumen panjang telah melaporkan bahwa model dapat lebih mengutamakan informasi di dekat awal dan akhir sumber; metode yang diusulkannya menggunakan bagian-bagian yang tumpang tindih untuk mengatasi masalah ini. Temuan tersebut menyangkut sistem peringkasan yang dievaluasi, bukan jaminan tentang alat jurnal tertentu. Li et al., “Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency”

Perhatikan kepastian, nada, dan penjelasan yang dikarang

Sebuah catatan harian mungkin mencatat tebakan, pertanyaan, atau pemikiran yang belum selesai. Ringkasan dapat secara tidak sengaja meningkatkan “mungkin tokonya mengubah jam buka” menjadi “tokonya mengubah jam buka.” Ringkasan juga dapat menambahkan alasan yang tidak diberikan oleh penulis: “Saya tidak pergi ke pasar karena hujan” menambahkan hubungan sebab-akibat jika teks aslinya hanya menyebutkan hujan dan melewatkan pergi ke pasar.

Bandingkan kata-kata penunjuk kepastian, bukan hanya kata benda. “Menurut saya,” “mungkin,” “saya lupa,” dan “saya tidak yakin” masing-masing membatasi apa yang dipastikan oleh catatan tersebut. Ringkasan pendek tidak perlu mempertahankan setiap kata pelindung (hedge), tetapi tidak boleh menyajikan interpretasi yang tidak pasti sebagai fakta yang sudah pasti. Perlakukan penjelasan yang rapi dan kesimpulan yang meyakinkan sebagai klaim yang membutuhkan dukungan langsung dari sumbernya.

Metode verifikasi kalimat demi kalimat yang cepat

Gunakan pemeriksaan tiga tahap ini sebelum menyimpan atau menggunakan kembali sebuah ringkasan:

Tandai setiap klaim faktual. Garis bawahi nama, tanggal, tindakan, jumlah, lokasi, keputusan, dan alasan. Pisahkan kalimat menjadi klaim-klaim terpisah jika mengandung beberapa detail.

Temukan kata-kata pada sumbernya. Untuk setiap klaim, cari frasa atau kalimat yang mendukungnya. Jika tidak ada kata-kata yang mendukungnya, beri label “tidak dinyatakan” alih-alih mengisi kekosongan dari apa yang tampaknya masuk akal.

Bandingkan kekuatan dan urutan. Periksa bahwa ringkasan tersebut tidak menjadikan suatu kemungkinan sebagai kepastian, memindahkan acara ke hari lain, membalikkan urutan, atau mengubah niat menjadi tindakan yang selesai.

Perbaiki secara terbatas. Koreksi detail yang tidak didukung, pertahankan ambiguitas, atau hapus klaim yang tidak dapat diverifikasi. Kemudian baca ringkasan yang telah direvisi bersandingan dengan catatan aslinya sekali lagi.

Misalnya, bayangkan sebuah catatan berbunyi: “Tanya Lee apakah toko tanaman punya daun basil. Ternyata habis. Saya akan cari di pasar akhir pekan kalau sempat.” “Saya membeli basil di pasar” adalah hal yang tidak didukung: catatan tersebut tidak mencatat kunjungan maupun pembelian. “Saya mungkin mencari basil di pasar akhir pekan ini” menjaga rencana tersebut tetap tentatif. Ini adalah contoh ilustratif, bukan temuan penelitian.

Kapan harus meminta ringkasan yang lebih singkat atau lebih harfiah

Jika versi yang dihasilkan terus menambahkan motif atau kesimpulan, berikan batasan tugas yang lebih sempit: minta peristiwa dan rencana eksplisit saja, pertahankan ketidakpastian, dan abaikan alasan kecuali catatan tersebut menyatakannya. Anda juga dapat meminta daftar singkat klaim beserta frasa pendukung dari catatan di samping masing-masing klaim. Kemudian periksa apakah frasa yang dikutip benar-benar mendukung klaim tersebut: teks sumber yang ditampilkan berdampingan dengan kalimat mempermudah verifikasi, tetapi kecocokan sumber tetap harus nyata.

Untuk catatan singkat, membandingkan ringkasan secara langsung dengan isi catatan mungkin lebih cepat daripada membuat versi lain. Untuk catatan yang panjang, periksa bagian demi bagian dan berikan perhatian ekstra pada detail di bagian tengah. Simpan ringkasan hanya jika klaim-klaimnya sesuai dengan tulisannya; jika suatu detail tidak dapat dikonfirmasi, revisi atau hapus detail tersebut daripada memperlakukan susunan kata yang lancar sebagai bukti.

Lanjutkan topik ini