Bagaimanakah anda boleh menyunting jawapan chatbot yang panjang tetapi tersasar daripada maksud?

Jawapan relevan apabila pembaca dapat mengaitkan inti utamanya dengan perkara yang ditanyakan. Panjang jawapan sahaja tidak menentukan sama ada jawapan itu berjaya: penerangan terperinci mungkin tepat untuk permintaan yang memerlukan langkah, syarat atau perbandingan. Soalan diagnostik yang berguna ialah sama ada jawapan itu menangani tugasan khusus pengguna sejak awal dan sama ada bahan selebihnya membantu menyelesaikan tugasan tersebut.

Ini ialah kaedah editorial, bukannya senarai semak yang disahkan oleh kajian yang dipetik di bawah. Penyelidikan tentang kerelevanan respons dalam perbualan boleh membantu membingkaikan masalah ini, tetapi tidak membuktikan bahawa semakan tiga pusingan khusus ini memperbaik jawapan.

Sebagai contoh, kertas kerja COLING 2016 oleh Wu, Wang dan Xue mengkaji pemeringkatan respons chatbot calon yang mengambil kira konteks menggunakan data perbualan media sosial. Kertas kerja NAACL 2019 oleh See dan rakan-rakan meneliti perkaitan respons bersama atribut lain yang boleh dikawal, termasuk pengulangan, kekhususan dan soalan yang diajukan, dalam penilaian manusia terhadap perbualan PersonaChat. Kajian-kajian ini meneliti pemeringkatan respons secara pengiraan dan perbualan santai yang dijana; kedua-duanya tidak menguji prosedur penyuntingan dalam artikel ini atau menilai secara langsung jawapan sokongan yang panjang. Gunakan kajian ini sebagai konteks untuk memahami kepentingan perkaitan, bukan sebagai bukti bahawa suntingan tertentu berkesan.

Baca mesej pengguna dan nyatakan tugasan itu dalam satu ayat yang mudah. Pastikan ayat itu cukup khusus supaya anda boleh menilai sama ada jawapan tersebut telah menyelesaikannya. Soalan seperti “Apakah set lakaran kompak yang patut saya bawa menaiki kereta api?” boleh dirumuskan sebagai: “Cadangkan set kompak untuk melakar di dalam kereta api.”

Asingkan tugasan daripada butiran sampingan dalam ayat. Pengguna mungkin menyebut bahawa mereka mempunyai meja kecil, membawa beg kecil atau lebih suka pensel berbanding pen. Butiran tersebut mungkin mengehadkan pilihan jawapan, tetapi bukan permintaan berasingan melainkan pengguna memintanya. Kekalkan kekangan yang mengubah maksud jawapan yang berguna.

Jika mesej itu mengandungi beberapa permintaan, senaraikannya sebelum menyemak jawapan. Ini mengelakkan penyunting daripada menganggap satu soalan kecil yang telah dijawab seolah-olah ia merangkumi seluruh permintaan. Jika matlamat pengguna benar-benar samar, soalan penjelasan mungkin lebih berguna daripada membuat tekaan; artikel ini memfokuskan kes apabila permintaan jelas tetapi jawapan tersasar.

Imbas jawapan dari awal dan tandakan ayat pertama yang secara langsung membantu menyelesaikan tugasan. Ayat itu tidak semestinya memberikan jawapan lengkap. Namun, ayat itu harus memberikan respons yang bermakna terhadap permintaan, bukannya sekadar mengumumkan perkara yang akan dibincangkan oleh chatbot.

Bagi contoh melakar di dalam kereta api, “Bawa buku lakaran kecil dan sebatang pensel dalam uncang nipis” ialah permulaan yang terus menjawab permintaan. “Perjalanan dengan kereta api boleh menyukarkan pemilihan bekalan melukis” berkaitan dengan situasi itu, tetapi tidak mencadangkan set lakaran. Jika jawapan mengambil masa beberapa perenggan sebelum memberikan saranan, kelewatan itu petanda berguna untuk penyuntingan.

Jangan tandakan sesuatu ayat sebagai jawapan hanya kerana ayat itu mengulangi topik pengguna. “Set lakaran kereta api haruslah praktikal” menyebut topiknya, tetapi belum memenuhi permintaan untuk memberikan cadangan. Cari tindakan, pilihan, penjelasan atau maklumat yang diminta oleh pengguna.

Semak setiap ayat selepas menemui jawapan. Bagi setiap ayat, tanya: Adakah ayat ini membantu pengguna bertindak berdasarkan jawapan, memahami syarat penting atau memilih antara pilihan yang berguna? Jika tidak, buang ayat itu. Jika ayat itu berguna tetapi bukan keutamaan, alihkannya selepas jawapan langsung atau jadikannya nota pilihan yang ringkas.

Berikut ialah contoh sebelum dan selepas yang sengaja dipermudah. Butiran ini sekadar ilustrasi, bukannya dapatan penyelidikan.

Sebelum

Perjalanan dengan kereta api boleh menyukarkan pemilihan bekalan melakar. Sesetengah pelukis lebih suka kertas besar, manakala yang lain menggunakan buku kecil. Pensel terdapat dalam pelbagai jenis. Anda juga mungkin mahu mempertimbangkan cara alat anda dimuatkan ke dalam beg. Terdapat banyak set yang boleh dipilih, bergantung pada pilihan anda.

Selepas

Bawa buku lakaran kecil dan sebatang pensel dalam uncang nipis. Set kompak ini muat di atas meja kecil di dalam kereta api. Jika anda tidak mahu membawa pengasah pensel, pensel mekanikal ialah pilihan lain.

Jawapan yang disemak bermula dengan set yang diminta, kemudian memberikan sebab praktikal dan satu pilihan tambahan. Jawapan itu membuang pemerhatian umum yang tidak membantu memilih set lakaran. Jawapan ini lebih berfokus, tetapi penambahbaikan itu bukan sekadar pengurangan bilangan perkataan: jika pengguna meminta beberapa medium, keperluan kebolehcapaian atau set lengkap bahan seni, butiran tersebut mungkin diperlukan.

Gunakan tiga tindakan penyuntingan ini dan bukannya memadam secara spontan:

Ujian ini juga dapat mengesan isi yang berulang. Jika dua ayat menyampaikan perkara yang sama, kekalkan ayat yang lebih jelas melainkan ayat kedua menambah syarat yang berbeza. Sebaliknya, jangan buang peringatan penting hanya kerana ia memanjangkan jawapan.

Sesetengah permintaan tidak dapat dijawab dengan baik dalam satu ayat. Pengguna yang bertanya cara menyelesaikan masalah pada peranti mungkin memerlukan urutan langkah, amaran tentang masa untuk berhenti dan cara mengetahui sama ada setiap langkah berjaya. Permintaan untuk membuat perbandingan mungkin memerlukan penjelasan tentang pertukaran antara pilihan. Permintaan yang melibatkan beberapa kekangan mungkin memerlukan jawapan yang menerangkan syarat yang mendorong saranan tersebut.

Dalam kes ini, kekalkan butiran dan susunkannya mengikut tugasan. Dahulukan kesimpulan atau tindakan berguna yang pertama, kemudian berikan langkah, sebab, alternatif dan pengecualian mengikut turutan yang diperlukan pembaca. Tajuk atau langkah bernombor membantu apabila menjadikan jawapan lebih mudah diimbas; semuanya menjadi hiasan yang tidak perlu jika jawapan hanya mempunyai beberapa isi ringkas.

Semak juga sama ada terdapat bahan yang tertinggal, bukan sekadar bahan berlebihan. Jawapan mungkin ringkas tetapi tetap gagal kerana mengabaikan kekangan, tidak menjawab sebahagian permintaan atau memberikan arahan tanpa syarat yang diperlukan untuk melaksanakannya. Kerelevanan bermaksud memenuhi permintaan, bukannya meminimumkan bilangan perkataan.

Selepas menyunting, bandingkan jawapan dengan tugasan satu ayat daripada Pusingan 1. Bolehkah pembaca menemui jawapan utama berhampiran permulaan? Adakah setiap ayat selepasnya memberikan sebab, langkah, pilihan, kekangan atau penjelasan tambahan yang berguna? Adakah suntingan itu mengekalkan butiran yang diperlukan pengguna?

Jika jawapan lulus semakan tersebut, jawapan itu berkemungkinan lebih menepati permintaan, sama ada pendek atau panjang. Jika inti jawapan masih muncul lewat, alihkannya ke hadapan dan semak semula ayat-ayat sebelumnya. Anggap ini sebagai pertimbangan editorial yang praktikal: penyelidikan yang dipetik memberikan konteks tentang perkaitan respons secara umum, manakala prosedur tiga pusingan ini ialah panduan penyuntingan berasaskan pertimbangan, bukannya dapatan yang telah diuji.