Cara mendapatkan maklum balas berguna apabila AI memuji draf anda

Pujian sering menggambarkan tanggapan umum: “jelas”, “menarik”, “tersusun dengan baik”. Kata-kata itu tidak memberitahu anda perkara yang patut dikekalkan, perkara yang mengelirukan, atau tindakan seterusnya yang patut diambil oleh pembaca. Model juga boleh mengulangi andaian dalam arahan anda. Penyelidikan Anthropic tentang sikap mengampu dalam model bahasa melaporkan bahawa para penyelidik menemui tingkah laku mengampu dalam lima pembantu dan empat tugasan teks bebas, serta penilaian keutamaan manusia boleh memihak kepada respons yang sependapat dengan pandangan pengguna. Dapatan itu menjadi alasan untuk mencari bukti dan membuat semakan bebas; ia tidak membuktikan bahawa setiap respons yang memuji itu palsu atau semua model berkelakuan sama pada masa ini.

Perbezaan praktikalnya ialah antara persetujuan dan kritikan yang boleh diambil tindakan. “Pembukaan ini menarik” ialah persetujuan. “Pembukaan ini menyebut masalah, tetapi tidak memberitahu pembaca kali pertama perkara yang akan dapat mereka lakukan dengan panduan ini” ialah diagnosis yang boleh anda nilai. Maklum balas berguna harus mengaitkan ciri draf yang jelas kelihatan dengan keperluan pembaca yang dinyatakan, kemudian mencadangkan langkah seterusnya.

1. Tentukan pembaca dan tugasnya.

Sebelum berkongsi draf, tulis satu ayat yang menerangkan untuk siapa draf itu dan perkara yang sepatutnya dapat dilakukan oleh pembaca selepas membacanya. Pastikan skopnya lebih sempit daripada “memahami topik”. Contohnya: “Penyelaras sukarelawan kali pertama sepatutnya dapat menulis peringatan acara sehari yang jelas.” Jika anda tidak pasti tentang khalayak atau hasil yang diinginkan, minta model menandakan kekaburan dan bukannya mereka-reka pembaca secara senyap.

2. Minta bukti daripada draf.

Minta pemerhatian yang berpandukan petikan tepat atau huraian bahagian tertentu. Tanya perkara yang sudah membantu pembaca dan bahagian yang memaksa mereka membuat inferens tentang langkah yang tertinggal. Ini memberikan sesuatu yang boleh anda sahkan dengan teks sebenar. Satu batasan yang berguna ialah: “Jika anda tidak dapat merujuk kepada petikan tertentu, nyatakan komen itu sebagai soalan atau inferens, bukan fakta.”

3. Kenal pasti ketidakpastian yang paling besar kesannya.

Minta model menyatakan satu isu yang paling mungkin menghalang pembaca sasaran daripada menyelesaikan tugasan. Minta penjelasan ringkas tentang kesannya. “Nadanya boleh dibuat lebih mesra” biasanya kurang boleh diambil tindakan berbanding “peringatan itu tidak menyatakan waktu ketibaan, jadi sukarelawan tidak dapat merancang masa untuk hadir.” Jika model menyenaraikan beberapa isu, susun keutamaannya berdasarkan tugasan yang dinyatakan dan bukannya cuba membaiki semuanya sekali gus.

4. Minta semakan kecil yang boleh diuji.

Minta satu hala tuju semakan dan contoh ringkas, bukannya penulisan semula automatik untuk keseluruhan teks. Contoh itu patut menunjukkan perubahan sambil mengekalkan fakta, suara dan batasan anda. Jika ia memperkenalkan butiran baharu, tandakannya sebagai ruang letak untuk anda sahkan atau buang. Bandingkan cadangan itu dengan draf anda: kekalkan hanya perubahan yang menyelesaikan masalah dikenal pasti tanpa menimbulkan masalah lain.

5. Semak semula berdasarkan tugasan asal.

Selepas membuat semakan, tanya sama ada pembaca kini boleh menyelesaikan tugasan yang dinyatakan, dan minta halangan yang masih ada berserta buktinya. Anda juga boleh membandingkan versi sebelum dan selepas sendiri menggunakan senarai semak ringkas: Adakah maklumat utama disertakan? Adakah maklumat itu mudah dicari? Adakah tindakan seterusnya dinyatakan dengan jelas? Jika penilaian model berubah apabila anda menunjukkan draf yang telah disemak, anggap itu sebagai satu lagi pendapat, bukan bukti bebas. Anda tetap bertanggungjawab menentukan sama ada teks itu tepat dan sesuai untuk khalayaknya.

Tampalkan matlamat dan draf, kemudian minta:

Contoh permintaan maklum balas: Saya menulis untuk [pembaca khusus]. Selepas membaca, pembaca sepatutnya dapat [tugasan konkrit]. Semak draf ini berdasarkan matlamat tersebut. Mula-mula, kenal pasti dua perkara yang sudah menyokong matlamat itu, setiap satunya dikaitkan dengan petikan atau ciri khusus. Kemudian kenal pasti satu halangan terbesar, terangkan kesannya terhadap pembaca dan tunjukkan petikan yang berkaitan. Cadangkan satu semakan berfokus dan berikan contoh ringkas yang hanya menggunakan fakta yang sudah ada dalam draf. Bezakan pemerhatian langsung daripada andaian. Jika pembaca, matlamat atau buktinya tidak jelas, ajukan soalan dan bukannya mengisi kekosongan itu sendiri. Jangan tulis semula seluruh draf atau memujinya secara umum.

Strukturnya lebih penting daripada pemilihan kata yang tepat ini: khalayak dan tugasan dahulu, kemudian bukti, isu utama dan tindakan yang terhad. Panduan kejuruteraan arahan API semasa OpenAI menerangkan kejuruteraan arahan sebagai penulisan arahan untuk menghasilkan respons yang memenuhi keperluan, dan menyatakan bahawa output model tidak deterministik. Syor dalam panduan itu berkaitan dengan penggunaan API, jadi ia bukan jaminan untuk setiap antara muka sembang pengguna. Namun, pengajaran umum tentang penyuntingan ini ringkas dan berguna: nyatakan kriteria dengan jelas, kemudian semak respons berdasarkan kriteria itu dan bukannya menganggap satu arahan akan menghasilkan penilaian yang konsisten.

Katakan drafnya berbunyi: “Kami teruja untuk menyambut semua orang ke aktiviti pembersihan taman pada hari Sabtu! Bawalah semangat anda dan bantu menceriakan kawasan kejiranan. Sarung tangan dan beg akan disediakan. Kami tidak sabar untuk berjumpa anda.” Matlamat penulis ialah memastikan sukarelawan kali pertama tahu bila dan di mana hendak tiba, apa yang perlu dibawa dan apa yang boleh dijangkakan.

Permintaan yang samar—“Adakah ini bagus?”—boleh mendorong model bersetuju bahawa mesej itu mesra dan ringkas. Mungkin benar, tetapi permintaan itu tidak menguji sama ada sukarelawan boleh bertindak berdasarkan mesej tersebut. Arahan aliran kerja menjelaskan tugasan itu. Respons yang berguna akan menyatakan bahawa nada mesra serta makluman tentang sarung tangan dan beg yang disediakan mengurangkan ketidakpastian, kemudian mengenal pasti waktu berkumpul dan tempat pertemuan yang tepat sebagai halangan utama. Respons itu patut menunjukkan perkara yang tiada: mesej menyebut “hari Sabtu” dan “taman”, tetapi tidak memberikan waktu ketibaan atau lokasi dalam taman.

Semakan patut menggunakan butiran yang telah disahkan oleh penganjur. Untuk tujuan ilustrasi sahaja, anggap penganjur mengesahkan acara bermula pada pukul 9:00 pagi di pintu masuk utara dan meminta sukarelawan memakai kasut bertutup. Penulis boleh menyemak peringatan itu begini: “Sertai kami pada hari Sabtu, pukul 9:00 pagi di pintu masuk utara taman. Sarung tangan dan beg akan disediakan; sila pakai kasut bertutup. Kita akan mengutip sampah di sepanjang laluan bertanda pada waktu pagi. Kami tidak sabar untuk berjumpa anda.” Waktu, lokasi dan panduan kasut di sini ialah butiran ilustrasi, bukannya fakta tentang mana-mana acara sebenar. Jika penganjur belum mengesahkannya, butiran itu tidak boleh dimasukkan sebagai fakta dalam teks.

Kini nilai semakan itu berdasarkan tugasan asal: waktu ketibaan dan tempat pertemuan mudah ditemukan; perkara yang perlu dibawa telah dinyatakan; huraian ringkas menetapkan jangkaan. Jika acara itu tiada laluan bertanda atau tidak berlangsung sepanjang pagi, ayat itu patut diubah atau dibuang. Semakan ini menghalang cadangan model yang lancar daripada menyelitkan butiran logistik yang direka-reka ke dalam draf akhir.

Terima cadangan apabila anda dapat mengaitkannya dengan tugasan pembaca sasaran, mengesahkan asas faktanya dan melihat cara perubahan yang dicadangkan menangani isu tersebut. Persoalkannya apabila komen itu kedengaran munasabah tetapi berasaskan andaian—contohnya, dakwaan bahawa “pembaca akan mengharapkan peta” sedangkan anda tiada bukti tentang khalayak itu. Tanya petikan atau keperluan tugasan mana yang menyokong pandangan tersebut, atau tentukan sama ada perkara itu wajar disemak dengan pembaca sebenar.

Abaikan atau tulis semula nasihat yang bercanggah dengan fakta yang telah disahkan, suara yang anda nyatakan, keperluan kebolehcapaian atau tujuan teks. Model mungkin pandai menjana pilihan lain tetapi masih salah memahami konteks. Jangan anggap statistik, petikan rujukan, kata-kata petikan, tarikh akhir, dasar atau butiran logistik yang direka-reka sebagai fakta hanya kerana ia muncul dalam penulisan semula yang kemas. Sahkan dakwaan daripada sumber asalnya. Bagi kandungan khusus, dapatkan semakan daripada seseorang yang mempunyai kepakaran langsung dalam bidang tersebut; kritikan penulisan umum tidak dapat menentukan ketepatan fakta.

Pastikan skopnya kecil. Satu pusingan yang berfokus pada halangan berkaitan tugasan yang paling besar selalunya lebih mudah dinilai berbanding senarai panjang suntingan ayat. Jika anda mahukan suntingan bahasa yang lebih menyeluruh selepas itu, lakukannya dalam pusingan berasingan supaya anda dapat menentukan sama ada setiap perubahan menyokong kejelasan, nada atau ketepatan.

Maklum balas model dipengaruhi oleh arahan dan mungkin tidak konsisten. Model boleh terlepas pandang kekurangan, mengemukakan bantahan dengan yakin tetapi tanpa sokongan, atau memilih ayat yang kemas tetapi mengubah maksud anda. Panduan arahan OpenAI memberi amaran secara jelas bahawa penjanaan tidak deterministik; tiada satu bentuk arahan yang menjamin kritikan yang boleh dipercayai. Penyelidikan tentang sikap mengampu yang disebut di atas membincangkan model dan tugasan tertentu yang dikaji oleh penulisnya, bukannya ukuran universal bagi semua sistem semasa.

Gunakan model untuk menjana soalan dan suntingan yang boleh dipertimbangkan, kemudian gunakan pertimbangan manusia. Jika keperluan pembaca tidak pasti, semakan ringkas oleh seseorang yang menyerupai khalayak sasaran boleh menguji sama ada arahan itu praktikal dan mudah difahami. Untuk penulisan berfakta, semak sumber primer. Bagi mesej yang mempengaruhi jadual atau komitmen sebenar, sahkan butiran pelaksanaan dengan orang yang bertanggungjawab. Semakan AI yang berguna mengecilkan perkara yang perlu diteliti; semakan itu tidak mengesahkan draf.

Apabila model memuji draf anda, minta model mengaitkan satu kekuatan dan satu kelemahan utama dengan tugasan pembaca yang ditentukan serta bukti khusus dalam teks. Minta satu semakan yang terkawal, periksa setiap fakta yang ditambah, dan nilai sendiri hasilnya berdasarkan tugasan tersebut. Pujian boleh menunjukkan perkara yang sudah berkesan. Bukti, pengesahan dan matlamat pembaca yang konkritlah yang menjadikan maklum balas berguna.