Cara menguji model penulisan kreatif mengikut genre dan gaya

Genre dan gaya membentuk bahagian petikan yang berbeza. Genre menetapkan jangkaan pembaca tentang perkara seperti perkembangan plot, suasana, latar dan jenis perincian yang penting. Gaya pula berkaitan pilihan seperti panjang ayat, diksi, sudut pandangan, rentak dan banyaknya huraian dalam sesuatu petikan. Kategori ini bertindih, tetapi mengujinya dalam sesi berasingan memberikan penilaian yang lebih jelas.

Mulakan dengan genre. Tanyakan sama ada model boleh melaksanakan fungsi asas adegan itu: contohnya, membina premis yang menyeramkan dalam cerita hantu, mengekalkan jejak petunjuk dalam cerita misteri, atau menghasilkan latar spekulatif yang koheren. Kemudian uji gaya berdasarkan premis adegan yang tetap dengan menyatakan ciri yang boleh diperhatikan, bukannya bergantung pada label umum seperti “sasterawi” atau “sinematik”. Arahan seperti “orang ketiga rapat, huraian terkawal, ayat pendek ketika tertekan, dan jangan jelaskan perasaan watak” memberikan lebih banyak perkara untuk dinilai berbanding “jadikannya penuh suasana.”

Perbezaan ini ialah kaedah kerja, bukannya dakwaan bahawa genre atau gaya boleh diukur secara objektif. Panduan reka bentuk prompt Google Cloud mengesyorkan arahan yang jelas dan khusus, maklumat konteks, contoh dan perbandingan prompt. Panduan prompting OpenAI juga menyarankan percubaan serta memastikan contoh dan perincian khusus tugasan dinyatakan dengan jelas. Prinsip tersebut menyokong percubaan terkawal; prinsip itu tidak menetapkan bahawa satu format prompt paling sesuai untuk setiap tugasan kreatif.

Pilih satu tugasan yang mewakili jenis penulisan yang benar-benar anda perlukan bantuan. Pastikan tugasan itu cukup ringkas untuk diteliti: adegan 250 perkataan, huraian latar, atau semakan satu perenggan boleh menunjukkan perbezaan yang berguna tanpa menjadikan ujian itu pertandingan untuk melihat siapa yang menghasilkan draf paling panjang.

Tulis prompt bersama yang mengandungi fakta cerita tetap, panjang petikan, sudut pandangan dan sebarang batasan kandungan. Kemudian cipta beberapa prompt ujian dengan hanya mengubah ciri yang sedang diperiksa. Jika membandingkan pengendalian genre, kekalkan premis yang sama dan minta olahan genre yang berbeza. Jika membandingkan gaya, kekalkan genre dan fakta adegan yang sama, kemudian ubah ciri suara penulisan yang diminta. Jangan ubah premis, panjang, sudut pandangan dan gaya serentak; jika outputnya berbeza, anda tidak akan tahu perubahan yang mana menyebabkan perbezaan itu.

Gunakan tetapan model yang sama jika boleh, dan catat nama model, tarikh, teks prompt serta sebarang tetapan yang anda ubah. Jika tetapan tidak dapat dikawal, catat batasan itu dan jangan anggap satu output sebagai ukuran model yang stabil. Penjanaan kedua boleh membantu menunjukkan sama ada hasil yang baik atau mengecewakan itu boleh diulang, tetapi ia tidak menjadikan ujian peribadi yang kecil sebagai penanda aras menyeluruh.

Sebelum memberikan prompt, pilih tiga hingga lima kriteria yang penting untuk tugasan anda. Untuk adegan misteri, kriteria ini mungkin termasuk: petunjuk itu hadir tetapi tidak dijelaskan; pengetahuan narator kekal konsisten; prosa mengekalkan ketegangan; dan adegan berakhir dengan persoalan yang bermakna. Untuk percubaan gaya, kriteria mungkin merangkumi konsistensi sudut pandangan, variasi ayat, imejan konkrit dan kawalan. Sertakan sekurang-kurangnya satu syarat “mesti dikekalkan” dan satu kriteria “mesti dielakkan”. Jika tidak, petikan yang lancar mungkin mengalih perhatian anda daripada kekangan yang terlepas.

Katakan anda sedang menulis misteri kontemporari tentang seorang penjaga yang menemui satu tapak kaki basah di dalam arkib berkunci. Petikan itu harus menggunakan orang ketiga rapat dan gaya bersahaja. Ini ialah input prompt sebagai contoh, bukannya hasil ujian model.

Mula-mula, jalankan ujian genre dengan prompt seperti ini:

Contoh prompt ujian: Tulis adegan misteri kontemporari sepanjang 250 perkataan dalam sudut pandangan orang ketiga rapat. Seorang penjaga memasuki arkib berkunci pada waktu fajar dan menemui satu tapak kaki basah di sebelah tingkap yang kering. Jangan jelaskan puncanya. Sertakan satu perincian konkrit yang boleh menjadi petunjuk, tetapi jangan kenal pasti suspek atau jelaskan tapak kaki itu. Gunakan prosa yang terkawal dan akhiri dengan pilihan yang belum diselesaikan.

Semak output berdasarkan senarai semak anda. Adakah arkib kekal berkunci dan tingkap kekal kering? Adakah ketidakpastian dikekalkan, atau model mereka-reka penjelasan? Adakah terdapat perincian yang mungkin berfungsi sebagai petunjuk tanpa dilabel sedemikian? Adakah pengakhiran mewujudkan pilihan, bukan sekadar berhenti? Tandakan setiap perkara “dipenuhi”, “dipenuhi sebahagian” atau “terlepas”, dan salin ayat tepat yang membawa kepada penilaian anda. Petikan itu untuk catatan anda; ia mengelakkan tanggapan umum seperti “ketegangan yang baik” daripada menggantikan pemerhatian khusus.

Seterusnya, kekalkan fakta adegan dan keperluan misteri, tetapi ubah arahan gaya. Satu variasi boleh meminta ayat ringkas dan renungan dalaman yang minimum; satu lagi boleh meminta ayat yang lebih panjang dan lebih bersifat pemerhatian sambil mengekalkan sudut pandangan rapat. Bandingkan bagaimana arahan khusus itu mempengaruhi prosa. Anda tidak bertanya gaya mana yang unggul secara universal. Anda bertanya output yang mana memberikan lebih banyak bahan yang boleh digunakan untuk adegan ini dan suara penulisan yang anda inginkan.

Akhir sekali, buat satu permintaan semakan yang disasarkan pada petikan terbaik. Contohnya: “Kekalkan tapak kaki dan fakta bilik berkunci tanpa perubahan. Buang ayat yang menjelaskan syak wasangka penjaga; sampaikan kegelisahan melalui tindakan.” Periksa semakan itu untuk memastikan fakta cerita tidak berubah secara tidak sengaja dan penjelasan itu benar-benar dibuang. Percubaan model yang berguna turut melibatkan tingkah laku semakan, selain kelancaran draf pertama, kerana aliran kerja sebenar anda mungkin melibatkan beberapa pusingan perubahan setempat.

Kad pemarkahan ringkas boleh memastikan perbandingan berasaskan bukti:

Anggap baris terakhir sebagai keputusan tentang proses anda, bukannya ukuran objektif nilai sastera. Anda mungkin lebih memilih draf kasar yang mengekalkan premis dan memberikan imej yang kuat berbanding petikan yang kemas tetapi menyelesaikan misteri terlalu awal. Anda juga mungkin memutuskan bahawa kedua-dua model tidak berguna untuk tugasan itu. Jika menggunakan skor angka, tentukan maksud setiap angka sebelum bermula, dan jangan anggap perbezaan skor kecil sebagai signifikan dari segi statistik.

Kaedah ini juga seiring dengan pandangan lebih luas bahawa kerja kreatif bersifat berulang. Dalam kajian empirikal yang melibatkan penulis baharu, Chakrabarty dan rakan-rakannya meneliti interaksi penulis dengan sistem penulisan kolaboratif dan menghuraikan penulisan sebagai aktiviti berulang; kajian itu menggambarkan proses interaktif, bukannya satu prompt yang menghasilkan cerita siap. Peserta, sistem dan tugasan penulisan dalam kajian itu mengehadkan sejauh mana pemerhatian tersebut boleh digeneralisasikan. Kajian itu memberikan konteks yang berguna untuk menguji kitaran semakan anda sendiri, tetapi bukan bukti bahawa model atau aliran kerja tertentu akan sesuai untuk setiap penulis. Lihat “Sokongan Kreativiti pada Zaman Model Bahasa Besar: Kajian Empirikal yang Melibatkan Penulis Baharu”.

Apabila petikan mengecewakan, kenal pasti kegagalannya dengan tepat. Jika petikan itu bercanggah dengan fakta tetap, tonjolkan fakta tersebut dan buang perincian yang bercanggah daripada prompt. Jika prosa mengikuti premis tetapi terlepas suara penulisan yang diinginkan, gantikan kata sifat yang kabur dengan ciri konkrit atau tambahkan contoh ringkas yang anda tulis sendiri. Jika model terus menyelesaikan misteri yang sepatutnya dikekalkan, minta secara jelas supaya ketidakpastian dikekalkan dan punca tidak dinyatakan. Ubah satu arahan pada satu masa, kemudian jalankan semula perbandingan.

Jika petikan memenuhi senarai semak tetapi masih terasa tidak kena, masalahnya mungkin soal cita rasa atau kesesuaian, bukannya pematuhan arahan. Catat perkara yang terasa janggal secara konkrit: terlalu banyak penjelasan, imejan generik, dialog yang mudah dijangka, atau rentak yang tidak seperti yang anda inginkan. Kemudian tentukan sama ada permintaan semakan yang terarah berbaloi dicuba atau sama ada lebih baik anda menulis draf adegan itu sendiri. Keupayaan model menghasilkan prosa yang munasabah tidak membuktikan bahawa model memahami niat anda atau prosa itu patut dikekalkan.

Segelintir penjanaan tidak dapat membuktikan bahawa sesuatu model secara konsisten bagus dalam keseluruhan genre, dan rubrik seorang penulis juga tidak dapat mewakili semua pembaca. Output boleh berubah-ubah, prompt mungkin memberi kelebihan kepada satu model, dan keakraban dengan genre mempengaruhi perkara yang diperhatikan oleh penilai. Hadkan kesimpulan anda: “Dalam dua ujian ini, versi ini mengekalkan fakta adegan dengan lebih baik” lebih boleh dipertahankan berbanding “inilah model penulisan misteri yang terbaik.”

Berhati-hati juga dengan peniruan gaya pengarang yang dinamakan. Jika anda mahukan kesan kemahiran tertentu, huraikan kesan itu secara langsung—seperti sintaks yang ringkas, pemerhatian yang teliti atau humor bersahaja—dan nilai ciri tersebut. Ini menghasilkan ujian yang lebih jelas terhadap pilihan penulisan yang benar-benar anda inginkan, tanpa menganggap nama seseorang sebagai spesifikasi gaya yang boleh diharap.

Hasil ujian yang berguna ialah rekod tentang perkara yang berlaku: tugasan, prompt, model dan tetapan, senarai semak, bukti daripada output serta semakan yang anda cuba. Dengan rekod itu, anda boleh memilih model yang paling menyokong satu tugasan yang ditakrifkan—atau memutuskan bahawa masa anda lebih baik digunakan untuk menyemak petikan itu sendiri.