Cara menguji model penulisan kreatif berdasarkan genre dan gaya

Mana yang harus Anda uji terlebih dahulu: genre atau gaya?

Genre dan gaya membentuk bagian-bagian yang berbeda dari sebuah bagian teks. Genre menetapkan ekspektasi pembaca mengenai hal-hal seperti pergerakan alur, suasana, latar, dan jenis detail yang penting. Gaya berkaitan dengan pilihan-pilihan seperti panjang kalimat, diksi, sudut pandang, ritme, dan seberapa banyak deskripsi yang digunakan dalam sebuah cuplikan. Kategori-kategori ini saling beririsan, tetapi mengujinya dalam tahapan terpisah memberi Anda penilaian yang lebih jelas.

Mulailah dengan genre. Tanyakan apakah model tersebut mampu menjalankan fungsi dasar dari adegan: misalnya, membangun premis yang ganjil dan mencekam dalam cerita hantu, mempertahankan jejak petunjuk dalam cerita misteri, atau menciptakan latar spekulatif yang koheren. Kemudian uji gaya pada premis adegan yang tetap, dengan menentukan ciri-ciri yang dapat diamati alih-alih mengandalkan label luas seperti “sastra” atau “sinematik.” Permintaan untuk “sudut pandang orang ketiga terbatas (close third person), deskripsi yang tertahan, kalimat pendek dalam situasi tertekan, dan tanpa penjelasan mengenai perasaan tokoh” memberi Anda lebih banyak hal untuk dievaluasi daripada sekadar “buat menjadi atmosferik.”

Pembedaan ini merupakan sebuah metode kerja, bukan klaim bahwa genre atau gaya dapat diukur secara objektif. [Panduan perancangan prompt Google Cloud](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/introduction-prompt-design) merekomendasikan instruksi yang jelas dan spesifik, informasi kontekstual, contoh, serta perbandingan prompt. Demikian pula, [panduan prompting OpenAI](https://developers.openai.com/api/docs/guides/prompting) menyarankan untuk bereksperimen dan menjaga agar contoh serta detail spesifik tugas tetap jelas. Prinsip-prinsip tersebut mendukung uji coba yang terkontrol; prinsip-prinsip itu tidak menetapkan bahwa satu format prompt adalah yang terbaik untuk setiap tugas kreatif.

Bangun perbandingan yang ringkas dan adil

Pilihlah satu tugas yang mewakili tulisan yang benar-benar membutuhkan bantuan bagi Anda. Buat tugas tersebut cukup pendek agar dapat ditinjau secara saksama: adegan sepanjang 250 kata, deskripsi latar, atau revisi satu paragraf dapat mengungkap perbedaan yang berguna tanpa mengubah pengujian menjadi perlombaan mengenai siapa yang menghasilkan draf terpanjang.

Tulis prompt bersama yang memuat fakta-fakta cerita yang tetap, panjang teks, sudut pandang, dan batasan konten apa pun. Kemudian buat beberapa prompt uji dengan hanya mengubah fitur yang sedang diperiksa. Jika membandingkan penanganan genre, pertahankan premis yang sama dan minta perlakuan genre yang berbeda. Jika membandingkan gaya, pertahankan genre dan fakta adegan yang sama, lalu ubah ciri suara (voice) yang diminta. Jangan mengubah premis, panjang teks, sudut pandang, dan gaya sekaligus; jika hasilnya berbeda, Anda tidak akan tahu perubahan mana yang menyebabkan perbedaan tersebut.

Gunakan pengaturan model yang sama jika memungkinkan, dan catat nama model, tanggal, teks prompt, serta setiap pengaturan yang Anda ubah. Jika Anda tidak dapat mengontrol pengaturan, catat batasan tersebut dan hindari memperlakukan satu hasil keluaran sebagai ukuran performa model yang stabil. Pembuatan teks untuk kedua kalinya dapat membantu mengungkap apakah hasil yang menjanjikan atau mengecewakan dapat diulang kembali, tetapi hal itu tidak mengubah pengujian pribadi yang kecil menjadi tolok ukur yang luas.

Sebelum memberikan prompt, pilihlah tiga hingga lima kriteria yang penting untuk tugas Anda. Untuk adegan misteri, kriteria ini mungkin mencakup: petunjuk hadir namun tidak dijelaskan; pengetahuan narator tetap konsisten; prosa mempertahankan ketegangan; dan adegan berakhir dengan pertanyaan yang bermakna. Untuk uji coba gaya, kriteria dapat mencakup konsistensi sudut pandang, variasi kalimat, citraan konkret, dan penahanan emosi/deskripsi (restraint). Sertakan setidaknya satu persyaratan “harus dipertahankan” dan satu kriteria “tidak boleh ada”. Jika tidak, prosa yang lancar dan memikat dapat mengalihkan perhatian Anda dari batasan yang terlewatkan.

Contoh terapan: menguji adegan misteri yang tenang

Misalkan Anda sedang menyusun draf cerita misteri kontemporer tentang seorang penjaga gedung yang menemukan jejak kaki basah di dalam arsip yang terkunci. Cuplikan tersebut harus menggunakan sudut pandang orang ketiga terbatas dan bernada bersahaja (understated). Ini adalah input prompt ilustratif, bukan hasil dari pengujian model.

Pertama, jalankan pemeriksaan genre dengan prompt seperti ini:

Contoh prompt uji: Tulis adegan misteri kontemporer sepanjang 250 kata dalam sudut pandang orang ketiga terbatas (close third person). Seorang penjaga gedung memasuki arsip yang terkunci saat fajar dan menemukan satu jejak kaki basah di samping jendela yang kering. Biarkan penyebabnya tetap tidak dijelaskan. Sertakan satu detail konkret yang dapat menjadi petunjuk, tetapi jangan mengidentifikasi tersangka atau menjelaskan jejak kaki tersebut. Gunakan prosa yang tertahan dan akhiri dengan sebuah pilihan yang belum terselesaikan.

Tinjau hasilnya terhadap daftar periksa Anda. Apakah arsip tetap terkunci dan jendelanya kering? Apakah ketidakpastian tetap terjaga, ataukah ia mengarang suatu penjelasan? Apakah ada detail yang dapat berfungsi sebagai petunjuk tanpa dilabeli secara eksplisit sebagai petunjuk? Apakah bagian akhir menciptakan sebuah pilihan alih-alih sekadar berhenti? Tandai setiap item dengan “terpenuhi”, “sebagian terpenuhi”, atau “terlewatkan”, dan salin kalimat persis yang mendasari penilaian Anda. Kutipan tersebut ditujukan untuk catatan Anda; hal ini mencegah kesan umum seperti “ketegangan yang baik” menggantikan pengamatan yang spesifik.

Selanjutnya, pertahankan fakta adegan dan persyaratan misteri tetap sama, tetapi ubah instruksi gayanya. Satu variasi dapat meminta kalimat-kalimat yang terpenggal pendek dan refleksi batin yang minim; variasi lain dapat meminta kalimat-kalimat yang lebih panjang dan lebih cermat mengamati sambil tetap mempertahankan sudut pandang yang dekat. Bandingkan bagaimana instruksi spesifik tersebut memengaruhi prosa. Anda tidak sedang menanyakan gaya mana yang secara universal lebih unggul. Anda sedang menanyakan keluaran mana yang memberi Anda lebih banyak materi yang dapat digunakan untuk adegan ini dan untuk suara (voice) yang Anda tuju.

Terakhir, buat satu permintaan revisi terarah pada cuplikan yang paling kuat. Contohnya: “Pertahankan fakta jejak kaki dan ruangan terkunci tanpa perubahan. Hapus kalimat yang menjelaskan kecurigaan penjaga; sampaikan kegelisahan melalui tindakan.” Periksa revisi tersebut untuk melihat apakah ada perubahan yang tidak disengaja pada fakta cerita dan apakah revisi itu benar-benar menghapus penjelasan tersebut. Uji coba model yang berguna mencakup perilaku revisi sekaligus kelancaran draf pertama, karena alur kerja nyata Anda mungkin melibatkan beberapa putaran perubahan terlokalisasi.

Gunakan kartu skor, lalu buat keputusan editorial

Kartu skor sederhana dapat menjaga perbandingan tetap berpijak pada data:

Perlakukan baris terakhir sebagai keputusan tentang proses Anda, bukan ukuran objektif dari mutu sastra. Anda mungkin lebih memilih draf yang lebih kasar yang mempertahankan premis dan memberi Anda citraan kuat daripada cuplikan mulus yang menyelesaikan misteri terlalu cepat. Anda mungkin juga memutuskan bahwa kedua model sama sekali tidak berguna untuk tugas tersebut. Jika Anda menggunakan skor numerik, definisikan arti setiap angka sebelum memulai, dan jangan menyajikan selisih skor yang kecil sebagai sesuatu yang bermakna secara statistik.

Metode ini juga selaras dengan pandangan yang lebih luas mengenai karya kreatif sebagai proses yang iteratif. Dalam sebuah studi empiris bersama para penulis pemula, Chakrabarty dan rekan-rekannya meneliti interaksi penulis dengan sistem penulisan kolaboratif, dan menggambarkan penulisan sebagai aktivitas iteratif; karya tersebut mendeskripsikan proses interaktif alih-alih satu prompt tunggal yang menghasilkan cerita jadi. Partisipan, sistem, dan tugas penulisan dalam studi tersebut membatasi sejauh mana pengamatannya dapat digeneralisasi. Ini adalah konteks yang berguna untuk menguji siklus revisi Anda sendiri, bukan bukti bahwa model atau alur kerja tertentu akan berhasil bagi setiap penulis. Lihat [“Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers”](https://arxiv.org/abs/2309.12570).

Diagnosis keluaran yang lemah sebelum berganti alat

Ketika sebuah bagian teks mengecewakan, kenali kegagalannya secara tepat. Jika bertentangan dengan fakta yang telah ditetapkan, tonjolkan fakta tersebut dan hapus detail yang saling bertentangan dari prompt. Jika prosa mengikuti premis tetapi meleset dari suara yang diinginkan, ganti kata sifat yang samar dengan ciri-ciri konkret atau tambahkan contoh singkat yang Anda tulis sendiri. Jika model terus memecahkan misteri yang sengaja dibangun, minta secara eksplisit untuk menjaga ketidakpastian dan hindari menyatakan penyebabnya. Ubah satu instruksi pada satu waktu, lalu jalankan kembali perbandingannya.

Jika cuplikan teks memenuhi daftar periksa Anda tetapi masih terasa janggal, masalahnya mungkin terletak pada selera atau kesesuaian, bukan pada kepatuhan terhadap instruksi. Catat apa yang terasa kurang pas secara konkret: terlalu banyak penjelasan, citraan yang pasaran, dialog yang dapat ditebak, atau ritme yang tidak sesuai dengan yang Anda inginkan. Kemudian putuskan apakah permintaan revisi yang terfokus layak dicoba atau apakah adegan tersebut lebih baik Anda susun sendiri drafnya. Kemampuan model untuk menghasilkan prosa yang masuk akal tidak membuktikan bahwa model tersebut memahami niat Anda atau bahwa prosa tersebut harus dipertahankan.

Batasan dari uji coba model

Segelintir hasil generasi tidak dapat membuktikan bahwa suatu model secara konsisten mahir dalam keseluruhan genre, demikian pula rubrik milik satu penulis tidak dapat mewakili setiap pembaca. Hasil keluaran dapat bervariasi, prompt dapat lebih menguntungkan satu model tertentu, dan keakraban dengan suatu genre memengaruhi apa yang diperhatikan oleh peninjau. Jaga agar kesimpulan Anda tetap sempit dan spesifik: “Dalam dua pengujian ini, versi ini mempertahankan fakta adegan dengan lebih baik” jauh lebih dapat dipertanggungjawabkan daripada “ini adalah model penulisan misteri terbaik.”

Berhati-hatilah juga dengan peniruan nama penulis terkenal. Jika yang Anda butuhkan adalah efek keterampilan teknis (craft) tertentu, jelaskan efek tersebut secara langsung—seperti sintaksis yang hemat, pengamatan yang cermat, atau humor yang datar/kering (dry humor)—dan evaluasi ciri-ciri tersebut. Hal itu menghasilkan pengujian yang lebih jelas atas pilihan-pilihan penulisan yang benar-benar Anda inginkan, tanpa memperlakukan sebuah nama sebagai spesifikasi gaya yang dapat diandalkan.

Hasil yang berguna dari sebuah uji coba adalah catatan tentang apa yang terjadi: tugas, prompt, model beserta pengaturannya, daftar periksa, bukti hasil keluaran, dan revisi yang Anda coba. Dengan catatan tersebut, Anda dapat memilih model yang paling mendukung satu tugas yang telah ditentukan—atau memutuskan bahwa waktu Anda lebih baik dihabiskan untuk merevisi cuplikan teks tersebut sendiri.

Lanjutkan topik ini