Yaratıcı yazarlık modelleri türe ve tarza göre nasıl test edilir?
Bir yazarlık modelinin belirli bir türe veya tarza uygun olup olmadığını öğrenmek istiyorsanız, kontrollü istemler altında modele aynı küçük yazma görevini verin; ardından ortaya çıkan pasajları önceden belirlediğiniz kriterlere göre karşılaştırın. Türü ve tarzı birleştirmeden önce ayrı ayrı test edin. Bu sayede modelin hikâyenin gereksinimlerini mi kaçırdığını, anlatım sesini mi yanlış anladığını, yoksa sadece üzerinde yoğun bir revizyon yapacağınız bir pasaj mı ürettiğini görmek daha kolay hale gelir. Aşağıdaki iş akışı, belirli bir kısa kurgu görevi için model seçen yazarlara yöneliktir; bu yöntem bir kalite garantisi değil, pratik bir karşılaştırma metodudur.
İlk olarak neyi test etmelisiniz: türü mü, tarzı mı?
Tür ve tarz, bir pasajın farklı bölümlerine şekil verir. Tür; olay örgüsünün ilerleyişi, atmosfer, mekân ve hangi tür ayrıntıların önemli olduğu gibi konularda okuyucunun beklentilerini belirler. Tarz ise cümle uzunluğu, sözcük seçimi, bakış açısı, ritim ve bir pasajda ne kadar betimleme kullanıldığı gibi tercihlerle ilgilidir. Bu kategoriler birbiriyle örtüşebilir, ancak bunları ayrı turlarda test etmek size çok daha net bir değerlendirme sunar.
İşe tür ile başlayın. Modelin sahnenin temel görevini yerine getirip getiremediğini sorgulayın: örneğin, bir hayalet hikâyesinde tekinsiz bir zemin hazırlamak, bir polisiyede ipucu takibini sürdürmek veya tutarlı bir spekülatif kurgu dünyası oluşturmak gibi. Ardından, “edebi” veya “sinematik” gibi geniş bir etikete güvenmek yerine gözlemlenebilir özellikleri belirterek, sabit bir sahne kurgusu üzerinde tarzı test edin. “Sınırlı üçüncü şahıs bakış açısı, ölçülü betimleme, gerilim altında kısa cümleler ve karakterin hislerine dair açıklama içermeme” şeklindeki bir talep, “bunu atmosferik yap” ifadesine göre size değerlendirecek çok daha fazla somut veri sağlar.
Bu ayrım pratik bir çalışma yöntemidir; tür veya tarzın nesnel olarak ölçülebileceği anlamına gelmez. [Google Cloud istem tasarımı kılavuzu](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/introduction-prompt-design), açık ve net talimatlar, bağlamsal bilgiler, örnekler ve istem karşılaştırması yapılmasını önerir. Benzer şekilde, [OpenAI’ın istem kılavuzu](https://developers.openai.com/api/docs/guides/prompting) da denemeler yapmayı ve örnekleri ile göreve özgü ayrıntıları net tutmayı tavsiye eder. Bu ilkeler kontrollü bir deneme sürecini destekler; tek bir istem formatının her yaratıcı görev için en iyisi olduğunu iddia etmez.
Küçük ve adil bir karşılaştırma kurun
Gerçekte yardıma ihtiyaç duyduğunuz yazma sürecini temsil eden tek bir görev seçin. Görevi yakından inceleyebileceğiniz kadar kısa tutun: 250 kelimelik bir sahne, bir mekân tasviri veya tek bir paragrafın revizyonu, testi kimin en uzun taslağı üreteceğine dair bir yarışa dönüştürmeden faydalı farkları ortaya çıkarabilir.
Sabit hikâye unsurlarını, pasaj uzunluğunu, bakış açısını ve her türlü içerik sınırını içeren ortak bir istem yazın. Ardından, yalnızca incelenen özelliği değiştirerek birkaç test istemi oluşturun. Tür yönetimini karşılaştırıyorsanız, aynı kurguyu koruyun ve farklı tür yaklaşımları isteyin. Tarzı karşılaştırıyorsanız, aynı türü ve sahne unsurlarını koruyun, ardından talep edilen anlatım sesi özelliklerini değiştirin. Kurguyu, uzunluğu, bakış açısını ve tarzı aynı anda değiştirmeyin; aksi takdirde çıktılar farklı olduğunda, bu farka hangi değişikliğin neden olduğunu bilemezsiniz.
Mümkün olan durumlarda aynı model ayarlarını kullanın; model adını, tarihi, istem metnini ve değiştirdiğiniz tüm ayarları not edin. Ayarları kontrol edemiyorsanız, bu kısıtlamayı kaydedin ve tek bir çıktıyı modelin değişmez bir ölçütü olarak görmekten kaçının. İkinci bir üretim yapmak, umut verici veya hayal kırıklığı yaratan bir sonucun tekrarlanabilir olup olmadığını görmeye yardımcı olabilir; ancak bu durum, kişisel ve küçük çaplı bir testi kapsamlı bir kıyaslama standardına (benchmark) dönüştürmez.
İstem girmeden önce, göreviniz için önem taşıyan üç ila beş kriter belirleyin. Bir polisiye sahnesi için bu kriterler şunlar olabilir: ipucu mevcuttur ancak açıklanmamıştır; anlatıcının bilgisi tutarlı kalır; düzyazı gerilimi sürdürür ve sahne anlamlı bir soruyla biter. Bir tarz denemesinde kriterler bakış açısı tutarlılığı, cümle çeşitliliği, somut imgeler ve ölçülülüğü içerebilir. Kriterlerinize en az bir “kesinlikle korunmalı” şartı ve bir “kesinlikle bulunmamalı” kuralı ekleyin. Aksi takdirde, akıcı bir pasaj gözden kaçan bir kısıtlamayı fark etmenizi engelleyebilir.
Uygulamalı bir örnek: sakin bir polisiye sahnesini test etmek
Kilitli bir arşivde ıslak bir ayak izi bulan bir bekçi hakkında çağdaş bir polisiye taslağı yazdığınızı varsayalım. Pasaj sınırlı üçüncü şahıs bakış açısıyla yazılmalı ve gösterişten uzak olmalıdır. Aşağıdakiler model testi sonuçları değil, konuyu açıklayıcı örnek istem girdileridir.
Öncelikle şöyle bir istemle bir tür kontrolü gerçekleştirin:
Örnek test istemi: Sınırlı üçüncü şahıs bakış açısıyla 250 kelimelik çağdaş bir polisiye sahnesi yaz. Bir bekçi şafak vakti kilitli bir arşive girer ve kuru bir pencerenin yanında tek bir ıslak ayak izi bulur. Sebebi açıklanmamış olarak bırak. İpucuna dönüşebilecek somut bir ayrıntı ekle, ancak bir şüpheli belirleme veya ayak izini açıklama. Ölçülü bir dil kullan ve sahneyi çözümsüz kalmış bir seçimle bitir.
Çıktıyı kontrol listenize göre inceleyin. Arşivi kilitli ve pencereyi kuru tutuyor mu? Belirsizliği koruyor mu, yoksa bir açıklama mı uyduruyor? İpucu olarak etiketlenmeden bu işlevi görebilecek bir ayrıntı var mı? Bitiş, sahneyi sadece öylece kesmek yerine bir seçim yaratıyor mu? Her bir maddeyi “karşılandı”, “kısmen karşılandı” veya “kaçırıldı” olarak işaretleyin ve vardığınız karara temel oluşturan cümlenin aynısını kopyalayın. Bu alıntı notlarınız içindir; “iyi bir gerilim” gibi genel bir izlenimin somut bir gözlemin yerini almasını önler.
Ardından, sahne unsurlarını ve polisiye gereksinimlerini sabit tutun, ancak tarz talimatını değiştirin. Bir varyant kısa kesilmiş cümleler ve minimum düzeyde içsel düşünce isteyebilir; diğeri ise bakış açısını yakın tutarken daha uzun ve daha gözlemci cümleler talep edebilir. Bu spesifik talimatların metni nasıl etkilediğini karşılaştırın. Burada hangi tarzın evrensel olarak daha üstün olduğunu sorgulamıyorsunuz. Bu sahne ve hedeflediğiniz anlatım sesi için hangi çıktının size daha kullanışlı malzeme sağladığını araştırıyorsunuz.
Son olarak, en güçlü pasaja hedefli tek bir revizyon talebinde bulunun. Örneğin: “Ayak izini ve kilitli oda unsurlarını değiştirmeden koru. Bekçinin şüphesini açıklayan cümleyi kaldır; tedirginliği bunun yerine eylemler aracılığıyla aktar.” Yapılan revizyonu, hikâye unsurlarında istem dışı değişiklikler olup olmadığı ve açıklamayı gerçekten kaldırıp kaldırmadığı açısından inceleyin. Faydalı bir model denemesi, ilk taslak akıcılığının yanı sıra revizyon davranışını da içerir; çünkü gerçek iş akışınız genellikle birkaç tur bölgesel düzeltmeyi kapsar.
Bir puan kartı kullanın, ardından editoryal tercihinizi yapın
Basit bir puan kartı karşılaştırmanın somut kalmasını sağlayabilir:
Son satırı edebi değerin nesnel bir ölçüsü olarak değil, kendi sürecinize dair bir karar olarak ele alın. Kurguyu koruyan ve size güçlü bir imge sunan daha ham bir taslağı, gizemi çok erken çözen cilalı bir pasaja tercih edebilirsiniz. Ayrıca her iki modelin de bu görev için kullanışlı olmadığına karar verebilirsiniz. Sayısal puanlar kullanıyorsanız, başlamadan önce her sayının ne anlama geldiğini tanımlayın ve küçük bir puan farkını istatistiksel olarak anlamlıymış gibi sunmayın.
Bu yöntem, yaratıcı çalışmayı yinelemeli (iteratif) bir süreç olarak gören daha geniş yaklaşımla da örtüşmektedir. Gelişmekte olan yazarlarla yapılan ampirik bir çalışmada Chakrabarty ve meslektaşları, yazarların işbirlikçi bir yazma sistemiyle olan etkileşimlerini incelemiş ve yazmayı yinelemeli bir faaliyet olarak tanımlamıştır; çalışma, tek bir istemin bitmiş bir hikâye üretmesinden ziyade etkileşimli bir süreci ortaya koymaktadır. Çalışmanın katılımcıları, kullanılan sistem ve yazma görevleri, buradaki gözlemlerin ne ölçüde genellenebileceğini sınırlar. Bu çalışma, belirli bir modelin veya iş akışının her yazar için işe yarayacağının kanıtı değil, kendi revizyon döngünüzü test etmek için faydalı bir bağlamdır. Bkz. [“Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers”](https://arxiv.org/abs/2309.12570).
Araç değiştirmeden önce zayıf çıktıları teşhis edin
Bir pasaj hayal kırıklığı yarattığında, başarısızlığın nedenini tam olarak belirleyin. Sabit bir unsurla çelişiyorsa, bu unsuru belirgin hale getirin ve istemdeki çelişkili ayrıntıları kaldırın. Düzyazı kurguyu takip ediyor ancak hedeflenen anlatım sesini yakalayamıyorsa, muğlak sıfatları somut özelliklerle değiştirin veya kendi yazdığınız kısa bir örneği ekleyin. Model amaçlanan gizemi ısrarla çözmeye çalışıyorsa, belirsizliği korumasını ve nedenleri belirtmekten kaçınmasını açıkça talep edin. Her seferinde tek bir talimatı değiştirin ve ardından karşılaştırmayı yeniden çalıştırın.
Pasaj kontrol listenizi karşılıyor ancak yine de içinize sinmiyorsa, sorun talimatlara uyulmasından ziyade beğeni veya uyumla ilgili olabilir. Rahatsız edici gelen şeyleri somut ifadelerle not edin: aşırı açıklama, basmakalıp imgeler, tahmin edilebilir diyaloglar veya istediğinizden farklı bir ritim. Ardından, odaklanmış bir revizyon talebini denemeye değip değmeyeceğine ya da sahneyi bizzat sizin yazmanızın daha iyi olup olmayacağına karar verin. Bir modelin makul görünen bir düzyazı üretebilmesi, sizin niyetinizi anladığı veya o metnin korunması gerektiği anlamına gelmez.
Bir model denemesinin sınırları
Birkaç deneme üretimi, bir modelin tüm bir türde istikrarlı biçimde başarılı olduğunu kanıtlayamayacağı gibi, tek bir yazarın değerlendirme kriteri de her okuyucuyu temsil edemez. Çıktılar değişkenlik gösterebilir, istemler bir modeli daha avantajlı kılabilir ve bir türe aşina olmak inceleyen kişinin neyi fark ettiğini etkiler. Çıkardığınız sonuçları dar bir kapsamda tutun: “Bu iki testte, bu sürüm sahne unsurlarını daha iyi korudu” demek, “bu, en iyi polisiye yazma modelidir” demekten daha savunulabilir bir yaklaşımdır.
Ayrıca belirli bir yazarın adını vererek onu taklit ettirme konusunda da temkinli olun. İhtiyacınız olan şey belirli bir kurgu tekniği veya edebi etkiyse; yalın bir sözdizimi, yakın gözlem veya kuru bir mizah gibi bu etkiyi doğrudan tanımlayın ve bu özellikleri değerlendirin. Bu yaklaşım, bir ismi güvenilir bir tarz tanımı olarak kabul etmek yerine, gerçekte istediğiniz yazma tercihlerini çok daha net biçimde test etmenizi sağlar.
Bir denemenin asıl faydalı sonucu, olup bitenlerin bir kaydıdır: görev, istemler, model ve ayarlar, kontrol listesi, çıktı kanıtları ve denediğiniz revizyon. Bu kayıt sayesinde, tanımlanmış tek bir görevi en iyi destekleyen modeli seçebilir ya da zamanınızı pasajı bizzat revize ederek geçirmenin daha doğru olacağına karar verebilirsiniz.