Bir Yapay Zekâ Karakterinin On Konuşmadan Sonra Hâlâ İlgi Çekici Olup Olmadığı Nasıl Test Edilir?
Kurgusal bir yapay zekâ karakterinin on konuşmadan sonra hâlâ cazibesini koruyup korumadığını test etmek için, bir oyun testçisine tutarlı bir karakter ve ortam sunun, ardından onu on farklı ve inandırıcı duruma davet edin. Seçtikleri sahneleri, karakterin belirlenmiş kanona sadık kalıp kalmadığını, her etkileşimin hangi yeni hikâye materyallerini ortaya çıkardığını ve testçinin bu seti tamamlamayı seçip seçmediğini takip edin. Bunları birini ne kadar süre sohbet ettirebileceğinizin bir ölçüsü olarak değil, karakteri geliştirmeye yönelik gözlemlenebilir ipuçları olarak değerlendirin.
Bu test için “hâlâ ilgi çekici” ifadesinin ne anlama geldiğini tanımlayın
Onuncu konuşma, karakterin ilk andaki yenilik hissi geçtikten sonra da kayda değer bir deneyim sunmaya devam edip edemeyeceğini göstermelidir. Bu çalışma kapsamında ilgi çekicilik; testçinin çeşitli sahneleri seçmek için nedenler bulması, değişen koşullar altında karakteri tanıyabilmesi ve bu etkileşimden faydalı ya da şaşırtıcı bir şeyler elde etmesi anlamına gelir. Tamamlama ise nihai bir gönüllü eylemdir: testçi, planlanan onuncu konuşmayı bitirmeyi kendisi seçer. Bu gözlemlerin hiçbiri tek başına her oyuncunun karakteri ilgi çekici bulacağını kanıtlamaz.
Soruyu dar bir kapsamda tutun: “Bu karakter, bu oyun testçisinin on konuşmayı seçip tamamlaması için yeterince tutarlı ve taze materyal sunuyor mu?” Karar puanı olarak harcanan toplam süreyi kullanmayın. Uzun bir etkileşim sürükleyici bir sahneyi yansıtabileceği gibi kafa karışıklığını veya çözülememiş bir istemi de yansıtabilir. Karakter oyunu testi sorusu; sahne seçimi, kanon, yenilik ve gönüllü tamamlama ile ilgilidir—bir tüketici aboneliğinin on dört günlük bir süreçte maliyetine değip değmeyeceğiyle değil.
Bir kanon kartı ve on sahne daveti hazırlayın
Testten önce karakterin koruması gereken gerçekleri içeren kısa bir kanon kartı yazın: rolleri, önemli geçmişleri, yerleşik tercihleri, ilişkileri, sınırları ve kendilerine has konuşma tarzları. Birkaç esnek özellik de ekleyin: şaşırdıklarında nasıl davrandıkları, neleri fark ettikleri veya ne tür ayrıntıları gözden kaçırma eğiliminde oldukları. Bu, karakterin aynı basmakalıp sözleri tekrarlamasını talep etmeden tutarlılığın gözlemlenebilmesini sağlar. Persona koşullu diyalog ajanları üzerine yapılan araştırmalar, persona tutarlılığını değerlendirilmesi gereken bir nitelik olarak ele alır; etkileşim halindeki dil modeli ajanları üzerine yapılan bir çalışma ise etkileşim sırasında profillerin tutarlılık ve dilbilimsel uyum açısından farklılık gösterdiğini ortaya koymuştur. Bu çalışmalar, davranışın birden fazla etkileşim boyunca kontrol edilmesini teşvik eder; evrensel bir on konuşma eşiği belirlemez. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)
Karakterin repliklerini dikte etmeden farklı fırsatlar yaratan on sahne daveti hazırlayın. Örneğin, karakter küçük bir hediye seçmek, tanıdık bir yere ziyaret planlamak, zararsız bir yanlış anlaşılmayı düzeltmek, bir topluluk etkinliğinin düzenlenmesine yardımcı olmak veya beklenmedik bir boş öğleden sonrayı nasıl değerlendireceğine karar vermek zorunda kalabilir. Her daveti karakterin yerleşik dünyası ve sıradan kişisel seçimleri dahilinde tutun. Önceki olayların önem taşıyabilmesi için yeterli sürekliliği korurken durumu ve karar türünü çeşitlendirin.
Aynı istemin yüzeysel değişiklikler içeren on farklı versiyonunu yazmaktan kaçının. Faydalı bir sahne, oyuncudan anlamlı bir seçim yapmasını veya kendi fikrini ortaya koymasını ister. Etkileşimli anlatı üzerine yapılan araştırmalar ve teoriler, oyuncu eylemliliğini (agency) yalnızca seçeneklerin varlığından ibaret görmez: oyuncunun anlayışı ve yorumu da deneyimi şekillendirir. Bu oyun testinde bu durum, karakterin kaç tane istemi yanıtladığını basitçe saymak yerine, testçinin gerçekte neyi seçtiğini ve sahneyi nasıl yönlendirdiğini kaydetmeyi gerektirir. (Connecting player and character agency in videogames)
“Doğru” yanıtı yönlendirmeden on konuşmayı yürütün
Testçiye kısa ve tarafsız bir giriş yapın: karakteri ve sahneleri denediklerini, testin onların performansıyla değil deneyimle ilgili olduğunu belirtin. İstedikleri noktada durabileceklerini bilmelerini sağlayın. Sahneleri tutarlı bir formatta teker teker sunun; bir sahneyi neyin heyecan verici kılacağı veya karakterin hangi seçeneği tercih etmesi gerektiği konusunda yönlendirme yapmaktan kaçının. Moderatörlü kullanılabilirlik yönergeleri, cevabı açık etmeyen net ve inandırıcı görevlerin yanı sıra katılımcıları gözlemlemeyi ve açık uçlu takip soruları sormayı önerir. Bu disiplini yaratıcı oyuna uyarlayın: kurguyu netleştirin, ardından testçinin kendi tarzında yanıt vermesine alan bırakın. (Using moderated usability testing)
Her etkileşimden sonra birkaç somut gözlem kaydedin: testçinin hangi sahneyi seçtiği veya geliştirdiği, yeni bir yön getirip getirmediği, karakterin kanonu koruyup korumadığı veya onunla çelişip çelişmediği ve ortaya hangi yeni hikâye unsurunun çıktığı. Bir gözlemi örneklendirdiğinde belirli bir repliği veya seçimi not edin. Bunları yorumlardan ayrı tutun: “testçi pazarı ziyaret etme planını değiştirdi” bir gözlemdir; “karakter eylemliliğe alan açtı” ise olası bir yorumdur. Kısa ve tek bir noktaya odaklanan notları oturumlar arasında karşılaştırmak genel izlenimlere kıyasla daha kolaydır. (Taking notes and recording user research sessions)
Etkileşim sona erdiğinde az sayıda tarafsız soru sorun. “Bu karakterle bundan sonra ne yapmak istersiniz?” sorusu, testçinin başka bir sahne hayal edip edemediğini ortaya çıkarabilir. “Onlar hakkında anladıklarınızla tutarsız olan bir şey var mıydı?” sorusu, bir kanon ihlalini gün yüzüne çıkarabilir. “Hangi kısım tanıdık, hangi kısım yeni hissettirdi?” sorusu ise yeniliğin karakterden mi, durumdan mı yoksa testçinin kendi katkısından mı kaynaklandığını netleştirebilir. Açıklamayı kendiniz sunmak yerine cevabı neyin tetiklediğini sorun.
On satırlı basit bir puan kartı kullanın
Her konuşma için bir satır kullanın. Kompakt bir ölçek kalıpları özetlemeye yardımcı olur, ancak notlar ve örnekler aritmetikten daha önemlidir. Aşağıdaki dereceli puanlama anahtarı pratik bir oyun testi yardımcısıdır, doğrulanmış bir araştırma aracı değildir.
Konuşma: 1–10; Sahne seçimi veya yönü: Testçinin ne seçtiği, eklediği veya yeniden yönlendirdiği; Kanon: 0 = çelişki; 1 = belirsiz; 2 = tutarlı; Faydalı yenilik: 0 = bir şey eklemeden tekrarlar; 1 = biraz yeni materyal; 2 = belirgin, kullanılabilir gelişim; Kendi isteğiyle tamamladı mı?: Evet / Hayır
Kanon için, yalnızca karakterin kanon kartındaki bir bilgiyle veya yerleşik bir olayla çeliştiği durumlarda çelişki puanı verin; karakterin yeni bir durumda farklı davranması tek başına yeterli değildir. Yenilik için ise testçiye yanıt verebileceği veya üzerine bir şeyler inşa edebileceği bir ayrıntıyı, kararı, ilişki gelişimini veya sahne dönüşünü sayın. Karakterin dünyasında hiçbir anlam ifade etmeyen şaşırtıcı bir ayrıntı faydalı yenilik sayılmaz. Sahne seçimini bir testçinin tercihlerini derecelendirmek yerine betimleyici tutun: çeşitlilik, testçinin önceden belirlenmiş bir aralığı seçmesi gerektiği anlamına değil, karakterin farklı yönelimlere uyum sağladığı anlamına gelir.
Tamamlamayı diğer puanlardan ayrı kaydedin. Testçi onuncu konuşmayı kendi isteğiyle tamamlarsa bunu not edin; durursa, durmasına neyin yol açtığını söylemek isteyip istemediğini sorun. Tamamlamayı bir beğeni kanıtı veya tamamlayamamayı bir başarısızlık kanıtı olarak yorumlamayın. Bir kişi karakterin dışındaki nedenlerle durabilir ve tamamlanmış bir seri de tekrarlayan veya çelişkili sahneler içerebilir. Davranış ile açıklamanın birleşimi, tek bir ikili (evet/hayır) sonuçtan daha aydınlatıcıdır.
Örüntüyü okuyun ve neyi revize edeceğinize karar verin
Süreç boyunca deneyimin nerede değiştiğini arayın. Testçi farklı türde sahneler seçmeye devam ettiği halde karakterin yanıtları sıradanlaşıyorsa, farklı koşullar altındaki ses tonu ve karar alma mekanizması üzerine çalışın. Karakter tanınabilir kalıyor ancak sahneler tekrar tekrar yeni bir karar veya ayrıntı olmadan sona eriyorsa, davetleri gözden geçirin veya karaktere üzerine hareket edebileceği daha spesifik hedefler ve tercihler verin. Testçi sahneleri yeniden yönlendirmeye başlarsa, hazırlanan durumların çok mu benzer, çok mu dar hissettirdiğini veya getirdikleri fikirlerden daha mı az ilgi çekici olduğunu inceleyin.
Özgün bir ses tonu yalnızca tekrarlanan sözel bir tikte değil, karakterin neyi fark ettiğinde, neyi istediğinde ve ne söylediğinde ortaya çıkmalıdır. Diyalog üzerine bir hikâye anlatımı kılavuzu, sesi kişiliğin bir yansıması olarak tanımlar ve diyaloğun karakterin özelliklerine, geçmişine ve duygularına uydurulmasını önerir. Bir transkripti incelerken bu ilkeyi kullanın: replik bu durumda bu karaktere makul bir şekilde ait olabilir mi ve tanınabilir bir bakış açısı sergiliyor mu? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)
Ardından belirli bir revizyon seçin ve aynı on sahnelik testi başka bir oyun testçisiyle ya da açıkça belgelenmiş yeni bir denemeyle tekrarlayın. Sürümleri karşılaştırırken istemleri ve puan tanımlarını koruyun; böylece testin kendisindeki bir değişiklik karakterdeki bir değişiklik gibi görünmez. İlk deneme bir kanon çelişkisi ortaya çıkardıysa, ilgili gerçeği doğal olarak test eden bir sahne ekleyin; tekrarlayan etkileşimler ortaya çıkardıysa, farklı türde seçimler içeren durumlar ekleyin. Bu bir tanısal döngüdür, bir popülasyon tahmini değildir. Tek bir oyun testçisi somut sürtüşmeleri ve olasılıkları belirleyebilir, ancak sonucun ne kadar geniş bir alana genellenebileceğini gösteremez.
On konuşmanın size söyleyebilecekleri ve söyleyemeyecekleri
On konuşmalık format, odaklanmış bir stres testi olarak faydalıdır: sahne çeşitliliğinin, tanınabilir kanonun ve taze materyalin bir açılış etkileşiminin ötesinde varlığını sürdürüp sürdürmediğini fark etmenize yardımcı olur. Belirli bir testçinin nerede ilgisini kaybettiğini, nerede umut vadeden bir yön bulduğunu veya nerede bir çelişkiyle karşılaştığını gösterebilir. Uzun vadeli çekiciliği kanıtlamaz, elde tutmayı (retention) öngörmez veya tüm kitlelerin nasıl tepki vereceğini ortaya koymaz. Neyi inceleyeceğinize ve revize edeceğinize karar vermek için bunu kullanın, ardından farklı okuyucular ve oyun stilleri genelinde güvene ihtiyacınız varsa daha fazla oyun testi toplayın.
En net sinyal, örneklerle desteklenen bir örüntüdür: testçinin seçim yapacak alanı vardı, karakter yerleşik kanona uyan şekillerde yanıt verdi, sahneler üzerine inşa edilecek belirgin materyaller üretti ve testçi seriyi tamamlamayı seçti. Bu unsurlardan biri eksildiğinde, notlar sadece daha fazla konuşma istemi eklemek yerine bir sonraki yaratıcı karara—karakterin ses tonunu ayarlamak, kanonu netleştirmek veya sahne davetlerini yeniden tasarlamak—işaret etmelidir.