20 Dakikada Bir Yapay Zekâ Oyun Diyaloğu Oynanış Testi Nasıl Gözlemlenir?
Tek bir üretken diyalog sahnesini test eden küçük bir stüdyo için, oyuncuların NPC'nin yanıtlarıyla ne yaptığını gözlemleyin: Farklı sorular deneyip denemediklerini, faydalı bilgilere göre hareket edip etmediklerini, uydurulan gerçeklerden dönüp dönemeyeceklerini ve sahneyi tamamlamak için diyalogdan çıkıp çıkmadıklarını izleyin. Kısa bir anket, oyuncuların sonradan ne hissettiklerini veya ne anladıklarını söylediklerini yakalayabilir; ancak tek başına an an gerçekleşen seçimleri ve sapmaları gösteremez. Oyun sırasında basit bir olay formu kullanın, ardından odaklanmış takip soruları sorun. Gözlemleri, genel bir memnuniyet ölçümü veya tüm oyuncuların nasıl davranacağının bir kanıtı olarak değil, bu sahne ve sürüm hakkındaki kanıtlar olarak değerlendirin.
Üretken bir diyalog sahnesinde neleri gözlemlemelisiniz?
Net bir hedefi olan ve yanıtları oyuncunun bu hedefi izleme şeklini değiştirebilecek bir NPC içeren bir sahne seçin. Örneğin, kurgusal bir sahnede oyuncu, havalandırma döngüsü bitmeden önce mühürlü bir sera kapısını açmak zorundadır. Bir bakım NPC'si serbest biçimli konuşma yoluyla ipuçları sunabilir. Hedeflenen yol, alet kulübesindeki mavi bir vana kolunu bulmaktır; ancak NPC ara sıra, vana kolunun su basmış pompa odasında olduğunu iddia etmek gibi bir ayrıntı uydurabilir.
Aşağıdaki dört gösterge, oyuncu davranışına ve sahnenin sonuçlarına odaklanır. Bir sorunun akıllıca olup olmadığını veya oyuncunun oyundan zevk alıyor gibi görünüp görünmediğini yargılamayı gerektirmezler.
Gösterge: **Çeşitlendirilmiş sorular** — Şu durumda bir olay kaydedin…: Oyuncu bir yanıttan sonra ifadeyi, konuyu veya yaklaşımı değiştirir; örneğin, vananın nerede olduğunu sorar, ardından ne renk olduğunu veya hangi odanın güvenli olduğunu sorar. — Not edilecek durum kanıtı: Ne sordukları, NPC'nin ne yanıt verdiği ve bir sonraki sorunun bu yanıttan çıkıp çıkmadığı. Gerçekten farklı bir sorguyu neredeyse aynı tekrarlardan ayırt edin. — Sonrasında sorun…: “Bu sorularla ne öğrenmeye çalışıyordunuz?”
Gösterge: **Yanıt bir sonraki eylemi değiştirir** — Şu durumda bir olay kaydedin…: Oyuncu hareket eder, bir şeyi inceler veya planını NPC'nin yanıtını takip edecek şekilde değiştirir. — Not edilecek durum kanıtı: Yanıt, oyuncunun bir sonraki eylemi ve görmezden geldiği görünür alternatifler. Bağlantıyı net, makul veya belirsiz olarak işaretleyin; bir yanıttan sonra gelen bir eylem, buna yanıtın neden olduğunu kanıtlamaz. — Sonrasında sorun…: “Konuşmanın hangi kısmı, eğer olduysa, bir sonraki adımınızı etkiledi?”
Gösterge: **Uydurulan gerçek yanlış bir yöne neden olur** — Şu durumda bir olay kaydedin…: Oyuncu, NPC'nin desteksiz veya yanlış belirli bir iddiasını takip eder ve bu yüzden verimsiz bir eylemde bulunur. — Not edilecek durum kanıtı: Tam iddia, yol açtığı eylem, sürümde görünen maliyet veya sapma ve oyuncunun hatayı nasıl keşfettiği veya düzelttiği. Bir iddiayı uydurma olarak etiketlemeden önce oturumdan sonra sahnenin hedeflenen gerçeklerini kontrol edin. — Sonrasında sorun…: “O rotanın doğru rota gibi görünmesini sağlayan neydi? Rotayı ne zaman değiştirmeye karar verdiniz?”
Gösterge: **Oyuncu diyaloğu durdurup sahneyi tamamlayabilir** — Şu durumda bir olay kaydedin…: Oyuncu konuşmadan çıkar, duraklatır veya daha fazla konuşmayı reddeder ve yine de hedefi takip edip tamamlayabilir. — Not edilecek durum kanıtı: Bir çıkışın görünür olup olmadığı, ayrıldıktan sonra ne olduğu, faydalı ilerlemenin mümkün kalıp kalmadığı ve oyuncunun sahnenin tamamlanma durumuna ulaşıp ulaşmadığı. Engelleyicileri, oyuncunun konuşmaya devam etmeyi seçmesinden ayrı olarak kaydedin. — Sonrasında sorun…: “Konuşmadan ayrılabildiğinizi hissettiniz mi? Devam etmenize veya durmanıza ne sebep oldu?”
Bunlar olay tanımlarıdır, kalite puanları değildir. Niyeti yüz ifadelerinden, sessizlikten veya oyun süresinden çıkarmak yerine oyuncunun gerçek sözlerini ve eylemlerini not edin. Bir olay gerçekleşmezse, varsayılan bir başarısızlık değil, “bu oturumda gözlemlenmedi” olarak kaydedin.
Gözlem formunu sürüme bağlı tutun
Her oturumdan önce sürüm versiyonunu, başlangıç hedefini, bilinen sahne gerçeklerini ve izin verilen tamamlanma durumunu kaydedin. Oyun sırasında oyuncunun sorusunu, NPC'nin yanıtını, bir sonraki görünür eylemi ve işlenen oyun durumu değişikliklerini yazın. Yardımcı gibi görünen bir ifade, bu sürümde mevcut olmayan bir konumu işaret ediyorsa yine de yanlış olabilir.
Oturumdan sonra, şüphelenilen uydurma gerçekleri gerçek sahne formuyla karşılaştırın. Desteksiz bir iddiayı yalnızca sahne gerçekleri onunla çeliştiğinde doğrulanmış olarak işaretleyin; aksi takdirde çözülmemiş olarak etiketleyin ve araştırın. Kolaylaştırıcı yönlendirmeleri veya teknik kesintiler için ayrı bir not tutun, çünkü bunlar oyuncunun bir sonraki eylemini değiştirebilir. Bu küçük kanıt takibi, tek bir oynanışı evrensel bir sonuca dönüştürmeden sonraki tartışmayı daha kesin hâle getirir.
Sınırları belirlenmiş 20 dakikalık bir oturum nasıl yürütülür?
Katılımcıya şunu söyleyin: “Lütfen bu sahneyi normalde oynayacağınız gibi oynayın. Karakterle konuşabilir veya istediğiniz zaman konuşmadan çıkabilirsiniz. Neler denediğinizi izleyebilmek için sessiz kalabilirim.” Onlara çeşitli sorular sormayı öğretmekten veya uydurulan gerçekler konusunda onları uyarmaktan kaçının; bu, oturumun ortaya çıkarmayı amaçladığı davranışı değiştirir. Yardım isterlerse tutarlı bir şekilde yanıt verin, müdahaleyi kaydedin ve sonraki davranışları bu yardımı göz önünde bulundurarak değerlendirin.
Uygulanabilir bir program şöyledir:
**0–2. Dakikalar: Kurulum.** Hedeflenen çözümü açıklamadan görevi ve kontrolleri açıklayın. Oyuncu kontrolü kazandığında sayacı başlatın ve sahneyi her katılımcı için aynı durumda başlatın.
**2–15. Dakikalar: Gözlem.** Oyuncunun keşfetmesine ve konuşmasına izin verin. Özellikle bir iddia onları bir yere yönlendirdiğinde, ilgili her yanıtı ve bir sonraki eylemi kaydedin. “Ne düşünüyorsunuz?” gibi tarafsız yönlendirmeleri, oyuncunun durduğu ve devam etmek için bir yönlendirmeye ihtiyaç duyduğu anlar için saklayın; müdahale ettiğinizi not edin.
**15–20. Dakikalar: Kapanış ve sorular.** Oyuncu bitirmediyse, 15 dakikalık oyundan sonra durdurun ve bir hız testinde başarısız olduklarını ima etmek yerine mevcut durumu kaydedin. Gözlemlenen olaylara bağlı takip sorularını sorun, ardından genel bir soru sorun: “Konuşma veya bir sonraki adımınız hakkında net olmayan bir şey var mıydı, varsa neydi?” Kendi beyanlarını gözlemlenen davranıştan ayrı olarak kaydedin.
20 dakikalık sınır, bu örnek için pratik bir oturum sınırıdır, ampirik bir ölçüt değildir. Konuşarak daha uzun süre geçiren bir oyuncu bu sayede daha fazla memnuniyet göstermiş olmaz ve hızlı bitiren bir oyuncu sahneyi mutlaka anlamış veya beğenmiş sayılmaz. Görev sizin sürümünüzde daha fazla zaman gerektiriyorsa, oturumlardan önce programı ayarlayın ve tutarlı tutun.
Gerçekleşenleri oyuncunun söylediklerinden ayırın
[The Turing Test postmortemi](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic) yazısında tasarım direktörü David Jones; bulmacaları öğrencilerle test etmeyi, eğlence ve zorluk derecelendirmeleri ile oyun süresini toplamayı ve oyuncu davranışını izlemeye daha fazla önem vermeyi anlatıyor. Zorluk eğrisini değerlendirmek için derecelendirmeleri ve gözlemi birleştirmeyi açıklıyor. Bir diyalog sahnesi için faydalı ders, bu iki tür kanıtı bir arada ama ayrı tutmaktır: olay günlüğü oyuncunun ne yaptığını gösterir; takip ise onların açıklamasını veya puanlamasını kaydeder. Biri diğerini otomatik olarak açıklamaz.
Klei’nin [Mark of the Ninja postmortemi](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-), tasarım varsayımlarını incelemek için yeni oyuncularla yapılan sık testleri anlatır. Ekip, şikayetlerin arkasındaki motivasyonu aradı ve yeni oyuncuların nerede zorlandığını izledi, ardından ipuçlarını ve tasarımı ayarladı. Buraya uyarlandığında, bir oyuncunun yanlış bir yola sapması araştırılması gereken bir ipucudur—NPC'nin diyaloğunu sadece uzatmak için bir gerekçe değildir. Yanıtta, arayüzde veya sahnede bu rotayı neyin ikna edici kıldığını sorun ve neyi değiştireceğinize karar vermeden önce kaydı veya sürüm durumunu kontrol edin.
Ubisoft’un [Teammates duyurusu](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf), oynanabilir bir üretken yapay zekâ deneyimi için kapalı bir oyuncu testini açıklamaktadır. Ekibin kapalı bir testi duyurduğunu ortaya koyar; alıntılanan duyuruda yayımlanmış oyuncu sonuçları sunulmamaktadır, bu nedenle oyuncuların ne yaptığı veya deneyimin başarılı olup olmadığı konusundaki iddiaları destekleyemez.
Gözlemleri bir sonraki sürüm kararına dönüştürün
Oturumdan sonra zaman çizelgesini gözden geçirin ve her NPC yanıtını bir sonraki oyuncu eylemiyle ilişkilendirin. Görünen her yanlış yönelim için ilgili sahne gerçeklerini doğrulayın, ardından olası kaynağı belirleyin: NPC yanlış bir ayrıntı verdi, oyuncu doğru bir yanıtı yanlış yorumladı veya bir konum ya da etkileşim ipucu onları başka bir yere yönlendirdi. Bu açıklamalar, kaydedilen sekansla ve yararlı olduğu durumlarda başka bir oturumla karşılaştırılana kadar birer hipotezdir.
Somut bir takip değişikliği veya testi seçmek için dört göstergeyi kullanın. Oyuncu birkaç farklı soru soruyor ancak eyleme rehberlik etmeyen yanıtlar alıyorsa, sahnenin eyleme dönüştürülebilir bilgi sunup sunmadığını gözden geçirin. Belirli bir uydurma iddia onları yanlış odaya gönderiyorsa, sahnenin iddiayı doğrulamak veya çıkmaz bir sokak olmadan toparlanmak için bir yola ihtiyacı olup olmadığını değerlendirin. Oyuncu diyalogdan çıkıp bitiremiyorsa, çıkış ve hedef akışını inceleyin. Ayrılıp sahneyi tamamlarlarsa, bu sürümde bu yolun mevcut olduğunu not edin; net olduğu sonucuna varmadan önce ne anladıklarını sorun.
Tek bir 20 dakikalık oturum belirli bir kafa karışıklığını veya eksik bir rotayı açığa çıkarabilir, ancak bu sorunun ne kadar yaygın olduğunu ortaya koyamaz. Bir sonraki adımda neyin araştırılacağına karar verirken gözlemcinin olay notlarını, doğrulanmış sahne gerçeklerini ve oyuncunun geçmişe dönük yanıtlarını ayrı tutun. Bu, küçük bir ekibe, tek başına bir anketin ötesinde, bu oyuncunun bu üretken diyalog sahnesinde nasıl yol aldığına dair faydalı bir anlatım sunar.