20 मिनट में AI गेम डायलॉग प्लेटेस्ट का निरीक्षण कैसे करें

आपको जनरेटिव डायलॉग सीन में क्या देखना चाहिए?

एक ऐसा सीन चुनें जिसमें एक स्पष्ट उद्देश्य हो और एक ऐसा NPC हो जिसके उत्तर यह बदल सकें कि खिलाड़ी इसे कैसे पूरा करता है। उदाहरण के लिए, एक काल्पनिक सीन में, खिलाड़ी को वेंटिलेशन चक्र समाप्त होने से पहले एक सीलबंद ग्रीनहाउस गेट खोलना होगा। एक मेंटेनेंस NPC अनौपचारिक बातचीत के माध्यम से सुराग दे सकता है। इच्छित रास्ता टूल शेड में एक नीला वाल्व हैंडल खोजना है, लेकिन NPC कभी-कभार कोई विवरण गढ़ सकता है, जैसे कि यह दावा करना कि हैंडल जलमग्न पंप कक्ष में है।

नीचे दिए गए चार संकेतक खिलाड़ी के व्यवहार और सीन के परिणामों पर केंद्रित हैं। उनके लिए यह आंकने की आवश्यकता नहीं है कि कोई प्रश्न चतुर है या खिलाड़ी खेल का आनंद ले रहा प्रतीत होता है।

संकेतक: **विविध प्रश्न** — इवेंट तब रिकॉर्ड करें जब…: खिलाड़ी उत्तर के बाद शब्दों, विषय या दृष्टिकोण को बदलता है—उदाहरण के लिए, पूछता है कि वाल्व कहाँ है, फिर पूछता है कि उसका रंग क्या है या कौन सा कमरा सुरक्षित है। — नोट करने योग्य मुख्य साक्ष्य: उन्होंने क्या पूछा, NPC ने क्या उत्तर दिया, और क्या अगला प्रश्न उस उत्तर से जुड़ा था। लगभग दोहराए गए प्रश्न से वास्तव में भिन्न पूछताछ में अंतर करें। — बाद में पूछें…: “आप उन प्रश्नों के माध्यम से क्या जानने का प्रयास कर रहे थे?”

संकेतक: **उत्तर अगले कदम को बदलता है** — इवेंट तब रिकॉर्ड करें जब…: खिलाड़ी चलता है, किसी चीज़ का निरीक्षण करता है, या अपनी योजना को इस तरह से बदलता है जो NPC के उत्तर के अनुसार हो। — नोट करने योग्य मुख्य साक्ष्य: उत्तर, खिलाड़ी की अगली कार्रवाई, और कोई भी दृश्यमान विकल्प जिसे उन्होंने छोड़ दिया। इस संबंध को स्पष्ट, प्रशंसनीय, या अनिश्चित के रूप में चिह्नित करें; उत्तर के बाद की कार्रवाई यह साबित नहीं करती कि उत्तर के कारण ही ऐसा हुआ। — बाद में पूछें…: “बातचीत के किस हिस्से ने, यदि किसी ने, आपके अगले कदम को प्रभावित किया?”

संकेतक: **गढ़े गए तथ्य से गलत दिशा में मुड़ना** — इवेंट तब रिकॉर्ड करें जब…: खिलाड़ी किसी विशिष्ट असमर्थित या गलत NPC दावे का अनुसरण करता है और उसके कारण एक निष्फल कदम उठाता है। — नोट करने योग्य मुख्य साक्ष्य: सटीक दावा, इससे प्रेरित कार्रवाई, बिल्ड में दिखाई देने वाला समय/भटकाव, और खिलाड़ी ने त्रुटि को कैसे खोजा या सुधारा। किसी दावे को गढ़ा हुआ करार देने से पहले सत्र के बाद सीन के अभीष्ट तथ्यों की जांच करें। — बाद में पूछें…: “किस बात ने उस रास्ते को सही दिखाया? आपने रास्ता बदलने का फैसला कब किया?”

संकेतक: **खिलाड़ी डायलॉग रोक सकता है और सीन पूरा कर सकता है** — इवेंट तब रिकॉर्ड करें जब…: खिलाड़ी बाहर निकलता है, रुकता है, या आगे की बातचीत को अस्वीकार करता है और फिर भी उद्देश्य का पीछा कर सकता है और पूरा कर सकता है। — नोट करने योग्य मुख्य साक्ष्य: क्या बाहर निकलने का विकल्प दिखाई दे रहा है, बातचीत छोड़ने के बाद क्या होता है, क्या उपयोगी प्रगति अभी भी संभव है, और क्या खिलाड़ी सीन की पूर्णता की स्थिति तक पहुँचता है। खिलाड़ी द्वारा बात करते रहने के चयन से रुकावटों (ब्लॉकर्स) को अलग से रिकॉर्ड करें। — बाद में पूछें…: “क्या आपको बातचीत छोड़ने में सक्षम महसूस हुआ? किस बात ने आपको जारी रखने या रोकने के लिए प्रेरित किया?”

ये इवेंट की परिभाषाएं हैं, गुणवत्ता के लिए स्कोर नहीं। चेहरे के भाव, चुप्पी या खेल के समय से इरादे का अनुमान लगाने के बजाय खिलाड़ी के वास्तविक शब्दों और कार्यों को नोट करें। यदि कोई घटना घटित नहीं होती है, तो "इस सत्र में नहीं देखा गया" रिकॉर्ड करें, न कि कोई अनुमानित विफलता।

ऑब्जर्वेशन शीट को बिल्ड से जोड़कर रखें

प्रत्येक सत्र से पहले, बिल्ड संस्करण, शुरुआती उद्देश्य, ज्ञात सीन तथ्य और अनुमत पूर्णता स्थिति रिकॉर्ड करें। खेल के दौरान, खिलाड़ी का प्रश्न, NPC का उत्तर, अगली दृश्यमान कार्रवाई और खेल-स्थिति में हुआ कोई भी बदलाव लिखें। जो पंक्ति मददगार लगती है वह तब भी गलत हो सकती है यदि वह किसी ऐसे स्थान की ओर इशारा करती है जो इस बिल्ड में मौजूद नहीं है।

सत्र के बाद, वास्तविक सीन शीट के साथ संदिग्ध गढ़े गए तथ्यों की तुलना करें। किसी असमर्थित दावे को केवल तभी पुष्ट के रूप में चिह्नित करें जब सीन के तथ्य इसका खंडन करते हों; अन्यथा इसे अनसुलझा चिह्नित करें और जांच करें। सुविधाप्रदाता (फैसिलिटेटर) के संकेतों या तकनीकी रुकावटों के लिए एक अलग नोट रखें, क्योंकि वे खिलाड़ी के अगले कदम को बदल सकते हैं। साक्ष्य का यह छोटा सा रिकॉर्ड बाद की चर्चा को बिना किसी एकल प्लेथ्रू को सार्वभौमिक परिणाम बनाए अधिक सटीक बनाता है।

20 मिनट का एक सीमित सत्र कैसे चलाएं

प्रतिभागी से कहें: “कृपया इस सीन को वैसे ही खेलें जैसे आप सामान्य रूप से खेलते हैं। आप चरित्र से बात कर सकते हैं या जब चाहें बातचीत छोड़ सकते हैं। मैं शांत रह सकता हूँ ताकि मैं देख सकूँ कि आप क्या प्रयास करते हैं।” उन्हें विभिन्न प्रश्न पूछना सिखाने या गढ़े गए तथ्यों के बारे में चेतावनी देने से बचें; इससे वह व्यवहार बदल जाएगा जिसे सत्र सामने लाने के लिए बनाया गया है। यदि वे मदद मांगते हैं, तो सुसंगत रूप से उत्तर दें, हस्तक्षेप को रिकॉर्ड करें, और उस मदद को ध्यान में रखते हुए बाद के व्यवहार का मूल्यांकन करें।

एक व्यावहारिक समय-सारणी इस प्रकार है:

**मिनट 0–2: सेटअप।** अभीष्ट समाधान का वर्णन किए बिना कार्य और नियंत्रणों की व्याख्या करें। जब खिलाड़ी नियंत्रण प्राप्त कर ले तब समय शुरू करें, और प्रत्येक प्रतिभागी के लिए सीन को उसी स्थिति में शुरू करें।

**मिनट 2–15: निरीक्षण करें।** खिलाड़ी को एक्सप्लोर करने और बात करने दें। प्रत्येक प्रासंगिक उत्तर और अगले कदम को लॉग करें, विशेष रूप से तब जब कोई दावा उन्हें कहीं भेजता है। “आप क्या सोच रहे हैं?” जैसे तटस्थ संकेत उन पलों के लिए रखें जब खिलाड़ी रुक गया हो और उसे जारी रखने के लिए एक संकेत की आवश्यकता हो; लिखें कि आपने हस्तक्षेप किया था।

**मिनट 15–20: समापन और पूछताछ।** यदि खिलाड़ी ने समाप्त नहीं किया है, तो 15 मिनट के खेल पर रुकें और वर्तमान स्थिति को रिकॉर्ड करें, न कि यह संकेत दें कि वे गति परीक्षण में विफल रहे। देखी गई घटनाओं से जुड़े फॉलो-अप प्रश्न पूछें, फिर एक व्यापक प्रश्न पूछें: “बातचीत या आपके अगले कदम के बारे में क्या कुछ ऐसा था जो स्पष्ट नहीं था?” देखे गए व्यवहार से स्व-रिपोर्ट (खिलाड़ी के बयान) को अलग से रिकॉर्ड करें।

20 मिनट की सीमा इस उदाहरण के लिए एक व्यावहारिक सत्र सीमा है, कोई अनुभवजन्य बेंचमार्क नहीं। एक खिलाड़ी जो बात करने में अधिक समय बिताता है, उसने अधिक संतुष्टि प्रदर्शित नहीं की है, और एक खिलाड़ी जो जल्दी समाप्त कर लेता है, उसने अनिवार्य रूप से सीन को समझा या उसका आनंद नहीं लिया है। यदि कार्य को आपके बिल्ड में अधिक समय की आवश्यकता है, तो सत्र से पहले शेड्यूल समायोजित करें और इसे सुसंगत रखें।

जो हुआ उसे उससे अलग करें जो खिलाड़ी कहता है

[The Turing Test postmortem](https://www.gamedeveloper.com/business/postmortem-building-i-the-turing-test-i-around-a-secret-mechanic) में, डिज़ाइन निदेशक डेविड जोन्स छात्रों के साथ पहेलियों का परीक्षण करने, मज़ा और कठिनाई रेटिंग तथा प्लेटाइम एकत्र करने और खिलाड़ी के व्यवहार को देखने को अधिक महत्व देने का वर्णन करते हैं। वह कठिनाई वक्र का आकलन करने के लिए रेटिंग और अवलोकन के संयोजन का वर्णन करते हैं। एक डायलॉग सीन के लिए, उपयोगी सबक दोनों प्रकार के साक्ष्यों को एक साथ रखना लेकिन अलग रखना है: इवेंट लॉग दिखाता है कि खिलाड़ी ने क्या किया; फॉलो-अप उनके स्पष्टीकरण या रेटिंग को रिकॉर्ड करता है। इनमें से कोई भी अपने आप दूसरे की व्याख्या नहीं करता है।

Klei का [Mark of the Ninja postmortem](https://www.gamedeveloper.com/design/classic-postmortem-klei-entertainment-s-i-mark-of-the-ninja-i-) डिज़ाइन मान्यताओं की जांच के लिए नए खिलाड़ियों के साथ बार-बार परीक्षणों का वर्णन करता है। टीम ने शिकायतों के पीछे की प्रेरणा की तलाश की और देखा कि नए खिलाड़ियों को कहाँ संघर्ष करना पड़ा, फिर संकेतों और डिज़ाइन को समायोजित किया। यहाँ लागू करने पर, खिलाड़ी का गलत दिशा में मुड़ना जांच के लिए एक सुराग है—न कि केवल NPC के संवाद को लंबा करने का संकेत। पूछें कि उत्तर, इंटरफ़ेस या सीन में ऐसा क्या था जिसने रास्ते को प्रेरक बनाया, और क्या बदलना है यह तय करने से पहले रिकॉर्डिंग या बिल्ड स्थिति की जांच करें।

Ubisoft की [Teammates announcement](https://staticctf.ubisoft.com/8aefmxkxpxwl/2QCAorjku7w7gH1LGORV3t/6e8f347be3ecab7daa4769e5300086bc/Ubisoft_Unveils_%C3%A2__Teammates%C3%A2____Its_First_Playable_Generative_AI_Experience_Through_Closed_Player_Testing.pdf) एक खेलने योग्य जनरेटिव AI अनुभव के लिए एक बंद खिलाड़ी परीक्षण का वर्णन करती है। यह स्थापित करता है कि टीम ने बंद परीक्षण की घोषणा की थी; यह उद्धृत घोषणा में प्रकाशित खिलाड़ी परिणामों को प्रदान नहीं करता है, इसलिए यह इस बारे में दावों का समर्थन नहीं कर सकता कि खिलाड़ियों ने क्या किया या क्या अनुभव सफल रहा।

अवलोकनों को अगले बिल्ड निर्णय में बदलें

सत्र के बाद, समयरेखा की समीक्षा करें और प्रत्येक NPC उत्तर को खिलाड़ी के अगले कदम से जोड़ें। प्रत्येक स्पष्ट गलत मोड़ के लिए, प्रासंगिक सीन तथ्यों को सत्यापित करें, फिर संभावित स्रोत की पहचान करें: NPC ने एक गलत विवरण दिया, खिलाड़ी ने एक सही उत्तर को गलत समझा, या किसी स्थान या बातचीत के संकेत ने उन्हें कहीं और निर्देशित किया। ये स्पष्टीकरण तब तक परिकल्पनाएं हैं जब तक कि रिकॉर्ड किए गए अनुक्रम और, जहाँ उपयोगी हो, किसी अन्य सत्र के विरुद्ध जाँच न कर ली जाए।

एक ठोस फॉलो-अप परिवर्तन या परीक्षण चुनने के लिए चार संकेतकों का उपयोग करें। यदि खिलाड़ी कई अलग-अलग प्रश्न पूछता है लेकिन ऐसे उत्तर प्राप्त करता है जो कार्रवाई का मार्गदर्शन नहीं करते हैं, तो समीक्षा करें कि क्या सीन कार्रवाई योग्य जानकारी प्रदान करता है। यदि कोई विशिष्ट गढ़ा हुआ दावा उन्हें गलत कमरे में भेजता है, तो विचार करें कि क्या सीन को दावे को सत्यापित करने या बिना किसी डेड एंड के उबरने के तरीके की आवश्यकता है। यदि खिलाड़ी डायलॉग छोड़कर समाप्त नहीं कर सकता है, तो निकास और उद्देश्य प्रवाह का निरीक्षण करें। यदि वे बाहर निकलते हैं और सीन पूरा करते हैं, तो ध्यान दें कि यह रास्ता इस बिल्ड में उपलब्ध था; यह निष्कर्ष निकालने से पहले कि यह स्पष्ट था, पूछें कि वे क्या समझे थे।

एक 20 मिनट का सत्र किसी विशेष भ्रम या छूटे हुए रास्ते को उजागर कर सकता है, लेकिन यह स्थापित नहीं कर सकता कि वह समस्या कितनी आम है। आगे क्या जांच करनी है यह तय करते समय पर्यवेक्षक के इवेंट नोट्स, सत्यापित सीन तथ्य और खिलाड़ी के पूर्वव्यापी उत्तरों को अलग रखें। यह एक छोटी टीम को इस बात का एक उपयोगी विवरण देता है कि इस खिलाड़ी ने केवल एक प्रश्नावली से परे, इस जनरेटिव डायलॉग सीन को कैसे नेविगेट किया।

इस विषय को आगे पढ़ें