यह कैसे परीक्षण करें कि दस बातचीत के बाद भी कोई AI पात्र आकर्षक बना हुआ है या नहीं

परिभाषित करें कि इस परीक्षण के लिए “अभी भी आकर्षक” होने का क्या अर्थ है

दसवीं बातचीत में यह दिखना चाहिए कि शुरुआती नयापन खत्म होने के बाद भी क्या पात्र सार्थक जुड़ाव को बनाए रख सकता है। इस अभ्यास के लिए, आकर्षण का अर्थ है कि टेस्टर को विविध दृश्यों को चुनने के कारण मिलते हैं, वह बदलती परिस्थितियों में भी पात्र को पहचान सकता है, और उसे इस संवाद से कुछ उपयोगी या आश्चर्यजनक प्राप्त होता है। पूरा होना एक अंतिम स्वैच्छिक क्रिया है: टेस्टर नियोजित दसवीं बातचीत को समाप्त करने का विकल्प चुनता है। इनमें से कोई भी अवलोकन अकेले यह साबित नहीं करता कि प्रत्येक खिलाड़ी को पात्र आकर्षक लगेगा।

प्रश्न को सीमित रखें: “क्या यह पात्र इस प्लेटेस्टर के लिए दस बातचीत चुनने और पूरा करने के लिए पर्याप्त सुसंगत, नई सामग्री प्रदान करता है?” बिताए गए कुल समय को निर्णायक स्कोर के रूप में उपयोग न करें। एक लंबा संवाद किसी दिलचस्प दृश्य को दर्शा सकता है, लेकिन यह भ्रम या किसी अनसुलझे प्रॉम्प्ट को भी दर्शा सकता है। पात्र-प्लेटेस्ट का सवाल दृश्य के चयन, कैनन, नएपन और स्वैच्छिक समाप्ति से संबंधित है—इस बात से नहीं कि क्या उपभोक्ता सदस्यता चौदह दिनों की अवधि में अपनी लागत के लायक है।

एक कैनन कार्ड और दस दृश्यों के निमंत्रण तैयार करें

परीक्षण से पहले, उन तथ्यों के साथ एक संक्षिप्त कैनन कार्ड लिखें जिन्हें पात्र को बनाए रखना चाहिए: उनकी भूमिका, महत्वपूर्ण इतिहास, स्थापित प्राथमिकताएं, रिश्ते, सीमाएं और बोलने के विशिष्ट तरीके। कुछ लचीले लक्षण भी शामिल करें: हैरान होने पर वे कैसा व्यवहार करते हैं, वे क्या नोटिस करते हैं, या वे किस तरह के विवरणों को नजरअंदाज कर देते हैं। यह पात्र से बार-बार एक ही तकियाकलाम दोहराने की मांग किए बिना स्थिरता को प्रत्यक्ष बनाता है। व्यक्तित्व-अनुकूलित संवाद एजेंटों (persona-conditioned dialogue agents) पर शोध व्यक्तित्व की स्थिरता को मूल्यांकन करने योग्य गुण मानता है, और परस्पर क्रिया करने वाले भाषा-मॉडल एजेंटों के एक अध्ययन में पाया गया कि बातचीत के दौरान प्रोफाइल स्थिरता और भाषाई संरेखण में भिन्न थीं। वे अध्ययन कई संवादों में व्यवहार की जांच करने के लिए प्रेरित करते हैं; वे कोई सार्वभौमिक दस-बातचीत की सीमा तय नहीं करते हैं। (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning; LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)

दस ऐसे दृश्य निमंत्रण तैयार करें जो पात्र की पंक्तियों को तय किए बिना अलग-अलग अवसर पैदा करें। उदाहरण के लिए, पात्र को कोई छोटा उपहार चुनना पड़ सकता है, किसी परिचित स्थान पर जाने की योजना बनानी पड़ सकती है, किसी हानिरहित गलतफहमी को सुधारना पड़ सकता है, किसी सामुदायिक कार्यक्रम को आयोजित करने में मदद करनी पड़ सकती है, या यह तय करना पड़ सकता है कि अप्रत्याशित रूप से मिले खाली दोपहर के समय क्या किया जाए। प्रत्येक निमंत्रण को पात्र की स्थापित दुनिया और सामान्य व्यक्तिगत विकल्पों के भीतर रखें। स्थिति और निर्णय के प्रकार में विविधता लाएं, साथ ही इतनी निरंतरता बनाए रखें कि पिछली घटनाएं मायने रख सकें।

ऊपरी बदलावों के साथ एक ही प्रॉम्प्ट के दस संस्करण लिखने से बचें। एक उपयोगी दृश्य खिलाड़ी से एक सार्थक विकल्प चुनने या अपना खुद का विचार प्रस्तुत करने के लिए कहता है। इंटरएक्टिव आख्यान पर शोध और सिद्धांत खिलाड़ी की एजेंसी (स्वायत्तता) को केवल विकल्पों की उपस्थिति से कहीं अधिक मानते हैं: खिलाड़ी की समझ और व्याख्या भी अनुभव को आकार देती है। इस प्लेटेस्ट में, यह सुझाव देता है कि टेस्टर वास्तव में क्या चुनता है और वह दृश्य को कैसे मोड़ता है, इसे दर्ज किया जाए, न कि केवल यह गिना जाए कि पात्र ने कितने प्रॉम्प्ट का उत्तर दिया। (Connecting player and character agency in videogames)

“सही” प्रतिक्रिया के लिए सिखाए बिना दस बातचीत आयोजित करें

टेस्टर को एक संक्षिप्त, तटस्थ परिचय दें: वे पात्र और दृश्यों को आज़मा रहे हैं, और परीक्षण उनके प्रदर्शन के बारे में नहीं बल्कि अनुभव के बारे में है। उन्हें बताएं कि वे किसी भी बिंदु पर रुक सकते हैं। एक सुसंगत प्रारूप में एक समय में एक दृश्य प्रस्तुत करें, और यह सुझाव देने से बचें कि दृश्य को क्या रोमांचक बना सकता है या पात्र को कौन सा विकल्प चुनना चाहिए। मॉडरेटेड उपयोगिता मार्गदर्शन ऐसे स्पष्ट, विश्वसनीय कार्यों की सिफारिश करता है जो उत्तर को प्रकट नहीं करते हैं, साथ ही प्रतिभागियों का अवलोकन करते हैं और ओपन-एंडेड फॉलो-अप पूछते हैं। उस नियम को रचनात्मक खेल के अनुकूल बनाएं: सेटअप को स्पष्ट करें, फिर टेस्टर को अपने तरीके से प्रतिक्रिया देने की गुंजाइश छोड़ें। (Using moderated usability testing)

प्रत्येक संवाद के बाद, कुछ ठोस अवलोकन दर्ज करें: टेस्टर ने कौन सा दृश्य चुना या विकसित किया, क्या उन्होंने कोई नई दिशा पेश की, क्या पात्र ने कैनन को बनाए रखा या उसका खंडन किया, और कहानी का कौन सा नया तत्व सामने आया। किसी विशिष्ट पंक्ति या पसंद को तब नोट करें जब वह किसी अवलोकन को स्पष्ट करती हो। इन्हें व्याख्याओं से अलग रखें: “टेस्टर ने बाज़ार जाने की योजना बदल दी” एक अवलोकन है; “पात्र ने स्वायत्तता को आमंत्रित किया” एक संभावित व्याख्या है। सामान्य प्रभावों की तुलना में संक्षिप्त, बिंदु-वार नोट्स की सत्रों के बीच तुलना करना आसान होता है। (Taking notes and recording user research sessions)

संवाद समाप्त होने के बाद, कुछ तटस्थ प्रश्न पूछें। “आप इस पात्र के साथ आगे क्या करना चाहेंगे?” यह प्रकट कर सकता है कि क्या टेस्टर किसी अन्य दृश्य की कल्पना कर सकता है। “क्या कुछ ऐसा था जो उनके बारे में आपकी समझ से असंगत था?” इससे कोई कैनन उल्लंघन सामने आ सकता है। “कौन सा हिस्सा जाना-पहचाना लगा, और कौन सा हिस्सा नया लगा?” यह स्पष्ट कर सकता है कि नयापन पात्र से आया, स्थिति से, या टेस्टर के अपने योगदान से। स्वयं स्पष्टीकरण देने के बजाय यह पूछें कि उत्तर किस वजह से प्रेरित हुआ।

एक सरल दस-पंक्तियों वाले स्कोरकार्ड का उपयोग करें

प्रति बातचीत एक पंक्ति का उपयोग करें। एक संक्षिप्त पैमाना पैटर्न को संक्षेप में प्रस्तुत करने में मदद करता है, लेकिन अंकगणित की तुलना में नोट्स और उदाहरण अधिक मायने रखते हैं। निम्नलिखित रूब्रिक एक व्यावहारिक प्लेटेस्ट सहायता है, कोई मान्य शोध उपकरण नहीं।

बातचीत: 1–10; दृश्य का विकल्प या दिशा: टेस्टर ने क्या चुना, जोड़ा या पुनर्निर्देशित किया; कैनन: 0 = विरोधाभास; 1 = अस्पष्ट; 2 = सुसंगत; उपयोगी नयापन: 0 = बिना कुछ जोड़े दोहराता है; 1 = कुछ नई सामग्री; 2 = विशिष्ट, उपयोग योग्य विकास; स्वेच्छा से पूरा किया?: हाँ / नहीं

कैनन के लिए, केवल तभी विरोधाभास स्कोर करें जब पात्र कैनन कार्ड के किसी तथ्य या किसी स्थापित घटना के साथ टकराव करता है—केवल इसलिए नहीं कि पात्र किसी नई स्थिति में अलग तरह से व्यवहार करता है। नएपन के लिए, ऐसे विवरण, निर्णय, संबंध विकास या दृश्य के मोड़ को गिनें जो टेस्टर को प्रतिक्रिया देने या आगे बढ़ने के लिए कुछ प्रदान करता हो। ऐसा आश्चर्यजनक विवरण जिसका पात्र की दुनिया में कोई मतलब नहीं है, उपयोगी नयापन नहीं है। टेस्टर की प्राथमिकताओं को ग्रेड करने के बजाय दृश्य चयन को विवरणात्मक रखें: विविधता का अर्थ है कि पात्र विभिन्न दिशाओं को अपनाता है, यह नहीं कि टेस्टर को पूर्व निर्धारित सीमा ही चुननी होगी।

समाप्ति को अन्य स्कोरों से अलग दर्ज करें। यदि टेस्टर स्वेच्छा से बातचीत दस पूरी करता है, तो उसे नोट करें; यदि वे रुकते हैं, तो पूछें कि क्या वे यह बताने के इच्छुक हैं कि उन्हें किस वजह से रुकना पड़ा। पूरा होने को लगाव के प्रमाण के रूप में या अधूरा रहने को विफलता के प्रमाण के रूप में न समझें। कोई व्यक्ति पात्र से इतर कारणों से भी रुक सकता है, और पूरी की गई श्रृंखला में भी दोहराव वाले या विरोधाभासी दृश्य हो सकते हैं। व्यवहार और स्पष्टीकरण का संयोजन केवल एक बाइनरी परिणाम की तुलना में अधिक जानकारीपूर्ण होता है।

पैटर्न को समझें और तय करें कि क्या संशोधित करना है

देखें कि इस क्रम में अनुभव कहाँ बदलता है। यदि टेस्टर लगातार विभिन्न प्रकार के दृश्य चुनता रहता है लेकिन पात्र के उत्तर सामान्य (जेनेरिक) हो जाते हैं, तो विविध परिस्थितियों में उसकी आवाज़ और निर्णय लेने की क्षमता पर काम करें। यदि पात्र पहचानने योग्य बना रहता है लेकिन दृश्य बार-बार किसी नए निर्णय या विवरण के बिना समाप्त होते हैं, तो निमंत्रणों को संशोधित करें या पात्र को कार्य करने के लिए अधिक विशिष्ट लक्ष्य और प्राथमिकताएं दें। यदि टेस्टर दृश्यों को पुनर्निर्देशित करना शुरू कर देता है, तो जांचें कि क्या तैयार की गई स्थितियां बहुत समान, बहुत संकीर्ण, या उनके द्वारा लाए गए विचारों की तुलना में कम दिलचस्प थीं।

एक विशिष्ट आवाज़ इसमें दिखनी चाहिए कि पात्र क्या नोटिस करता है, क्या चाहता है और क्या कहता है—न कि केवल किसी दोहराए गए तकियाकलाम में। संवाद पर एक कहानी कहने की मार्गदर्शिका आवाज़ को व्यक्तित्व के प्रतिबिंब के रूप में वर्णित करती है और संवाद को पात्र के लक्षणों, पृष्ठभूमि और भावनाओं के अनुकूल बनाने की सिफारिश करती है। प्रतिलेख की समीक्षा करते समय उस सिद्धांत का उपयोग करें: क्या यह पंक्ति इस स्थिति में इस पात्र की हो सकती है, और क्या यह एक पहचानने योग्य दृष्टिकोण दिखाती है? (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)

फिर एक विशिष्ट संशोधन चुनें और किसी अन्य प्लेटेस्टर के साथ, या स्पष्ट रूप से प्रलेखित नए रन के साथ उसी दस-दृश्य परीक्षण को दोहराएं। संस्करणों की तुलना करते समय प्रॉम्प्ट और स्कोर परिभाषाओं को सुरक्षित रखें ताकि परीक्षण में ही बदलाव पात्र में बदलाव के रूप में न दिखे। यदि पहले रन में कैनन का विरोधाभास सामने आया, तो एक ऐसा दृश्य जोड़ें जो स्वाभाविक रूप से प्रासंगिक तथ्य का परीक्षण करता हो; यदि इसमें दोहराव वाले संवाद दिखे, तो विभिन्न प्रकार के विकल्पों वाली स्थितियां जोड़ें। यह एक नैदानिक लूप (diagnostic loop) है, कोई जनसंख्या अनुमान नहीं। एक अकेला प्लेटेस्टर ठोस घर्षण और संभावनाओं की पहचान कर सकता है, लेकिन यह नहीं दिखा सकता कि परिणाम कितने व्यापक रूप से सामान्यीकृत होंगे।

दस बातचीत आपको क्या बता सकती हैं—और क्या नहीं

दस-बातचीत का प्रारूप एक केंद्रित तनाव परीक्षण (stress test) के रूप में उपयोगी है: यह आपको यह देखने में मदद करता है कि दृश्य विविधता, पहचानने योग्य कैनन और ताज़ा सामग्री शुरुआती संवाद के बाद भी बची रहती है या नहीं। यह दिखा सकता है कि किसी विशिष्ट टेस्टर की रुचि कहाँ कम हुई, उसे कहाँ एक आशाजनक दिशा मिली, या कहाँ विरोधाभास का सामना करना पड़ा। यह दीर्घकालिक आकर्षण को साबित नहीं करता, प्रतिधारण (retention) की भविष्यवाणी नहीं करता, या यह स्थापित नहीं करता कि सभी दर्शक कैसी प्रतिक्रिया देंगे। इसका उपयोग यह तय करने के लिए करें कि क्या निरीक्षण और संशोधित करना है, फिर यदि आपको विभिन्न पाठकों और खेलने की शैलियों में विश्वास की आवश्यकता है तो अधिक प्लेटेस्ट इकट्ठा करें।

सबसे स्पष्ट संकेत उदाहरणों के साथ एक पैटर्न है: टेस्टर के पास चुनने की गुंजाइश थी, पात्र ने ऐसे तरीकों से प्रतिक्रिया दी जो स्थापित कैनन के अनुकूल थे, दृश्यों ने आगे बढ़ने के लिए विशिष्ट सामग्री तैयार की, और टेस्टर ने श्रृंखला को पूरा करने का विकल्प चुना। जब उन तत्वों में से कोई एक कम हो जाता है, तो नोट्स को केवल अधिक बातचीत प्रॉम्प्ट जोड़ने के बजाय, अगले शिल्प निर्णय की ओर इशारा करना चाहिए—पात्र की आवाज़ को समायोजित करें, कैनन को स्पष्ट करें, या दृश्य निमंत्रणों को फिर से डिज़ाइन करें।

इस विषय को आगे पढ़ें