एआई सिम्युलेटेड पाठक आपके लेखन के बारे में क्या बता सकते हैं—और क्या नहीं

एक मॉडल किसी मसौदे में किन चीज़ों की उपयोगी आलोचना कर सकता है

एक मॉडल आपके द्वारा दिए गए शब्दों और संरचना की जांच कर सकता है। आप उससे ऐसे शब्दों की पहचान करने के लिए कह सकते हैं जो अपरिचित हो सकते हैं, ऐसे चरण जो छूटे हुए प्रतीत होते हैं, ऐसे निर्देश जिनके एक से अधिक उचित अर्थ निकलते हों, या कोई ऐसा प्रश्न जिसका उत्तर मसौदे में न दिया गया हो। आप उससे यह बताने के लिए भी कह सकते हैं कि पाठ में मौजूद किस साक्ष्य के आधार पर उसने यह निष्कर्ष निकाला। यह पहले चरण की संपादकीय जांच के रूप में उपयोगी है: यह जांचने योग्य संभावित बिंदुओं को सामने लाता है, वास्तविक पाठकों से जुड़े अंतिम निष्कर्ष नहीं।

कार्य को स्पष्ट और ठोस रखें। उदाहरण के लिए, एक दिवसीय यात्रा (डे ट्रिप) चुनने का तरीका समझाने वाले पृष्ठ के लिए, मॉडल से यह बताने को कहें कि पाठक को विकल्पों की तुलना करने के लिए किन विवरणों की आवश्यकता होगी और वे विवरण कहाँ दिए गए हैं। विशिष्ट अंशों और संभावित गलतफहमी के बारे में पूछें, फिर प्रत्येक सुझाव को अपने उद्देश्य और पाठ के संदर्भ में परखें। धाराप्रवाह उत्तर इस बात का प्रमाण नहीं है कि कोई भी व्यक्ति उस अंश को उसी तरह पढ़ेगा।

पर्सोना (काल्पनिक व्यक्तित्व) प्रॉम्प्ट कुछ उपयोगी संरचना जोड़ सकते हैं, लेकिन “पहली बार आने वाला एक व्यस्त आगंतुक” जैसा विवरण मॉडल को वास्तव में वह आगंतुक नहीं बना देता। पर्सोना प्रॉम्प्टिंग पर किए गए शोध से पता चला कि इसके लाभ इस बात पर निर्भर करते हैं कि क्या पर्सोना चर (variables) मानवीय व्याख्याओं के पैटर्न से मेल खाते हैं; कई व्यक्तिपरक डेटासेट में, ये चर अंतरों को बहुत कम समझा पाए। पर्सोना-आधारित प्रतिक्रियाओं को परिकल्पनाओं के रूप में मानें, न कि पाठकों की राय के एक प्रतिनिधि नमूने के रूप में। हू और कोलियर, “Quantifying the Persona Effect in LLM Simulations”

सिम्युलेटेड प्रतिक्रियाएं क्या साबित नहीं कर सकतीं

एक मॉडल प्रतिक्रिया यह स्थापित नहीं कर सकती कि किसी विशिष्ट पाठक ने क्या देखा, क्या अनुमान लगाया, क्या याद रखा या क्या किया। यह पाठ और एक प्रॉम्प्ट प्राप्त करता है, और फिर एक उत्तर उत्पन्न करता है। एक वास्तविक पाठक अपनी स्वयं की जानकारी, लक्ष्यों, विकर्षणों, अपेक्षाओं और परिस्थितियों के साथ सामग्री का सामना करता है। वे कारक तय करते हैं कि कोई वाक्य समझ में आता है या नहीं और क्या व्यक्ति उस पर अमल कर सकता है।

यह अंतर तब सबसे अधिक मायने रखता है जब प्रश्न व्यावहारिक व्यवहार से जुड़ा हो: क्या कोई व्यक्ति सही जानकारी ढूंढ सकता है? क्या वे किसी निर्देश को उसी तरह समझते हैं जैसा इरादा था? क्या वे बिना किसी संकेत के कार्य पूरा कर सकते हैं? एक मॉडल इन सवालों पर विचार कर सकता है, लेकिन वह क्या करेगा इसका विवरण केवल उत्पन्न किया गया पाठ (generated text) ही रहता है। उसने स्वतंत्र रूप से पृष्ठ को नेविगेट नहीं किया है और न ही यह प्रदर्शित किया है कि आपके लक्षित समूह का कोई व्यक्ति इसका उपयोग कर सकता है।

मॉडल सिमुलेशन पर किए गए शोध सजीव या विविध प्रतिक्रियाओं को वास्तविकता के प्रमाण के रूप में देखने के प्रति भी आगाह करते हैं। सर्वेक्षण-प्रतिक्रिया सिमुलेशन पर 2025 के एक अध्ययन में पाया गया कि परखे गए दृष्टिकोण उपयोगकर्ताओं की प्रतिक्रियाओं को सटीक रूप से पुन: प्रस्तुत करने में संघर्ष कर रहे थे; मॉडल जनसांख्यिकीय बदलावों के बावजूद दृष्टिकोणों को बनाए रख सकते थे और प्रोफाइल के बीच सूक्ष्म अंतरों के अनुकूल होने में कठिनाई महसूस करते थे। वह अध्ययन सीधे तौर पर हर लेखन आलोचना या प्रयोज्यता (यूज़ेबिलिटी) कार्य का परीक्षण नहीं करता है, लेकिन यह एक व्यावहारिक सीमा का समर्थन करता है: एक उचित प्रतीत होने वाला सिम्युलेटेड पाठक इस बात की पुष्टि नहीं है कि वास्तविक पाठक कैसे प्रतिक्रिया देंगे। यू एवं अन्य, “An Analysis of Large Language Models for Simulating User Responses in Surveys”

वास्तविक पाठकों का एक छोटा परीक्षण क्या उजागर कर सकता है

एक छोटा गुणात्मक परीक्षण यह दिखा सकता है कि वास्तविक प्रतिभागी कहाँ झिझकते हैं, वे क्या अनदेखा कर देते हैं, वे किसी वाक्यांश की क्या व्याख्या करते हैं, और क्या वे इच्छित परिणाम तक पहुँचते हैं। आप प्रत्येक व्यक्ति को एक यथार्थवादी कार्य दे सकते हैं, उन्हें मसौदे या पृष्ठ का उपयोग करने दे सकते हैं, और देख सकते हैं कि क्या होता है। इसके बाद के अनुवर्ती प्रश्न यह स्पष्ट कर सकते हैं कि उनके अनुसार किसी शब्द का क्या अर्थ था या उन्होंने किसी विशेष चरण को क्यों चुना। यह अवलोकन योग्य व्यवहार को प्रतिभागी के अपने स्पष्टीकरण के साथ जोड़ता है।

सामग्री से जुड़े कार्य के लिए, सत्र से पहले सफलता को परिभाषित करें। उदाहरण के लिए, यदि पाठ एक दिवसीय यात्रा की गाइड है, तो आप एक प्रतिभागी से एक ऐसा विकल्प चुनने के लिए कह सकते हैं जो किसी बताई गई प्राथमिकता के अनुकूल हो और यह समझाने को कह सकते हैं कि किस जानकारी ने उस चयन को आकार दिया। ध्यान दें कि क्या उन्हें प्रासंगिक विवरण मिलते हैं, कौन से शब्द या खंड उनकी गति धीमी करते हैं, और क्या उनका स्पष्टीकरण उन अंतरों से मेल खाता है जिन्हें गाइड व्यक्त करना चाहती थी। यह उदाहरण एक प्रस्तावित परीक्षण डिज़ाइन है, किसी विशेष गाइड या परिणाम के बारे में कोई दावा नहीं।

गुणात्मक प्रयोज्यता परीक्षण (यूज़ेबिलिटी टेस्टिंग) पर सरकारी मार्गदर्शन ऐसे लोगों को शामिल करने की सलाह देता है जो संभावित उपयोगकर्ता हो सकते हैं, उन्हें एक कार्य सौंपने, अत्यधिक निर्देश देने से बचने, और बाद में कार्य पूरा होने तथा सामान्य त्रुटियों की समीक्षा करने की सिफारिश करता है। नीलसन नॉर्मन ग्रुप भी प्रयोज्यता अध्ययनों को यह जांचने के तरीके के रूप में वर्णित करता है कि क्या सामग्री को खोजना और समझना आसान है या क्या लोग किसी कार्य को पूरा कर सकते हैं। दोनों ही इस बात पर जोर देते हैं कि प्रतिभागी क्या करते हैं उसका अवलोकन किया जाए; यह ऐसा साक्ष्य है जो एक सिम्युलेटेड प्रतिक्रिया नहीं दे सकती। GOV.UK, “Usability testing: qualitative studies”, नीलसन नॉर्मन ग्रुप, “Checklist for Planning Usability Studies”

एक उपयोगी छोटा परीक्षण कैसे आयोजित करें

उस एक निर्णय या कार्य से शुरुआत करें जिसे सुगम बनाने के लिए पाठ तैयार किया गया है। ऐसे लोगों को शामिल करें जो प्रासंगिक तरीकों से इच्छित पाठकों के समान हों, विशेष रूप से उस विषय के अपने अनुभव के मामले में। फिर एक ऐसा परिदृश्य लिखें जो उन्हें सामग्री का उपयोग करने का एक कारण दे, बिना यह बताए कि उत्तर कहाँ है या किन शब्दों को खोजना है। ऐसा कार्य जो पृष्ठ के ही किसी लेबल को दोहराता है, अनजाने में इस बात के बजाय शब्द मिलान का परीक्षण कर सकता है कि क्या सामग्री किसी को अपने लक्ष्य को पूरा करने में मदद करती है; NN/G ऐसे ठोस कार्य लिखने की सलाह देता है जिनमें व्यवहार को प्रभावित करने वाले संकेत न हों।

सत्र के दौरान, प्रतिभागियों को न्यूनतम मार्गदर्शन के साथ आगे बढ़ने दें। वे क्या करते हैं, कहाँ रुकते हैं, वे अपने शब्दों में क्या कहते हैं, और क्या वे कार्य पूरा करते हैं, इसे रिकॉर्ड करें। यदि वे मदद मांगते हैं, तो उस बिंदु को नोट करें जहाँ उन्हें इसकी आवश्यकता पड़ी। बाद में, उनसे यह बताने के लिए कहें कि उन्होंने क्या समझा और वे आगे क्या करेंगे। GOV.UK का मार्गदर्शन गुणात्मक प्रयोज्यता परीक्षण के लिए पाँच से छह प्रतिभागियों का सुझाव देता है; NN/G आमतौर पर पारंपरिक गुणात्मक अध्ययनों के लिए पाँच की सिफारिश करता है। ये समस्याओं को खोजने के लिए व्यावहारिक प्रारंभिक बिंदु हैं, न कि ऐसे नमूना आकार जो निष्कर्षों को पूरी आबादी का प्रतिनिधि बनाते हों। यदि आपको ऐसे प्रतिशत या तुलनाओं की आवश्यकता है जो सामान्यीकरण कर सकें, तो आपको बड़े नमूने और नियंत्रित मापों के साथ एक मात्रात्मक डिज़ाइन की आवश्यकता होगी। GOV.UK, “Usability testing: qualitative studies”, NN/G, “Quantitative vs. Qualitative Usability Testing”

अवलोकनों को संशोधनों में बदलें, व्यापक दावों में नहीं

कुछ सत्रों के बाद, बार-बार आने वाली बाधाओं और महत्वपूर्ण एकल विफलताओं पर ध्यान दें। यदि कई प्रतिभागी एक ही वाक्यांश को गलत समझते हैं, तो वह संशोधन के लिए एक मजबूत बिंदु है। यदि कोई एक व्यक्ति किसी कार्य को पूरा नहीं कर पाता है, तो परिस्थितियों का विश्लेषण करें और पूछें कि क्या वह विफलता लक्षित पाठकों के लिए मायने रखती है; एक सत्र को पूरी आबादी की दर के रूप में न लें। एक छोटे गुणात्मक अध्ययन का उद्देश्य समस्याओं को उजागर करना और परिवर्तनों का मार्गदर्शन करना है, न कि यह अनुमान लगाना कि व्यापक दर्शकों में से कितने लोगों को ये समस्याएं होंगी। NN/G का कहना है कि गुणात्मक निष्कर्ष प्रतिभागी नमूने और शोधकर्ता की व्याख्या पर निर्भर करते हैं, जबकि संख्यात्मक प्रयोज्यता के दावों के लिए उचित आकार के मात्रात्मक अध्ययन की आवश्यकता होती है।

पाठ को संशोधित करें, फिर जब संभव हो तो नए पाठकों के साथ संशोधित संस्करण का परीक्षण करें। एक मॉडल आपको वैकल्पिक वाक्यांशों को तलाशने या चक्रों के बीच नई अस्पष्टताओं को चिह्नित करने में मदद कर सकता है। अपने नोट्स में साक्ष्यों के प्रकारों को अलग रखें: “मॉडल ने भविष्यवाणी की थी कि यह भ्रमित करने वाला हो सकता है” जांच के लिए एक संकेत है; “दो प्रतिभागियों ने इस चरण की अलग-अलग व्याख्या की और एक परिणाम तक नहीं पहुंच सका” एक परीक्षण से प्राप्त अवलोकन है। इनमें से कोई भी अकेले यह साबित नहीं करता कि प्रत्येक पाठक को समान अनुभव होगा, लेकिन दूसरा आपको यह बताता है कि आपके द्वारा देखे गए कार्य में क्या हुआ।

काम का एक व्यावहारिक विभाजन

मसौदे के बारे में प्रश्न उत्पन्न करने के लिए मॉडल का उपयोग करें। वास्तविक समझ और कार्य प्रदर्शन से जुड़े प्रश्नों के उत्तर पाने के लिए वास्तविक पाठकों का उपयोग करें। जब कार्य किसी विशिष्ट पाठक वर्ग, वातावरण या पूर्व अनुभव पर निर्भर करता है, तो मॉडल से उनका अनुमान लगाने के लिए कहने के बजाय उन परिस्थितियों के अनुसार लोगों का चयन करें। और जब आपको एक विश्वसनीय दर या तुलना की आवश्यकता हो, तो मुट्ठी भर गुणात्मक सत्रों को सांख्यिकीय दावे में बदलने के बजाय एक मात्रात्मक अध्ययन तैयार करें।

यह विभाजन किसी प्रशंसनीय प्रतिक्रिया को पाठक की सफलता के साक्ष्य के साथ भ्रमित किए बिना, सिम्युलेटेड आलोचना को संशोधन में तेजी लाने की अनुमति देता है। निर्णायक प्रश्न यह नहीं है कि क्या मॉडल एक आश्वस्त करने वाली पाठक आवाज़ उत्पन्न कर सकता है; बल्कि यह है कि क्या इच्छित पाठक सामग्री को समझ सकता है और वह कर सकता है जिसके लिए पाठ लिखा गया है।

इस विषय को आगे पढ़ें