“यह मेरा नाम जानता है” बनाम “यह मेरे प्रोजेक्ट को समझता है”: अंतर कैसे पहचानें

नाम याद रखना एक सीमित परीक्षण क्यों है

नाम एक संक्षिप्त तथ्य है: इसे संग्रहीत किया जा सकता है, दोहराया जा सकता है, या उपलब्ध चैट या खाता संदर्भ से प्राप्त किया जा सकता है। उदाहरण के लिए, ChatGPT में, मेमोरी में वे विवरण शामिल हो सकते हैं जो उपयोगकर्ता प्रदान करता है, जबकि प्रासंगिक पिछली चैट जानकारी का भी उपयोग किया जा सकता है जब संबंधित सुविधा उपलब्ध और सक्षम हो। उत्पाद दस्तावेज़ यह भी बताते हैं कि मेमोरी हर विवरण को बनाए नहीं रखती है और उपलब्ध नियंत्रण योजना, क्षेत्र, प्लेटफ़ॉर्म और कार्यक्षेत्र के अनुसार भिन्न होते हैं। इसलिए एक सही नाम आपको यह बताता है कि वह विवरण प्रतिक्रिया के लिए उपलब्ध था; यह यह नहीं बताता कि सिस्टम आसपास के कितने संदर्भ को पुनः प्राप्त कर सकता है या लागू कर सकता है। OpenAI Help Center, “Memory in ChatGPT”

एक रचनात्मक प्रोजेक्ट अधिक समृद्ध परीक्षण है क्योंकि यह आमतौर पर कई तथ्यों और प्राथमिकताओं को जोड़ता है: क्या बनाया जा रहा है, किसके लिए, क्या पहले ही तय हो चुका है, क्या अभी भी खुला है, और किस प्रकार के सुझावों का स्वागत है। “आप एलेक्स हैं” दोहराना केवल एक लेबल के स्मरण का परीक्षण करता है। एक बताए गए प्रोजेक्ट विवरण के अनुकूल तीन विचारों की मांग करना यह परीक्षण करता है कि क्या सिस्टम एक साथ कई प्रासंगिक विवरणों का चयन और उपयोग कर सकता है।

यह अंतर व्यावहारिक है, इस बात का निर्णय नहीं कि किसी मॉडल में मानव जैसी समझ है या नहीं। उपयोगी प्रश्न यह है कि क्या यह आपके द्वारा दिए गए संदर्भ को अगले कार्य पर लागू कर सकता है, और क्या आप परिणाम में उस अनुप्रयोग को सत्यापित कर सकते हैं।

किसी कार्य के लिए प्रोजेक्ट को समझने का क्या अर्थ है

रोजमर्रा के उपयोग के लिए, “मेरे प्रोजेक्ट को समझता है” को देखने योग्य क्षमताओं के एक समूह के संक्षिप्त रूप के रूप में मानें। एक उपयोगी प्रतिक्रिया को स्थापित तथ्यों को स्पष्ट रखना चाहिए, निर्णयों और संभावनाओं के बीच अंतर करना चाहिए, अनुरोध के लिए महत्वपूर्ण सीमाओं का पालन करना चाहिए, और जब कोई छूटा हुआ विवरण उत्तर को बदल सकता है तो अनिश्चितता की स्थिति में पूछना या सूचित करना चाहिए। ये कार्य मानक हैं: आप आउटपुट का निरीक्षण कर सकते हैं और तय कर सकते हैं कि क्या यह उन्हें पूरा करता है।

अनुसंधान केवल धाराप्रवाह शब्दों पर निर्भर रहने के बजाय प्रत्येक भाग का परीक्षण करने के कारण प्रस्तुत करता है। FollowBench, भाषा मॉडलों का एक 2024 बेंचमार्क, निर्देश सीमाओं को सामग्री, स्थिति, शैली, प्रारूप और उदाहरण जैसी श्रेणियों में अलग करता है। इसके परीक्षणों में पाया गया कि जैसे-जैसे सीमाएं बढ़ती गईं, प्रदर्शन में गिरावट आई, और कुछ श्रेणियां दूसरों की तुलना में अधिक कठिन थीं। बेंचमार्क नियंत्रित कार्यों का मूल्यांकन करता है, न कि आपकी विशेष चैट का, लेकिन यह एक उपयोगी आदत का समर्थन करता है: केवल इसलिए पास करने के बजाय कि प्रतिक्रिया प्रशंसनीय लगती है, प्रत्येक महत्वपूर्ण आवश्यकता की अलग से जांच करें। Jiang et al., “FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models”

एक अलग संदर्भ-समझ (कंटेक्स्ट-अंडरस्टैंडिंग) बेंचमार्क ने चार कार्यों और नौ डेटासेटों में भाषाई विशेषताओं का परीक्षण किया। इसके लेखकों ने बताया कि उनके मूल्यांकन में प्रमुख फाइन-ट्यून किए गए मॉडलों की तुलना में प्री-ट्रेन्ड डेंस मॉडलों को अधिक सूक्ष्म प्रासंगिक विशेषताओं के साथ संघर्ष करना पड़ा। वह परिणाम यह भविष्यवाणी नहीं करता है कि कोई विशेष वर्तमान सहायक आपके प्रोजेक्ट को कैसे संभालेगा, लेकिन यह केवल परिचित शब्दों की तलाश करने के बजाय अर्थ और संबंधों की जांच करने के मूल्य को पुष्ट करता है। “Can Large Language Models Understand Context?”

किसी प्रोजेक्ट के लिए, वे संबंध हो सकते हैं: “पोस्टर पड़ोस के बीज विनिमय (सीड स्वैप) के लिए है”; “कार्यक्रम की तारीख अभी तय नहीं है”; “दृश्य दिशा उज्ज्वल और हस्तनिर्मित (हैंडमेड) है”; और “ऐसी भाषा से बचें जो बिक्री की पिच जैसी लगे।” एक प्रतिक्रिया जो “सीड स्वैप” दोहराती है लेकिन एक मनगढ़ंत तारीख जोड़ देती है या टोन को अनदेखा करती है, उसने विवरण का अच्छी तरह से पालन किए बिना केवल एक विषय को याद किया है।

एक छोटा, देखने योग्य प्रोजेक्ट परीक्षण चलाएं

एक कम जोखिम वाला कार्य चुनें जो उस काम जैसा हो जिसमें आप वास्तव में मदद चाहते हैं। चैट को एक संक्षिप्त विवरण दें, फिर एक ठोस परिणाम (डिलीवरेबल) का अनुरोध करें। एक उपयोगी विवरण यह हो सकता है: “मैं पड़ोस के बीज विनिमय के लिए एक पृष्ठ का निमंत्रण बना रहा हूँ। तारीख तय नहीं है, इसलिए इसे छोड़ दें। टोन को गर्मजोशी भरा और सरल रखें। मैं चाहता हूँ कि लोग लेबल किए गए बीज लाएं, लेकिन उपस्थिति सभी के लिए खुली है।” फिर एक शीर्षक और एक संक्षिप्त निमंत्रण पैराग्राफ मांगें।

उत्तर पढ़ने से पहले, विवरण को एक सरल चेकलिस्ट में बदलें। इस उदाहरण में, जांचें कि क्या आउटपुट:

मनगढ़ंत तारीख जोड़ने से बचता है;

निमंत्रण को सभी के लिए खुला रखता है;

लाने वाली वस्तु के रूप में लेबल किए गए बीजों का उल्लेख करता है;

एक गर्मजोशी भरे, सरल टोन का उपयोग करता है; और

अनुरोधित शीर्षक और पैराग्राफ प्रदान करता है।

यह चेकलिस्ट एक संपादकीय सहायता है, कोई मान्य वैज्ञानिक परीक्षण नहीं। इसका महत्व यह है कि यह त्रुटियों को दृश्यमान बनाती है। एक परिष्कृत पैराग्राफ भी किसी निर्देश से चूक सकता है, जबकि एक साधारण प्रतिक्रिया विवरण का सटीक रूप से पालन कर सकती है।

इसके बाद, पहले चरण पर निर्भर रहने वाले दूसरे चरण की मांग करें: “अब एक छोटे बोर्ड/साइन के लिए एक छोटा संस्करण बनाएं, अभी भी बिना तारीख के, और निमंत्रण को सभी के लिए खुला रखें।” जांचें कि क्या प्रारूप बदलने के बाद भी प्रमुख सीमाएं बनी रहती हैं। फिर किसी भी त्रुटि को स्पष्ट रूप से सुधारें—उदाहरण के लिए, “कृपया ‘अनुभवी बागवानों के लिए’ वाक्यांश हटा दें; शुरुआती लोगों का भी स्वागत है”—और देखें कि क्या अगला संशोधन वास्तव में उसी बहिष्करण को किसी अन्य रूप में वापस लाए बिना इसे हटा देता है।

आत्मविश्वास से भरी भाषा को नहीं, क्रियान्वयन (फॉलो-थ्रू) को आंकें

एक व्यावहारिक स्कोरकार्ड के चार भाग होते हैं:

स्मरण (Recall): क्या प्रतिक्रिया प्रासंगिक प्रोजेक्ट तथ्यों का सही उपयोग करती है?

चयन (Selection): क्या यह असंबंधित विवरणों को सुनाने के बजाय इस विशिष्ट कार्य के लिए महत्वपूर्ण तथ्यों को सामने लाती है?

अनुप्रयोग (Application): क्या यह तैयार काम में विवरण की सामग्री, टोन और प्रारूप की सीमाओं का पालन करती है?

अपडेट (Update): आपके द्वारा किसी विवरण को ठीक करने के बाद, क्या अगला संस्करण उस सुधार को दर्शाता है?

आउटपुट में ठोस सबूत तलाशें: ऐसे शब्द जो किसी अनिर्धारित तारीख को बनाए रखते हैं, एक अनुरोधित वाक्यांश जो दिखाई देता है, या एक सुधार जो संशोधन में बना रहता है। “मुझे आपका प्रोजेक्ट याद है” या “मैं समझता हूँ कि आपका क्या मतलब है” जैसे बयानों को कम महत्व दें। वे बयान यह प्रदर्शित नहीं करते हैं कि बाद का परिणाम संक्षिप्त विवरण का सटीक उपयोग करेगा।

परीक्षण को कार्य के अनुपात में रखें। एक सफल उत्तर उस अनुरोध के बारे में साक्ष्य है, हर भविष्य की बातचीत में निरंतर प्रदर्शन का प्रमाण नहीं। यदि कोई प्रोजेक्ट कई चैट तक फैला है, तो जांचें कि क्या आपके द्वारा उपयोग किए जाने वाले टूल में मेमोरी या प्रोजेक्ट-संदर्भ सुविधाएं सक्षम हैं, और इसके उपलब्ध नियंत्रणों की समीक्षा करें। ChatGPT के लिए, दस्तावेज़ सहेजी गई मेमोरी को चैट इतिहास से ली गई जानकारी से अलग करते हैं; यह यह भी नोट करता है कि मेमोरी सारांश विवरणों को छोड़ सकते हैं और संदर्भ स्रोत दिखाए जाने पर समीक्षा योग्य हो सकते हैं। सुविधाएं और नियंत्रण बदल सकते हैं, इसलिए अपने खाते के लिए वर्तमान उत्पाद सेटिंग्स और सहायता पृष्ठ देखें। OpenAI Help Center, “Memory in ChatGPT”

लंबी बातचीत विशेष ध्यान देने योग्य होती है। “Lost in the Middle” में रिपोर्ट किए गए नियंत्रित प्रयोगों में, शोधकर्ताओं ने पाया कि परीक्षण किए गए भाषा मॉडलों की प्रासंगिक जानकारी का उपयोग करने की क्षमता लंबे इनपुट में इसकी स्थिति के साथ भिन्न हो सकती है, जिसमें शुरुआत या अंत के पास की जानकारी के लिए प्रदर्शन अक्सर बीच की तुलना में अधिक मजबूत होता है। अध्ययन ने विशिष्ट मॉडलों और कार्यों का परीक्षण किया; यह स्थापित नहीं करता है कि प्रत्येक सहायक आपके प्रोजेक्ट के विवरण खो देगा। यह एक समझदार वर्कफ़्लो का सुझाव देता है: एक महत्वपूर्ण परिणाम से पहले उन कुछ निर्णयों को दोहराएं जो मायने रखते हैं, विशेष रूप से एक लंबी बातचीत के बाद। Liu et al., “Lost in the Middle: How Language Models Use Long Contexts”

संक्षिप्त विवरण को उपयोग में आसान बनाएं

जब कोई प्रतिक्रिया लक्ष्य से चूक जाती है, तो इसका क्या अर्थ है यह तय करने से पहले चूक का निदान करें। क्या सिस्टम के पास जानकारी तक पहुंच थी? क्या विवरण लंबी बातचीत में दब गया था? क्या अनुरोध में कई आवश्यकताएं शामिल थीं? क्या प्राथमिकता इतनी व्यापक थी कि वह किसी विशिष्ट विकल्प का मार्गदर्शन नहीं कर सकती थी? इन संभावनाओं के लिए अलग-अलग सुधारों की आवश्यकता होती है: किसी निर्णय को दोहराएं, विवरण को छोटा करें, आवश्यकताओं को बुलेट बिंदुओं में विभाजित करें, या अपनी मनपसंद शैली का एक ठोस उदाहरण दें।

एक संक्षिप्त प्रोजेक्ट नोट बार-बार होने वाले काम का मूल्यांकन करना आसान बना सकता है। इसे उन विवरणों तक सीमित रखें जो स्थिर और उपयोगी हैं: प्रोजेक्ट का उद्देश्य, दर्शक, पुष्ट विकल्प, खुले प्रश्न और कुछ प्राथमिकताएं। अनिश्चित विवरणों को अनिश्चित के रूप में चिह्नित करें और उन निर्णयों को चिह्नित करें जो बदल गए हैं। किसी महत्वपूर्ण कार्य को शुरू करते समय, यह मानने के बजाय कि चैट हर पिछले विवरण को पुनः प्राप्त कर लेगी, प्रासंगिक हिस्से को सीधे अपने प्रॉम्प्ट में शामिल करें। यह मेमोरी की प्रलेखित परिवर्तनशीलता और संदर्भ उपयोग पर शोध से निकाला गया एक वर्कफ़्लो सुझाव है; यह बेहतर परिणामों की गारंटी नहीं है।

यदि कोई सिस्टम आपका नाम सही बताता है लेकिन किसी केंद्रीय प्रोजेक्ट विकल्प को बार-बार छोड़ देता है, तो इन्हें अलग-अलग अवलोकनों के रूप में मानें। यदि यह एक मजबूत पहला ड्राफ्ट बनाता है लेकिन अगले संस्करण में सुधार को शामिल करने में विफल रहता है, तो उसे भी नोट करें। जब आप संदर्भ प्रदान करते हैं और परिणाम का निरीक्षण करते हैं, तब भी एक उपयोगी सहायक समय बचा सकता है; आपका परीक्षण आपको बताता है कि किन हिस्सों पर आपके ध्यान की आवश्यकता है।

व्यावहारिक अंतर

“यह मेरा नाम जानता है” का अर्थ है कि एक व्यक्तिगत विवरण उपलब्ध था और प्रतिक्रिया में दिखाई दिया। “यह मेरे प्रोजेक्ट को समझता है” का अधिक उपयोगी मूल्यांकन इस बात से होता है कि क्या यह प्रासंगिक संदर्भ को वास्तविक कार्य में ले जा सकता है: पुष्ट निर्णयों को सुरक्षित रखना, अनुरोधित सीमाओं का पालन करना, प्रारूप को अनुकूलित करना और सुधारों को शामिल करना। एक संक्षिप्त विवरण आज़माएं, चेकलिस्ट के आधार पर दृश्यमान परिणाम का मूल्यांकन करें, और बाद के चरण में जांच दोहराएं। यह आपको किसी परिचित विवरण या आश्वस्त दावे को संदर्भ के विश्वसनीय उपयोग के साथ भ्रमित किए बिना प्रोजेक्ट फॉलो-थ्रू का एक ठोस माप देता है।

इस विषय को आगे पढ़ें