जर्नल सारांश में AI क्या गलत समझ सकता है? एक व्यावहारिक स्रोत-जाँच गाइड

एक धाराप्रवाह सारांश भी रिकॉर्ड को क्यों बदल सकता है

एक सारांश अपने स्रोत से भटकते हुए भी स्पष्ट और विश्वसनीय लग सकता है। संक्षेपण पर शोध तथ्यात्मक निरंतरता को इस बात से एक अलग प्रश्न मानता है कि पाठ पढ़ने में कितना अच्छा लगता है: एक अध्ययन की विधि स्रोत में सहायक अंशों के विरुद्ध सारांश वाक्यों की जाँच करती है, और बताती है कि उन अंशों ने लोगों को दावों को सत्यापित करने में मदद की। क्रिस्किंस्की और अन्य, “इवैल्यूएटिंग द फैक्चुअल कंसिस्टेंसी ऑफ एब्सट्रैक्टिव टेक्स्ट समराइजेशन”

डायरी में यह अंतर महत्वपूर्ण है क्योंकि स्रोत संक्षिप्त, अनौपचारिक और निहित संदर्भ से भरा हो सकता है। एक प्रणाली आशुलिपि (शॉर्टहैंड) को परिष्कृत गद्य में ढाल सकती है, लेकिन इस प्रक्रिया से ऐसा संबंध, कारण या निष्कर्ष भी जुड़ सकता है जो प्रविष्टि में कभी कहा ही नहीं गया था। NIST कन्फैब्युलेशन को ऐसी जनरेट की गई सामग्री के रूप में वर्णित करता है जो अपने इनपुट से भिन्न हो सकती है, और नोट करता है कि आत्मविश्वास से भरे शब्द झूठी सामग्री को भी प्रेरक बना सकते हैं। NIST, “आर्टिफिशियल इंटेलिजेंस रिस्क मैनेजमेंट फ्रेमवर्क: जनरेटिव आर्टिफिशियल इंटेलिजेंस प्रोफाइल”

लोगों, कार्यों और स्वामित्व की जाँच करें

पहले मूल घटना को सत्यापित करें: किसने क्या किया, उन्होंने क्या किया, और किसी योजना या प्राथमिकता का स्वामी कौन है। जब किसी नोट को संक्षिप्त किया जाता है, तो सर्वनामों, समूह संदर्भों और छोड़े गए विषयों को गलत समझना आसान होता है। “सैम ने कहा कि हम शुक्रवार को मिल सकते हैं; मैं अपना शेड्यूल देखूँगा” यह स्थापित नहीं करता है कि लेखक मिलने के लिए सहमत हुआ था। एक सारांश जो कहता है “मैंने शुक्रवार को सैम से मिलने की योजना बनाई” ने एक सुझाव को निर्णय में बदल दिया है।

अदली-बदली की गई भूमिकाओं पर भी ध्यान दें। यदि कोई प्रविष्टि कहती है “मैंने जो के पूछने के बाद उसे रेसिपी भेजी,” तो सारांश में यह संकेत नहीं होना चाहिए कि जो ने इसे भेजा था। सारांश में प्रत्येक नाम और “मैं,” “हम,” “वे,” या “कोई” को मूल पाठ से फिर से मिलाएँ। जब डायरी कर्ता को अस्पष्ट छोड़ देती है, तो एक निष्ठावान सारांश को उस अनिश्चितता को बनाए रखना चाहिए या विवरण को छोड़ देना चाहिए।

समय, क्रम और योजना पूरी हुई या नहीं, इसे सुरक्षित रखें

किसी पिछली घटना, वर्तमान इरादे, संभावना और पूरी हो चुकी कार्रवाई के बीच अंतर करें। “बस ले सकता हूँ,” “बस लेने का फैसला किया,” और “बस ली” अलग-अलग रिकॉर्ड हैं। इसी तरह, “शनिवार के लिए एक टेबल बुक की” और “शनिवार को रात के खाने पर गए” एक समान नहीं हैं। काल (टेंस) और *विचार किया*, *योजना बनाई*, *रद्द किया*, और *समाप्त किया* जैसी क्रियाओं की जाँच करें।

क्रम मायने रख सकता है, भले ही सारांश में सभी घटनाएँ दिखाई दें। यदि प्रविष्टि कहती है कि एक दुकान बंद थी, इसलिए लेखक ने घर पर चाय बनाई, तो उन घटनाओं को उलटने से विवरण बदल जाता है। लंबी प्रविष्टियों के लिए, केवल एक ऐसे सारांश पर निर्भर रहने के बजाय जो समग्र विषय को पकड़ता हुआ प्रतीत होता है, शुरुआत, मध्य और अंत की जाँच करें। लंबे दस्तावेज़ों के संक्षेपण पर शोध में बताया गया है कि मॉडल स्रोत की शुरुआत और अंत के करीब की जानकारी का पक्ष ले सकते हैं; इसकी प्रस्तावित विधि इस समस्या को हल करने के लिए ओवरलैपिंग अनुभागों का उपयोग करती है। वह निष्कर्ष मूल्यांकित संक्षेपण प्रणालियों से संबंधित है, किसी विशेष जर्नल टूल के बारे में कोई गारंटी नहीं है। ली और अन्य, “इम्प्रूविंग फेथफुलनेस ऑफ लार्ज लैंग्वेज मॉडल्स इन समराइजेशन वाया स्लाइडिंग जेनरेशन एंड सेल्फ-कंसिस्टेंसी”

निश्चितता, लहजे और मनगढ़ंत व्याख्याओं पर नज़र रखें

एक डायरी किसी अनुमान, प्रश्न या अधूरे विचार को रिकॉर्ड कर सकती है। एक सारांश गलती से “शायद दुकान ने अपना समय बदल दिया है” को “दुकान ने अपना समय बदल दिया है” में अपग्रेड कर सकता है। यह लेखक द्वारा न दिए गए कारण को भी जोड़ सकता है: “बारिश होने के कारण मैंने बाज़ार जाना छोड़ दिया” एक कारण-संबंध जोड़ता है यदि मूल प्रविष्टि में केवल बारिश और छूटे हुए बाज़ार का उल्लेख है।

केवल संज्ञाओं की ही नहीं, बल्कि निश्चितता वाले शब्दों की भी तुलना करें। “मुझे लगता है,” “शायद,” “मैं भूल गया,” और “मुझे यकीन नहीं है” प्रत्येक प्रविष्टि जो स्थापित करती है उसे सीमित करते हैं। एक छोटे सारांश में हर बचाव (हेज) को बनाए रखने की आवश्यकता नहीं है, लेकिन इसे किसी अनिश्चित व्याख्या को स्थापित तथ्य के रूप में प्रस्तुत नहीं करना चाहिए। परिष्कृत स्पष्टीकरणों और आश्वस्त निष्कर्षों को ऐसे दावों के रूप में मानें जिन्हें स्रोत में सीधे समर्थन की आवश्यकता है।

एक त्वरित वाक्य-दर-वाक्य सत्यापन विधि

किसी सारांश को रखने या पुन: उपयोग करने से पहले इस तीन-चरणीय जाँच का उपयोग करें:

प्रत्येक तथ्यात्मक दावे को चिह्नित करें। नामों, तारीखों, कार्यों, मात्राओं, स्थानों, निर्णयों और कारणों को रेखांकित करें। यदि किसी वाक्य में कई विवरण हैं, तो उसे अलग-अलग दावों में विभाजित करें।

स्रोत के शब्दों को ढूँढें। प्रत्येक दावे के लिए, उस वाक्यांश या वाक्य का पता लगाएँ जो इसका समर्थन करता है। यदि कोई शब्द इसका समर्थन नहीं करता है, तो जो संभव लगता है उससे खाली जगह भरने के बजाय इसे “कहा नहीं गया” के रूप में लेबल करें।

मजबूती और क्रम की तुलना करें। जाँचें कि सारांश ने किसी संभावना को निश्चित तो नहीं बना दिया है, किसी घटना को दूसरे दिन तो नहीं खिसका दिया है, क्रम को उलट तो नहीं दिया है, या किसी इरादे को पूरी हो चुकी कार्रवाई में तो नहीं बदल दिया है।

बारीकी से सुधारें। असमर्थित विवरण को सही करें, अस्पष्टता को बनाए रखें, या ऐसे दावे को हटा दें जिसे जाँचा नहीं जा सकता। फिर संशोधित सारांश को प्रविष्टि के साथ एक बार और पढ़ें।

उदाहरण के लिए, मान लें कि एक प्रविष्टि कहती है: “ली से पूछा कि क्या पौधे की दुकान पर तुलसी थी। उनके पास खत्म हो गई थी। अगर मेरे पास समय हुआ तो मैं सप्ताहांत के बाज़ार में देखूँगा।” “मैंने बाज़ार से तुलसी खरीदी” असमर्थित है: प्रविष्टि न तो किसी यात्रा और न ही खरीदारी को रिकॉर्ड करती है। “मैं इस सप्ताहांत बाज़ार में तुलसी की तलाश कर सकता हूँ” योजना को अनंतिम रखता है। ये केवल उदाहरणात्मक उदाहरण हैं, शोध के निष्कर्ष नहीं।

छोटा या अधिक शाब्दिक सारांश कब माँगें

यदि जनरेट किया गया संस्करण लगातार उद्देश्यों या निष्कर्षों को जोड़ रहा है, तो कार्य को सीमित दायरा दें: केवल घटनाओं और स्पष्ट योजनाओं के लिए कहें, अनिश्चितता को बनाए रखें, और जब तक प्रविष्टि में न कहा गया हो, कारणों को छोड़ दें। आप प्रत्येक दावे के साथ प्रविष्टि से सहायक वाक्यांश के साथ दावों की एक संक्षिप्त सूची का भी अनुरोध कर सकते हैं। फिर जाँचें कि उद्धृत वाक्यांश वास्तव में दावे का समर्थन करता है या नहीं: वाक्य के साथ प्रदर्शित स्रोत पाठ सत्यापन को आसान बनाता है, लेकिन स्रोत का मिलान अभी भी वास्तविक होना चाहिए।

एक छोटे नोट के लिए, सारांश की सीधे प्रविष्टि से तुलना करना दूसरा संस्करण जनरेट करने से तेज़ हो सकता है। लंबी प्रविष्टि के लिए, अनुभाग-दर-अनुभाग इसकी जाँच करें और बीच के विवरणों पर अतिरिक्त ध्यान दें। सारांश को केवल तभी रखें जब उसके दावे लेखन के अनुरूप हों; यदि किसी विवरण की पुष्टि नहीं की जा सकती है, तो धाराप्रवाह भाषा को सबूत मानने के बजाय उस विवरण को संशोधित करें या हटा दें।

इस विषय को आगे पढ़ें