ما الذي قد يخطئ الذكاء الاصطناعي في قراءته في ملخص اليوميات؟ دليل عملي للتحقق من المصدر

لماذا يمكن لملخص سلس أن يظل مغيرًا للحقائق المسجلة

يمكن للملخص أن يبدو واضحًا ومقبولًا في حين أنه يبتعد عن مصدره. تتعامل الأبحاث المتعلقة بالتلخيص مع الاتساق الواقعي كمسألة منفصلة عما إذا كان النص يُقرأ بشكل جيد: تختبر طريقة إحدى الدراسات جمل الملخص بمقارنتها بنصوص داعمة في المصدر، وتفيد بأن تلك النصوص ساعدت الأشخاص على التحقق من الادعاءات. كريسينسكي وآخرون، "Evaluating the Factual Consistency of Abstractive Text Summarization"

هذا التمييز مهم في اليوميات لأن المصدر قد يكون موجزًا، وغير رسمي، ومليئًا بالسياقات الضمنية. قد يُصيغ النظام الاختصارات بأسلوب نثري منمق، لكن الصياغة المنمقة يمكن أن تُدخل أيضًا علاقة أو سببًا أو استنتاجًا لم تذكره التدوينة أبدًا. يصف المعهد الوطني للمعايير والتقنية (NIST) التلفيق أو الهذيان (confabulation) بأنه محتوى مُولَّد يمكن أن يحيد عن مدخلاته، ويشير إلى أن الصياغة الواثقة يمكن أن تجعل المحتوى الزائف مقنعًا. NIST، "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile"

تحقق من الأشخاص والأفعال والملكية

تحقق أولًا من الحدث الأساسي: من قام بالفعل، وماذا فعل، ومن يملك خطة أو تفضيلًا معينًا. من السهل إساءة قراءة الضمائر والإشارات الجماعية والفاعلين المحذوفين عند ضغط الملاحظة. عبارة "قال سام إنه يمكننا اللقاء يوم الجمعة؛ سأراجع جدول مواعيدي" لا تثبت أن الكاتب وافق على اللقاء. الملخص الذي يقول "خططت للقاء سام يوم الجمعة" يكون قد حوّل مجرد اقتراح إلى قرار.

ابحث أيضًا عن تبادل الأدوار. إذا كانت التدوينة تقول "أرسلت إلى جو الوصفة بعد أن طلبتها"، فلا ينبغي للملخص أن يشير ضمنًا إلى أن جو هي من أرسلتها. أعد قراءة كل اسم وضمائر مثل "أنا" أو "نحن" أو "هم" أو "شخص ما" في الملخص مقارنة بالأصل. عندما تترك اليوميات الفاعل غير واضح، يجب أن يحافظ الملخص الأمين على عدم اليقين هذا أو يستبعد التفصيل تمامًا."

الحفاظ على الوقت والتسلسل وما إذا كانت الخطة قد نُفذت

فرّق بين حدث ماضٍ ونية حالية واحتمال وفعل مكتمل. عبارات "قد أستقل الحافلة" و"قررت استقلال الحافلة" و"استقللت الحافلة" هي سجلات مختلفة تمامًا. وبالمثل، "حجزت طاولة ليوم السبت" ليست هي نفسها "ذهبت لتناول العشاء يوم السبت". تحقق من الزمن وأفعال مثل *فكر في*، و*خطط*، و*ألغى*، و*أنهى*.

يمكن أن يكون التسلسل مهمًا حتى عندما تظهر جميع الأحداث في الملخص. إذا كانت التدوينة تقول إن متجرًا كان مغلقًا، ولذلك صنع الكاتب الشاي في المنزل، فإن عكس هذه الأحداث يغير الرواية. بالنسبة للتدوينات الأطول، تحقق من البدايات والأوساط والنهايات بدلًا من الاعتماد على ملخص يبدو أنه يلتقط الفكرة العامة فقط. أفادت أبحاث حول تلخيص المستندات الطويلة بأن النماذج يمكن أن تفضل المعلومات القريبة من بداية المصدر ونهايته؛ وتستخدم طريقتها المقترحة أقسامًا متداخلة لمعالجة هذه المشكلة. هذا الاستنتاج يخص أنظمة التلخيص التي خضعت للتقييم، ولا يُعد ضمانًا بشأن أي أداة يوميات معينة. لي وآخرون، "Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency"

انتبه لليقين والنبرة والتفسيرات المُختلقة

قد تسجل اليوميات تخمينًا أو سؤالًا أو فكرة غير مكتملة. يمكن للملخص أن يرفع من مستوى "ربما غيّر المتجر ساعات عمله" دون قصد إلى "غيّر المتجر ساعات عمله". كما يمكنه أيضًا ربط سبب لم يذكره الكاتب: "تخطيت الذهاب إلى السوق لأنها كانت تمطر" يضيف رابطًا سببيًا إذا كان الأصل يذكر فقط المطر وعدم الذهاب إلى السوق.

قارن كلمات اليقين، وليس فقط الأسماء. عبارات مثل "أعتقد" و"ربما" و"نسيت" و"لست متأكدًا" يحد كل منها مما تثبته التدوينة. لا يلزم أن يحتفظ الملخص القصير بكل عبارة تحوط، ولكنه لا ينبغي أن يقدم تفسيرًا غير مؤكد كحقيقة ثابتة. تعامل مع التفسيرات المنمقة والاستنتاجات الواثقة على أنها ادعاءات تحتاج إلى دعم مباشر في المصدر.

طريقة سريعة للتحقق جملة بجملة

استخدم فحص المراحل الثلاث هذا قبل الاحتفاظ بالملخص أو إعادة استخدامه:

حدد كل ادعاء واقعي. ضع خطًا تحت الأسماء والتواريخ والأفعال والكميات والمواقع والقرارات والأسباب. قسّم الجملة إلى ادعاءات منفصلة إذا كانت تحتوي على تفاصيل متعددة.

ابحث عن صياغة المصدر. لكل ادعاء، حدد العبارة أو الجملة التي تدعمه. إذا لم تدعمه أي صياغة، صنّفه على أنه "لم يُذكر" بدلًا من سد الفجوة بما يبدو مرجحًا.

قارن درجة القوة والتسلسل. تأكد من أن الملخص لم يحول الاحتمال إلى يقين، أو ينقل حدثًا إلى يوم آخر، أو يعكس الترتيب، أو يغير النية إلى فعل مكتمل.

أجرِ تصحيحًا دقيقًا ومحدودًا. صحح التفاصيل غير المدعومة، أو حافظ على الغموض، أو احذف الادعاء الذي لا يمكن التحقق منه. ثم اقرأ الملخص المُعدل بجانب التدوينة مرة أخرى.

على سبيل المثال، لنفترض أن تدوينة تقول: "سألت لي عما إذا كان متجر النباتات يحتوي على الريحان. لقد نفد لديهم. سأبحث في سوق نهاية الأسبوع إذا كان لدي وقت". جملة "اشتريت ريحانًا من السوق" غير مدعومة: فالتدوينة لا تسجل زيارة ولا شراء. بينما جملة "قد أبحث عن ريحان في السوق في عطلة نهاية هذا الأسبوع" تبقي الخطة غير مؤكدة. هذه أمثلة توضيحية وليست نتائج أبحاث.

متى تطلب ملخصًا أقصر أو أكثر حرفية

إذا واصلت النسخة المُولَّدة إضافة دوافع أو استنتاجات، فامنح المهمة حدودًا أضيق: اطلب الأحداث والخطط الصريحة فقط، وحافظ على عدم اليقين، واستبعد الأسباب ما لم تنص التدوينة عليها. يمكنك أيضًا طلب قائمة موجزة بالادعاءات مع العبارة الداعمة لها من التدوينة بجانب كل منها. ثم تحقق من أن العبارة المقتبسة تدعم الادعاء بالفعل: فعرض النص المصدري جنبًا إلى جنب مع الجملة يجعل التحقق أسهل، ولكن يجب أن يظل تطابق المصدر حقيقيًا.

بالنسبة لملاحظة قصيرة، قد تكون مقارنة الملخص مباشرة بالتدوينة أسرع من توليد نسخة أخرى. أما بالنسبة لتدوينة طويلة، فتحقق منها قسمًا بقسم وانتبه جيدًا للتفاصيل الواردة في المنتصف. احتفظ بالملخص فقط عندما تتوافق ادعاءاته تمامًا مع ما كُتب؛ وإذا تعذر تأكيد تفصيل ما، فعليك تعديل هذا التفصيل أو إزالته بدلًا من التعامل مع الصياغة السلسة كدليل.

متابعة استكشاف الموضوع