كيف تختبر ما إذا كانت شخصية الذكاء الاصطناعي لا تزال جذابة بعد عشر محادثات

حدد ما يعنيه "لا تزال جذابة" لهذا الاختبار

يجب أن تُظهر المحادثة العاشرة ما إذا كانت الشخصية قادرة على الاستمرار في تقديم تجربة لعب مجدية بعد زوال بريق البدايات وجدتها. بالنسبة لهذا التمرين، تعني الجاذبية أن يجد المختبِر أسباباً لاختيار مشاهد متنوعة، وأن يتمكن من تمييز ملامح الشخصية عبر الظروف المتغيرة، وأن يحصل على شيء مفيد أو مفاجئ من الحوار. أما الإكمال فهو إجراء تطوعي نهائي: أي أن يختار المختبِر بمحض إرادته إنهاء المحادثة العاشرة المخطط لها. ولا تثبت أي من هذه الملاحظات بمفردها أن كل لاعب سيجد الشخصية جذابة.

اجعل السؤال محدداً: "هل تقدم هذه الشخصية ما يكفي من المادة المتسقة والمتجددة لهذا المختبِر ليختار ويكمل عشر محادثات؟" لا تعتمد على إجمالي الوقت المستغرق كمعيار حاسم للتقييم. فقد يعكس الحوار الطويل مشهداً آسراً، ولكنه قد يعكس أيضاً ارتباكاً أو محفزاً غير محسوم. يرتبط سؤال اختبار تجربة الشخصية باختيار المشهد، والالتزام بالقواعد المحددة، والجدة، والإكمال الطوعي—وليس بما إذا كان اشتراك المستهلك يستحق كلفته على مدار أربعة عشر يوماً.

أعد بطاقة القواعد الأساسية وعشر دعوات لمشاهد

قبل الاختبار، اكتب بطاقة موجزة بالقواعد الأساسية (canon card) تتضمن الحقائق التي يجب أن تحافظ عليها الشخصية: دورها، وتاريخها المهم، وتفضيلاتها الراسخة، وعلاقاتها، وحدودها، وأساليبها المميزة في التحدث. وأدرج أيضاً بعض السمات المرنة: كيف تتصرف عند المفاجأة، وما تلاحظه، أو أنواع التفاصيل التي تميل إلى إغفالها. هذا يجعل الاتساق قابلاً للرصد والملاحظة دون إلزام الشخصية بتكرار نفس العبارات المبتذلة. تعامل الأبحاث المتعلقة بوكلاء الحوار المشروطة بالسمات الشخصية اتساق الشخصية كخاصية جديرة بالتقييم، وقد وجدت دراسة حول تفاعل وكلاء النماذج اللغوية أن الملفات الشخصية اختلفت في الاتساق والمحاذاة اللغوية أثناء التفاعل. تدفع هذه الدراسات إلى التحقق من السلوك عبر محادثات متعددة؛ لكنها لا تضع حداً فاصلاً عاماً من عشر محادثات. (Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning؛ LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models)

أعد عشر دعوات لمشاهد تخلق فرصاً مختلفة دون إملاء سطور الشخصية مسبقاً. على سبيل المثال، قد تحتاج الشخصية إلى اختيار هدية صغيرة، أو التخطيط لزيارة مكان مألوف، أو إصلاح سوء تفاهم غير ضار، أو المساعدة في تنظيم حدث مجتمعي، أو تحديد ما يجب فعله في فترة ما بعد ظهر خالية وغير متوقعة. اجعل كل دعوة تقع ضمن حدود العالم المحدد للشخصية وخياراتها الشخصية العادية. نوّع في الموقف وفي نوع القرار، مع الحفاظ على قدر كافٍ من الاستمرارية يتيح للأحداث السابقة أن تكون ذات أهمية.

تجنب كتابة عشر نسخ من نفس التوجيه مع تغييرات طفيفة وسطحية. فالمشهد المفيد يطلب من اللاعب اتخاذ خيار ذي مغزى أو طرح فكرته الخاصة. تتعامل الأبحاث والنظريات المتعلقة بالسرد التفاعلي مع إرادة اللاعب واستقلاليته باعتبارها أكثر من مجرد وجود خيارات: ففهم اللاعب وتفسيره يشكلان أيضاً التجربة. وفي هذا الاختبار، يقترح ذلك تسجيل ما يختاره المختبِر بالفعل وكيف يوجه المشهد، بدلاً من الاكتفاء بعدّ عدد التوجيهات التي أجابت عنها الشخصية. (Connecting player and character agency in videogames)

أجرِ عشر محادثات دون توجيه مسبق للاستجابة "الصحيحة"

قدم للمختبِر مقدمة قصيرة ومحايدة: إنه يجرب الشخصية والمشاهد، والاختبار يدور حول التجربة وليس حول أدائه هو. ودعه يعلم أنه يستطيع التوقف في أي وقت. اعرض مشهداً واحداً في كل مرة بتنسيق ثابت، وتجنب اقتراح ما قد يجعل المشهد مثيراً أو أي خيار ينبغي للشخصية اتخاذه. توصي إرشادات قابلية الاستخدام المُدارة بمهام واضحة وواقعية لا تكشف عن الإجابة، بالإضافة إلى مراقبة المشاركين وطرح أسئلة متابعة مفتوحة. طوّع هذا المنهج في اللعب الإبداعي: اجعل الإعداد واضحاً، ثم اترك مجالاً للمختبِر للرد بطريقته الخاصة. (Using moderated usability testing)

بعد كل حوار، سجّل بضع ملاحظات ملموسة: ما هو المشهد الذي اختاره المختبِر أو طوره، وما إذا كان قد طرح اتجاهاً جديداً، وما إذا كانت الشخصية قد حافظت على القواعد الأساسية أو خالفتها، وما هو عنصر القصة الجديد الذي ظهر. دوّن سطراً أو خياراً محدداً عندما يوضح ملاحظة بعينها. افصل هذه الملاحظات عن التفسيرات: فقولك "غيّر المختبِر الخطة لزيارة السوق" ملاحظة؛ أما قولك "دعت الشخصية إلى ممارسة الإرادة الحرة" فهو تفسير محتمل. الملاحظات المختصرة والمحددة أسهل في المقارنة عبر الجلسات مقارنة بالانطباعات العامة. (Taking notes and recording user research sessions)

بمجرد انتهاء الحوار، اطرح عدداً قليلاً من الأسئلة المحايدة. سؤال مثل: "ما الذي ترغب في فعله بعد ذلك مع هذه الشخصية؟" يمكن أن يكشف عما إذا كان المختبِر قادراً على تخيل مشهد آخر. وسؤال: "هل كان هناك أي شيء غير متسق مع ما فهمته عنها؟" يمكن أن يظهر أي كسر لقواعد العالم والشخصية. وسؤال: "ما الجزء الذي بدا مألوفاً، وما الجزء الذي بدا جديداً؟" يمكن أن يوضح ما إذا كانت الجدة نابعة من الشخصية، أو الموقف، أو مساهمة المختبِر نفسه. اسأل عن الدافع وراء الإجابة بدلاً من تقديم التفسير بنفسك.

استخدم بطاقة تقييم بسيطة من عشرة صفوف

استخدم صفاً واحداً لكل محادثة. يساعد المقياس المدمج في تلخيص الأنماط، لكن الملاحظات والأمثلة تظل أهم من الحسابات العددية. النموذج التالي هو أداة عملية لاختبار التجربة، وليس أداة بحثية معتمدة إحصائياً.

المحادثة: 1-10؛ اختيار المشهد أو الاتجاه: ما اختاره المختبِر، أو أضافه، أو أعاد توجيهه؛ القواعد الأساسية (Canon): 0 = تناقض؛ 1 = غير واضح؛ 2 = متسق؛ الجدة المفيدة: 0 = تكرار دون إضافة؛ 1 = بعض المواد الجديدة؛ 2 = تطور مميز وقابل للاستخدام؛ هل اكتملت بالاختيار؟: نعم / لا

بالنسبة للقواعد الأساسية، لا تسجل تناقضاً إلا عندما تتعارض الشخصية مع حقيقة في بطاقة القواعد أو حدث راسخ—وليس لمجرد أنها تصرفت بشكل مختلف في موقف جديد. وبالنسبة للجدة، احسب التفاصيل أو القرارات أو تطور العلاقات أو التحولات في المشهد التي تمنح المختبِر شيئاً يستجيب له أو يبني عليه. إن التفاصيل المفاجئة التي لا معنى لها في عالم الشخصية لا تعد جدة مفيدة. اجعل اختيار المشهد وصفياً بدلاً من وضع درجات لتفضيلات المختبِر: فالتنوع يعني أن الشخصية تستوعب اتجاهات مختلفة، وليس أن على المختبِر اختيار نطاق محدد سلفاً.

سجّل الإكمال بشكل منفصل عن الدرجات الأخرى. إذا أنهى المختبِر المحادثة العاشرة طواعية، فدوّن ذلك؛ وإذا توقف، فاسأله عما إذا كان مستعداً لذكر ما دفعه للتوقف. لا تفسر الإكمال على أنه دليل على التعلق ولا عدم الإكمال كدليل على الفشل؛ فقد يتوقف الشخص لأسباب لا علاقة لها بالشخصية، وقد لا تزال السلسلة المكتملة تحتوي على مشاهد متكررة أو متناقضة. الجمع بين السلوك والتفسير يوفر معلومات أكثر ثراءً من نتيجة ثنائية واحدة.

حلل النمط وقرر ما يجب تعديله

ابحث عن المواضع التي تتغير فيها التجربة عبر السلسلة. إذا واصل المختبِر اختيار أنواع مختلفة من المشاهد ولكن ردود الشخصية أصبحت نمطية ومبتذلة، فاعمل على تحسين نبرة الصوت وصنع القرار في ظل الظروف المتنوعة. وإذا ظلت الشخصية محتفظة بملامحها ولكن المشاهد انتهت مراراً دون قرار أو تفصيل جديد، فقم بمراجعة الدعوات أو امنح الشخصية أهدافاً وتفضيلات أكثر تحديداً للتصرف بناءً عليها. وإذا بدأ المختبِر في إعادة توجيه المشاهد، فتحقق مما إذا كانت المواقف المعدة تبدو شديدة التشابه، أو ضيقة للغاية، أو ببساطة أقل إثارة للاهتمام من الأفكار التي طرحها بنفسه.

يجب أن تتجلى النبرة المميزة للشخصية فيما تلاحظه وتريده وتقوله—وليس مجرد لازمة لفظية مكررة. يصف دليل سرد القصص الخاص بالحوار نبرة الصوت بأنها انعكاس للشخصية ويوصي بجعل الحوار ملائماً لسمات الشخصية وخلفيتها ومشاهرها. استخدم هذا المبدأ عند مراجعة النص: هل يمكن أن تنتمي هذه الجملة منطقياً لهذه الشخصية في هذا الموقف، وهل تظهر منظوراً يمكن تمييزه؟ (Section 8 – Writing Dialogue – A Beginner’s Guide to Storytelling)

ثم اختر تعديلاً واحداً محدداً وكرر نفس اختبار المشاهد العشرة مع مختبِر آخر، أو في جولة جديدة موثقة بوضوح. حافظ على التوجيهات وتعريفات الدرجات عند مقارنة الإصدارات حتى لا يختلط التغيير في الاختبار نفسه بالتغيير في أداء الشخصية. إذا كشفت الجولة الأولى عن تناقض في القواعد، فأضف مشهداً يختبر بطبيعة الحال الحقيقة المعنية؛ وإذا كشفت عن حوارات متكررة، فأضف مواقف تنطوي على أنواع مختلفة من الخيارات. هذه حلقة تشخيصية وليست تقديراً إحصائياً عاماً. يمكن لمختبِر واحد تحديد مواضع الخلل والفرص الملموسة، لكنه لا يستطيع إثبات مدى إمكانية تعميم النتيجة على نطاق واسع.

ما يمكن لعشر محادثات إخبارك به—وما لا يمكنها ذلك

يعد تنسيق المحادثات العشر مفيداً كاختبار ضغط مركّز: فهو يساعدك على ملاحظة ما إذا كان تنوع المشاهد، والقواعد التي يسهل تمييزها، والمواد الجديدة قادرة على الصمود بعد الحوار الافتتاحي. ويمكنه إظهار أين فقد مختبِر معين اهتمامه، أو أين وجد اتجاهاً واعداً، أو أين واجه تناقضاً. ولكنه لا يثبت الجاذبية طويلة المدى، ولا يتنبأ بالاحتفاظ بالجمهور، ولا يحدد كيف ستستجيب جميع الجماهير. استخدمه لتحديد ما يجب فحصه ومراجعته، ثم اجمع المزيد من اختبارات اللعب إذا كنت بحاجة إلى الثقة عبر قراء مختلفين وأساليب لعب متباينة.

أوضح إشارة هي وجود نمط مدعوم بالأمثلة: حظي المختبِر بمساحة للاختيار، واستجابت الشخصية بطرق تتناسب مع القواعد الراسخة، وأنتجت المشاهد مواد مميزة يمكن البناء عليها، واختار المختبِر إكمال السلسلة. وعندما يسقط أحد هذه العناصر، يجب أن تشير الملاحظات إلى القرار الفني التالي—كتعديل صوت الشخصية، أو توضيح القواعد الأساسية، أو إعادة تصميم دعوات المشاهد—بدلاً من مجرد إضافة المزيد من توجيهات المحادثة.

متابعة استكشاف الموضوع