Cara Mengukur Sembang AI Ringkas yang Berguna Tanpa Mengoptimumkan Tempoh Sesi
Perbualan AI yang ringkas boleh dianggap berjaya apabila membantu seseorang menyiapkan tugasan kreatif kecil: memilih palet warna, menamakan projek hujung minggu atau mencari beberapa idea untuk aktiviti peribadi. Untuk menilai perbualan itu, tentukan perkara yang ingin dicapai oleh orang tersebut, kemudian periksa sama ada responsnya relevan, berguna dan mudah diarahkan atau dihentikan. Masa yang diluangkan dan lawatan semula boleh menggambarkan penggunaan, tetapi dengan sendirinya, kedua-duanya tidak dapat memberitahu anda sama ada perbualan itu membantu.
Mulakan dengan tugasan yang ingin dilakukan oleh orang itu
Sebelum memilih metrik, nyatakan satu tugasan biasa dalam istilah yang boleh diperhatikan. “Dapatkan beberapa nama yang ceria untuk taman herba di balkoni” lebih mudah dinilai berbanding “adakan perbualan yang menarik.” Yang pertama memberikan perkara konkrit untuk diperhatikan oleh penilai: adakah sistem mencadangkan nama yang sesuai dengan permintaan, dan bolehkah orang itu memilih atau mengubah suai salah satunya?
Ini sejajar dengan prinsip kebolehgunaan yang lebih luas: nilai sama ada pengguna tertentu mencapai matlamat tertentu dengan berkesan, cekap dan memuaskan dalam konteks tertentu. Takrif ISO menganggap semua ini sebagai kualiti yang berkaitan tetapi berbeza, jadi tiada satu ukuran pun—termasuk tempoh—yang boleh mewakili kesemuanya. ISO 9241-11:2018, Ergonomik interaksi sistem-manusia — Bahagian 11: Kebolehgunaan: Takrif dan konsep
Bagi permintaan kreatif, takrifkan penyelesaian sebagai hasil yang berguna, bukannya satu jawapan yang betul. Seseorang mungkin mendapat satu idea pilihan, senarai pendek atau arah yang lebih baik untuk percubaan seterusnya. Catat terlebih dahulu perkara yang dianggap mencukupi untuk tugasan itu. Ini menghalang pasukan daripada secara senyap mentakrifkan semula kejayaan sebagai “pengguna terus berbual.”
Nilai penyelesaian dan kerelevanan secara berasingan
Penilaian praktikal boleh bermula dengan dua soalan: adakah perbualan itu mencapai hasil yang dinyatakan, dan adakah balasan pembantu sesuai dengan permintaan? Asingkan jawapannya. Sesuatu respons mungkin relevan tetapi tidak memberikan pilihan yang boleh digunakan oleh orang itu; seseorang juga mungkin menyiapkan tugasan selepas mengabaikan balasan yang mengganggu atau terlalu umum.
Penyelesaian tugasan ialah ukuran yang lazim dan ringkas, tetapi ia merumuskan hasil kepada keputusan ya atau tidak dan tidak menjelaskan sebab seseorang gagal atau sejauh mana tugasan yang selesai itu berjalan dengan baik. Padankan ukuran ini dengan semakan ringkas perbualan atau penilaian terus daripada pengguna. Nielsen Norman Group, “Kadar Kejayaan: Metrik Kebolehgunaan Paling Ringkas”
Penyelidikan dialog menyokong pandangan yang lebih terperinci ini. Satu kajian tentang dialog berorientasikan tugasan menganotasi kerelevanan, daya tarikan, kefahaman, penyelesaian tugasan dan kecekapan pada peringkat giliran dan perbualan; kajian itu mendapati bahawa satu penilaian keseluruhan boleh terlepas perbezaan yang berguna, dan kepuasan berbeza-beza antara penganotasi dan dialog. Dapatan itu bukan formula pemarkahan sejagat, tetapi menawarkan dimensi berasaskan bukti untuk disesuaikan dengan tugasan kreatif. Siro, Aliannejadi dan de Rijke, “Memahami Kepuasan Pengguna terhadap Sistem Dialog Berorientasikan Tugasan”
Nilai kualiti respons pada peringkat giliran
Semak sama ada setiap jawapan membalas permintaan terkini dan menggunakan konteks terdahulu yang relevan. Contohnya, jika orang itu berkata “jadikan semua itu kurang formal,” balasan seterusnya yang berguna sepatutnya mengubah cadangan sewajarnya. Catat pengulangan yang boleh dielakkan, kekangan yang terlepas pandang atau permintaan penjelasan yang tidak membantu memajukan tugasan.
Satu kajian tentang pembantu pintar mendapati bahawa kepuasan berbeza mengikut senario: penyelesaian tugasan sangat penting dalam sesetengah tugasan, manakala usaha lebih penting dalam tugasan lain. Kajian itu juga melaporkan bahawa mengekalkan konteks perbualan adalah penting dan kepuasan keseluruhan terhadap tugasan tidak boleh dirumuskan sebagai kepuasan terhadap pertanyaan individu. Implikasi praktikalnya ialah meneliti balasan tertentu dan keseluruhan perbualan, sambil mentafsir setiap satunya berdasarkan tugasan. Microsoft Research, “Memahami Kepuasan Pengguna terhadap Pembantu Pintar”
Bagi perbualan kreatif, semakan ringkas oleh manusia boleh melabelkan balasan sebagai relevan, separa relevan atau tersasar daripada tugasan, serta mencatat sama ada pembantu mengikuti pembetulan. Label ini ialah kaedah semakan yang dicadangkan, bukannya penanda aras yang disahkan. Jika pengelas automatik memberikan label tersebut, semak sampel secara manual: skor yang kemas masih boleh terlepas cadangan yang secara teknikalnya sepadan dengan arahan tetapi tidak memberikan apa-apa yang boleh digunakan oleh orang itu.
Pastikan orang itu dapat mengarahkan perbualan
Kawalan pengguna dapat dilihat dalam detik-detik kecil: orang itu boleh memperincikan permintaan, meminta gaya lain, membetulkan salah faham atau berhenti setelah mendapat secukupnya. Semak transkrip untuk memastikan sistem bertindak mengikut arahan dan bukannya terus memaksakan haluan perbualannya sendiri. Jika antara muka menyediakan kawalan untuk menghentikan, mengedit, menjana semula atau memadam respons, uji sama ada tindakan itu berfungsi seperti yang dijangkakan pengguna.
Penyelidikan tentang ejen perbualan menghuraikan autonomi dengan merangkumi kawalan terhadap perbualan, soalan dan respons. Ini menyokong usaha menilai kawalan sebagai satu kualiti, walaupun ia tidak menetapkan satu metrik produk sejagat untuknya. Yang dan Aurisicchio, “Mereka Bentuk Ejen Perbualan: Pendekatan Teori Penentuan Kendiri”
Soalan ringkas kepada pengguna boleh menjadikan kawalan boleh diukur: “Dapatkah anda membawa perbualan ini kepada hasil yang anda inginkan?” Tanyakan selepas perbualan, bersama soalan tentang penyelesaian tugasan. Pastikan pilihan jawapan konsisten merentas sesi dan benarkan penjelasan ringkas. Skor yang rendah ialah petunjuk untuk meneliti perbualan, bukannya bukti tentang punca tertentu.
Anggap pengakhiran yang jelas sebagai hasil yang sah
Titik akhir yang baik ialah apabila orang itu sudah mendapat apa yang diperlukan dan boleh beredar tanpa gesaan lanjut daripada sistem. Bagi contoh taman herba, titik itu mungkin saat mereka memilih nama. Perbualan yang berakhir di situ mungkin lebih berguna daripada perbualan yang dipanjangkan dengan soalan susulan yang umum. Ini ialah prinsip pengukuran yang disimpulkan daripada tugasan: jika matlamat sudah tercapai, giliran tambahan tidak semestinya menambah nilai.
Jejaki sama ada tugasan kelihatan selesai dan sama ada orang itu memilih untuk meneruskan, tetapi tafsirkan peristiwa tersebut mengikut konteks. Giliran susulan mungkin menunjukkan rasa ingin tahu, pembetulan yang perlu atau jawapan yang tidak lengkap. Keluar tanpa sebarang maklum balas mungkin bermakna orang itu berpuas hati, terganggu atau kecewa. Panjang perbualan sahaja tidak dapat membezakan penjelasan ini; gunakan semakan sampel transkrip atau maklum balas ringkas pengguna untuk menyiasat.
Gunakan tempoh sebagai konteks, bukan penentu
Tempoh boleh membantu menjawab soalan operasi, seperti sama ada aliran tertentu lazimnya memerlukan banyak giliran. Namun, tempoh tetap mengukur aktiviti yang berlalu, bukannya bukti langsung bahawa jawapan itu berguna. Contohnya, Google Analytics mentakrifkan masa penglibatan sebagai tempoh penglibatan pengguna yang dikaitkan dengan peristiwa; panduan pembangunnya juga memberi amaran bahawa memanjangkan sesi secara buatan menjejaskan data tingkah laku. Ini ialah takrif analitik dan peringatan pelaksanaan, bukannya ukuran kualiti untuk sembang kreatif. Google Analytics, “Rujukan Measurement Protocol” dan Google Analytics, “Mengukur sesi dan penglibatan pengguna”
Bandingkan masa hanya antara tugasan yang serupa dan bersama-sama dengan penyelesaian tugasan, kerelevanan, kawalan pengguna dan titik akhir yang jelas. Tempoh median yang lebih singkat mungkin mencerminkan jawapan yang lebih terus, tetapi mungkin juga bermakna pengguna berputus asa. Tempoh yang lebih lama mungkin menandakan proses ulang kaji yang produktif—atau geseran yang tidak perlu. Bukti sokongan perlu datang daripada hasil tugasan dan pengalaman pengguna, bukan masa semata-mata.
Rutin penilaian ringkas
Untuk kajian kecil, berikan peserta satu tugasan kreatif yang dinyatakan dengan jelas, biarkan mereka menggunakan sembang secara semula jadi dan catat sama ada mereka mencapai hasil yang ditetapkan. Semak sampel perbualan untuk menilai kerelevanan, penggunaan konteks dan peluang untuk mengarah atau menghentikan perbualan. Selepas setiap tugasan, tanyakan sama ada mereka mendapat hasil yang berguna dan berasa mampu mengarahkan perbualan. Catat tempoh sebagai konteks, kemudian teliti kes apabila tempoh dan kegunaan yang dilaporkan tidak sepadan.
Laporkan ukuran secara berasingan dan bukannya menggabungkannya menjadi satu skor “penglibatan”. Nyatakan tugasan, cara penyelesaian dinilai, pihak yang menyemak balasan dan cara maklum balas pengguna dikumpulkan. Jika sampelnya kecil atau takrif tugasan bersifat subjektif, gambarkan dapatan sebagai petunjuk awal dan bukannya membuat generalisasi kepada setiap pengguna atau permintaan kreatif.
Perbualan ringkas bermakna apabila ia membawa seseorang daripada permintaan khusus kepada hasil yang boleh digunakan, sambil membiarkan mereka mengawal perjalanan dan titik penghentian perbualan. Ukur hasil tersebut secara langsung. Biarkan panjang sesi membantu menjelaskan pengalaman itu, tetapi jangan jadikannya penentu kejayaan.