Cara Membezakan Balasan Lambat daripada Kadar Berhenti Menggunakan Produk Sembang AI
Jika orang membalas mengikut rentak mereka sendiri, jeda yang panjang dalam sembang AI tidak cukup untuk menunjukkan bahawa mereka telah berhenti menggunakannya. Untuk membezakan rentak perlahan yang dipilih daripada masalah penghantaran atau tugasan yang belum selesai, rekodkan pilihan balasan yang dinyatakan secara jelas oleh seseorang secara berasingan daripada penghantaran mesej dan keadaan tugasan. Anggap kesunyian sahaja sebagai tidak diketahui, bukannya bukti bahawa seseorang telah meninggalkan produk.
Mengapa tempoh masa sahaja boleh menyebabkan pengguna tersalah klasifikasi
Jeda masa mudah diukur, tetapi tidak menjelaskan perkara yang berlaku sepanjang tempoh itu. Seseorang mungkin memilih untuk kembali kemudian; pemberitahuan mungkin tidak sampai ke peranti; aplikasi mungkin tidak merekodkan tugasan yang telah selesai; atau mungkin tiada tindakan baharu untuk diperhatikan. Kemungkinan ini memerlukan tindak balas produk yang berbeza, jadi menggabungkannya menjadi satu label “tidak aktif” menyukarkan tafsiran data asas.
Sistem pemesejan sendiri membezakan peringkat penghantaran. Firebase Cloud Messaging melaporkan penghantaran, penerimaan oleh aplikasi Android, paparan pemberitahuan dan pembukaan sebagai ukuran yang berasingan; penghantaran boleh bermaksud mesej telah dimasukkan ke dalam baris gilir atau diserahkan kepada perkhidmatan seperti APNs, bukannya seseorang telah melihatnya. Firebase juga menyatakan bahawa sesetengah pelaporan tertangguh dan data penghantaran agregatnya mempunyai had liputan. Firebase: Memahami penghantaran mesej
Perbezaan itu mencadangkan satu peraturan analitik yang berguna: jangan sekali-kali membuat kesimpulan tentang rentak balasan seseorang daripada peristiwa huluan seperti permintaan penghantaran, dan jangan anggap ketiadaan pembukaan atau balasan sebagai bukti kegagalan penghantaran. Rekodkan perkara yang dapat diperhatikan oleh produk, dan biarkan hasil yang tidak dapat diperhatikan sebagai tidak diketahui.
Benarkan orang menyatakan rentak balasan pilihan mereka
Tawarkan pilihan yang ringkas dan tidak wajib untuk menjawab soalan praktikal: bilakah seseorang mahu produk mengajaknya membalas atau membuat susulan? Gunakan pilihan yang mudah difahami seperti “apabila saya bersedia”, “kemudian hari ini” atau “ingatkan saya pada hari yang dipilih”, jika pilihan tersebut sesuai dengan produk. Pilihan tepat ialah keputusan reka bentuk, bukannya dakwaan tentang pilihan mana-mana pengguna tertentu.
Simpan pilihan itu sebagai keutamaan pengguna bersama masa kemas kininya dan, jika berkenaan, tarikh luput atau syarat penamat. Keutamaan ialah konteks berterusan tentang cara seseorang memilih untuk menggunakan produk; sela masa balasan pula ialah fakta tentang satu perbualan atau mesej. Platform analitik membuat perbezaan yang serupa antara sifat pengguna, yang menerangkan seseorang pengguna, dengan sifat peristiwa, yang menerangkan tindakan tertentu. Amplitude: Sifat pengguna dan sifat peristiwa
Pastikan pilihan itu mudah diubah atau dipadam. Elakkan daripada menukar purata masa balasan yang diperhatikan menjadi keutamaan yang dianggap benar: corak sejarah boleh membantu menerangkan tingkah laku lampau, tetapi hanya pilihan yang dinyatakan secara jelas dapat menunjukkan keutamaan yang dinyatakan. Jika tiada keutamaan yang disimpan, rekodkan nilainya sebagai tidak diketahui dan bukannya menetapkan rentak lalai bagi pihak orang itu.
Jejaki tugasan perbualan sebagai keadaan yang boleh diperhatikan
Tentukan beberapa keadaan tugasan berdasarkan tindakan yang boleh disahkan oleh sistem. Contohnya: waiting_for_user, waiting_for_service, ready_for_user, completed dan cancelled. Gunakan sesuatu keadaan hanya apabila disokong oleh peristiwa atau respons sistem. Mesej yang dihantar pengguna mungkin mengubah tugasan kepada waiting_for_service; respons yang berjaya mungkin menjadikannya ready_for_user; tindakan penyelesaian yang jelas boleh menandakan tugasan sebagai completed. Jika respons atau kemas kini keadaan gagal, rekodkan kegagalan itu dan biarkan tugasan belum selesai sehingga peristiwa seterusnya menjelaskannya.
Lampirkan pengecam perbualan atau tugasan pada peristiwa ini supaya penganalisis dapat membina semula urutannya. Rekodkan masa peristiwa, jenis peristiwa, keadaan tugasan semasa dan hasil teknikal yang berkaitan. Asingkan keutamaan pada peringkat pengguna daripada butiran bagi setiap tugasan: “lebih suka membalas apabila bersedia” boleh digunakan merentas perbualan, manakala “tugasan ini menunggu tindakan pengguna” menerangkan satu interaksi semasa. Dalam analitik berasaskan peristiwa, sifat peristiwa merekodkan konteks ketika sesuatu tindakan berlaku, manakala sifat pengguna menerangkan atribut yang boleh berubah dari semasa ke semasa. Amplitude: Sifat pengguna dan sifat peristiwa
Pemisahan ini juga melindungi tafsiran sejarah. Apabila seseorang mengubah keutamaan, kekalkan nilai lama pada peristiwa terdahulu dan gunakan nilai baharu untuk peristiwa seterusnya; jangan tulis semula sejarah seolah-olah keutamaan baharu itu sentiasa terpakai. Dokumentasi Amplitude menerangkan tingkah laku sifat pengguna yang mengambil kira masa ini. Amplitude: Sifat pengguna dan sifat peristiwa
Asingkan kesihatan penghantaran daripada tindakan pengguna
Bagi setiap mesej sembang atau pemberitahuan keluar, rekodkan peringkat yang benar-benar didedahkan oleh integrasi: penghantaran dicuba, diterima oleh perkhidmatan pemesejan, dihantar ke aplikasi jika tersedia, dipaparkan jika tersedia, dibuka jika tersedia dan sebarang ralat yang diketahui. Jangan mereka resit penghantaran yang tidak disediakan oleh platform. Pada platform Apple, APNs mengendalikan penghantaran pemberitahuan jauh ke peranti pengguna; peranan sistem itu berbeza daripada rekod bahawa seseorang membuka pemberitahuan tersebut. Apple: Pemberitahuan Pengguna
Gunakan hasil infrastruktur sebagai isyarat infrastruktur. Contohnya, permintaan yang gagal, penolakan penyedia, tamat masa atau baris gilir yang tertangguh patut mencetuskan siasatan terhadap penghantaran atau kesihatan perkhidmatan. Permintaan penghantaran yang berjaya hanya membuktikan peringkat itu. Firebase menerangkan bahawa statistik penghantarannya boleh merujuk kepada mesej yang dimasukkan ke dalam baris gilir penghantaran atau diserahkan kepada perkhidmatan lain, dan data pengangkutan Android agregatnya menggambarkan trend umum, bukannya setiap mesej individu. Firebase: Memahami penghantaran mesej
Pengakuan penerimaan untuk pemprosesan mesej dalaman juga perlu ditafsirkan dengan teliti. Google Cloud Pub/Sub menerangkan bahawa mesej kekal belum selesai sehingga diakui dan menyatakan bahawa mesej yang tidak diakui boleh dihantar semula selepas tamat tempoh; mesej juga boleh dihantar lebih daripada sekali. Ini mengingatkan kita supaya menjadikan pemprosesan peristiwa tahan terhadap pendua dan membezakan pengakuan pemprosesan yang tiada daripada balasan pengguna yang tiada. Google Cloud: Gambaran keseluruhan langganan
Gunakan peraturan klasifikasi yang berhati-hati
Panduan membuat keputusan yang praktikal boleh memastikan label kekal khusus dan berasaskan bukti:
Bukti yang diperhatikan: Orang itu memilih keutamaan masa balasan dan tiada tindakan yang lebih baharu diperhatikan; Label analitik yang sesuai: Keutamaan direkodkan; balasan belum diperhatikan; Perkara yang tidak dibuktikannya: Bahawa orang itu telah berhenti menggunakan produk atau penghantaran gagal
Bukti yang diperhatikan: Permintaan perkhidmatan atau peringkat penghantaran mesej gagal atau tamat masa; Label analitik yang sesuai: Masalah teknikal pada peringkat yang direkodkan; Perkara yang tidak dibuktikannya: Sebab orang itu tidak membalas
Bukti yang diperhatikan: Produk mempunyai langkah seterusnya yang disahkan dan menunggu tindakan pengguna; Label analitik yang sesuai: Tugasan menunggu tindakan pengguna; Perkara yang tidak dibuktikannya: Bahawa tugasan telah ditinggalkan
Bukti yang diperhatikan: Penyelesaian, pembatalan atau tindakan akhir lain direkodkan; Label analitik yang sesuai: Selesai atau dibatalkan, seperti yang diperhatikan; Perkara yang tidak dibuktikannya: Penilaian yang lebih luas tentang penggunaan pada masa depan
Bukti yang diperhatikan: Bukti tiada, tertangguh atau bercanggah; Label analitik yang sesuai: Tidak diketahui atau perlu diselaraskan; Perkara yang tidak dibuktikannya: Sebarang penjelasan tingkah laku yang meyakinkan
Label “berhenti menggunakan produk” patut memerlukan peraturan peringkat produk yang ditakrifkan serta bukti yang mencukupi untuk menyokong peraturan itu; label tersebut tidak sepatutnya menjadi sinonim bagi sela masa yang panjang antara mesej. Jika papan pemuka memerlukan status sebelum bukti lengkap, “tiada balasan terkini diperhatikan” lebih tepat daripada dakwaan tentang sebab orang itu tiada. Anggap status itu sementara dan semak semula apabila peristiwa tertangguh tiba.
Bina analisis berdasarkan keutamaan dan keadaan tugasan
Analisis kohort yang berguna bertanya sama ada orang yang secara jelas memilih rentak lebih perlahan menyelesaikan tugasan yang dinyatakan dalam jangka masa yang selaras dengan keutamaan itu. Bandingkan perkara yang setara: kumpulkan data mengikut keutamaan yang dipilih dan jenis tugasan, lalu periksa secara berasingan kegagalan penghantaran, permintaan perkhidmatan yang belum selesai dan peristiwa penyelesaian. Jangan jadikan tempoh senyap seorang individu sebagai isyarat kegagalan seluruh produk; cari corak merentas tugasan dan keadaan penghantaran yang setanding.
Contohnya, jika seseorang memilih “apabila saya bersedia”, perbualan kekal terbuka dan produk tidak merekodkan ralat penghantaran atau tindakan pengguna baharu, status yang boleh dipertahankan ialah “tiada balasan diperhatikan; keutamaan tersedia; tugasan masih terbuka.” Jika respons keluar mempunyai ralat perkhidmatan yang direkodkan, status itu patut mencerminkan ralat tersebut walaupun keutamaan orang itu juga diketahui. Ini ialah contoh klasifikasi berdasarkan model peristiwa di atas, bukannya hasil produk yang diukur.
Sebelum menggunakan metrik untuk membuat keputusan, periksa sama ada peristiwa tiba lewat, diduplikasi atau tiada pada platform tertentu. Firebase menyatakan bahawa sesetengah pelaporan penghantaran tertangguh dan metrik agregat mungkin tidak menyertakan atau mungkin membundarkan hasil; Pub/Sub mendokumenkan penghantaran sekurang-kurangnya sekali dan kemungkinan penghantaran semula. Selaraskan peristiwa menggunakan pengecam mesej atau tugasan yang stabil, dan elakkan mengira percubaan semula sebagai tindakan pengguna kedua. Firebase: Memahami penghantaran mesej, Google Cloud: Gambaran keseluruhan langganan
Reka susulan berdasarkan pilihan orang itu
Jika susulan merupakan sebahagian daripada produk, selaraskannya dengan pilihan yang dibuat oleh orang itu. Masa peringatan yang dipilih boleh menentukan masa peringatan; “apabila saya bersedia” boleh bermaksud tiada peringatan berasaskan masa. Berikan cara yang jelas untuk orang itu mengubah pilihan tersebut, dan paparkan keadaan semasa dalam perbualan supaya mereka dapat mengetahui sama ada produk sedang menunggu mereka, menunggu perkhidmatan atau sudah selesai.
Gunakan analitik untuk mencari kecacatan teknikal dan memahami penyelesaian tugasan, bukan untuk mencipta kepastian daripada kesunyian. Keutamaan yang dinyatakan secara jelas memberikan konteks, keadaan tugasan menunjukkan kerja yang masih belum selesai, dan peristiwa penghantaran mendedahkan peringkat teknikal yang diketahui. Apabila salah satu maklumat itu tiada, kekalkan ketidakpastian dalam label. Ini menghasilkan gambaran yang lebih berguna tentang balasan lambat sambil membolehkan pengguna mengawal bila mereka mahu kembali.
