“Ia Mengenali Nama Saya” berbanding “Ia Memahami Projek Saya”: Cara Membezakan Kedua-duanya

Nama ialah fakta ringkas: nama boleh disimpan, diulang atau diberikan daripada konteks sembang atau akaun yang tersedia. Contohnya, dalam ChatGPT, memori boleh merangkumi butiran yang diberikan oleh pengguna, manakala maklumat daripada sembang terdahulu yang berkaitan juga mungkin digunakan apabila ciri berkenaan tersedia dan diaktifkan. Dokumentasi produk turut menyatakan bahawa memori tidak menyimpan setiap butiran dan kawalan yang tersedia berbeza mengikut pelan, rantau, platform dan ruang kerja. Oleh itu, nama yang betul hanya memberitahu anda bahawa butiran itu tersedia untuk menghasilkan respons; nama itu tidak menunjukkan sejauh mana konteks di sekelilingnya dapat diperoleh atau digunakan oleh sistem. Pusat Bantuan OpenAI, “Memori dalam ChatGPT”

Projek kreatif ialah ujian yang lebih menyeluruh kerana biasanya melibatkan beberapa fakta dan pilihan: perkara yang sedang dihasilkan, untuk siapa, perkara yang sudah diputuskan, perkara yang masih terbuka dan jenis cadangan yang dialu-alukan. Mengulangi “Anda Alex” menguji ingatan terhadap satu label. Meminta tiga idea yang sesuai dengan ringkasan projek yang diberikan menguji sama ada sistem boleh memilih dan menggunakan beberapa butiran berkaitan secara serentak.

Perbezaan ini bersifat praktikal, bukannya kesimpulan tentang sama ada model mempunyai pemahaman seperti manusia. Soalan yang berguna ialah sama ada model boleh menggunakan konteks yang anda berikan untuk tugasan seterusnya, dan sama ada anda boleh mengesahkan penggunaannya melalui hasil yang diberikan.

Untuk kegunaan harian, anggap “memahami projek saya” sebagai ringkasan bagi sekumpulan kebolehan yang boleh diperhatikan. Respons yang membantu sepatutnya mengekalkan fakta yang telah dipastikan dengan betul, membezakan keputusan daripada kemungkinan, mengikuti kekangan yang penting untuk permintaan itu, serta bertanya atau menandakan ketidakpastian apabila butiran yang tiada boleh mengubah jawapan. Ini ialah piawaian tugasan: anda boleh menyemak hasilnya dan menentukan sama ada hasil itu memenuhinya.

Penyelidikan memberikan alasan untuk menguji setiap bahagian, bukannya bergantung pada ayat yang lancar. FollowBench, penanda aras model bahasa dari tahun 2024, membahagikan kekangan arahan kepada kategori seperti kandungan, situasi, gaya, format dan contoh. Ujiannya mendapati prestasi merosot apabila kekangan bertambah, dan sesetengah kategori lebih sukar daripada yang lain. Penanda aras itu menilai tugasan terkawal, bukannya sembang khusus anda, tetapi ia menyokong satu tabiat yang berguna: semak setiap keperluan penting secara berasingan, bukannya menganggap respons itu berjaya hanya kerana bunyinya munasabah. Jiang et al., “FollowBench: Penanda Aras Pematuhan Kekangan Berperingkat dan Terperinci untuk Model Bahasa Besar”

Satu penanda aras pemahaman konteks yang berasingan menguji ciri linguistik merentas empat tugasan dan sembilan set data. Penulisnya melaporkan bahawa model padat pralatihan menghadapi kesukaran dengan ciri konteks yang lebih bernuansa berbanding model terlaras halus terkemuka dalam penilaian mereka. Hasil itu tidak meramalkan cara mana-mana pembantu semasa akan mengendalikan projek anda, tetapi mengukuhkan pentingnya menyemak makna dan hubungan, bukannya sekadar mencari perkataan yang biasa. “Bolehkah Model Bahasa Besar Memahami Konteks?”

Dalam sesuatu projek, hubungan itu mungkin seperti berikut: “poster ini untuk acara pertukaran benih kejiranan”; “tarikh acara masih belum diputuskan”; “arah visualnya ceria dan buatan tangan”; dan “elakkan bahasa yang kedengaran seperti promosi jualan.” Respons yang mengulangi “pertukaran benih” tetapi mereka-reka tarikh atau mengabaikan nada telah mengingati topik tanpa mengikuti ringkasan dengan baik.

Pilih tugasan berisiko rendah yang menyerupai kerja yang anda mahu dibantu. Berikan ringkasan pendek kepada sembang itu, kemudian minta satu hasil yang konkrit. Ringkasan yang berguna mungkin berbunyi: “Saya sedang membuat jemputan satu halaman untuk acara pertukaran benih kejiranan. Tarikh belum ditetapkan, jadi jangan sertakannya. Gunakan nada mesra dan bahasa yang mudah. Saya mahu orang ramai membawa benih berlabel, tetapi semua orang boleh hadir.” Kemudian minta tajuk utama dan perenggan jemputan yang pendek.

Sebelum membaca jawapan, tukarkan ringkasan itu menjadi senarai semak ringkas. Dalam contoh ini, periksa sama ada hasilnya:

tidak mereka-reka tarikh;

menyatakan bahawa sesiapa sahaja boleh menyertai jemputan itu;

menyebut benih berlabel sebagai sesuatu yang perlu dibawa;

menggunakan nada mesra dan bahasa yang mudah; dan

memberikan tajuk utama dan perenggan yang diminta.

Senarai semak ini ialah alat bantu editorial, bukannya ujian saintifik yang disahkan. Kegunaannya ialah menjadikan kesilapan mudah dilihat. Perenggan yang kemas masih boleh terlepas satu kekangan, manakala respons yang ringkas mungkin mengikuti ringkasan itu dengan tepat.

Seterusnya, minta langkah kedua yang bergantung pada langkah pertama: “Sekarang pendekkan versi ini untuk papan tanda kecil, masih tanpa tarikh, dan pastikan jemputan itu terbuka kepada semua orang.” Periksa sama ada kekangan utama kekal apabila format berubah. Kemudian betulkan sebarang kesilapan secara jelas—contohnya, “Sila buang frasa ‘untuk tukang kebun berpengalaman’; orang baharu juga dialu-alukan”—dan lihat sama ada semakan seterusnya benar-benar membuangnya tanpa mengulangi pengecualian yang sama dengan cara lain.

Kad pemarkahan praktikal mempunyai empat bahagian:

Ingatan: Adakah respons menggunakan fakta projek yang berkaitan dengan betul?

Pemilihan: Adakah respons memasukkan fakta yang penting untuk tugasan khusus ini, dan bukannya mengulang butiran yang tidak berkaitan?

Penerapan: Adakah respons mengikuti kekangan kandungan, nada dan format dalam ringkasan ketika menghasilkan hasil akhir?

Kemas kini: Selepas anda membetulkan butiran, adakah versi seterusnya mencerminkan pembetulan itu?

Cari bukti yang konkrit dalam hasilnya: perkataan yang mengekalkan tarikh yang belum diputuskan, frasa yang diminta muncul, atau pembetulan yang kekal dalam versi semakan. Berikan kurang perhatian kepada kenyataan seperti “Saya ingat projek anda” atau “Saya faham betul-betul maksud anda.” Kenyataan itu tidak membuktikan bahawa hasil kemudian akan menggunakan ringkasan dengan tepat.

Pastikan ujian sepadan dengan skala tugasan. Satu jawapan yang berjaya ialah bukti tentang permintaan itu, bukannya bukti prestasi yang konsisten dalam setiap perbualan akan datang. Jika projek merangkumi banyak sembang, periksa sama ada alat yang anda gunakan mempunyai ciri memori atau konteks projek yang diaktifkan, dan semak kawalan yang tersedia. Bagi ChatGPT, dokumentasi membezakan memori tersimpan daripada maklumat yang diperoleh daripada sejarah sembang; dokumentasi itu turut menyatakan bahawa ringkasan memori mungkin meninggalkan butiran dan sumber konteks mungkin boleh disemak jika dipaparkan. Ciri dan kawalan boleh berubah, jadi rujuk tetapan produk dan halaman bantuan semasa untuk akaun anda. Pusat Bantuan OpenAI, “Memori dalam ChatGPT”

Perbualan panjang memerlukan perhatian khusus. Dalam eksperimen terkawal yang dilaporkan dalam “Hilang di Tengah-tengah”, para penyelidik mendapati bahawa keupayaan model bahasa yang diuji untuk menggunakan maklumat berkaitan boleh berubah mengikut kedudukan maklumat itu dalam input yang panjang. Prestasi sering lebih baik untuk maklumat yang terletak dekat dengan permulaan atau penghujung berbanding di tengah. Kajian itu menguji model dan tugasan tertentu; kajian itu tidak membuktikan bahawa setiap pembantu akan kehilangan butiran projek anda. Namun, hasilnya mencadangkan aliran kerja yang munasabah: nyatakan semula beberapa keputusan penting sebelum meminta hasil yang penting, terutamanya selepas pertukaran mesej yang panjang. Liu et al., “Hilang di Tengah-tengah: Cara Model Bahasa Menggunakan Konteks Panjang”

Apabila respons tidak menepati kehendak, kenal pasti puncanya sebelum membuat kesimpulan. Adakah sistem mempunyai akses kepada maklumat itu? Adakah butiran itu tenggelam dalam perbualan yang panjang? Adakah permintaan itu menggabungkan banyak keperluan? Adakah pilihan itu terlalu umum untuk membantu membuat keputusan khusus? Setiap kemungkinan memerlukan pembetulan yang berbeza: nyatakan semula keputusan, pendekkan ringkasan, asingkan keperluan dalam bentuk senarai berbulet atau berikan contoh konkrit tentang gaya yang anda mahukan.

Nota projek yang ringkas boleh memudahkan penilaian kerja berulang. Hadkan nota itu kepada butiran yang stabil dan berguna: tujuan projek, khalayak, pilihan yang telah dipastikan, soalan yang masih terbuka dan beberapa pilihan. Tandakan butiran yang belum pasti sebagai belum pasti dan nyatakan keputusan yang telah berubah. Apabila memulakan tugasan penting, sertakan bahagian yang berkaitan terus dalam arahan anda, dan jangan anggap sembang itu akan mendapatkan semula setiap butiran terdahulu. Ini ialah cadangan aliran kerja yang dibuat berdasarkan variasi memori yang didokumenkan dan penyelidikan tentang penggunaan konteks; cadangan ini bukan jaminan hasil yang lebih baik.

Jika sistem menyebut nama anda dengan betul tetapi berulang kali terlepas pilihan utama projek, anggap kedua-duanya sebagai pemerhatian yang berasingan. Jika sistem menghasilkan draf pertama yang baik tetapi gagal menerapkan pembetulan dalam versi seterusnya, catatkan hal itu juga. Pembantu yang berguna masih boleh menjimatkan masa apabila anda memberikan konteks dan menyemak hasilnya; ujian anda menunjukkan bahagian yang memerlukan perhatian anda.

“Ia mengenali nama saya” bermaksud butiran peribadi tersedia dan muncul dalam respons. “Ia memahami projek saya” lebih berguna dinilai berdasarkan keupayaannya membawa konteks yang berkaitan ke dalam tugasan sebenar: mengekalkan keputusan yang telah dipastikan, mengikuti kekangan yang diminta, menyesuaikan format dan menerapkan pembetulan. Cuba berikan ringkasan pendek, nilai hasil yang dapat dilihat menggunakan senarai semak dan ulangi pemeriksaan pada langkah seterusnya. Dengan cara ini, anda mendapat ukuran konkrit tentang sejauh mana sistem menindaklanjuti projek, tanpa mengelirukan butiran yang biasa atau dakwaan yang yakin dengan penggunaan konteks yang boleh diharap.