Ketika AI Melupakan Detail Proyek, Ia Harus Bertanya Sebelum Mengingatnya
Ketika asisten AI tidak dapat menemukan detail biasa dari proyek kreatif yang sedang berjalan, ia harus menyampaikan apa yang tidak dapat dikonfirmasi, mengidentifikasi fakta yang hilang, dan meminta sumbernya kepada pengguna. AI harus memperbarui pemahamannya yang sedang berjalan hanya setelah pengguna mengonfirmasi detail tersebut. Tanggapan tersebut lebih berguna daripada mengarang percakapan masa lalu yang terdengar masuk akal karena memisahkan catatan proyek dari sebuah tebakan.
Mengapa ingatan yang masuk akal tetaplah sebuah tebakan
Sebuah proyek kreatif bergantung pada keputusan-keputusan kecil: judul mana yang masuk daftar pendek, apakah draf menggunakan sudut pandang orang pertama atau kedua, atau palet warna apa yang dipilih pengguna. Jika asisten tidak dapat menemukan salah satu dari detail ini, jawaban yang lancar dapat terdengar seperti ingatan yang andal sembari secara diam-diam memperkenalkan pilihan baru.
NIST mendefinisikan konfabulasi AI generatif mencakup konten keliru yang disajikan dengan penuh percaya diri, serta output yang menyimpang dari atau bertentangan dengan input. Detail proyek yang dikarang cocok dengan risiko praktis tersebut: hal itu dapat disalahartikan sebagai keputusan yang telah dibuat. Profil AI Generatif NIST menjelaskan mekanisme ini secara umum; konsekuensi terhadap pengerjaan proyek di sini merupakan inferensi desain, bukan temuan tentang produk tertentu.
Penelitian dari OpenAI juga berpendapat bahwa insentif evaluasi yang umum dapat memberi imbalan pada tindakan menebak daripada mengakui ketidakpastian. Contohnya adalah tanya jawab umum, tetapi pelajaran desainnya dapat diterapkan di sini: asisten tidak boleh menganggap penyelesaian yang terdengar percaya diri sebagai bukti bahwa percakapan masa lalu benar-benar tersedia. Why language models hallucinate
Pertama, tentukan apa yang sebenarnya dapat dilihat oleh asisten
Asisten harus membedakan antara tiga keadaan: detail yang terlihat dalam percakapan saat ini, detail yang dapat diambil dari sumber proyek yang tersedia, dan detail yang tidak dapat diverifikasi. Keadaan-keadaan ini memerlukan susunan kata yang berbeda. Jika detail tersebut muncul sebelumnya dalam utas saat ini, asisten dapat mengutip atau merangkumnya serta menunjukkan konteks tersebut. Jika menemukan catatan atau dokumen, ia dapat menyebutkan nama sumber tersebut. Jika keduanya tidak tersedia, ia harus mengatakannya secara terus terang.
Pernyataan ketidakpastian yang berguna bersifat spesifik dan terbatas: “Saya tidak dapat memverifikasi judul mana yang Anda pilih dari informasi proyek yang tersedia bagi saya.” Ini tidak menyiratkan bahwa pengguna tidak pernah memilih judul, bahwa asisten telah mencari di setiap arsip yang memungkinkan, atau bahwa detail yang hilang tersebut tidak ada. Perbedaan tersebut penting karena ketidakmampuan untuk mengambil catatan bukanlah bukti bahwa catatan tersebut tidak pernah dibuat.
Panduan People + AI dari Google merekomendasikan untuk menjelaskan kapabilitas dan batasan yang relevan serta memfokuskan penjelasan pada apa yang memengaruhi pemahaman dan keputusan pengguna. Jika diterapkan di sini, hal tersebut mengarah pada pernyataan singkat tentang konteks proyek yang tersedia, alih-alih penjelasan teknis tentang komponen internal model. Explainability + Trust
Mintalah sumber sekecil mungkin yang paling berguna
Setelah menyatakan adanya celah informasi, ajukan satu pertanyaan yang terarah. Misalnya: “Bisakah Anda menempelkan catatan tersebut atau memberi tahu saya judul yang telah Anda tetapkan?” Jika pengguna mungkin memiliki beberapa opsi sumber, berikan daftar pendek: “Apakah itu ada di draf terbaru, catatan proyek Anda, atau obrolan sebelumnya?” Tujuannya adalah mempermudah pemulihan informasi tanpa mengubah tugas kreatif rutin menjadi sebuah interogasi.
Pola tanggapan praktisnya adalah: “Saya tidak dapat mengonfirmasi palet tersebut dari apa yang dapat saya akses. Jika Anda membagikan catatan tersebut atau mengingatkan saya tentang warnanya, saya akan menggunakannya untuk draf berikutnya.” Cara ini mengidentifikasi fakta yang hilang, meminta bukti atau konfirmasi, dan menjelaskan apa yang akan terjadi selanjutnya. Pendekatan ini juga menjaga momentum: asisten dapat melanjutkan bagian tugas yang tidak terpengaruh sembari membiarkan pilihan yang belum pasti tetap terbuka.
Klarifikasi bermanfaat ketika informasi yang hilang mengubah jawaban. Dalam sebuah studi dialog kolaboratif, Testoni dan Fernández menemukan bahwa strategi klarifikasi yang dipandu oleh ketidakpastian model meningkatkan keberhasilan tugas dalam tugas menggambar spesifik mereka; mereka juga melaporkan bahwa mengajukan pertanyaan memerlukan pengorbanan (cost). Hal ini mendukung pendekatan yang terukur: bertanyalah ketika fakta proyek yang hilang itu penting, dan jaga agar pertanyaan tetap fokus. Asking the Right Question at the Right Time
Perbarui hanya setelah pengguna mengonfirmasi
Begitu pengguna memberikan sumber atau mengonfirmasi detail, ulangi fakta yang telah dikonfirmasi tersebut dalam bentuk yang ringkas: “Dimengerti: judul saat ini adalah ‘Catatan Taman Kecil’, berdasarkan catatan yang Anda tempelkan.” Jika sumber menyatakan sesuatu yang sedikit berbeda, tunjukkan ketidakcocokan tersebut daripada memilih secara diam-diam. Misalnya: “Catatan Anda tertulis ‘Catatan Taman’; Anda baru saja menyebutkan ‘Catatan Taman Kecil’. Mana yang harus saya gunakan?”
Pembaruan harus disesuaikan dengan cakupan proyek dan buktinya. Satu baris teks yang ditempelkan dapat menjadi dasar untuk menggunakan baris tersebut dalam tugas saat ini; hal itu tidak secara otomatis menetapkan bahwa detail tersebut bersifat permanen, berlaku untuk setiap versi, atau harus disimpan di luar percakapan saat ini. Jika produk memiliki catatan proyek yang terlihat, tampilkan usulan pembaruan dan berikan cara bagi pengguna untuk memperbaikinya. Jika tidak memiliki catatan seperti itu, jangan mengeklaim bahwa memori telah diubah secara permanen.
Langkah konfirmasi ini adalah rekomendasi desain yang diturunkan dari ketertelusuran dan kendali pengguna: pengguna dapat melihat fakta mana yang diadopsi dan memperbaikinya sebelum fakta tersebut memengaruhi pekerjaan lebih lanjut. Hal ini sangat berguna ketika pilihan kreatif terus berkembang. Draf sebelumnya mungkin memuat judul lama, sementara pesan terbaru menetapkan judul baru; asisten harus mempertahankan urutan tersebut alih-alih meratakan berbagai draf menjadi satu ingatan yang konon tak lekang oleh waktu.
Hindari pertanyaan yang menyelipkan tebakan
Sebuah pertanyaan masih dapat menyesatkan jika menyematkan jawaban rekaan. “Anda memilih warna teal, kan?” menekan percakapan ke arah detail yang belum diverifikasi oleh asisten. Lebih baik gunakan permintaan yang netral: “Warna apa yang Anda pilih?” Jika ada sumber nyata yang menyebutkan teal, sebutkan sumbernya: “Catatan draf mencantumkan teal. Apakah itu masih palet yang Anda inginkan?” Rangkaian kata tersebut memisahkan bukti sumber dari konfirmasi saat ini.
Jangan menyajikan alternatif hasil buatan model sebagai fakta yang diingat. Jika pengguna tidak dapat menemukan keputusan lama tersebut, asisten dapat menawarkan bantuan untuk memilih kembali, tetapi ia harus melabelinya sebagai pilihan baru: “Saya tidak dapat memulihkan palet sebelumnya. Apakah Anda ingin memilihnya sekarang?” Pembedaan ini memungkinkan kolaborasi kreatif tanpa menulis ulang riwayat proyek.
Sebuah studi tahun 2024 tentang model bahasa yang merespons pertanyaan tidak lengkap menemukan bahwa perilaku klarifikasi yang sesuai secara kontekstual muncul pada kondisi ukuran model dan perancangan petunjuk (prompting) tertentu, alih-alih muncul secara otomatis. Hasil ini menjadi pengingat bagi tim produk untuk merancang dan mengevaluasi perilaku ini secara eksplisit, bukan berasumsi bahwa model akan selalu menanyakan hal yang benar secara andal sejak awal. Clarifying Completions
Evaluasi perilaku tersebut dengan tugas-tugas proyek biasa
Tim produk dapat menguji interaksi ini menggunakan perintah proyek kreatif rutin: tanyakan judul yang hilang, format yang dipilih, atau preferensi draf ketika detail yang relevan tidak ada dalam konteks yang tersedia bagi asisten. Tanggapan yang baik harus menyebutkan celah informasi tersebut, menghindari pengarangan percakapan sebelumnya, meminta sumber atau konfirmasi yang relevan, lalu menggunakan informasi yang telah dikonfirmasi secara konsisten.
Sertakan kasus-kasus serupa di mana detail tersebut ada dalam utas saat ini atau catatan yang diberikan. Asisten harus menggunakan bukti yang tersedia dalam kasus-kasus tersebut, sembari bersikap tepat mengenai dari mana bukti itu berasal. Uji juga versi yang saling bertentangan dan koreksi pengguna. Evaluasi yang berguna membedakan ingatan tanpa bukti dari pengambilan informasi yang didukung bukti, serta memeriksa apakah asisten melanjutkan pekerjaan yang tidak terpengaruh alih-alih memblokir keseluruhan tugas.
Ini adalah metode evaluasi yang diusulkan, bukan hasil yang ditetapkan oleh studi-studi yang dikutip. Manfaat informasi dari metode ini adalah urutan keputusannya: tentukan akses, sampaikan batasan, minta sumber bantuan sekecil mungkin, konfirmasikan detail yang diadopsi, dan jaga agar cakupan pembaruan tetap jelas. Urutan tersebut mengubah “Saya tidak tahu” menjadi langkah kerja yang produktif.
Jadikan ketidakpastian sebagai bagian dari kesinambungan proyek
Bagi asisten proyek kreatif, mengakui detail yang hilang bukanlah jalan buntu. Ini adalah cara untuk melindungi kesinambungan: sistem dapat terus membantu sembari membiarkan riwayat yang belum terverifikasi tetap kosong. Ketidakpastian yang jelas, permintaan yang terfokus, dan konfirmasi yang terlihat memungkinkan pengguna memutuskan apa yang layak masuk ke dalam catatan proyek—serta memberi asisten landasan yang kuat untuk draf berikutnya.