Bir Yapay Zeka Proje Ayrıntısını Unuttuğunda, Hatırlamadan Önce Sormalıdır
Bir yapay zeka asistanı devam eden yaratıcı bir projeden sıradan bir ayrıntıyı getiremediğinde, neyi doğrulayamadığını belirtmeli, eksik bilgiyi tanımlamalı ve kullanıcıdan kaynağı istemelidir. Çalışma anlayışını ancak kullanıcı ayrıntıyı onayladıktan sonra güncellemelidir. Bu yanıt, akla yatkın bir geçmiş konuşma uydurmaktan daha faydalıdır; çünkü proje kaydını bir tahminden ayrı tutar.
Akla yatkın bir hafıza neden yine de bir tahmindir?
Yaratıcı bir proje küçük kararlara dayanır: hangi başlığın kısa listeye alındığı, taslakta birinci tekil şahsın mı yoksa ikinci tekil şahsın mı kullanıldığı veya kullanıcının hangi renk paletini seçtiği gibi. Asistan bu ayrıntılardan birini bulamazsa, akıcı bir yanıt güvenilir bir hatırlama gibi görünebilirken sessizce yeni bir tercih ortaya atabilir.
NIST, üretken yapay zeka konfabülasyonunu (uydurmasını) kendinden emin bir şekilde sunulan yanlış içeriklerin yanı sıra girdiden sapan veya girdiyle çelişen çıktıları da içerecek şekilde tanımlar. Uydurulmuş bir proje ayrıntısı bu pratik riske uyar: zaten verilmiş bir karar sanılabilir. NIST'in Generative AI Profile belgesi bu mekanizmayı genel terimlerle açıklar; buradaki proje çalışması sonuçları belirli bir ürün hakkındaki bir bulgu değil, bir tasarım çıkarımıdır.
OpenAI tarafından yapılan araştırmalar da benzer şekilde, yaygın değerlendirme teşviklerinin belirsizliği kabul etmek yerine tahminde bulunmayı ödüllendirebileceğini savunur. Araştırmadaki örnek genel soru cevaplamadır, ancak tasarım dersi buraya da taşınır: bir asistan, kulağa kendinden emin gelen bir tamamlamayı geçmiş bir konuşmanın erişilebilir olduğuna dair kanıt olarak ele almamalıdır. Why language models hallucinate
Öncelikle asistanın gerçekten neyi görebildiğini belirleyin
Asistan üç durum arasında ayrım yapmalıdır: mevcut konuşmada görünen bir ayrıntı, mevcut bir proje kaynağından getirilebilen bir ayrıntı ve doğrulayamadığı bir ayrıntı. Bu durumlar farklı ifadeler gerektirir. Ayrıntı mevcut ileti dizisinde daha önce geçiyorsa asistan bundan alıntı yapabilir veya özetleyebilir ve bu bağlama işaret edebilir. Bir not veya belge bulduysa bu kaynağı belirtebilir. İkisi de mevcut değilse bunu açıkça söylemelidir.
Yararlı bir belirsizlik ifadesi spesifik ve sınırlıdır: “Benim erişebildiğim proje bilgilerinden hangi başlığı seçtiğinizi doğrulayamıyorum.” Bu, kullanıcının hiçbir zaman bir başlık seçmediği, asistanın olası tüm arşivleri aradığı veya eksik ayrıntının var olmadığı anlamına gelmez. Bu ayrımlar önemlidir çünkü bir kaydın getirilememesi, o kaydın hiçbir zaman oluşturulmadığının kanıtı değildir.
Google'ın People + AI Guidebook kılavuzu, ilgili yetenekleri ve sınırlamaları açıklamayı ve açıklamaları kullanıcının anlayışını ve kararlarını etkileyen unsurlara odaklamayı önerir. Buraya uyarlandığında bu, modelin iç işleyişine dair teknik bir açıklamadan ziyade, mevcut proje bağlamı hakkında kısa bir ifadeye işaret eder. Explainability + Trust
Kullanışlı en küçük kaynağı isteyin
Boşluğu belirttikten sonra hedefe yönelik tek bir soru sorun. Örneğin: “Notu yapıştırabilir misiniz veya karar verdiğiniz başlığı söyleyebilir misiniz?” Kullanıcının birkaç kaynak seçeneği olabilecekse kısa bir liste sunun: “En son taslakta mıydı, proje notlarınızda mı, yoksa daha önceki bir sohbette miydi?” Amaç, rutin bir yaratıcı görevi sorgulamaya dönüştürmeden toparlamayı kolaylaştırmaktır.
Pratik bir yanıt kalıbı şöyledir: “Erişebildiklerimden paleti doğrulayamıyorum. Notu paylaşırsanız veya renkleri bana hatırlatırsanız, bir sonraki taslak için onları kullanırım.” Bu, eksik bilgiyi tanımlar, kanıt veya onay talep eder ve bundan sonra ne olacağını açıklar. Ayrıca ivmeyi korur: asistan, belirsiz tercihi açık bırakırken görevin etkilenmeyen kısımlarına devam edebilir.
Açıklama istemek, eksik bilgi yanıtı değiştirdiğinde faydalıdır. İş birliğine dayalı bir diyalog çalışmasında Testoni ve Fernández, model belirsizliğiyle yönlendirilen bir açıklama isteme stratejisinin kendi özel çizim görevlerinde görev başarısını artırdığını buldu; ayrıca soru sormanın bir maliyet taşıdığını da bildirmektedirler. Bu, ölçülü bir yaklaşımı destekler: bulunmayan proje bilgisi önem taşıdığında sorun ve soruyu odaklanmış tutun. Asking the Right Question at the Right Time
Yalnızca kullanıcı onayladıktan sonra güncelleyin
Kullanıcı bir kaynak sağladığında veya bir ayrıntıyı onayladığında, onaylanan bilgiyi kısa bir biçimde tekrarlayın: “Anlaşıldı: yapıştırdığınız nota göre mevcut başlık ‘Küçük Bahçe Notları’.” Kaynak biraz farklı bir şey söylüyorsa sessizce seçim yapmak yerine bu uyumsuzluğu ortaya çıkarın. Örneğin: “Notunuzda ‘Bahçe Notları’ yazıyor; az önce ‘Küçük Bahçe Notları’ dediniz. Hangisini kullanmalıyım?”
Güncelleme, projeye ve kanıta göre kapsamlandırılmalıdır. Yapıştırılan bir satır, bu satırın mevcut görevde kullanılmasını destekleyebilir; ayrıntının kalıcı olduğunu, her sürüme uygulanacağını veya mevcut konuşmanın ötesinde kaydedilmesi gerektiğini otomatik olarak kanıtlamaz. Ürünün görünür bir proje kaydı varsa, önerilen güncellemeyi gösterin ve kullanıcıya bunu düzeltmesi için bir yol sunun. Böyle bir kaydı yoksa, belleğin kalıcı olarak değiştirildiğini iddia etmeyin.
Bu onay adımı, izlenebilirlik ve kullanıcı denetiminden türetilen bir tasarım önerisidir: kullanıcı hangi bilginin benimsendiğini görebilir ve daha fazla çalışmayı şekillendirmeden önce bunu düzeltebilir. Yaratıcı tercihler evrildiğinde özellikle yararlıdır. Önceki bir taslak eski bir başlık içerebilirken, yeni bir mesaj yenisini belirleyebilir; asistan, taslakları güya zamansız tek bir belleğe indirgemek yerine bu sıralamayı korumalıdır.
İçine tahmin gizlenmiş sorulardan kaçının
Bir soru, uydurulmuş bir cevabı içeriyorsa yine de yanıltıcı olabilir. “Camgöbeğini seçmiştiniz, değil mi?” ifadesi konuşmayı asistanın doğrulamadığı bir ayrıntıya doğru zorlar. Tarafsız bir talebi tercih edin: “Hangi rengi seçmiştiniz?” Camgöbeği diyen gerçek bir kaynak varsa bunu belirtin: “Taslak notlarında camgöbeği listelenmiş. İstediğiniz palet hâlâ bu mu?” Bu ifade, kaynak kanıtını mevcut onaydan ayırır.
Oluşturulan alternatifleri hatırlanan gerçekler olarak sunmayın. Kullanıcı eski kararı bulamıyorsa asistan yeniden seçim yapmaya yardımcı olmayı önerebilir, ancak bunu yeni bir tercih olarak etiketlemelidir: “Daha önceki paleti geri getiremiyorum. Şimdi bir tane seçmek ister misiniz?” Bu ayrım, projenin geçmişini yeniden yazmadan yaratıcı iş birliğine olanak tanır.
Eksik sorulara yanıt veren dil modelleri üzerine 2024 yılında yapılan bir araştırma, bağlamsal olarak uygun açıklama isteme davranışının otomatik olarak ortaya çıkmak yerine belirli model boyutu ve yönlendirme (prompting) koşulları altında ortaya çıktığını buldu. Bu sonuç, ürün ekiplerine bir modelin varsayılan olarak doğru soruyu güvenilir bir şekilde soracağını varsaymak yerine bu davranışı açıkça tasarlamaları ve değerlendirmeleri gerektiğini hatırlatmaktadır. Clarifying Completions
Bu davranışı sıradan proje görevleriyle değerlendirin
Ürün ekipleri bu etkileşimi rutin yaratıcı proje istemlerini kullanarak test edebilir: ilgili ayrıntı asistanın erişebildiği bağlamda bulunmadığında eksik bir başlığı, seçilen bir biçimi veya bir taslak tercihini sorun. Güçlü bir yanıt boşluğu adlandırmalı, önceki bir konuşmayı uydurmaktan kaçınmalı, ilgili bir kaynak veya onay istemeli ve ardından onaylanan bilgiyi tutarlı bir şekilde kullanmalıdır.
Ayrıntının mevcut ileti dizisinde veya sağlanan bir notta bulunduğu yakın durumları da dahil edin. Asistan bu durumlarda mevcut kanıtları kullanmalı, ancak bunların nereden geldiği konusunda kesin olmalıdır. Çelişen sürümleri ve kullanıcı düzeltmelerini de test edin. Yararlı bir değerlendirme, dayanıksız hatırlamayı dayanaklı getirmeden ayırır ve asistanın tüm görevi engellemek yerine etkilenmeyen çalışmaya devam edip etmediğini kontrol eder.
Bu, atıfta bulunulan çalışmalar tarafından ortaya konmuş bir sonuç değil, önerilen bir değerlendirme yöntemidir. Sağladığı bilgi kazanımı karar dizisidir: erişimi belirleyin, sınırı belirtin, en küçük yararlı kaynağı isteyin, benimsenen ayrıntıyı onaylayın ve güncellemenin kapsamını net tutun. Bu dizi, “Bilmiyorum” ifadesini işin üretken bir adımına dönüştürür.
Belirsizliği proje sürekliliğinin bir parçası haline getirin
Yaratıcı projeler için bir asistanda eksik bir ayrıntıyı kabul etmek bir çıkmaz yol değildir. Sürekliliği korumanın bir yoludur: sistem, doğrulanmamış geçmişi doldurulmamış bırakırken yardım etmeye devam edebilir. Net bir belirsizlik, odaklanmış bir talep ve görünür bir onay, proje kaydına neyin ait olduğuna kullanıcının karar vermesini sağlar ve asistana bir sonraki taslak için sağlam temellere dayanan bir zemin sunar.