Doğrulanması gereken yapay zeka tarafından üretilmiş altı araştırma ayrıntısı
Araştırmaya dayalı bir makaleyi düzenleyen yazarlar için görev, her bir küçük olgusal ayrıntının kaynakla ve desteklemek için kullanıldığı iddiayla uyuşup uyuşmadığını kontrol etmektir. İsimler, tarihler, sayılar, alıntılar, kaynak başlıkları ve kapsam belirten kelimeler önemsiz görünebilir; ancak ufacık bir değişiklik bir alıntının izini sürmeyi zorlaştırabilir veya kanıtın gerçekte söylediğinden daha fazlasını söylüyor gibi görünmesine neden olabilir. Her kategoriye farklı yaklaşın: Bazı ayrıntıların birebir aktarılması gerekirken, bazılarının bağlam ve sınır kontrolüne ihtiyacı vardır.
kimliği, yazımı ve atıfları kontrol edin
İsimleri tanıdık bir forma doğru "düzeltmek" kolaydır. Bir ikinci adın baş harfi kaybolabilir, bir soyadı yanlış yazılabilir, iki yazar birleştirilebilir veya bir kuruluşa yalnızca ev sahipliği yaptığı bir rapor atfedilebilir. Benzer isimler farklı kişileri de işaret edebilir. Bunlar ayrı hatalardır: Yazım kimlik tespitini etkiler; atıf ise o şeyi kimin yaptığını veya söylediğini etkiler.
İsmi kaynak sayfanın kendisiyle, özellikle de yazar bilgisi, yazar notu veya kuruluşun resmi sayfasıyla karşılaştırın. Bir arama sonucu özetine veya başka bir makaleye kopyalanmış bir kaynakçaya güvenmeyin. Bir araştırma alıntısında, yazar sırasını ve baş harfleri yazım kurallarının yanı sıra kontrol edin: Bunlar okuyucuların çalışmayı bulmasına yardımcı olur. Kaynak bir grup yazarı belirtiyorsa, bireysel yazarları tahmin etmek yerine o grup adını koruyun.
**Karşı örnek:** Bir kaynak "M. Lee"yi dört yazardan biri olarak listeliyor. İlgili bir personel sayfasında Michael Lee olduğu için bunu "Michael Lee" olarak genişletmek, kişi aynı olabilecek olsa bile desteklenmeyen bir kimlik tespitidir.
Akla yatkın görünen bir referansın neden doğrudan kontrol edilmesi gerektiğine dair gerçek bir örnek, Walters ve Wilder'ın ChatGPT tarafından oluşturulan kaynakçalar üzerine 2023 yılında yaptığı çalışmadan gelmektedir. Yazarlar, 42 konuda literatür taramalarında üretilen alıntıları incelemiş ve hem uydurma referanslar hem de gerçek alıntılardaki hataları bildirmiştir. Çalışma, test edilen sistemleri ve istemleri ilgilendirir; her yapay zeka aracı veya yazma görevi için bir hata oranı belirlemez. ([Scientific Reports çalışması](https://www.nature.com/articles/s41598-023-41032-5))
olayı, yayını ve güncellemeyi birbirinden ayırt edin
Bir tarih doğru olabilir ve yine de yanlış soruyu yanıtlıyor olabilir. Araştırma sayfaları bir çalışmanın ne zaman yürütüldüğünü, ilk olarak internette ne zaman yayımlandığını, bir dergi sayısına ne zaman atandığını, ne zaman güncellendiğini veya ne zaman erişildiğini gösterebilir. Raporlar ayrıca yayımlanma tarihlerinden farklı bir dönemi de kapsayabilir. Metin "çalışma 2021'de yayımlandı" dediğinde, sonraki bir web sayfası güncellemesinin tarihini kullanmak, bu güncelleme tarihi belirgin bir şekilde gösterilse bile yanıltıcı olur.
Tarihi iddianın fiili ve ismiyle eşleştirin. "Yayımlandı" ifadesi bir yayın tarihi gerektirir; "...tarihinde anket yapıldı" saha çalışması dönemini gerektirir; "güncellendi" bir revizyon tarihi gerektirir. Bir kaynak yalnızca bir yıl veriyorsa, bir ay veya gün uydurmayın. İki meşru tarih önemli olduğunda, sessizce birini seçmek yerine her ikisini de etiketleyin.
**Karşı örnek:** Bir rapor sayfasında "14 Mart 2024'te güncellendi" yazıyor ve 2022'de yürütülen bir anket açıklanıyor. Buna "2024 anketi" demek, sayfanın güncellemesini veri toplama dönemiyle karıştırmaktır.
birimi, paydayı ve karşılaştırmayı doğrulayın
Sayılar anlamları değişirken genellikle açımlamadan (paraphrase) sağ çıkarlar. Birimi (insanlar, makaleler, alıntılar veya yanıtlar), paydayı, zaman aralığını, popülasyonu ve rakamın bir sayım, yüzde, tahmin veya yuvarlanmış bir değer olup olmadığını kontrol edin. Ardından karşılaştırmayı kontrol edin: "%10 arttı" ile "10 yüzde puan arttı" birbirinin yerine kullanılamaz. Hata içeren alıntıların payı, en az bir hata içeren makalelerin payı ile aynı şey değildir.
Rakamın kaynaklandığı tabloya, grafiğe, yöntemlere veya kaynak pasajına geri dönün. Yalnızca girdiler ve işlem açık olduğunda yeniden hesaplama yapın; aksi takdirde kaynağın bildirdiği rakamı aktarın ve niteleyicilerini koruyun. Dar bir örneklem sonucunu genel bir sıklık iddiasına dönüştürmeyin.
Basit bir örnek vermek gerekirse, 20 galeri ziyaretçisinden 12'si ile 40 galeri ziyaretçisinden 20'si farklı sayımlardır, ancak ilki %60 ve ikincisi %50'dir. Yalnızca "20 ziyaretçi"yi veya yalnızca bir yüzdeyi kopyalayan bir yapay zeka özeti, iddiayı anlamak için gereken karşılaştırmayı göz ardı eder. Bu rakamlar örnekleme amacıyla uydurulmuştur; gerçek sayıları orijinal tablo ve notlarına karşı doğrulayın.
Alıntılar: sözcükleri ve konuşmacıyı doğrulayın
Tırnak içindeki akıcı bir cümle tam bir alıntı, serbest bir açımlama veya modelin uydurduğu bir metin olabilir. Orijinal pasajı bulun ve sözcükleri, konuşmacıyı, tarihi ve çevreleyen bağlamı kontrol edin. Bir gruba atfedilen bir alıntı bir katılımcı tarafından söylenmiş olabilir; akılda kalıcı bir ifade bir katılımcının sözleri yerine makale yazarının bir özeti olabilir.
Orijinal kaynak tam ifadeleri içermiyorsa, tırnak işaretlerini kaldırın. Kaynağın gerçekte ne söylediğini açımlayın ve kaynak gösterin veya onaylayamadığınızda bu satırı çıkarın. Bir alıntıyı tam gibi sunarken sessizce daha akıcı bir düzyazıya dönüştürerek düzeltmeyin.
Kaynak başlıkları ve tanımlayıcılar: referansı bulunabilir tutun
Akla yatkın bir makale başlığı, makalenin var olduğunun kanıtı değildir. Yayıncının sayfasında veya bir bibliyografik dizinde tam başlığı ve yazarı arayın, ardından DOI'yi, tarihi ve dergi veya kitap başlığını karşılaştırın. Bir başlıktaki değişen bir kelime farklı bir çalışmaya veya hiçbir çalışmaya yol açmayabilir. Crossref'in meta veri araması kayıtlı bir yayını bulmaya yardımcı olabilir, ancak eşleşen bir kayıt yine de çalışmanın alıntının yanındaki cümleyi desteklediğini göstermez.
Walters ve Wilder, 2023 yılında GPT-3.5 ve GPT-4 tarafından üretilen 84 kısa derlemedeki 636 referansı inceledi. Uydurma referanslar ve gerçek çalışmalara yapılan referanslar içinde hatalar bildirdiler. Sonuç, test edilen bu sürümler ve istemler için geçerlidir; referansları kontrol etmek için bir kanıttır, her yapay zeka yazma aracı için güncel bir hata oranı değildir.
Kapsam sözcükleri: kimin, nerede, ne zaman ve ne kadar kesinlikle olduğunu kontrol edin
Küçük kelimeler bir iddiayı sessizce genişletebilir. "Bazı", "tüm", "genellikle", "neden oldu" ve "kanıtladı" farklı şeyleri ifade eder. Bir kaynak belirli bir tarihteki tek bir çalıştayı bildiriyorsa, tüm çalıştaylar hakkındaki bir paragraf kanıttan daha geniştir. İki ölçüt birlikte hareket ettiyse, birini diğerinin nedeni olarak adlandırmak, bunların ortak zamanlamasından daha fazla desteğe ihtiyaç duyar.
Orijinal bulguyu genişleten her ifadeyi işaretleyin: Daha geniş bir kitle, daha uzun bir süre, yeni bir ortam, daha güçlü bir kesinlik veya nedensel bir fiil. Cümlede kaynağın sınırlarını geri yükleyin. Kaynak "bu deneydeki katılımcılar" diyorsa, o grubu koruyun. "Olabilir" diyorsa, bunu "olacaktır" olarak değiştirmeyin. Bu kontrol, cümlenin yalnızca kulağa güvenilir gelip gelmediğini değil, kanıtın neleri kapsadığını sorgular.
Yayımlamadan önce altı ayrıntılı bir tarama
İsimler, tarihler, sayılar, alıntılar, kaynak başlıkları ve kapsam sözcükleri üzerinde tek bir odaklanmış tarama yapın. Her ayrıntı için, orijinal kaynağın bu tam formu destekleyip desteklemediğini ve bir okuyucunun onu bulup bulamayacağını sorun. Kontrolü geçemeyen bir ayrıntıyı düzeltin, daraltın veya silin. Ardından, onarılan ayrıntıların genel anlamını hala desteklediğini doğrulamak için paragrafı bir kez daha okuyun.
Bu tarama, kasıtlı olarak tam bir argüman veya kaynak kalitesi incelemesinden daha dardır. Aksi takdirde özenle hazırlanmış bir araştırma makalesini güvenilmez kılabilecek küçük olgusal değişiklikleri yakalarken, çerçeveleme ve akıl yürütme hakkındaki daha geniş kararları ayrı bir editoryal aşamaya bırakır.
