Enam detail riset buatan AI yang harus diverifikasi

periksa identitas, ejaan, dan atribusi

Nama sangat mudah "dikoreksi" menjadi bentuk yang lebih familier. Inisial tengah bisa saja hilang, nama belakang salah dieja, dua penulis digabungkan, atau suatu organisasi diatribusikan memiliki laporan yang sebenarnya hanya mereka fasilitasi. Nama yang mirip juga bisa merujuk pada orang yang berbeda. Ini adalah jenis kesalahan yang berbeda: ejaan memengaruhi identifikasi; atribusi memengaruhi siapa yang melakukan atau mengatakan hal tersebut.

Bandingkan nama dengan halaman sumber itu sendiri, terutama pada byline, catatan penulis, atau halaman resmi organisasi. Jangan hanya mengandalkan cuplikan hasil pencarian atau daftar pustaka yang disalin ke artikel lain. Dalam sitasi riset, periksa urutan penulis dan inisial serta ejaannya: hal ini membantu pembaca menemukan karya tersebut. Jika sumber mencantumkan nama kelompok penulis, pertahankan nama kelompok tersebut daripada menebak-nebak nama penulis individunya.

**Contoh tandingan:** Suatu sumber mencantumkan "M. Lee" sebagai salah satu dari empat penulis. Mengembangkannya menjadi "Michael Lee" hanya karena halaman staf terkait memiliki nama Michael Lee merupakan identifikasi tanpa dasar, bahkan jika orang tersebut mungkin memang orang yang sama.

Contoh nyata mengapa referensi yang tampak masuk akal patut diperiksa langsung berasal dari studi Walters dan Wilder tahun 2023 tentang daftar pustaka yang dibuat oleh ChatGPT. Para penulis meneliti sitasi yang dihasilkan dalam tinjauan pustaka di 42 topik dan melaporkan adanya referensi palsu serta kesalahan dalam sitasi nyata. Studi ini berkaitan dengan sistem dan perintah (prompt) yang diuji; studi ini tidak menetapkan tingkat kesalahan untuk setiap alat AI atau tugas penulisan. ([Studi Scientific Reports](https://www.nature.com/articles/s41598-023-41032-5))

bedakan antara peristiwa, publikasi, dan pembaruan

Sebuah tanggal bisa saja akurat tetapi tetap menjawab pertanyaan yang salah. Halaman riset dapat menampilkan kapan studi dilakukan, pertama kali diterbitkan secara daring, dimasukkan ke dalam edisi jurnal, diperbarui, atau diakses. Laporan juga dapat mencakup periode yang berbeda dari tanggal publikasinya. Ketika teks tertulis menyebutkan "studi tersebut terbit pada tahun 2021", menggunakan tanggal pembaruan halaman web yang lebih baru akan menyesatkan, bahkan jika tanggal pembaruan tersebut ditampilkan dengan jelas.

Cocokkan tanggal dengan kata kerja dan kata benda klaim tersebut. "Diterbitkan" memerlukan tanggal publikasi; "disurvei pada" memerlukan periode kerja lapangan; "diperbarui" memerlukan tanggal revisi. Jika sumber hanya memberikan tahun, jangan mengarang bulan atau hari. Ketika ada dua tanggal sah yang penting, beri label pada keduanya daripada memilih salah satunya secara diam-diam.

**Contoh tandingan:** Sebuah halaman laporan menyatakan "Diperbarui 14 Maret 2024" dan mendeskripsikan survei yang dilakukan pada tahun 2022. Menyebutnya sebagai "survei tahun 2024" mencampuradukkan pembaruan halaman dengan periode pengumpulan data.

verifikasi satuan, penyebut, dan perbandingan

Angka sering kali bertahan dari parafrasa sementara maknanya berubah. Periksa satuannya (orang, makalah, sitasi, atau respons), penyebutnya, periode waktu, populasi, dan apakah angka tersebut berupa jumlah hitungan, persentase, estimasi, atau nilai pembulatan. Kemudian periksa perbandingannya: "naik sebesar 10%" dan "naik sebesar 10 poin persentase" tidak dapat saling dipertukarkan. Proporsi sitasi yang memuat kesalahan tidak sama dengan proporsi artikel yang memiliki setidaknya satu kesalahan.

Kembalilah ke tabel, bagan, metode, atau bagian sumber dari mana angka tersebut berasal. Hitung ulang hanya jika data masukan dan operasinya jelas; jika tidak, kutip angka yang dilaporkan sumber dan pertahankan pembatasnya (qualifier). Jangan mengubah hasil sampel yang sempit menjadi klaim frekuensi umum.

Sebagai ilustrasi sederhana, 12 dari 20 pengunjung galeri dan 20 dari 40 pengunjung galeri adalah jumlah yang berbeda, namun yang pertama adalah 60% dan yang kedua adalah 50%. Ringkasan AI yang hanya menyalin "20 pengunjung" atau hanya persentase akan menghilangkan perbandingan yang diperlukan untuk memahami klaim tersebut. Angka-angka ini dikarang untuk tujuan ilustrasi; verifikasi angka nyata terhadap tabel asli dan catatannya.

Kutipan: verifikasi kata-kata dan pembicaranya

Kalimat fasih di dalam tanda kutip bisa jadi merupakan kutipan persis, parafrasa bebas, atau teks yang dikarang oleh model AI. Temukan bagian aslinya dan periksa kata-kata, pembicara, tanggal, dan konteks di sekitarnya. Kutipan yang diatribusikan kepada suatu kelompok mungkin sebenarnya diucapkan oleh salah satu peserta; ungkapan yang mudah diingat mungkin merupakan ringkasan penulis artikel dan bukan kata-kata peserta.

Jika sumber asli tidak memuat kata-kata yang persis sama, hapus tanda kutipnya. Parafrasakan apa yang sebenarnya dikatakan sumber dan sitir sumber tersebut, atau hilangkan kalimat tersebut jika Anda tidak dapat memastikannya. Jangan merapikan kutipan secara diam-diam menjadi kalimat yang lebih halus sambil tetap menyajikannya seolah-olah itu kutipan persis.

Judul sumber dan tanda pengenal: pastikan referensi tetap dapat ditemukan

Judul artikel yang tampak meyakinkan bukanlah bukti bahwa artikel tersebut benar-benar ada. Cari judul dan penulis yang persis di halaman penerbit atau indeks bibliografi, lalu bandingkan DOI, tanggal, dan judul jurnal atau buku. Satu kata yang berubah dalam judul dapat merujuk ke karya lain atau tidak ada karya sama sekali. Pencarian metadata Crossref dapat membantu menemukan publikasi yang terdaftar, namun catatan yang cocok tetap tidak membuktikan bahwa karya tersebut mendukung kalimat di samping sitasi.

Walters dan Wilder memeriksa 636 referensi dalam 84 ulasan singkat yang dibuat oleh GPT-3.5 dan GPT-4 pada tahun 2023. Mereka melaporkan adanya referensi palsu dan kesalahan di dalam referensi karya yang nyata. Hasil ini berlaku untuk versi dan perintah yang diuji tersebut; ini adalah bukti perlunya memeriksa referensi, bukan tingkat kesalahan saat ini untuk setiap alat bantu penulisan AI.

Kata pembatas cakupan: periksa siapa, di mana, kapan, dan seberapa kuat

Kata-kata kecil dapat memperluas cakupan klaim secara diam-diam. "Sebagian", "semua", "biasanya", "menyebabkan", dan "membuktikan" menyatakan hal yang berbeda. Jika sumber melaporkan satu lokakarya pada satu tanggal, paragraf mengenai semua lokakarya berarti lebih luas daripada bukti yang ada. Jika dua tolok ukur bergerak bersamaan, menyebut salah satunya sebagai penyebab yang lain membutuhkan bukti lebih banyak daripada sekadar waktu kemunculan yang bersamaan.

Tandai setiap frasa yang memperluas temuan asli: audiens yang lebih besar, periode yang lebih lama, lingkungan baru, kepastian yang lebih kuat, atau kata kerja sebab-akibat. Kembalikan batasan sumber ke dalam kalimat tersebut. Jika sumber mengatakan "peserta dalam uji coba ini", pertahankan kelompok tersebut. Jika dikatakan "mungkin", jangan mengubahnya menjadi "pasti akan". Pemeriksaan ini menanyakan apa yang dicakup oleh bukti, bukan apakah kalimat tersebut sekadar terdengar meyakinkan.

Pemeriksaan enam detail sebelum publikasi

Lakukan satu putaran pemeriksaan terfokus pada nama, tanggal, angka, kutipan, judul sumber, dan kata pembatas cakupan. Untuk setiap detail, tanyakan apakah sumber asli mendukung bentuk persis ini dan apakah pembaca dapat menemukannya. Perbaiki, persempit, atau hapus detail yang tidak lolos pemeriksaan. Kemudian baca paragraf sekali lagi untuk memastikan detail yang telah diperbaiki tetap mendukung makna keseluruhannya.

Pemeriksaan ini sengaja dibuat lebih sempit daripada tinjauan argumen lengkap atau kualitas sumber. Tujuannya adalah menangkap perubahan faktual kecil yang dapat membuat artikel riset yang awalnya cermat menjadi tidak dapat diandalkan, sembari menyisakan keputusan yang lebih luas tentang pembingkaian dan penalaran untuk tahap penyuntingan terpisah.

Lanjutkan topik ini