審核 AI 生成研究內容時必須核實的六大細節
對於編輯研究型文章的作者而言,任務在於檢查每個微小的事實細節是否與原始資料以及所要支持的論點相符。人名、日期、數字、引文、文獻標題和範圍限定詞看似微不足道,但極小的變動都可能使引文難以追溯,或讓證據顯得言過其實。請以不同方式處理各個類別:有些細節需要逐字精確轉錄,有些則需要檢驗上下文與適用範圍。
核實身分、拼寫與歸屬
人名很容易被「修正」成熟悉的樣子。中間名縮寫可能會消失,姓氏可能會拼錯,兩位作者可能會被合二為一,或者某個機構可能會被誤標為某份報告的作者,而該機構實際上只是託管者。相似的名字也可能指向不同的人。這些是截然不同的錯誤:拼寫會影響身分識別;歸屬則會影響到底是誰做了這件事或說了這句話。
請將名稱與原始資料頁面本身進行比對,特別是署名、作者說明或機構的官方頁面。不要依賴搜尋結果摘要或抄錄在另一篇文章中的參考書目。在研究引用中,除了拼寫外,還要核對作者順序與姓名縮寫:這些都有助於讀者找到該作品。如果資料來源標記的是團體作者,請保留該團體名稱,而不是去猜測個別作者。
**反例:** 資料來源列出「M. Lee」為四位作者之一。僅因為相關的員工名單頁面上有位 Michael Lee,就將其展開為「Michael Lee」,這是一種毫無根據的身分推定,即使那個人可能是同一個人。
Walters 與 Wilder 在 2023 年針對 ChatGPT 生成參考書目的研究,提供了一個真實範例,說明了看似合理的引文為何值得直接查核。作者檢視了 42 個主題文獻探討中生成的引文,報告指出其中既有捏造的參考資料,也有真實引文中的錯誤。該研究針對的是受測的系統與提示詞;它並不能推導出每種 AI 工具或寫作任務的通用錯誤率。([Scientific Reports 研究報告](https://www.nature.com/articles/s41598-023-41032-5))
區分事件時間、發表時間與更新時間
一個日期可能完全準確,卻回答了錯誤的問題。研究頁面可能會顯示研究進行的時間、首次在線上發表的時間、收錄進期刊期數的時間、更新時間或存取時間。報告所涵蓋的時期也可能與其發表日期不同。當文章寫道「該研究發表於 2021 年」時,若採用後期網頁更新的日期將會產生誤導,即便該更新日期顯示得非常顯眼。
請將日期與陳述中的動詞和名詞對齊。「發表」需要發表日期;「調查於」需要田野調查時期;「更新」需要修訂日期。如果來源僅給出年份,請勿自行捏造月份或日期。當有兩個合理的日期都至關重要時,請將兩者皆標註出來,而不是默默地二選一。
**反例:** 某份報告頁面註明「2024 年 3 月 14 日更新」,內容描述的是 2022 年進行的一項調查。將其稱為「2024 年的調查」混淆了網頁的更新時間與資料收集時期。
核實單位、分母與比較基準
數字在改寫後往往得以保留,但其含義卻可能發生變化。請檢查單位(人數、論文數、引用次數或回應數)、分母、時間區間、母體,以及該數據是計數、百分比、估計值還是四捨五入後的數值。接著核對比較基準:「上升了 10%」與「上升了 10 個百分點」不能混為一談。含有錯誤的引用比例與至少含有一個錯誤的文章比例也是不同的概念。
請回到數據來源的表格、圖表、研究方法或原文段落。只有在輸入資料和運算邏輯清晰明確時才進行重新計算;否則,請直接引用原始資料中報告的數據,並保留其限定條件。不要將有限樣本的結果轉化為普及性的頻率陳述。
舉個簡單的例子,20 名畫廊參觀者中的 12 名與 40 名畫廊參觀者中的 20 名是不同的計數,然而前者是 60%,後者是 50%。如果 AI 摘要只抄錄了「20 名參觀者」或只抄錄了一個百分比,就會遺漏理解該陳述所需的比較基準。這些數據純屬舉例說明;請對照原始表格及其註釋來核實真實數字。
引文:核對字句與發言者
引號中流暢的句子可能是精確的引述、寬鬆的改寫,也可能是模型捏造的文字。找出原始段落並核對字句、發言者、日期及上下文。歸屬於某個團體的引言可能只是由一位參與者說出的;一句令人印象深刻的話可能是文章作者的總結,而非參與者的原話。
如果原始來源未包含精確的措辭,請移除引號。改寫原始資料的實際內容並註明出處,或者在無法確認時直接刪除該句子。不要在將引文包裝為精確引述的同時,暗自將其修飾為更通順的文字。
文獻標題與識別碼:確保引文可被查證
看似合理的文章標題並不能證明該文章真實存在。請在出版商頁面或文獻檢索索引中搜尋確切的標題與作者,然後比對 DOI、日期以及期刊或書籍名稱。標題中只要更換一個字,就可能指向完全不同的作品,甚至是根本不存在的作品。Crossref 的詮釋資料搜尋功能有助於定位已註冊的出版物,但相符的紀錄仍不足以證明該作品能支持引文旁的陳述。
Walters 與 Wilder 檢視了 2023 年由 GPT-3.5 和 GPT-4 生成的 84 篇簡短文獻探討中的 636 條參考文獻。他們發現了憑空捏造的參考文獻,以及真實文獻引用中的各類錯誤。此結果適用於當時測試的版本與提示詞;這是需要查核參考文獻的有力證據,而非代表所有 AI 寫作工具當前的通用錯誤率。
範圍限定詞:檢查對象、地點、時間與確定程度
微小的詞彙可能會在不經意間擴大論點的適用範圍。「某些」、「所有」、「通常」、「導致」和「證明」所表達的意義截然不同。如果某個來源僅報告了單一日期舉辦的一場工作坊,那麼一段泛指所有工作坊的段落就超出了證據範圍。如果兩項指標同時變動,將其中一項稱為另一項的原因,所需要的證據絕不僅僅是它們發生的時間重合。
標記出每一個擴大原始研究發現的詞組:更大的受眾群體、更長的時間跨度、新的環境、更強烈的確定性或因果動詞。在句子中還原資料來源的界限。如果來源寫的是「該試驗中的參與者」,請保留該特定群體。如果來源寫的是「可能(may)」,請勿將其改為「將會(will)」。這項查核關注的是證據究竟涵蓋了什麼,而不僅僅是句子聽起來是否足夠自信。
發布前的六大細節快速檢核
針對人名、日期、數字、引文、文獻標題與範圍限定詞進行一次專注的查核。針對每個細節,問問自己原始資料是否支持這一精確形式,以及讀者是否能找到它。修正、縮小或刪除未通過查核的細節。然後再次閱讀該段落,確認修復後的細節仍能支持其整體意涵。
這次檢核的範圍特意設定得比全面的論點或資料品質審查更為聚焦。它能揪出那些會使原本嚴謹的研究文章變得不可靠的微小事實變動,同時將關於架構立論與邏輯推演等更宏觀的決策留待另一次編輯流程中處理。
