AIが生成したリサーチで検証すべき6つの細部
リサーチに基づいた記事を推敲するライターにとっての役目は、事実に関する細かな記述の1つひとつが原典と合致し、裏付けようとしている主張と整合しているかを確認することです。名前、日付、数値、引用、出典のタイトル、範囲を示す言葉は些細なものに見えるかもしれませんが、わずかな変更によって引用元を辿るのが困難になったり、エビデンスが実際以上のことを述べているように見えたりすることがあります。カテゴリごとに異なる対応が必要です。厳密な転記が求められる細部もあれば、文脈や適用範囲の確認が必要なものもあります。
同一性、綴り、帰属を確認する
名前は見慣れた形へと安易に「修正」されてしまいがちです。ミドルネームのイニシャルが消えたり、姓の綴りが間違っていたり、2人の著者が混同されたり、単にレポートを掲載しただけの組織が作成元として記載されたりすることがあります。また、よく似た名前が別人を指している場合もあります。これらは性質の異なる誤りです。綴りの誤りは人物の特定に影響し、帰属の誤りはその行為や発言を誰が行ったのかに影響します。
名前は、原典のページそのもの、特にその署名欄（バイライン）、著者注、または組織の公式ページと照合してください。検索結果のスニペットや、他の記事にコピーされた参考文献一覧を鵜呑みにしてはいけません。研究の引用では、読者が文献を見つけられるように、綴りだけでなく著者の順序やイニシャルも確認しましょう。原典に団体著者名が記載されている場合は、個々の著者を推測するのではなく、その団体名をそのまま維持してください。
**反面教師の例：** 原典に4人の著者の1人として「M. Lee」と記載されているとします。関連するスタッフ紹介ページにMichael Leeという人物がいるからといって「Michael Lee」に展開することは、同一人物である可能性があったとしても根拠のない同定です。
一見もっともらしい参考文献であっても直接確認すべき理由を示す実例として、WaltersとWilderによるChatGPTが生成した参考文献に関する2023年の研究があります。著者らは42のトピックにわたる文献レビューで生成された引用を調査し、完全に捏造された文献と実在する引用内の誤りの両方を報告しました。この研究はテストされたシステムとプロンプトに関するものであり、あらゆるAIツールや執筆タスクのエラー率を確定するものではありません。（[Scientific Reportsの研究](https://www.nature.com/articles/s41598-023-41032-5)）
出来事、公開、更新を区別する
日付自体は正確であっても、意図とは異なる問いに対する回答になってしまっていることがあります。研究のWebページには、調査が実施された時期、最初にオンラインで公開された日、学術誌の号に割り当てられた日、更新された日、またはアクセスされた日が表示されている場合があります。また、レポートの対象期間が発行日と異なることもあります。本文で「その研究は2021年に発表された」と述べる場合、たとえ更新日が目立つように表示されていたとしても、後のWebページの更新日を使用することは誤解を招きます。
日付を主張の動詞や名詞と一致させてください。「公開された（Published）」には公開日、「調査された（surveyed in）」には実地調査の期間、「更新された（updated）」には改訂日が必要です。原典に年しか記載されていない場合は、月や日を捏造してはいけません。根拠のある正当な日付が2つ関係する場合は、片方を暗黙のうちに選ぶのではなく、両方に明示的なラベルを付けて記載してください。
**反面教師の例：** あるレポートのページに「2024年3月14日更新」とあり、2022年に実施された調査について説明されているとします。これを「2024年の調査」と呼ぶことは、ページの更新日とデータ収集期間を混同しています。
単位、分母、比較を検証する
数値は言い換えられてもそのまま残りやすい一方で、その意味が変わってしまうことがよくあります。単位（人数、論文数、引用数、回答数）、分母、期間、母集団、そしてその数値が実数、割合、推定値、端数処理された値のいずれであるかを確認してください。次に比較を確認します。「10%増加した」と「10ポイント増加した」は置き換え不可能です。誤りを含む引用の割合は、少なくとも1つの誤りを含む記事の割合と同じではありません。
その数値の元となった表、グラフ、研究手法、または原典の該当箇所に戻ってください。入力データと計算操作が明確な場合にのみ再計算を行い、それ以外の場合は原典が報告している数値をそのまま引用し、付帯する条件記述も維持してください。限定的なサンプルの結果を、一般的な頻度の主張へと拡大解釈してはいけません。
簡単な例を挙げると、「ギャラリー来館者20人中12人」と「ギャラリー来館者40人中20人」は異なる人数ですが、前者は60%、後者は50%です。「来館者20人」だけをコピーしたり、パーセンテージだけをコピーしたりするAIの要約は、主張を理解するために不可欠な比較を抜け落としてしまいます。なお、これらの数値は説明のための架空のものです。実際の数値は、元の表とその注記に照らして検証してください。
引用：文言と発言者を検証する
引用符で囲まれた流暢な文章であっても、それが正確な引用である場合もあれば、大まかな言い換えや、モデルが捏造した文章である場合もあります。元の文章を見つけ出し、文言、発言者、日付、前後の文脈を確認してください。グループの発言とされた引用が、実は1人の参加者による発言だったり、印象的なフレーズが参加者の言葉ではなく記事の著者の要約だったりすることがあります。
原典にまったく同じ文言が含まれていない場合は、引用符を外してください。原典が実際に述べている内容をパラフレーズ（言い換え）して引用元を明記するか、確認が取れない場合はその一文を省略してください。正確な引用として提示しながら、よりスムーズな文章へと勝手に手を入れて整えてはいけません。
出典のタイトルと識別子：文献を追跡可能にしておく
もっともらしい論文タイトルがあるからといって、その論文が存在する証拠にはなりません。出版社のページや文献インデックスで正確なタイトルと著者を検索し、DOI、日付、学術誌や書籍のタイトルを照合してください。タイトルの中の単語が1つ変わるだけで、別の研究につながったり、どの研究にも該当しなくなったりすることがあります。Crossrefのメタデータ検索は登録された出版物を見つけるのに役立ちますが、一致するレコードがあるからといって、その著作が引用箇所の隣にある文章を裏付けていることの証明にはなりません。
WaltersとWilderは、2023年にGPT-3.5とGPT-4によって生成された84件の短いレビューに含まれる636件の参考文献を調査しました。彼らは、捏造された参考文献や、実在する文献への参照に含まれる誤りを報告しています。この結果はテストされたバージョンとプロンプトに適用されるものであり、文献をチェックすべき根拠にはなりますが、すべてのAIライティングツールにおける現在のエラー率を示すものではありません。
範囲を示す言葉：誰を、どこで、いつ、どの程度強く対象としているかを確認する
些細な言葉が、主張を密かに拡大してしまうことがあります。「一部の」「すべての」「通常」「引き起こした」「証明した」は、それぞれ異なる意味を持ちます。原典が特定の1日に行われた1回のワークショップについて報告している場合、すべてのワークショップに関する段落はエビデンスよりも適用範囲が広すぎます。2つの指標が連動して動いたとしても、一方をもう一方の原因と呼ぶには、時期が重なっている以上の根拠が必要です。
対象者の拡大、期間の長期化、新たな環境、より強い確信度、因果関係を示す動詞など、元の調査結果を拡大しているすべてのフレーズに印を付けます。文章の中で原典の境界線を復元してください。原典が「この試験の参加者」と述べているなら、その集団のまま記述します。「〜かもしれない（may）」とあるなら、「〜だろう（will）」に変えてはいけません。このチェックでは、文章が単に自信ありげに聞こえるかどうかではなく、エビデンスが何を対象範囲としているのかを問います。
公開前の「6つの細部」スキャン
名前、日付、数値、引用、出典のタイトル、範囲を示す言葉に焦点を絞って、1回の通読チェックを実施します。細部ごとに、元の原典がこの正確な形を裏付けているか、読者がそれを見つけ出せるかを問いかけます。チェックに通らなかった細部は、修正するか、範囲を狭めるか、削除してください。その後、段落をもう一度読み直し、修正された細部が全体の意味を依然として支えていることを確認します。
このスキャンは、論全体の展開や原典の質を評価する包括的なレビューよりも、意図的に範囲を狭めています。これによって、論理構成や推論に関する大局的な判断を別の編集ステップに残しつつ、細心の注意を払って書かれた研究記事の信頼性を損ないかねない、小さな事実関係の変質を捉えることができます。