검증해야 할 AI 생성 연구 세부 정보 6가지

신원, 철자 및 귀속 확인하기

인명은 익숙한 형태로 '수정'되기 쉽습니다. 중간 이름의 이니셜이 사라지거나, 성의 철자가 틀리거나, 두 명의 저자가 하나로 합쳐지거나, 단순히 보고서를 게시하기만 한 조직이 작성자로 잘못 표기될 수 있습니다. 유사한 이름이 전혀 다른 인물을 가리킬 수도 있습니다. 이는 서로 다른 유형의 오류입니다. 철자는 식별에 영향을 미치고, 귀속은 해당 행위를 하거나 말을 한 주체가 누구인지에 영향을 미칩니다.

이름을 출처 페이지 자체, 특히 저자 표시(byline), 저자 노트 또는 해당 기관의 공식 페이지와 대조해 보세요. 검색 결과의 스니펫이나 다른 글에 복사된 참고문헌 목록에만 의존해서는 안 됩니다. 연구 인용에서는 철자뿐만 아니라 저자 순서와 이니셜도 확인하세요. 독자가 해당 연구를 찾는 데 도움이 됩니다. 출처에 단체 저자가 명시되어 있다면 개별 저자를 임의로 추측하지 말고 해당 단체명을 그대로 유지하세요.

**반례:** 출처에 'M. Lee'가 4명의 저자 중 한 명으로 기재되어 있습니다. 관련 직원 페이지에 Michael Lee가 있다는 이유만으로 이를 'Michael Lee'로 확장하는 것은 동일 인물일 가능성이 있더라도 근거 없는 식별입니다.

그럴듯해 보이는 참고문헌이라도 왜 직접 확인해야 하는지를 보여주는 실제 사례로, ChatGPT가 생성한 참고문헌에 대한 Walters와 Wilder의 2023년 연구가 있습니다. 저자들은 42개 주제에 걸친 문헌 검토에서 생성된 인용을 조사한 결과, 날조된 참고문헌과 실제 인용 내 오류를 모두 보고했습니다. 이 연구는 테스트된 시스템과 프롬프트에 국한된 것이며, 모든 AI 도구나 글쓰기 작업에 대한 오류율을 규정하는 것은 아닙니다. ([Scientific Reports 연구](https://www.nature.com/articles/s41598-023-41032-5))

사건 발생, 발행 및 업데이트 날짜 구분하기

날짜 자체는 정확하더라도 엉뚱한 질문에 대한 답일 수 있습니다. 연구 페이지에는 연구가 수행된 시점, 온라인에 최초 공개된 시점, 저널 호에 배정된 시점, 업데이트된 시점 또는 열람한 시점이 표시될 수 있습니다. 또한 보고서가 다루는 기간이 발행일과 다를 수도 있습니다. 본문에 '해당 연구는 2021년에 발표되었다'라고 서술할 때, 비록 나중에 이루어진 웹페이지 업데이트 날짜가 눈에 띄게 표시되어 있더라도 그 업데이트 날짜를 사용하는 것은 오해를 불러일으킬 수 있습니다.

주장의 동사 및 명사와 날짜를 일치시키세요. '발행되었다'에는 발행일이 필요하고, '조사되었다'에는 현장 조사 기간이 필요하며, '업데이트되었다'에는 수정일이 필요합니다. 출처에 연도만 기재되어 있다면 월이나 일을 임의로 지어내지 마세요. 유의미한 두 가지 날짜가 모두 중요하다면 어느 하나를 임의로 선택하기보다 두 날짜 모두 라벨을 붙여 명시하세요.

**반례:** 한 보고서 페이지에 '2024년 3월 14일 업데이트됨'이라고 적혀 있고 2022년에 실시된 설문조사를 설명하고 있습니다. 이를 '2024년 설문조사'라고 부르는 것은 페이지 업데이트 날짜와 데이터 수집 기간을 혼동한 것입니다.

단위, 분모 및 비교 검증하기

수치는 문장을 바꾸어 표현(패러프레이징)하는 과정에서도 그대로 유지되는 경우가 많지만, 그 의미는 달라질 수 있습니다. 단위(사람, 논문, 인용 횟수, 응답 수), 분모, 기간, 모집단, 그리고 해당 수치가 단순 카운트인지, 백분율인지, 추정치인지, 반올림된 값인지 확인하세요. 그다음 비교 방식을 확인하세요. '10% 증가했다'와 '10%포인트 증가했다'는 서로 바꾸어 쓸 수 없습니다. 오류를 포함한 인용의 비율은 오류가 최소 하나 이상 포함된 논문의 비율과 같지 않습니다.

수치가 유래한 표, 차트, 연구 방법 또는 출처 단락으로 돌아가세요. 입력값과 연산 방식이 명확할 때만 재계산하고, 그렇지 않다면 출처에 보고된 수치를 그대로 인용하며 수식어를 보존하세요. 좁은 표본 결과를 일반적인 빈도에 대한 주장으로 전환하지 마세요.

간단한 예로, 미술관 방문객 20명 중 12명과 40명 중 20명은 서로 다른 수치이지만, 전자는 60%이고 후자는 50%입니다. AI 요약이 '방문객 20명'만 복사하거나 백분율만 복사한다면 주장을 이해하는 데 필요한 비교 대상이 빠지게 됩니다. 이 수치들은 설명을 위해 지어낸 것입니다. 실제 숫자는 원본 표와 해당 주석을 통해 검증하세요.

인용문: 어구와 발언자 검증하기

따옴표로 묶인 매끄러운 문장은 정확한 직접 인용일 수도 있고, 대략적인 바꿔 쓰기일 수도 있으며, 모델이 지어낸 텍스트일 수도 있습니다. 원본 단락을 찾아 어구, 발언자, 날짜 및 주변 문맥을 확인하세요. 한 집단의 발언으로 귀속된 인용문이 실제로는 한 명의 참가자가 말한 것일 수도 있고, 기억에 남는 문구가 참가자의 말이 아니라 기사 작성자의 요약일 수도 있습니다.

원본 출처에 정확한 문구가 포함되어 있지 않다면 따옴표를 제거하세요. 출처가 실제로 말하는 내용을 바꾸어 표현하고 출처를 밝히거나, 확인할 수 없다면 해당 문장을 삭제하세요. 정확한 인용문으로 제시하면서 더 매끄러운 문장으로 조용히 다듬지 마세요.

출처 제목 및 식별자: 참고문헌 검색 가능성 유지하기

그럴듯한 논문 제목이 논문의 존재를 증명하지는 않습니다. 출판사 페이지나 서지 색인에서 정확한 제목과 저자를 검색한 후 DOI, 날짜, 저널 또는 도서 제목을 비교하세요. 제목에서 단어 하나만 바뀌어도 다른 저작물로 연결되거나 아예 저작물이 검색되지 않을 수 있습니다. Crossref의 메타데이터 검색은 등록된 출판물을 찾는 데 도움이 될 수 있지만, 일치하는 기록이 있다고 해서 해당 저작물이 인용문 옆의 문장을 뒷받침한다는 것을 의미하지는 않습니다.

Walters와 Wilder는 2023년에 GPT-3.5와 GPT-4가 생성한 84개의 짧은 문헌 검토에서 636개의 참고문헌을 조사했습니다. 그들은 날조된 참고문헌과 실제 저작물에 대한 참고문헌 내 오류를 보고했습니다. 이 결과는 테스트된 해당 버전 및 프롬프트에 적용되는 것이며, 참고문헌 검토의 필요성을 보여주는 근거이지 모든 AI 글쓰기 도구의 현재 오류율을 의미하는 것은 아닙니다.

범위 한정 단어: 대상, 장소, 시간 및 강도 확인하기

작은 단어가 주장의 범위를 은근히 확장할 수 있습니다. '일부', '모든', '대체로', '유발했다', '증명했다'는 서로 다른 것을 의미합니다. 출처가 특정 날짜의 단 한 차례 워크숍을 보고하고 있다면, 모든 워크숍에 대해 서술하는 단락은 근거보다 범위가 넓어진 것입니다. 두 측정값이 함께 움직였다고 해서, 한쪽을 다른 쪽의 원인이라고 부르려면 시기가 겹친다는 사실 이상의 근거가 필요합니다.

더 큰 독자층, 더 긴 기간, 새로운 환경, 더 강한 확신 또는 인과적 동사 등 원래의 발견 범위를 넓히는 모든 어구를 표시하세요. 문장 내에서 출처의 경계를 복원하세요. 출처에 '이번 임상시험의 참가자들'이라고 되어 있다면 해당 집단으로 한정하세요. '할 수도 있다(may)'라고 되어 있다면 '할 것이다(will)'로 바꾸지 마세요. 이 확인 과정은 문장이 단순히 자신 있게 들리는지가 아니라, 근거가 실제로 무엇을 다루고 있는지를 묻는 것입니다.

발행 전 6가지 세부 정보 훑어보기

인명, 날짜, 수치, 인용문, 출처 제목 및 범위 한정 단어에 집중하여 한 번 점검을 실행하세요. 각 세부 정보에 대해 원본 출처가 이 정확한 형태를 뒷받침하는지, 그리고 독자가 이를 찾을 수 있는지 자문해 보세요. 검증을 통과하지 못한 세부 정보는 수정하거나, 범위를 좁히거나, 삭제하세요. 그런 다음 단락을 다시 한번 읽어 수정된 세부 정보가 전체 의미를 여전히 뒷받침하는지 확인하세요.

이 검토는 전체적인 논증이나 출처 품질 검토보다 의도적으로 좁은 범위에 집중합니다. 프레이밍과 추론에 관한 더 폭넓은 결정은 별도의 편집 단계로 남겨두면서, 그렇지 않았다면 꼼꼼했을 연구 글을 신뢰할 수 없게 만들 수 있는 사소한 사실적 변경 사항들을 잡아냅니다.

이 주제 더 살펴보기